当前位置:统一通信/协作企业动态 → 正文

雅虎开源解析HTML页面数据的Web爬取工具Anthelion

责任编辑:editor005 |来源:企业网D1Net  2015-12-16 14:20:00 本文摘自:开源中国

12月14日,Yahoo宣布开源解析HTML页面结构数据的Web爬取工具Anthelion。Web爬行工具是Yahoo很重要的核心,甚至超过了其他应用:Yahoo Mail,Yahoo Finance,Yahoo Messenger,Flickr和Tumblr。Anthelion的代码现在以Apache开源授权协议托管到GitHub:https://github.com/yahoo/anthelion,包含Apache Nutch完整源代码。

12月14日,Yahoo 宣布开源解析 HTML 页面结构数据的 Web 爬取工具 Anthelion。Web 爬行工具是 Yahoo 很重要的核心,甚至超过了其他应用: Yahoo Mail,Yahoo Finance,Yahoo Messenger,Flickr 和 Tumblr。

上一年在上海的一次会议中,Yahoo 也详细提到了 Anthelion:“Anthelion 最初专注于语义数据,使用标记语言嵌入到 HTML 页面,比如 Microdata,Microformat 或者 RDFa。”这次会议还提到了爬取技术是如何实现的,为什么能提供更高数量的特定搜索查询相关的结果。

Microdata 和 RDFa 是结构数据关于不同主题的语法格式,兼容 schema.org词汇(一个 Google,Yahoo 和 Bing 搜索引擎都在研究的项目) a project that the Google, Yahoo, and Bing search engines all work on.

Anthelion 的代码现在以 Apache 开源授权协议托管到 GitHub:https://github.com/yahoo/anthelion,包含 Apache Nutch 完整源代码。

Anthelion 可以根据设定目标爬取特定页面,比如,包括标记描述影片和至少两个不同属性(比如电影标题和演员)。

关键字:Anthelionyahoo

本文摘自:开源中国

x 雅虎开源解析HTML页面数据的Web爬取工具Anthelion 扫一扫
分享本文到朋友圈
当前位置:统一通信/协作企业动态 → 正文

雅虎开源解析HTML页面数据的Web爬取工具Anthelion

责任编辑:editor005 |来源:企业网D1Net  2015-12-16 14:20:00 本文摘自:开源中国

12月14日,Yahoo宣布开源解析HTML页面结构数据的Web爬取工具Anthelion。Web爬行工具是Yahoo很重要的核心,甚至超过了其他应用:Yahoo Mail,Yahoo Finance,Yahoo Messenger,Flickr和Tumblr。Anthelion的代码现在以Apache开源授权协议托管到GitHub:https://github.com/yahoo/anthelion,包含Apache Nutch完整源代码。

12月14日,Yahoo 宣布开源解析 HTML 页面结构数据的 Web 爬取工具 Anthelion。Web 爬行工具是 Yahoo 很重要的核心,甚至超过了其他应用: Yahoo Mail,Yahoo Finance,Yahoo Messenger,Flickr 和 Tumblr。

上一年在上海的一次会议中,Yahoo 也详细提到了 Anthelion:“Anthelion 最初专注于语义数据,使用标记语言嵌入到 HTML 页面,比如 Microdata,Microformat 或者 RDFa。”这次会议还提到了爬取技术是如何实现的,为什么能提供更高数量的特定搜索查询相关的结果。

Microdata 和 RDFa 是结构数据关于不同主题的语法格式,兼容 schema.org词汇(一个 Google,Yahoo 和 Bing 搜索引擎都在研究的项目) a project that the Google, Yahoo, and Bing search engines all work on.

Anthelion 的代码现在以 Apache 开源授权协议托管到 GitHub:https://github.com/yahoo/anthelion,包含 Apache Nutch 完整源代码。

Anthelion 可以根据设定目标爬取特定页面,比如,包括标记描述影片和至少两个不同属性(比如电影标题和演员)。

关键字:Anthelionyahoo

本文摘自:开源中国

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^