对于网络上存在的许多爬虫，虽然有些是对网站有益的，但是也有一些对网站服务器造成了压力。日前为消灭网络爬虫，谷歌，Facebook和雅虎合作开发了一个试点项目，叫做可信赖问责组织（TAG）。谷歌作为TAG广告欺诈战争的主要贡献者，为了抵御来自全球网络的非人为广告流量，提供了它们自己数据中心的黑名单。数据中心两个主要应对爬虫的软件是UrlSpirit and HitLeap，今年5月份就有超过6500个数据中心安装了UrlSpirit，而6月中旬有4800个数据中心安装了HitLeap。
责任编辑：王李通
2015-07-23 09:38:01
摘自：中国青年网
对于网络上存在的许多爬虫，虽然有些是对网站有益的，但是也有一些对网站服务器造成了压力。谷歌作为TAG广告欺诈战争的主要贡献者，为了抵御来自全球网络的非人为广告流量，提供了它们自己数据中心的黑名单。
对于网络上存在的许多爬虫，虽然有些是对网站有益的，但是也有一些对网站服务器造成了压力。日前为消灭网络爬虫，谷歌，Facebook和雅虎合作开发了一个试点项目，叫做可信赖问责组织（TAG）。谷歌作为TAG广告欺诈战争的主要贡献者，为了抵御来自全球网络的非人为广告流量，提供了它们自己数据中心的黑名单。数据中心两个主要应对爬虫的软件是UrlSpirit and HitLeap，今年5月份就有超过6500个数据中心安装了UrlSpirit，而6月中旬有4800个数据中心安装了HitLeap。
热文推荐
企业网版权所有©2010-2025 京ICP备09108050号-6
京公网安备 11010502049343号
