你知道吗?互联网中有将近40%的流量由爬虫所占据，而其中的恶意爬虫对企业网站或相关应用服务带了大量的危害!Akamai和Ponemon Institute的联合研究显示，由爬虫引起的“撞库”攻击每年会给企业带来高达270万美元的损失。

“恶意爬虫是一种自动化的恶意软件，通过互联网远程自动化的方式对目标站点进行攻击，以达到商业欺诈的目的。爬虫攻击的方法主要分为凭证滥用和账户接管两种方式。”Akamai大中华区产品市场经理刘炅解释道，“凭证滥用类攻击就是通常所说的撞库攻击。攻击者通过从黑市上获取的大量用户数据和账户信息在不同的网站进行登录尝试，从而得到有效账户，最终把这些账户非法贩卖给其他人。这给终端用户和网站经营者都带来了很大风险。”

Akamai大中华区产品市场经理刘炅

刘炅进一步指出：“账户接管类攻击通常称之为账户盗用，主要指对包括电商、游戏账户在内的互联网账户的盗取。这种攻击通常也是通过登陆尝试或蛮力手段得到账户，在接管账户后进行信息窃取或进一步攻击。除了以上两种主要攻击形式，基于爬虫的攻击还包括库存囤积、薅羊毛、市场欺诈。“

Akamai于今年第一季度发布的《2020年互联网安全状况报告：金融服务——恶意接管尝试》发现，当前基于爬虫的攻击次数居高不下，在报告统计的约两年时间内，Akamai共发现了超过850亿次攻击，日均攻击量达到1.2亿次之多。其次，攻击手段越发复杂，攻击者不仅会通过多合一的工具、利用僵尸网络发起分布式攻击，还会利用API的自动化特性、采用API作为主要攻击手段。第三，金融业已成为攻击重灾区。根据Akamai的数据，在针对金融服务业发起的撞库攻击中，高达75%的攻击直接以API为目标。

从攻击检测到攻击响应 全面降低安全风险

为了更好应对爬虫攻击给企业带来的安全挑战，今年3月，Akamai对其爬虫管理解决方案进行了全面升级，大幅提升“攻防水平”。首先，Akamai新升级的BotManager(爬虫管理器)可以通过POW(Proof of Work)挑战检测方法进行更精准的爬虫检测。该方法主要在防护设备或防护端对爬虫流量请求端发出挑战，通过检测请求端对挑战的回应，判别‘幕后操作手’是爬虫还是真是人类。此外，Akamai在该检测方法中增加了加密算法，迫使恶意爬虫的计算量增加，达到消耗内存或CPU的目的。

其次，基于人工智能的评分机制。通过平台的云端数据和威胁情报，Akamai可以对爬虫威胁进行自动评分，并根据评分进行更细粒度的防护。

第三，增加更多场景支持，尤其对于跨域场景的支持。由于很多应用的客户端会发起跨域的请求，为了使跨域请求的检测更加精准，Akamai定义了新的攻击检测方式，从而扩展更多的应用防护场景。

最后，与mPulse产品相集成。mPulse是Akamai的真实用户监测产品，能够检测出用户访问网站快慢的原因。通过结合mPulse，Akamai的爬虫管理解决方案可以可视化地展现出爬虫对网站性能产生的影响。

有效管理爬虫 提升用户体验

基于Akamai智能边缘平台的威胁情报及数据分析，Akamai的爬虫管理解决方案BotManager可以甄别爬虫的行为和指纹特征，在很多行业得到了良好的收效。

Akamai中国区企业事业部总经理何铭

在线上游戏行业，玩家的账号经常被恶意盗用或复制。这不仅导致游戏服务提供商频繁收到玩家抱怨与投诉，甚至会产生经济损失。Akamai大中华区产品市场经理刘炅表示：“游戏厂商在采用了Bot Manager后，恶意爬虫的攻击量大幅减少，游戏业务在正常运营的同时，用户体验也得到明显提升。”
 

电商同样经常遭到恶意爬虫的攻击。每当大促节点，Akamai观察到，全球范围内每日的恶意爬虫攻击约32亿次，其中3800万次是“撞库攻击”，如果有1%的“撞库攻击”成功，每天将有38万账户被入侵盗用，对电商来说风险巨大。何铭指出：“除了防止黑客攻击，在促销返券等客户优惠活动期间，电商还要在防止竞争对手爬取自身网站信息的同时，将优惠福利给到真正用户手中。Akamai的Bot Manager能为企业提供一种灵活的框架，更好地管理每天访问其网站的大量爬虫程序。它能够识别首次进入的爬虫程序，区分不同的爬虫程序类型，并且针对每种爬虫类型采用最合适的管理策略。因此，企业能够更好地控制与不同类型的爬虫程序进行交互的方式，实现业务利益最大化，同时尽量降低对业务或IT的负面影响。举例而言，某家电商在部署Bot Manager之前，其恶意爬虫的发现率在10%，而部署之后可以有效拦截99%的爬虫攻击流量。”

如今的企业在提供在线业务时，与客户和终端用户的联系已达到空前水平，而这其中就包括通常使用名为“爬虫程序”的自动化工具进行的访问。对于许多企业 而言，爬虫程序占到了他们网站总流量的50%或以上，其中既有执行关键业务任务的好爬虫，也有进行破坏活动的坏爬虫。无论对业务的影响如何，爬虫流量都会降低网站为合法用户提供服务的性能，并且增加IT成本。因此，企业需要一种灵活的框架，来更好地管理与不同类型爬虫之间的交互方式，同时管控爬虫对业务和IT架构造成的影响。