呈现错误且可能恶意的URL
通过SEO投毒和恶意广告,使用Google或其他搜索引擎搜索登录页面和软件已变得如同雷区:如果你不知道如何识别假冒/伪装网站,你的凭据将被盗取,设备也将被感染。
部分由于这个原因,部分由于搜索引擎在展示相关信息方面表现不佳,用户开始慢慢转向AI聊天机器人获取信息。
就目前而言,这些聊天机器人的结果可能更为切题且提供得更快,但所提供的信息往往不准确,原因可能是大型语言模型出错/被欺骗,或者它直接“编造”(即,虚构)了答案。
举例来说:Netcraft研究人员最近要求由GPT-4.1系列模型驱动的聊天机器人展示50个不同品牌(涵盖金融、零售、科技和公用事业等行业)的登录页面,结果它们在66%的情况下给出了正确答案。
但返回的域名中有5%属于无关但合法的企业,而高达29%(即28个域名)的域名未注册、已停放或没有活跃内容。
“这意味着,所有建议的域名中有34%并非品牌所有,且可能有害,更糟糕的是,许多未注册的域名很容易被攻击者认领并用作恶意用途,这为大规模钓鱼活动打开了大门,而这些活动间接得到了用户信任的AI工具的认可。”他们指出。
流行的搜索引擎也已开始提供同样不可靠的AI驱动搜索结果,有时这些结果会直接将用户引导至冒充知名品牌的钓鱼页面(例如,Wells Fargo)。
更糟糕的是,AI生成的答案常常剥离了传统的验证指标,如已验证的域名或搜索摘要。“用户被训练去信任答案,而如果答案错误,攻击者就会利用用户,”研究人员指出。
攻击者正积极尝试污染AI聊天机器人的结果
不良链接的出现最初可能很少见,但威胁行为者正竭尽全力使这种情况更频繁地发生,并积极尝试污染生成式AI聊天机器人提供的结果。
他们正在设计将被聊天机器人的语言模型高度排名的页面:这些页面看起来合法,提供正确的文档,伪装成支持中心等。
“这些网站干净、快速,且在语言上针对AI消费进行了优化,它们对人类来说看起来很棒——对机器来说则不可抗拒。”研究人员指出。
“而且这不仅仅是钓鱼。我们经常看到通过‘破解软件’博客、教程和讨论帖子分发恶意软件。随着AI搜索的兴起,这些旧的传播途径可能会焕发新生——不是通过关键词操作,而是通过语言流畅性。”
尽管有防止获取不良/恶意代码的安全措施,但AI驱动的编程助手也可能以同样的方式被威胁行为者“操纵”,他们不仅发布不良代码(例如,假冒的API),还努力附上可信的内容(教程、论坛问答),并使用可信的GitHub和社交媒体账户进行推广。
企业网D1net(www.d1net.com):
国内头部to B IT门户,旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。
版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。