具体而言，诈骗者正在使用恶意数据集(如泄露的凭证、诈骗脚本和信息窃取日志)对非法LLM(包括WormGPT和FraudGPT)进行微调。当对手利用这些模型生成输出时，他们会收集用户反馈来微调回应，从而形成一个恶性循环，使攻击能力随时间不断增强。

“这一趋势尤为令人担忧，因为它表明对手正在‘闭环优化模型’——通过实时反馈和非法数据，他们的攻击能力不断得到提升，”Flashpoint网络威胁情报副总裁Ian Gray告诉记者。

Flashpoint还观察到，在一些私人聊天群组中，用户将失败的提示词尝试反馈给LLM开发者，导致在数天内实现快速迭代和性能提升。例如，Flashpoint观察到，一名用户报告了金融诈骗提示词的格式问题，不久后开发者便分享了带有优化模板的更新版本。

“这种由泄露数据和犯罪协作推动的恶意AI的自适应和自我改进特性，使其成为一种特别强大且难以应对的威胁。”Gray说道。

网络犯罪分子正在为特定的诈骗方案定制AI模型，包括根据行业或语言定制的钓鱼邮件，以及编写虚假招聘信息、发票或验证提示。

“一些供应商甚至以分层定价、API访问和私钥许可的方式推销这些工具，模仿了(合法的)SaaS经济模式。”Flashpoint的研究人员发现。

“这种专业化可能导致更高的成功率，并实现攻击阶段的自动化复杂操作。”Flashpoint的Gray告诉记者。

深度伪造即服务(DaaS)成为主流

网络犯罪供应商还降低了创建合成视频和语音的门槛，提供了包括以下内容的深度伪造即服务(DaaS)产品：

• 用于约会诈骗的定制人脸生成

• 用于语音验证欺诈的音频伪造

• 基于客户提交脚本的同步视频虚拟形象

这些服务越来越多地提供附加选项，如预加载的背景故事、匹配的虚假文件和自动化的通话安排。

提示词工程即服务

地下社区还围绕设计越狱提示词的艺术兴起了起来。

这些“绕过构建者”专门破解主流LLM(如ChatGPT或Gemini)的限制，以解锁受限制的输出，如社交攻击脚本、分步黑客教程和银行诈骗手册，包括“了解你的客户”(KYC)绕过指南。

“这种‘提示词工程即服务’(PEaaS)降低了入门门槛，使更广泛的参与者能够通过预包装的恶意提示词利用先进的AI能力。”Gray警告说。

“这些趋势共同构成了一种适应性威胁：定制模型在非法数据的优化下变得更加强大，PEaaS扩大了威胁参与者的范围，而持续的优化确保了它们能不断进化以对抗防御措施。”他说道。

深度剖析

Flashpoint分析师在超过10万个非法来源中实时追踪了这些发展动态，监控范围从暗网市场和Telegram群组到地下LLM社区。

在2025年1月1日至5月30日期间，研究人员记录了超过250万条与AI相关的帖子，涵盖了各种恶意战术，包括越狱提示词、深度伪造服务广告、钓鱼工具包和专为欺诈及其他网络犯罪形式定制的语言模型。

地下LLM战术与策略

Cisco Talos的相关研究警告称，网络犯罪分子继续采用LLM来简化流程、编写可用于攻击用户的工具和脚本，并生成更容易绕过防御的内容。

Talos观察到，网络犯罪分子转而使用未受审查的LLM，甚至是为非法目的定制的犯罪LLM。

恶意LLM的广告特性表明，网络犯罪分子正将这些系统与各种外部工具链接，以扫描网站漏洞、验证被盗信用卡号码及进行其他恶意操作。

同时，对手经常比LLM开发者更快地破解合法模型，Talos警告道。

对抗恶意AI

Flashpoint的《AI与威胁情报：防御者指南》解释称，尽管AI在网络安全中是一把双刃剑，但那些将AI深思熟虑地融入其威胁情报和响应工作流程的防御者能够超越对手。

企业需要平衡自动化与专家分析，区分炒作与现实，并持续适应快速演变的威胁环境。

“防御者应首先将AI视为人类专业知识的增强，而非替代，”Flashpoint的Gray说道，“这一理念确保AI能够强化现有工作流程，通过减少噪音和加速决策来创造价值，而非制造新的盲点。”

Gray补充道：“组织原则应是通过利用AI从高信号数据中提取洞察，加速发现过程并构建非结构化内容，从而增强其收集优势。最终目标是提高效率，通过为分析师提供辅助其判断的工具、保持人类控制权并提供上下文来实现这一目标。”

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。