2025年5月，美国国家安全局(NSA)、网络安全与基础设施安全局(CISA)和联邦调查局(FBI)与澳大利亚、新西兰和英国政府合作，发布了一份联合公告，确认敌对势力正通过篡改训练数据，在各行业中对AI系统进行投毒攻击，这些模型仍能运行，但不再与现实保持一致。

对于CISO而言，这标志着与云计算采纳或勒索软件兴起同样重大的转变。安全边界再次移动，这次是进入了用于训练算法的大型语言模型(LLM)内部。公告中关于如何应对数据投毒导致的数据腐败的指南，值得每位CISO关注。

AI投毒改变了企业攻击面

在传统安全框架中，目标往往是二元的：拒绝访问、检测入侵、恢复功能，但AI的破坏方式并不明显，它会产生扭曲。被投毒的训练数据可以重塑系统对金融交易的分类方式、对医学扫描的解读或对内容的过滤，而不会触发警报。即使经过良好校准的模型，如果上游引入了污染信息，也可能学习到微妙的错误。

显著案例包括：

• 基础模型在吸收了由一个名为“真理网”(Pravda Network)的俄罗斯大型网络播种的材料后，开始重复克里姆林宫的宣传言论。

• 两家美国新闻媒体发布的一份由AI生成的阅读清单中，包含了10个被误认为是真实作者所著的虚构书名。

• 研究人员展示了训练图像中的微小扰动如何触发错误分类。

• 医疗领域的研究人员证明，在LLM中仅以0.001%的比例进行数据投毒，就能触发医疗错误信息。

重新思考风险：从系统到认识论

网络安全一直是关于防御系统的，但在以AI为先的环境中，系统并非静态，这使CISO的角色从传统的边界防御转向了推理防御。敌手不仅仅是侵入网络;当使用AI时，敌手通过数据投毒来篡改知识本身。

2023年，我提出CISO需要开始将AI系统视为不可预测的队友，而非工具，我与长期从事隐私和信息安全咨询的丽贝卡·赫罗尔德(Rebecca Herold)讨论了这种新对齐方式所需的内容。她提出了八个基础性问题，对于每位探究AI系统保真度、推理漂移和机构信任的CISO来说仍然至关重要：

1. 用于训练AI的数据来源是什么?你能追溯其来源、处理方式以及是经过整理还是抓取的吗?

2. 你的AI能否以合规团队理解的方式解释其决策过程?当监管机构或审计员到来时，可解释性至关重要。

3. 当你的AI出现幻觉或编造信息时会发生什么?你是否建立了检测机制和升级协议?

4. 当你的AI犯错时，谁负责?对于AI驱动的结果是否有明确的责任链?

5. 你如何检测你的AI是否被篡改或投毒?你是否在监控行为漂移、对抗性输入或训练集污染?

6. 你的AI队友是否与企业的伦理框架保持一致?它反映的是你的价值观还是仅仅是你的数据?

7. 采取了哪些保障措施来防止对抗性操纵?你的团队是否对模型进行了红队测试，以应对提示利用、数据投毒或合成身份注入?

8. 你是否准备好在法庭或公众舆论中为AI的决策辩护?你能否向监管机构、客户和媒体解释并证明结果?

对齐需要架构

网络安全协作者Airrived的首席执行官阿努拉格·古尔图(Anurag Gurtu)长期警告说，如果没有上下文强化，GenAI模型往往会趋向于合理的错误。他主张整合基于图的结构和领域特定规则集，以帮助约束AI推理，这一建议现在变得更加紧迫。

教训是明确的：当AI在没有监督的情况下吸收信息，并在没有可审计性的情况下输出信息时，现实与响应之间的差距会扩大，这种差距成为了系统完整性、语义保真度和信任的破坏。

共同管理，中央责任

CISO仍然是企业韧性的关键人物，他们发现自己正在应对跨越多个领域的AI投毒风险，因此，合作伙伴关系至关重要。首席信任官(如果存在)带来了将模型行为与机构价值观和社会责任对齐的视角，首席数据官管理训练资产的完整性、来源和生命周期，首席隐私官确保在整个AI流程中数据的合法和道德处理。

这些领导者进行协作，但CISO进行整合，最终，是CISO需要向内部和外部受众解释一个被破坏的模型是如何做出决策的，以及企业采取了哪些措施来防止这种情况的发生。

每位CISO现在可以采取的六项行动

为了降低风险并重新获得对模型行为的可见性，安全领导者应采取以下六项与三个要务相一致的行动：可见性、警惕性和可行性。

可见性

1. 映射AI依赖关系：识别每个内部或第三方系统中AI影响重大决策的地方，包括SaaS平台中的嵌入式AI和影子部署。

2. 建立数据来源协议：要求记录每个模型构建的训练输入、版本控制和数字监管链。

警惕性

3. 监控行为漂移：使用已知基准、金丝雀输入和对抗性探测来检测随时间、上下文和用户群体发生的语义漂移。

4. 对意义而非仅对访问进行红队测试：模拟投毒输入、基于提示的利用和合成身份交互，以评估模型韧性。

可行性

5. 制定模型失败应对方案：为涉及幻觉输出、监管不合规或公众虚假信息事件的场景做准备，包括升级路径、回滚程序和公众沟通协议。

6. 在整个企业中投资AI流利度：安全、法律、合规和风险领导者都必须了解如何质疑AI，而不仅仅是信任AI。

供CISO思考的问题

AI系统现在是企业决策的共同作者，它们预测信用风险、标记健康异常、筛选申请人并分类威胁，但当这些系统在投毒数据上训练时，危害并非始于其部署，而是始于其形成过程。

CISO的角色一直是保护企业免受其尚未理解的威胁，AI投毒正是这种威胁。

一旦算法破坏了信任，就无法通过补丁来恢复，它必须被重建，且必须是故意和透明的，并在CISO的监督下进行。

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。