那些因AI项目的变革性优势而批准项目的安全主管和CFO,如今正面临捍卫这些系统的隐性开支。对手已发现,推理是AI为企业“创造价值”的环节,也正是他们能造成最大破坏的地方。结果导致成本激增:在受监管行业,违规遏制成本每起事件可能超过500万美元,合规整改费用高达数十万美元,而信任危机可能引发股价暴跌或合同取消,从而严重削弱预期的AI投资回报率,若无法在推理阶段控制成本,AI将成为不可控的预算变数。
不见的战场:AI推理与飙升的总拥有成本
AI推理正迅速成为“下一个内部风险”,CrowdStrike美国区现场首席技术官Cristian Rodriguez在RSAC 2025大会上向听众表示。
其他技术领袖也持相同观点,并指出企业战略中存在一个共同盲点。WinWire的首席技术官Vineet Arora指出,许多企业“在密切保护AI基础设施安全的同时,无意中忽视了推理环节”。他解释说,“这导致了对持续监控系统、实时威胁分析和快速补丁机制的成本低估。”
Telesign产品与组合高级副总裁Steffen Schreier指出的另一个关键盲点是,“假设第三方模型已经过全面审查,部署起来绝对安全”。他警告说,实际上,“这些模型往往未经针对企业特定威胁环境或合规需求的评估”,可能导致有害或不合规的输出,进而损害品牌信任。Schreier告诉记者,“推理阶段的漏洞——如提示注入、输出操纵或上下文泄露——可能被攻击者利用,产生有害、有偏见或不合规的输出。这在受监管行业中构成严重风险,并可能迅速削弱品牌信任。”
当推理环节受到损害时,其影响会波及总拥有成本的多个方面。网络安全预算激增,合规性受到威胁,客户信任受损。高管们的情绪反映了这种日益增长的担忧。在CrowdStrike的《网络安全中AI状态》调查中,只有39%的受访者认为GenAI的收益明显超过风险,而40%的受访者认为两者相当。这种矛盾情绪凸显了一个关键发现:安全和隐私控制已成为新GenAI项目的首要要求,令人震惊的是,90%的企业现在正在实施或制定管理AI采用的策略。首要关注点已不再抽象:26%的受访者提及敏感数据泄露,25%的受访者担心对抗性攻击是主要风险。
推理攻击剖析
运行AI模型所暴露的独特攻击面正受到对手的积极探测。为应对此,Schreier建议,“必须将每个输入视为潜在的恶意攻击。”像OWASP大型语言模型(LLM)应用前十威胁框架这样的工具,记录了这些威胁,它们已不再是理论上的,而是影响企业的实际攻击向量:
1. 提示注入(LLM01)和不安全的输出处理(LLM02):攻击者通过输入或输出操纵模型。恶意输入可能导致模型忽略指令或泄露专有代码。当应用程序盲目信任AI响应时,就会发生不安全的输出处理,允许攻击者将恶意脚本注入下游系统。
2. 训练数据投毒(LLM03)和模型投毒:攻击者通过偷偷加入污染样本篡改训练数据,植入隐藏触发器。随后,一个无害的输入可能触发恶意输出。
3. 模型拒绝服务(LLM04):对手可以用复杂输入压垮AI模型,消耗过多资源以减慢或崩溃它们,导致直接收入损失。
4. 供应链和插件漏洞(LLM05和LLM07):AI生态系统建立在共享组件之上。例如,Flowise LLM工具中的一个漏洞在438台服务器上暴露了私人AI仪表板和敏感数据,包括GitHub令牌和OpenAI API密钥。
5. 敏感信息泄露(LLM06):如果机密信息是其训练数据的一部分或存在于当前上下文中,巧妙的查询可以从AI模型中提取这些信息。
6. 过度代理(LLM08)和过度依赖(LLM09):如果被操纵,授予AI代理无限制的权限来执行交易或修改数据库将是一场灾难。
7. 模型盗窃(LLM10):通过复杂的提取技术,企业的专有模型可能被盗——这是对其竞争优势的直接攻击。
这些威胁背后是基础性的安全失败。对手经常利用泄露的凭证登录。据《CrowdStrike 2025全球威胁报告》,2024年初,35%的云入侵涉及有效用户凭证,且新的、未归属的云攻击尝试激增了26%。一场深度伪造活动导致了一起2560万美元的欺诈性转账,而AI生成的钓鱼邮件点击率高达54%,是人类撰写邮件的四倍多。
回归基础:新时代的根基性安全
保护AI需要严格回归安全基础——但需通过现代视角应用。Rodriguez认为:“我们需要退一步,确保安全的基础和原则仍然适用。保护操作系统的方法同样适用于保护AI模型。”这意味着要在每条攻击路径上实施统一保护,包括严格的数据治理、强大的云安全态势管理(CSPM),以及通过云基础设施权限管理(CIEM)实现的以身份为先的安全,以锁定大多数AI工作负载所在的云环境。随着身份成为新的边界,AI系统必须像任何其他业务关键云资产一样,受到严格的访问控制和运行时保护。
“影子AI”的幽灵:揭开隐藏的风险
“影子AI”,即员工未经批准使用AI工具,创造了一个巨大且未知的攻击面。一位金融分析师使用免费的在线LLM处理机密文件可能无意中泄露专有数据。正如Rodriguez警告的,向公共模型的查询可能“成为他人的答案”。解决这一问题需要明确的政策、员工教育以及技术控制,如AI安全态势管理(AI-SPM),以发现和评估所有AI资产,无论是否经过批准。
强化未来:可行的防御策略
尽管对手已将AI武器化,但形势正开始转变。正如Ivanti现场首席信息安全官Mike Riemer所观察到的,防御者正开始“利用AI在网络安全方面的全部潜力,分析从各种系统中收集的大量数据”。这种主动姿态对于构建强大的防御至关重要,它需要几个关键策略:
从零开始为推理安全预算:Arora建议,第一步是进行“全面的基于风险的评估”。他建议绘制整个推理流程图,以识别每个数据流和漏洞。“通过将这些风险与可能的财务影响联系起来,”他解释说,“我们可以更好地量化安全漏洞的成本,”并制定现实的预算。那些在AI项目预算中为推理阶段安全分配少于8%至12%的企业,往往会在后来的违规恢复和合规成本上措手不及。一位接受采访并要求匿名的财富500强医疗保健提供商首席信息官,现在将其总GenAI预算的15%用于训练后风险管理,包括运行时监控、AI-SPM平台和合规审计。一个实际的预算模型应将资金分配到四个成本中心:运行时监控(35%)、对抗性模拟(25%)、合规工具(20%)和用户行为分析(20%)。这些投资减少了下游的违规补救成本、监管处罚和服务水平协议(SLA)违规,所有这些都有助于稳定AI的总拥有成本。
实施运行时监控和验证:首先调整异常检测,以发现推理层的行为,如异常的API调用模式、输出熵变化或查询频率激增。像DataDome和Telesign这样的供应商现在提供针对GenAI滥用特征定制的实时行为分析。团队应监控输出中的熵变化,跟踪模型响应中的标记不规则性,并关注来自特权账户的异常查询频率。有效的设置包括将日志流式传输到安全信息和事件管理(SIEM)工具(如Splunk或Datadog),并使用针对GenAI的解析器,以及为偏离模型基线的偏差设置实时警报阈值。
为AI采用零信任框架:对于AI环境,零信任是不可妥协的。它遵循“永不信任,始终验证”的原则。Riemer指出,通过采用这种架构,企业可以确保“只有经过身份验证的用户和设备才能访问敏感数据和应用程序,无论其物理位置如何”。推理阶段的零信任应在多个层次上实施:
• 身份:对访问推理端点的人类和服务主体进行身份验证。
• 权限:使用基于角色的访问控制(RBAC)限制大型语言模型(LLM)的访问,并设置有时限的特权。
• 分段:使用服务网格策略隔离推理微服务,并通过云工作负载保护平台(CWPP)实施最小权限默认设置。
保护AI投资回报率:CISO/CFO协作模型
保护企业AI的投资回报率需要积极模拟安全的财务收益。从基准投资回报率预测开始,然后为每个安全控制添加成本规避场景。将网络安全投资与避免的成本(包括事件补救、SLA违规和客户流失)联系起来,将风险降低转化为可衡量的投资回报率增长。企业应模拟三种投资回报率场景,包括基准、有安全投资和违规后恢复,以清晰展示成本规避。例如,一家部署输出验证的电信公司每月阻止了12,000多次错误路由的查询,每年节省了630万美元的SLA罚款和呼叫中心工作量。将投资与避免的成本(包括违规补救、SLA不合规、品牌影响和客户流失)联系起来,为向首席财务官展示投资回报率提供有力论据。
清单:CFO级别的投资回报率保护模型
首席财务官需要清晰地传达安全支出如何保护底线。为了在推理层保护AI投资回报率,安全投资必须像任何其他战略资本分配一样进行建模:与总拥有成本、风险缓解和收入保护直接相关。使用此清单使AI安全投资在董事会中可辩护,并在预算周期中可操作:
1. 将每项AI安全支出与预期的总拥有成本降低类别(合规、违规补救、SLA稳定性)联系起来。
2. 运行具有3年视野场景的成本规避模拟:基准、受保护和违规反应。
3. 量化因SLA违规、监管罚款、品牌信任侵蚀和客户流失造成的财务风险。
4. 与首席信息安全官和首席财务官共同建模推理层安全预算,以打破企业隔阂。
5. 将安全投资展示为增长推动器,而非开销,展示它们如何稳定AI基础设施以实现持续价值捕获。
此模型不仅捍卫AI投资;它还捍卫预算和品牌,并可以保护和增强董事会的信誉。
结论分析:战略必需品
首席信息安全官必须将AI风险管理呈现为业务推动器,以投资回报率保护、品牌信任维护和监管稳定性来量化。随着AI推理深入收入工作流程,保护它不再是成本中心;它是AI财务可持续性的控制平面。基础设施层的安全战略投资必须用首席财务官能够采取行动的财务指标来证明其合理性。
前进的道路要求企业在AI创新投资与同等保护投资之间取得平衡。这需要新的战略一致性水平。正如Ivanti首席信息官Robert Grazioli告诉记者的:“首席信息安全官和首席信息官的一致性对于有效保护现代企业至关重要。”这种协作对于打破削弱安全的数据和预算隔阂至关重要,使企业能够管理AI的真实成本,并将高风险赌博转变为可持续、高投资回报率的增长引擎。
Telesign的Schreier补充说:“我们通过数字身份和信任的视角来看待AI推理风险。我们在AI工具的整个生命周期中嵌入安全性——使用访问控制、使用监控、速率限制和行为分析来检测滥用,并保护我们的客户及其最终用户免受新兴威胁。”他继续说:“我们将输出验证视为AI安全架构的关键层,特别是因为许多推理阶段的风险并非源于模型的训练方式,而是源于它在野外的行为方式。”
企业网D1net(www.d1net.com):
国内头部to B IT门户,旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。
版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。