此外，当智能体偏离预期行为时，企业必须能够迅速将其关闭——以免造成潜在的灾难性破坏。

法律服务公司Purpose Legal的CTO Jon Higgins表示，对他们而言，这意味着要引入“紧急停止机制”。

“紧急停止机制的概念对Purpose Legal极其重要，”他说道，“对我们整体对待AI和智能体的方法而言同样如此。”

Jon Higgins指出，除了提供一层安全和运维控制外，紧急停止机制还能防止产生过高费用。

“对于我们内部开发的系统，我们始终保留在必要时手动禁用智能体并终止正在运行的任务的能力。”他补充道。

他解释说，要做到这一点，需要全面的监控和预警，以及Token和API使用量的限制控制，该公司还要求对所有新部署的智能体进行人工监督，且每一个新智能体都要经过质量保证、测试和审查，以确保其行为符合预期，并符合公司的安全和运维标准。

那么对于外部供应商提供的系统呢?Jon Higgins表示，Purpose Legal期望他们能维持类似的控制措施。

HG Insights的AI战略副总裁Francis Brero表示，对企业IT领导者来说遗憾的是，供应商提供的平台往往缺乏紧急停止功能。

“目前还没有供应商真正提供这种功能，”他说道，“甚至连Anthropic也没有，首先，哪怕是告诉客户存在紧急停止机制，本身就等于承认了你可能需要紧急停止机制。”

紧急停止机制势在必行

七月，国会提出了一项跨党派法案，要求AI系统开发商在其平台中内置紧急停止机制。

美国众议员Ted W. Lieu在声明中表示：“这些AI系统必须具备紧急停止机制，这样我们才能防止该技术造成灾难性伤害，并且让联邦政府拥有明确的权限和流程来关闭失控的AI模型。”

与此同时，开发自家AI系统的公司在理论上可以对系统进行构建，以便在出现问题时将其关闭、还原到可正常工作的早期版本，或者断开与数据源及其他企业系统的连接。

“我确实认为，在AI实验室提供相关功能之前，人们会寻求构建自己的紧急停止机制。”HG Insights的Francis Brero表示。

但这首先需要解决一个更大的挑战。

“在讨论紧急停止机制之前，你必须具备可观测性，”Gartner分析师Aaron Lord表示，“你能否追踪和监控组织使用了哪些AI、使用者是谁以及它正在做什么?”

根据Okta在七月发布的对300多名首席信息安全官的调查，只有47%的人有信心识别其环境中的所有AI智能体，只有46%的人集中控制这些智能体可以访问的内容，且只有45%的人可以授权单个智能体可以执行的操作。

随着AI模型变得越来越强大，风险也在不断上升。例如，OpenAI的失控AI攻破了其沙盒以及包括Hugging Face基础设施在内的多个外部系统的安全防护，包括Anthropic的Claude在内的其他AI智能体也已获得了对内部系统的未经授权访问或泄露了信息。

云安全联盟的AI驻店首席信息安全官Gadi Evron在OpenAI-Hugging Face事件后不久发布的一份报告中表示：“智能体总能找到出路，总会有它们可以利用的未被发现的技术债。”

根据云安全联盟四月份的一份报告，65%的组织在过去一年中经历过至少一起与AI智能体相关的事件，后果包括数据泄露(61%)、业务中断(43%)和经济损失(35%)。

因此，我们主要担心的AI幻觉时代早已过去，相反，根据ChatSee七月发布的对10000起企业AI故障事件的复盘，现在的AI故障包括解决与升级失效，以及范围界定、执行、响应和治理错误。

随着企业将其AI系统演变为更具智能体特性的系统，与2024年的基线相比，行动和执行故障增加了62%，而与幻觉相关的故障下降了7%。

控制失控智能体的成本

根据Hugging Face对七月事件的复盘报告，攻击性的OpenAI智能体执行了Hugging Face能够识别的大约17600次操作。当然，OpenAI并没有为这些智能体活动涉及的Token支付全额零售价，但作为企业客户，如果你的某个智能体跑偏了，买单的就是你。

因此，在IT领导者对AI支出变得谨慎之际，不受控制的AI智能体有可能将企业AI成本推得更高。网络上有零星的报告称，用户在让智能体运行了一整晚来执行某项任务后，收到了数千美元的意外账单。

此外，一些智能体还会生成子智能体，这可能会使成本进一步升级。

“或者智能体本身因为困惑而陷入循环，或者指令的表述方式可能导致它进入循环，”Gartner的Aaron Lord补充道，“这会推高Token使用量，我在网上看到很多人说：‘我们开启了这些智能体工作负载，然后留它们运行过夜。’如果它卡在循环里，损失可能是巨大的。”

不过，对于Purpose Legal等组织来说，AI智能体正在迅速成为公司演进和竞争定位的关键。

“这项技术非常棒，”Purpose Legal的首席创新官Jeff Johnson表示，“作为一家法律服务提供商以及为客户提供服务的律师，它将颠覆我们每天所做的一切。”

但他指出，AI智能体并不完美，因此Purpose Legal针对其AI系统设置了许多护栏。

未来某天，最宝贵的护栏可能会被证明是它的紧急停止机制。

降低失控AI暴露风险的应对措施

在OpenAI与Hugging Face事件公开后，云安全联盟发布了紧急指南，指出当组织面对愿意通过任何可用途径来实现目标的AI智能体时，传统安全控制措施是必要的，但还远远不够。

对此，CSA建议采取以下行动：

本周：

组建一个由高管领导的智能体 AI响应团队。

梳理高风险智能体系统的资产清单，例如涉及代码执行、凭据、持久化内存或互联网访问的系统。

对最高风险的部署应用默认拒绝出站流量规则和独立的紧急关机机制。

减少长期凭据暴露。

确认已完整捕获智能体遥测数据。

本月：

部署关联智能体、身份和系统之间活动的检测机制，而不是单独排查单个告警。

验证AI模型(包括经过测试的开源权重备用模型)是否能够在实时响应期间真正分析恶意代码。

测试从已知良好镜像中进行快速恢复。

本季度：

运行一次自主式AI桌面演练，模拟各种场景，例如环境内的自主智能体攻击、失控智能体攻击第三方、取证过程中的模型拒绝响应、处理多个同时发生的突破级事件、Token消耗过快以及持久性恶意智能体活动。

发布包含非人身份、支出限制和证据保留的临时智能体安全标准。

将非人身份和智能体身份明确纳入访问、身份和变更管理中。

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内头部的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。