部分CIO急于推出AI智能体，却对其决策过程缺乏真正的可见性，这无异于在冒险。

据AI专家称，在缺乏可观测性流程和工具的情况下部署智能体，就像埋下了一颗定时炸弹，可能带来巨大的负面后果。

AI安全公司Guardrail Technologies的CEO T.J. Marlin指出，许多公司正在部署AI智能体，并期望它们在几乎无需人工干预的情况下提升生产力，他认为这是错误的做法，相反，IT团队需要密切监控智能体，并在整个智能体化流程中持续调整策略和实践。

"这不是像慢炖锅一样设定好就不管了，"他说，"你不会早上把鸡放进锅里搁在厨房，晚上回来就能吃上一顿大餐。那些这么干的企业迟早会登上头条——因为他们刚出了大事故。"

Marlin表示，许多企业因害怕错失机会而快速部署智能体，却并不理解这项技术的细微之处，他补充说，一些IT领导者似乎把智能体等同于RPA，但RPA的结果要确定得多。

"现在既缺人才又缺知识，人们在快速搭建，却不检查是否正确、是否按预期运行，"他说，"这些正是我职业生涯中见过的最严重事故的共同特征。"

智能体治理厂商TrueFoundry近期发布的一份报告用数据印证了对缺乏监管的智能体的担忧，该报告调查了200多位企业AI负责人，发现54%的受访企业无法完整追溯其智能体的行为，56%的企业没有集中的智能体控制或治理层。

虽然TrueFoundry有推动智能体治理发展的商业利益，但许多其他AI专家也看到了同样的问题。

盲目治理

Google的高级数据与AI专家Mahesh Kumar Goyal表示，治理和可观测性方面的困难是部署高效智能体的主要障碍，许多企业在部署智能体时甚至没有建立集中的清单。

"大多数企业对已在生产环境中运行的智能体没有任何清单——他们试图治理自己看不见的东西。"他说。

此外，他指出，传统的SIEM(安全信息与事件管理)和EDR(端点检测与响应)安全工具是为发现人类异常行为而设计的，而非识别失控的智能体。"一个智能体连续完美运行代码一万次，看起来完全正常，哪怕它已经被劫持了。"他说。

他补充道，运行完全自主的智能体并非明智之举。企业需要考虑最小权限范围的工具授权、对每个提示和工具调用进行调解的策略执行层，以及将提示、工具调用和下游操作串联成一条可审计轨迹的端到端追踪。

"金融体系不是靠信任运行的，它靠的是可审计性、对账和熔断机制，"Goyal说，"智能体也会以同样的方式走向成熟，分层自主才是现实的答案：低风险任务自由运行，高后果任务必须人工介入。"

英伟达AI软件副总裁Adel El Hallak补充说，部分问题在于智能体颠覆了判断传统软件是否正常运行的模型。对于传统软件，QA和安全人员可以查看代码来调试问题，但智能体是在AI模型的运行时环境中做出决策的。

他补充道，智能体的事实来源在于追踪记录——即执行流程的记录，而非代码本身。收集追踪记录——本质上就是详细日志——是迈向智能体治理的第一步，但企业还需要能够基于这些信息采取行动。

"要信任某样东西，它必须是透明的，而可观测性是透明的基础，"El Hallak补充说，"但仅靠观察还不够。我们需要能够捕捉这些信号，并将其转化为可执行的行动。"

他表示，智能体治理超越了可观测性，使企业能够持续测试和调优智能体。相关工具已经存在，英伟达等公司正在构建自己的内部治理框架，还有多家厂商提供智能体可观测性和治理工具。

"仅有行为数据、仅捕获反馈数据是不够的，"他说，"系统应该允许我标注、修改、增强或创建额外的反馈数据，然后我才能用这些数据来整体改进我的智能体。"

治理瓶颈

与此同时，云存储厂商Box负责智能体工作流自动化的高级产品总监Nirmal Ganesh表示，许多开始推进智能体治理的公司发现，如果方法不当，治理反而会成为巨大的瓶颈。

"我认为在企业部署智能体这件事上，我们还没有度过最难的阶段，"他说，"大多数公司目前还做不好这些，而真正能在智能体治理和可观测性的支撑下规模化运行智能体的公司更是少之又少。"

Ganesh看到了几个问题，包括智能体在没有明确权限模型的情况下运行。"如果一个智能体能看到的比人多，或者在内容或数据上拥有超越某人的访问权限，那就等于事故在等着发生，"他说。

然而，一些早期的智能体治理模型无法规模化，他表示，一些IT团队默认采取了人类必须审批每个智能体输出的策略，因为这是最安全的选择。

"实际上，这不过是用更多检查点或建议点重建了手动流程，"Ganesh说，"在高并发场景下，治理是你规模化的瓶颈，而不再是你的安全网。"

他补充道，企业需要建立既可扩展又全面的可观测性和治理流程。智能体的投资回报将来自强有力的防护栏、清晰的权限模型和明确的人工介入机制。

"每一个成熟的自动化系统都需要持续的可观测性——工作流在变、策略在变、决策在变、新用例在出现，"他说，"对于随时间变化的事物，人工介入始终是必要的，但对于已知路径，我们需要更少的介入，而把重心放在异常处理和治理调优上。"

仅观察输出远远不够

法律服务AI厂商SavvyLex的创始人兼CAIO Marcelo Lorenzetti补充说，治理不能只关注智能体的输出。

"最大的挑战不仅仅在于智能体能否给出好答案，"他说，"而在于企业能否证明智能体访问了什么、遵循了什么指令、调用了什么工具、做出了什么决策、在哪里有人工介入，以及它是否始终在授权范围内运行。"

他表示，如果缺乏完整的运行时可见性，企业只能依赖截图、日志和事后解释，而这些可能无法满足法律、合规或安全要求。

他补充道，智能体应该被持续验证而非完全信任，治理应被内建到智能体架构本身，他建议，治理应包括基于角色的访问、策略约束执行、人工审批阈值、来源与工具溯源、不可篡改的活动记录、置信度评分、异常处理，以及智能体触及权限边界时的明确升级路径。

"可观测性不应仅限于模型是否做出了响应，"Lorenzetti说，"它应该展示从输入到行动的完整决策路径。"

他补充说，AI智能体已经改变了所需的治理模式。

"核心问题在于，许多公司正从回答问题的AI转向采取行动的AI，但他们的治理模型仍然是为被动工具设计的，而非为自主工作流设计的。"他说。

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内头部的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。