智能体面临的讽刺局面在于，它们需要决策自主性来提供完整价值，但许多AI专家仍将它们视为黑箱，其行动背后的推理逻辑对部署企业来说不可见。他们表示，决策透明度的缺乏，为将智能体作为推动重大效率提升的自主工具进行全面部署，设置了潜在的障碍。

然而，许多AI从业者表达的信任方面的担忧，似乎并未传达给潜在用户，因为许多企业已经搭上了炒作智能体的列车。

软件市场平台G2于10月发布的一项调查显示，约57%的B2B企业已将智能体投入生产，几家IT分析公司预计，未来几年智能体市场将出现巨大增长。例如，Grand View Research预测，2025年至2030年间的复合年增长率将接近46%。

AI专家指出，许多使用自主式智能体的客户企业尚未意识到，如果没有适当的保障措施，智能体可能有多么不透明，而且，即使推出了保障措施，目前的大多数工具仍不足以阻止智能体的不当行为。

误解与误用

智能体构建平台Writer的产品管理总监Matan-Paul Shetrit表示，对智能体角色和功能的广泛误解可能会阻碍该技术的发展。许多企业将智能体视为类似于简单的API调用，输出结果可预测，而实际上用户应将它们更多地视为初级实习生，他说道。

“和初级实习生一样，它们需要一定的保障措施，而API则相对容易控制，”Shetrit补充道，“控制实习生实际上要困难得多，因为他们可能会在知情或不知情的情况下造成损害，还可能访问或引用不应获取的信息。他们可能会听到Glenda与我们CIO的谈话，并听到一些专有信息。”

他表示，智能体开发者和用户企业面临的挑战将是管理所有这些可能被部署的智能体。

“你很容易想象，一个拥有1000人的企业部署了10000个智能体，”Shetrit认为，“他们不再是一个拥有1000人的企业，而是一个拥有11000个‘人’的企业，而这样的企业管理起来截然不同。”

Shetrit推测，对于像银行这样的巨头企业来说，智能体数量最终可能会达到500000个——这种情况将需要全新的企业资源管理、IT可观测性和监督方法。

“这需要重新思考你的整个企业结构和业务运作方式，”他说道，“在我们这个行业解决这个问题之前，我不相信智能体技术会得到广泛普及，并以实现智能体承诺的方式被采用。”

广告技术提供商Zefr的首席AI官Jon Morra补充道，许多部署智能体的企业尚未意识到存在一个需要解决的问题。

“人们并不清楚智能体存在多少信任问题，”Morra说道，“智能体的概念对人们来说仍然相对陌生，很多时候它们是‘无的放矢’的解决方案。”

Morra认为，在许多情况下，可以部署更简单、更具确定性的技术来替代智能体。他表示，许多部署驱动智能体的大型语言模型(LLM)的企业，似乎仍然缺乏对风险的基本认识。

“人们现在对智能体过于信任，而这正在让他们自食其果，”他说道，“我参加过很多会议，使用LLM的人会说，‘Jon，你有没有注意到它们会算错数学题，或者有时会编造统计数据?’而我会说，‘是的，这种情况会发生。’”

虽然许多AI专家认为，随着AI模型的改进，对智能体的信任度会长期提升，但Morra认为，由于AI总是存在产生幻觉的潜在可能，因此永远无法获得完全的信任。

自主性不信任导致的工作流程摩擦

尽管Morra和Shetrit认为AI用户并不了解智能体透明度问题，但G2的10月研究报告指出，人们对智能体执行某些任务(如自动屏蔽可疑IP或回滚失败的软件部署)的信任度正在提高，不过63%的受访者表示，他们的智能体需要比预期更多的人工监督。不到一半的受访者表示，总体而言，他们信任智能体在有保障措施的情况下做出自主决策，只有8%的人对给予智能体完全自主权感到放心。

G2的首席创新官Tim Sanders对此持不同意见：他认为，对智能体缺乏信任更多的是一个问题，而非技术缺乏透明度。他表示，虽然对新技术的不信任是人之常情，但智能体的承诺在于它们能够在无需人工干预的情况下行动。

他指出，调查显示近一半的B2B企业都在购买智能体，但却未赋予它们真正的自主权。“这意味着人类必须对每一项行动进行评估和批准，”Sanders说道，“而这似乎违背了采用智能体以提高效率、生产力和速度的初衷。”

他主张，这种信任差距可能会让对智能体过于谨慎的企业付出高昂代价。“由于在智能体工作流程中设置了过多的人工环节，造成了瓶颈，他们将错失数十亿美元的成本节约机会，”Sanders解释道，“信任来之不易，却极易失去，然而，智能体在经济和运营方面的潜力，实际上正在推动有增长意识的企业领导者扩展信任，而非退缩。”

谨慎行事

鉴于AI供应商仍需解决的透明度问题，其他AI专家提醒企业IT领导者在部署智能体时要谨慎行事。

开曼群岛AI数字化转型工作组负责人Tamsin Deasey-Weinstein表示，AI在有人参与和严格治理的情况下效果最佳，但许多智能体被过度营销，且治理不足。

“虽然智能体很神奇，因为它们将人类从流程中剔除，但这也让它们变得极其危险，”Deasey-Weinstein说道，“我们在推销自主智能体的前景，但实际上，如果没有严格的保障措施，它们就是等待发生的灾难。”

为了应对这种透明度的缺乏，她建议限制智能体的范围。

“最值得信赖的智能体，其能力范围狭窄得令人乏味，”Deasey-Weinstein说道，“智能体的范围越广、自由度越高，输出结果出错的可能性就越大。最值得信赖的智能体，其工作范围小、定义明确，且保障措施非常严格。”

然而，她也承认，部署高度针对性的智能体可能对某些用户来说缺乏吸引力。“这对于那些永远要求更高、希望用更少的时间和技能完成更多工作的消费者来说，既不可销售也不具吸引力，”她说道，“只是要记住，如果你的AI智能体可以在无人参与的情况下编写每一封邮件、处理每一份文档、调用每一个API，那你就拥有了一个你无法控制的东西，选择权在你。”

许多AI专家还认为，自主智能体最适合用于做出低风险决策。“如果一项决策影响到某人的自由、健康、教育、收入或未来，那么AI应该只起到辅助作用，”Deasey-Weinstein说道，“每一项行动都必须可解释，而AI却并非如此。”

她建议采用经合企业AI原则和美国国家标准与技术研究院AI风险管理框架等框架，作为帮助企业理解AI风险的指南。

观察与协调

其他AI从业者指出，新兴的AI可观测性实践可作为解决智能体不当行为的一种方案，尽管也有人表示，仅凭可观测性工具可能无法诊断智能体的潜在问题。

AI协调供应商Kamiwaza AI的现场首席技术官James Urquhart表示，使用智能体的企业可以部署一个协调层，来管理生命周期、上下文共享、身份验证和可观测性。

和Deasey-Weinstein一样，Urquhart也主张智能体应扮演有限角色，他将协调比作裁判，可以监督一组专业智能体。“不要使用一个‘无所不能’的智能体，”他说道，“将智能体视为一个维修团队，而非一把瑞士军刀。”

他表示，AI存在信任问题，但这是一个架构问题。

“如今，大多数企业都可以建立一个智能体，但很少有企业能够解释、约束和协调一群智能体，”他补充道，“如果企业没有实现规模、安全和治理的控制平面，那么它们只会制造更多的混乱。”

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。