AI智能体自主化遇阻:企业为何仍不敢放手?

责任编辑:cres

作者:Grant

2026-11-06 15:18:24

来源:企业网D1Net

原创

企业AI智能体正加速落地,但真正放权仍是难题。KPMG调查显示,62%的IT领导者正在开发或部署AI智能体,但多数企业尚不敢让其独立处理关键业务。

IT领导者已经开始在低风险职能中部署自主AI智能体,但在涉及业务关键场景时,大多数人仍不相信这项技术能够在没有人工监督的情况下独立运行。

自主式AI的真正价值,在于AI智能体能够在整个企业范围内自主协调、做出决策并采取行动,然而,似乎只有少数IT领导者已经准备好将广泛的控制权交给这些智能体。

根据KPMG在7月和8月开展的一项调查,62%的IT领导者表示,他们正在构建、部署或开发AI智能体,高于上一季度的53%,但许多IT领导者仍然对将内部业务流程交由AI智能体负责感到不安,只有一些基础、低风险的职能例外,例如一级IT支持。

AI生命周期管理与治理解决方案供应商ModelOp的CTO Jim Olsen认为,智能体自主能力已经开始在有限场景中落地,例如,无需人工干预即可处理客户退款或抵扣业务,但早期实践中暴露出的完全自主运行风险,仍然让IT领导者保持高度警惕。

他说:“我们看到,许多个人用户大量采用了Clawdbot和OpenClaw,并允许它们完全访问自己的电子邮件,同时赋予它们完全的自主权。对一些人来说,这种做法效果不错,但也带来了巨大的风险敞口。”

对于正在部署自主智能体的IT领导者,Olsen建议将它们严格限制在沙箱环境中,并制定明确的策略,以约束其自主权限。

他说:“我认为,在可预见的未来,企业不会允许AI智能体拥有完全且不受限制的自主权,任意执行自己想做的事情,但事实上,受限自主模式如今已经投入使用。”

Olsen预测,IT领导者最先赋予智能体完全自主权的,将是那些不属于业务关键环节、也无法访问敏感信息的活动,他补充说:“随着信任程度不断提高,智能体的应用场景范围也将随之扩大。”

一些IT领导者担心出现“自主权蔓延”现象,即AI智能体在不知不觉中获得超出原定范围的权限。许多AI和安全专家还警告称,人在环路防护机制并不总能确保员工拥有纠正智能体错误所需的权限或时间。

不过,Olsen表示,IT领导者仍然可以采用多种方法,在运行时执行策略并确保智能体行为符合可接受的目标,包括API网关、操作系统级强制执行机制以及凭证管理。

他补充说:“这意味着必须制定明确的策略,并能够将这些策略与特定智能体及其应用场景关联起来。目前已经有一些解决方案可用,但要建立这种最低限度的信任,还需要一套更加全面、协调一致的整体策略。”

明确自主权的最佳边界

尽管所在企业已经部署了约2000个AI智能体,网络安全解决方案供应商Barracuda Networks的CIO Siroui Mushegian仍然安排人工员工检查智能体的操作。

她表示:“我们有许多智能体已经非常接近完全自主运行的状态,例如,我们的许多工单自动化流程都采用了‘信任但验证’的模式,由专门监督这些智能体的人员进行检查,我们看到的成功案例越多,对它们的信任程度就越高,但我仍然不能百分之百确定,是否应该完全取消人工问责机制,尤其是在涉及可审计流程时。”

Mushegian预计,随着智能体不断证明自己能够可靠地完成特定任务,其自主权限也将逐步扩大。

她说:“在赋予智能体更多权限之前,需要根据出错可能造成的后果,来决定必须收集多少证据,以证明它具备相应能力。”

她补充说,未来智能体的自主运行很可能主要体现在某个职能内部执行具体任务,例如,如果常规内部支持请求的答案有完善的文档记录、执行操作的范围有限,而且出错后容易纠正,那么这类任务就适合交由智能体自主处理。

相比之下,能够修改访问权限或更改生产系统的智能体,则不太适合被赋予自主权。

她说:“即使是在同一个工作流程中,智能体也可能自行完成其中一些步骤,而在执行其他步骤时仍需要获得批准,我只会赋予它完成任务所必需的权限,对于那些一旦出错就可能造成严重后果的决策,则必须保留人工审批。”

关键不在于智能体,而在于它执行的操作

家庭账单应用供应商Taupia的联合创始人兼CTO Joshua Rowe也认同,IT领导者不应该在所有情况下都赋予智能体完全自由的行动权。

他说:“我认为,划定权限边界时,应该关注具体操作,而不是智能体本身,同一个智能体在执行某个步骤时可以自主行动,但在下一步可能就需要获得批准。”

不过,Rowe认为,目前已经有许多领域可以让智能体以接近完全自主的方式运行,包括以读取信息为主的工作,例如收集数据、分类处理、起草内容以及比较不同方案。

Taupia正在测试一项智能体功能,该功能能够比较不同的能源供应方案,并采取相应步骤,帮助客户更换能源供应商,而无需公司员工逐步审批,不过,在变更正式生效之前,客户仍然需要审核相关变更并予以确认。

Rowe表示,对于那些涉及不可逆操作的任务,智能体何时能够获得自主执行权限,并不取决于AI模型何时变得更加智能。

他说:“关键在于企业能以多快的速度,让每项操作都具备可撤销性或明确的执行边界,例如设置支出限额、冷静期、回滚机制,以及足够完善的审计追踪记录,以便在出错时撤销操作。一旦具备这些条件,就可以让智能体自主执行。对于无法撤销的操作,例如签署合同或将资金转出账户,我认为在可预见的未来,仍然应该由人工审批。”

自主权需要经过审慎设计

AI客户服务平台供应商Text的CTO Maciej Walaszczyk指出,客户服务是IT领导者已经开始将部分控制权交给AI智能体的领域之一。

他说:“在客户服务领域,也就是我的专业领域,智能体确实已经能够在不需要持续监督的情况下回答客户咨询,因为它们可以从人类提供的知识中学习。智能体的自主权限范围取决于其获得的授权,以及相关操作可能造成的后果。此外,回答内容的范围也可以根据具体需求进行定制。”

但Walaszczyk表示,他不会将整个部门都交由AI智能体负责,他建议,IT领导者应该将特定流程委派给智能体,在这些流程中明确目标、设定边界,并对执行结果进行验证。

他补充说:“代表我行事的智能体,其权限不能超过我本人拥有的权限,我认为,这并不是一个是否感到放心、甚至是否有勇气放手的问题,而是要有意识地设计好运行环境、权限、指令和监督机制。”

Walaszczyk还表示,真正的信任必须建立在实际工作和经过验证的结果之上。在许多情况下,人类必须始终参与其中,对智能体的执行结果进行检查。

他说:“监督必须是真实有效的,这需要投入时间和精力,绝不仅仅是点击一下‘批准’按钮。不能因为说一句‘这是AI做的’,就免除自己的责任。对于不可逆的操作,或者可能造成重大后果的操作,必须经过人工审核。”

企业网D1net(www.d1net.com):

国内头部to B IT门户,旗下运营国内头部的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

AI

链接已复制,快去分享吧

企业网版权所有©2010-2026 京ICP备09108050号-6京公网安备 11010502049343号