• 什么是智能体可观测性?它是一种对AI智能体每一步操作进行追踪、打分和监控的实践，能够将隐藏的智能体活动转化为可衡量的性能数据。

• 为什么CX团队现在需要它?自主式AI在客户服务领域的应用推广速度已经超越了监测工具的发展，这导致营销人员无法解释智能体出现的错误、成本飙升或行为漂移问题。

• 营销人员在大规模部署智能体前应询问什么?他们应确认供应商是否具备追踪多轮对话、运行自动化评估、归因单个智能体成本以及检测行为漂移的能力。

试想一下，如果一位车间主管只能看到半个车间：近处的员工清晰可见，其工作能得到指导、纠正和认可，而远处的员工则在墙后操作。随着CX团队将AI智能体引入工作流，许多团队正面临相同的处境。人类客服的工作体现在仪表盘和质检评估中，而AI智能体虽然处理工单、个性化推荐并路由对话，但绝大多数活动都发生在无人可见的死角。

解决方案借用了曾经属于工程团队的概念——智能体可观测性，它是指捕获AI智能体在每一步所做的操作，并评估其工作质量的实践，这一分析学科正帮助CX管理者有效统筹由人类与机器共同组成的混合团队。Gartner预测，到2028年，部署AI的组织中有40%将采用专门的AI可观测性工具，用于监控模型性能、偏见和输出。

对于CX管理者而言，这一转变决定了人机协作团队是依靠事实依据还是凭感觉运行。

接下来的内容涵盖了智能体如何改变CX团队的日常工作、传统分析工具在大规模应用中为何存在盲区、分层可观测性的运作机制，以及营销人员目前可采取的准备措施，其目标是帮助你在智能体数量超过监管人员之前，完成对人机协作企业的工具化部署。

AI智能体如何重构CX团队的日常工作流

Genesys报告显示，40%的CX组织已经在使用自主式AI，82%的CX管理者预计自主智能体将在三年内统筹客户体验。自主式AI进入客户体验领域的步伐超出了大多数规划周期的预期，这些智能体已在生产环境中运行：回答问题、完成任务，并决定何时引入人工客服。

在此过程中，CX管理者的角色发生了转变。CX管理者不再需要编写每一条规则或审查每一条回复，而是设定目标并监管人工与自动化的混合工作流，这听起来像是从繁琐的工作中解脱出来，事实往往也确实如此，但挑战在于监管环节：人类客服的绩效表现在处理时长和客户满意度等熟悉指标中，而AI智能体的绩效却隐藏在一系列模型调用、工具触发和任务交接中，这些过程是传统CX报告从未捕获过的。

管理幅度也发生了变化，过去一位CX管理者只能管辖少数几位专家，而现在可能需要同时监管数十个智能体工作流，每个工作流做出决定的速度都超越了人工实时审查的能力范围。在这种规模下，只有系统具备自我汇报能力，监管才能奏效。团队需要智能体留下行为痕迹，因为没有人能够实时旁听每一次对话。

客户会在仪表盘有所反应前就感知到差异，Genesys还发现，84%的客户最多给虚拟智能体三次解决问题的机会，而47%的客户在与心仪品牌发生两三次不愉快的互动后就会转向竞争对手，如果团队无法弄清智能体给出错误答案的原因，就无法在损失客户之前修复这种模式，对智能体行为的可视化本身已成为客户体验不可或缺的一部分。

常见问题：面向CX团队的智能体可观测性

编者按：这些问题阐述了智能体可观测性的运作机制，以及随着自主式AI规模化应用，CX团队采用它的原因。

已有多少CX组织在使用自主式AI?

Genesys报告显示，40%的CX组织已经在使用自主式AI，82%的CX管理者预计自主智能体将在三年内统筹客户体验。

为什么解决率不再能证明智能体质量?

客户分析的核心在于出色地完成两件事：展示分析用于挖掘互动机会的客户活动数据，以及追踪人类团队通过内容和相关媒体创造的价值。智能体打破了这一模式，因为它们产生了第三种既高频又难以解读的活动流。单个智能体每天可以做出数千次决策，每一次决策都以某种方式进行路由、检索或推理，从而塑造了最终结果。

单是海量的数据就会让旧有的报告机制不堪重负，更严重的问题在于不透明性。Gartner指出，AI的决策过程往往是隐藏的，这导致输出结果难以解释或信任，且错误可能带来严重的财务和声誉损失。解决率只能说明智能体关闭了工单，却无法告诉你智能体是否伪造了政策、使用了过时数据，或是升级了本该由其处理的案件。结果指标只报告了比分，却没有提供比赛录像。

这就要求大部分CX管理者现有的仪表盘承担不同的职责，客户仪表盘报告客户侧发生的情况(如会话数、转化率和满意度)，智能体可观测性则报告工作内部发生的情况——即产生这些客户结果的推理过程和步骤。两者相互关联，成熟的CX团队会结合双方数据进行对比分析。当智能体链路追踪显示模型在同一周开始引用过时的退换货政策时，客户仪表盘上满意度的下降就具有了更明确的诊断意义。

资金成本使这一差距变得迫在眉睫，eMarketer报告指出，绩效报告和客户旅程运营已成为自主式AI最常见的应用场景，这意味着智能体正在直接塑造CX团队向管理层汇报的数据。当生成洞察的工具本身未被监控时，CX管理者就是在信任他们尚无法核实的结果。可观测性通过将智能体行为与成本及结果挂钩来闭环这一过程，从而使CX管理者能够明确哪些智能体物有所值，哪些需要重新训练。

为什么解决率无法揭示智能体错误?

解决率仅能确认工单已关闭，无法显示智能体是否伪造了政策、使用了过时数据或本应进行升级处理，而这正是智能体可观测性所填补的空白。

智能体必须被“工具化”，这意味着平台会在智能体运行期间记录每一步操作，而不是在事后重新构建。设计良好的工具可以在几乎不产生可察觉延迟的情况下捕获这些痕迹，不过更沉重的配置可能会带来额外开销，值得在自身环境中进行测试。对于CX团队而言，实用的经验是在智能体上线前确认工具化埋点已就绪，系统从未记录过的对话是无法恢复出追踪链路的。

这种分层方法至关重要，因为跳过任何一层都会留下潜在盲区，并在日后评估智能体性能时显现。一个拥有链路追踪但缺乏效果评估的团队，能看到发生了什么却无法判定是否合格，一个拥有效果评估但缺乏成本归因的团队，能证明质量却无法证明价值。Gartner将评估与可观测性视为为业务关键型AI测试注入严谨性与可重复性的途径，而这种严谨性正是受监管的智能体与不受控制的风险隐患之间的本质区别。

智能体可观测性的五个层级

链路追踪、效果评估、人工反馈、成本归因和漂移检测——每个层级都以前者为基础，从记录智能体活动逐步演进到对其质量、成本和可靠性做出评估。

在智能体规模化前CX团队如何准备

大多数CX团队本季度不会购买独立的可观测性平台，他们将在现有的智能体工具中继承可观测性功能，并且需要明确优劣标准。处于这一阶段的团队可以采取一些策略进行准备，无需等待漫长的采购周期。

首先，明确团队真正认可的“解决”定义，许多仪表盘在对话结束的瞬间就将其计为已解决，这无异于鼓励智能体关闭会话而非解决问题。一个更严苛的定义——未发生升级处理、一周内未重新发起且无负面满意度评分——能为可观测性提供客观的衡量基准。根据该标准对上个月的智能体对话重新打分，往往能揭示报告绩效与真实绩效之间的巨大差距。

在全面投入前开展小规模实验，选择一条高频、低风险的客户旅程(例如退货状态查询或订单检索)，开启几周的链路追踪和效果评估。观察智能体在何处出现犹豫、幻觉或盲目升级，该试点项目能让团队在失误成本极低的情况下学会解读智能体行为，为智能体进入高风险对话场景积累必要的判断力。

在工具到位前明确责任归属，可观测性数据介于营销、CX运营和IT部门之间，如果没有人负责采取行动，数据就会闲置。指定一个人或小组专门审查智能体追踪链路、报告质量，并决定何时暂停智能体进行重新训练。只有当发现的问题反馈给有权改变智能体行为的人员时，其价值才能真正体现。

购买智能体可观测性平台前需提出的问题

带有明确的问题清单能让工具选型讨论变得更容易，在将智能体平台引入技术栈之前，请要求供应商展示以下内容：

• 平台如何追踪完整的多轮智能体对话，而不仅是最终回复。

• 哪些评估指标是自动运行的，以及是否能添加特定品牌的自定义检查项。

• Token与模型成本如何归因到具体的智能体和工作流。

• 当平台检测到漂移时采取什么措施，以及会通知哪些人员。

• 人工审查员如何将纠正意见反馈到智能体的打分机制中。

这些问题的答案能够区分出哪些供应商平台是专为受监管的混合团队设计的，哪些只是生产智能体并撞大运的。无法追踪对话或归因成本的供应商，卖出的只是缺乏问责机制的自动化。

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内头部的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。