CIO衡量AI价值时需要知道的要点

责任编辑:cres

作者:Maria

2025-08-07 11:08:45

来源:企业网D1Net

原创

由于AI正迅速成为CIO的首要任务,那么,对于CIO来说,了解AI的价值所在、如何衡量这一价值,以及哪些指标对公司有意义,就显得至关重要。

尽管许多企业表示,GenAI带来了正投资回报率,但IT领导者并不总是知道如何真正衡量它,而且绝大多数AI项目都以失败告终,那么,真实情况究竟如何?哪些指标对于衡量AI项目的成功至关重要?

一方面,有大量信息表明AI项目的失败率很高,另一方面,同样有大量调查显示,即便不是大多数,也有许多企业已经从AI投资中获得了正向商业效益和投资回报。

例如,IBM在5月份发布的一项针对2000名CEO的全球研究显示,只有25%的AI项目实现了预期的投资回报,只有16%的项目在企业范围内得到了推广,另一项由Wakefield Research代表Informatica公司开展的研究发现,在600名企业领导者中,有67%的人表示,他们甚至无法将一半的GenAI试点项目成功转化为实际生产应用,97%的人表示,他们在展示试点项目的商业价值方面遇到了困难,但其他调查结果似乎与之相反。

4月份,Enterprise Strategy Group对1900名企业和IT领导者进行了调查,在那些已经部署了AI解决方案的受访者中,92%的人表示,他们的投资已经实现了回报。在1200多名已经量化其GenAI项目投资回报率的受访者中,通过增加收入、降低成本或两者兼而有之,平均回报率为41%。

还有一些调查结果同时呈现了上述两种情况。2月份,IDC代表联想集团对近3000名IT和企业决策者进行了一项调查,结果显示,68%的受访者表示,他们的AI项目达到了预期,另有26%的受访者表示,他们的项目超出了预期,但在33个AI项目中,只有4个项目投入了实际生产,失败率高达88%。

那么,实际发生的情况到底是怎样的呢?问题在于我们如何衡量AI项目的成功或失败。由于AI正迅速成为CIO的首要任务,那么,对于CIO来说,了解AI的价值所在、如何衡量这一价值,以及哪些指标对公司有意义,就显得至关重要。在业务颠覆方面,数字并不总是决定性的。

试点项目本来就有失败的可能性

让我们先从引起广泛关注的“大型AI项目失败”这一数据点说起,其隐含的意思是,这是一件坏事,但概念验证和试点项目本就不应该每次都成功,它们的目标是淘汰那些前景最差的想法,以便企业能够专注于最有前景的想法。高失败率意味着企业正在进行试验,尝试多种不同的可能性,因此,失败率高是一件好事。

在早期阶段失败的项目越多,项目投入全面生产时,就越有可能为企业带来正向的商业价值,而且,企业通过特定项目取得的成功越多,他们就越有可能进行更多试验,找到更多创造价值的机会。

事实上,如果一家企业的所有概念验证和试点项目都投入了实际生产,那可能只意味着该企业在AI创意方面不够创新、不够大胆、不够勇于尝试。无论董事会和其他高管、业务部门负责人、员工、合作伙伴或客户带来多大压力,将投入实际生产的项目数量作为衡量成功的标准,都不是一个好方法。

因此,尽管大多数试点项目失败,但企业仍报告正向投资回报率,这并不矛盾,这不是漏洞,而是特点,目标是让合适的AI项目投入生产,而不是最多的项目。医疗运营公司UST Healthproof的首席AI架构师罗莎·波卡雷尔(Rosha Pokharel)表示,企业能犯的最大错误是跳过试点项目,或未对概念验证结果进行充分审查,直接进入全面部署阶段。

她说:“概念验证通常只能处理几百个数据点,但是,当我们将其推广到实际生产中时,我们需要证明,在处理数百万个数据点时,它确实能够发挥作用,并达到符合业务标准和用户需求的准确度水平。”

如果数据问题得不到解决,项目就会失败,企业就会浪费将项目规模扩大所投入的所有资金,同样,如果AI设计人员在概念验证中未充分考虑用户需求,而他们将其大规模推广后却无人使用,那也会造成巨大成本。

她说,企业在衡量投资回报率时也需要谨慎。“我们不应将概念验证阶段的投资纳入考量,”她说,“概念验证阶段不是计算投资回报率的地方,它是快速试错区,我们想要了解哪些是可行、可靠、可用且有价值的,以及哪些可以扩大规模,这是概念验证的目标,其预算来自研发部门或创新实验室。”

她说,至少在她工作过的公司是这样做的,但她并不是唯一一个相信快速试验和及早止损的人。

PagerDuty是一家事件响应公司,该公司已在其内部运营及其产品和服务中部署了GenAI和智能体,该公司CIO埃里克·约翰逊(Eric Johnson)表示:“我们的口号是‘快速失败’,我们会启动项目,对于那些运行良好的项目——很好,我们继续推进。”

但也有一些想法行不通。他说:“很多时候,是我们选择了糟糕的用例,或者我们没有充分理解构建项目所需的工作量,或者项目没有产生巨大影响。”

自建还是购买

为了降低试点项目成本,PagerDuty决定不从头开始构建技术,事实上,商业解决方案通常提供免费试用,而不是预先收费,或者,免费试用可以协商。

约翰逊说:“如果我们想推出一个新的智能体,我们会说,在它真正证明其价值之前,我们不会付费。许多供应商都愿意进行这样的对话,因为他们知道,如果他们无法证明其价值,你就不会继续续签合同。因此,他们希望确保你获得预期的价值。”

另一家没有从头开始构建技术,而是在商业产品中立即发现价值的公司是托管公司Flexential,该公司首席运营官瑞安·马洛里(Ryan Mallory)表示:“我使用的是符合我们AI政策的现成服务,这意味着它们不会对公共模型进行训练。”

此外,使用现有产品的AI功能(这些功能是成熟工作流程的一部分),可以更轻松地计算投资回报率,因为已经有一个现有的基准可以进行衡量,尤其是在客户支持或销售方面。

马洛里说:“我们所做的一切都为我们带来了直接的投资回报,达到了我们的预期,甚至超出了预期。”

特别是,大多数新的AI工具都是该公司现有技术堆栈的插件模块,这使得它们非常容易部署和扩展。他补充道:“我们最终会开发出自己的模型。”“我们可能还需要18个月的时间。”

关键指标:客户

当然,衡量投资回报率的最佳指标是对底线的影响,然而,当有多个AI项目以及许多其他计划正在进行,加上更广泛的商业环境和经济发生变化时,就很难厘清任何一个单独项目的影响。

根据麦肯锡3月份的一份报告,只有17%的企业表示,其税息折旧及摊销前利润(EBIDA)的5%或更多归因于GenAI,而超过80%的企业表示,GenAI没有产生实际影响,因此,企业不得不使用替代指标,最佳指标是什么?客户满意度、留存率和口碑推荐。

例如,Flexential已经在多个销售和客户支持职能中部署了GenAI。马洛里说:“这绝对是与底线息息相关的,我们看到客户流失率有所下降。当客户满意度提高,你能够更快地满足客户需求、要求或解决问题时,客户就不太可能离开。”

而且,自从该公司在其工作流程中添加了AI驱动的客户支持智能体后,响应时间平均缩短了20%,解决工单所需的平均时间增加了25%。

他们并不是唯一一家在客户满意度中发现AI价值的公司。根据IBM的调查,65%的CEO表示,建立和维持客户信任对其企业的成功产生的影响,将超过任何特定产品和服务功能,而且,在所有行业中,客户忠诚度都是推动投资回报率的关键差异化因素。

降低成本

但从短期来看,对于许多企业来说,降低成本是快速制胜之道,也是早期采用者(根据企业战略集团的调查,51%的早期采用者将其列为主要优先事项)的主要优先事项,而且,这一举措正在奏效:88%的企业表示,他们已经看到了效率方面的显著提升。

波士顿咨询集团(Boston Consulting Group)高级合伙人戴维·马丁(David Martin)表示:“由于各个领域都存在诸多压力,目前一些客户尤其关注成本问题,他们确实有义务为股东创造近期价值,同时为未来进行投资。”

他说,企业可以在许多领域找到提高生产力的方法,并将其直接转化为货币价值。

马丁说:“以客户服务为例,如果你能转移更多电话,让客服人员更快地完成工作,或者如果你向第三方支付呼叫中心费用,那么这就能立即转化为金钱。”

根据波士顿咨询集团的调查,47%的员工表示,GenAI每天为他们节省了一个多小时的时间,而且大多数人利用这段时间完成了更多工作,此外,44%的员工表示,他们从事战略性任务,34%的员工追求职业发展,但马丁表示,许多企业同时做到了这两点,在降低成本和寻找生产力效益的同时,也为未来进行投资。他说:“他们确实在认真思考AI对企业的影响。”

业务增长

企业在削减成本时所能获得的价值是有限的,但如果企业能够找到创造新业务或进入新市场的方法,那么其价值几乎是无上限的。

在Enterprise Strategy Group的调查中,企业采用GenAI的第三大驱动力是改善创新成果。事实上,84%的企业表示,AI已经在加快他们的创新步伐,这可以带来新的商业机会,在某些情况下,即使在短期内,这些机会也是可以量化的。例如,Flexential能够在公司网站上设置与特定类型内容相关的AI聊天机器人,从而获得更多潜在客户。

马洛里说:“我们看到,为潜在客户预订的会议数量大约增加了五倍,然后,我们将其与机会转化率和成交率挂钩,因此,我们拥有非常可量化的数据,而且这些数据对我们的团队非常有效。”

Flexential还迅速为其销售人员推出了AI销售支持功能,销售人员现在可以访问会议记录、收入情报以及他们开展新业务所需的其他资源。

他说:“当我们的销售人员掌握正确的信息时,他们的生产力就会更高。”而且,当销售人员能够利用AI更好地预测如何为客户服务时,成交率也会更高。

毕马威(KPMG)美国客户和市场全国管理负责人托德·洛尔(Todd Lohr)表示,总体而言,更多企业应该关注潜在增长以及AI驱动的颠覆风险。

他说:“AI正在冲击你的商业模式,它正在颠覆你的业务和进入壁垒,从长远来看,为了企业的可持续性、成功和可行性,你应该从商业模式的角度来思考这个问题,而不是从运营模式的角度。”

根据IBM的调查,68%的CEO表示,AI正在改变他们认为的核心业务,这些变化不一定能立即体现在投资回报率上,但随着商业模式的变化,它们对企业的长期生存至关重要,而且,其中许多变化都是由AI引起的,因此,61%的CEO表示,竞争优势取决于谁拥有最先进的GenAI,这也就不足为奇了。

洛尔说:“我们的客户不再问AI是否会改变他们的业务,他们问的是,AI的部署速度能有多快,这不仅仅是技术采用的问题,而是根本性的业务转型问题,需要重新构想工作的完成方式和衡量方式。”

接受不确定性

KeyBanc资本市场股权研究分析师杰克逊·阿德(Jackson Ader)表示,事实上,首席信息官通常不知道他们的AI项目的投资回报率是多少。在他对CIO的研究中,他发现,人们对投资回报率的预期各不相同。

他说:“我认为,CIO不会在AI上花费数百万美元,却只期望获得个位数的投资回报率,我认为更有可能发生的情况是,我们仍处于试验阶段。”

企业网D1net(www.d1net.com):

国内头部to B IT门户,旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

链接已复制,快去分享吧

企业网版权所有©2010-2025 京ICP备09108050号-6京公网安备 11010502049343号