如何防止智能体成为数据安全威胁

责任编辑:cres

作者:Rahul

2025-05-21 15:10:10

来源:企业网D1Net

原创

自主式AI能提升生产力,但也可能带来重大的安全风险,对于CIO而言,依赖完善的管理政策可能是解决问题的关键。

每家公司都存在信息缺口和瓶颈,归根结底,这正是AI为企业带来的真正价值:扩大信息获取渠道,帮助人们连接更多信息点。

但是,当你部署一个像智能体这样的系统,该系统连接着企业的每一个数据源,旨在回答问题、主动从数百个应用程序或部门中挖掘洞察,并采取行动(无论是否有人类提出要求),会发生什么呢?

你会得到一个可能极大提升生产力的智能体,但同时也可能成为一个重大的安全风险。

好了,别急着渲染末日氛围——这个问题并非完全新鲜,毕竟,近六成的安全漏洞都是由人为造成的。

但是,由数百个应用程序提供企业数据支持、能够以前所未有的规模分发这些信息的智能体,却将担忧提升到了一个新的层次。事实上,Gartner预测,到2028年,智能体将成为四分之一企业安全漏洞的罪魁祸首。

随着企业寻求采用和部署智能体,它们必须确保这项新兴技术能够与企业数据深度融合,以充分发挥其能力,同时防止关键数据泄露。

智能体何时应行使判断力?

若要使2025年成为自主式AI进入职场的一年,智能体必须知道何时以及如何“守口如瓶”,以避免泄露敏感数据。

如果没有为智能体制定适当的数据管理和访问管理政策,它们可能会变得不合规,并产生数据隐私风险,无意中将数据泄露给不应访问的用户。

许多数据平台提供商都提供治理工具,这些工具可以帮助确保数据安全、准确性和完整性,但它们的局限性也很显著。

这些解决方案通常技术性强且复杂,因为它们是为分析师和数据科学家设计的,而不是为那些越来越多地使用智能体来增强工作的营销人员、销售人员或服务专业人员设计的。

由于大多数这些数据平台并非为商业用户而建,它们通常也与业务流程脱节——即CRM和企业应用程序,而这些正是用户每天工作的地方,这种脱节意味着智能体缺乏商业背景知识,无法理解何时以及如何保护某些数据,如客户信息或敏感研究。

如果没有这种背景知识和适当的管理政策,企业将面临数据不合规、数据泄露和AI滥用的风险,从而损害信任并减缓创新步伐。

严格的数据管理和AI政策很快将成为基本要求,Gartner预测,到2027年,全球各国政府将颁布AI管理法律,而信任、风险和安全管理能力将成为AI产品的主要差异化因素。

如何建立管理控制

智能体之所以如此强大,不仅在于它们能够像全天候响应客户问题或预订销售会议那样自主采取行动,还在于它们植根于企业的数据之中,这使得智能体能够根据客户与品牌的完整旅程,个性化客户互动或为人类员工推荐后续步骤。

但是,对如此广泛的企业数据的访问也意味着企业必须建立访问管理政策,以确保智能体及其用户只能访问他们有权查看的数据。

幸运的是,AI与企业管理数据多年的实践并无太大不同,基于政策驱动的访问建立了规则,以管理不同用户和智能体对结构化和非结构化数据的访问。

例如,一家生命科学公司可能会限制对研发数据的访问,同时允许更广泛的营销信息访问。对于在欧盟和美国设有业务足迹的公司,访问政策可能会禁止美国用户访问在欧盟创建的客户数据,以遵守《通用数据保护条例》(GDPR)。

技术挑战在于在整个企业中大规模实施一致的数据访问。

数据混合,或从多个来源组合数据,从未像现在这样成为一项艰巨的任务,根据MuleSoft的2025年连接性基准报告,近一半的企业平均管理着超过1000个独立的应用程序,而只有2%的企业成功整合了超过一半的应用程序。

数据孤岛是IT领导者面临的最大障碍之一,它限制了企业扩展AI驱动自动化和提供实时、个性化体验的能力。

好消息是,如今建立访问政策比以往任何时候都更容易,企业可以通过点击创建政策,并将其附加到例如在CRM生态系统中定义为销售、服务或营销员工的用户上,该政策将告知智能体向用户展示哪些数据,防止他们访问未经授权的信息。

人类与智能体如何协同工作

智能体的潜在好处是不可否认的,随着智能体承担日常任务,人类员工得以解放,可以专注于更具创造性和战略性的优先事项。

很快,多智能体系统(其中智能体可以调用其他智能体或潜在地创建新智能体)将成倍地增加个人和企业所能做的事情——开启一个增长不再局限于人类产出的世界。

当然,这一未来只有当人类信任他们的智能体助手时才可能实现,对智能体能力的信心对于推动自主式AI革命至关重要。

CIO将在建立对AI系统的信任方面发挥最重要的作用,承担起设置数据管理和访问政策的责任,并允许根据特定用例和组织结构进行定制。

他们将负责确保智能体考虑请求的地理来源、发出请求的人以及他们被授权的访问级别等上下文因素,以防止数据泄露,这使CIO能够在降低风险的同时,在整个企业中扩展智能体的部署。

随着人类员工越来越多地与自主智能体合作,这项技术的提供商必须确保智能体知道如何自我审查并防止安全漏洞,同时尽可能为人类同事提供信息丰富且有帮助的服务。

企业网D1net(www.d1net.com):

国内主流的to B IT门户,旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

链接已复制,快去分享吧

企业网版权所有©2010-2025 京ICP备09108050号-6京公网安备 11010502049343号