随着数据的复杂性和重要性不断提升，企业亟需更智能、更敏捷且可扩展的方法来管理数据。由智能体驱动的数据管理员，代表了数据管理的下一阶段演进——它融合了人类专业知识与AI的强大能力。

这些领域对于执行领域数据战略至关重要，它们基于战略主题和关键数据元素作为核心输入。尽管工具不断进步，但这四个领域依然需要数据管理员具备深厚的领域知识并投入大量人工操作。

目前我们已经看到大量专用智能体和大语言模型接管了原本由数据管理员执行的任务。本文展示了当下已经实现的能力，以及通过自主式AI进一步扩展的可能性，从而逐步迈向数据管理员的愿景。

我们特别提出了四类面向关键数据管理职责的自主式AI系统：

1. 数据质量智能体

2. 元数据管理智能体

3. 主数据智能体

4. 数据留存智能体

借助数据质量智能体提升数据的准确性、一致性与可靠性

数据质量是所有数字化和AI项目的核心支柱：如果缺乏准确、一致和可靠的数据，这些项目最终都会失败。智能体能够显著自动化和增强数据管理员执行的高度手工化任务，同时提升数据资产在运营和分析场景下的管理与治理。

目前许多数据质量工具已利用AI实现以下基础能力：

• 数据剖析与异常检测：利用机器学习和统计规则扫描数据，识别离群点、缺失值或不一致。

• 自动修复：自动处理简单问题(如格式修正、去重)，同时将复杂问题标记出来交由人工处理。

• 简单规则检测：识别基础的数据质量规则，特别是有效性、完整性、唯一性和一致性等。例如，ChatGPT曾在某HR数据集上自动检测并生成相关规则。

尽管现有智能体已相当强大，但它们大多集中在简单、明确定义的重复性任务上。要实现我们对数据质量智能体的愿景(作为数据管理员的组成部分)，则需要跨智能体的编排与反馈能力，能够进行预测、监听、告警，甚至自动纠正。

因此，数据质量智能体必须能够结合并协同多个更复杂的智能体，真正增强人类数据管理员的能力。

应用场景示例：假设一家金融机构部署数据质量智能体来提升客户数据的管理水平。在该场景中，数据质量智能体可执行以下任务：

• 扫描来自不同渠道的大规模客户数据(包括CRM系统的结构化数据，以及邮件或客户交互中的非结构化数据)，识别模式、关系和异常。

• 聚类并分组相似的数据异常(如相同类型的地址错误或重复客户记录)，并进行自动纠正。

• 借助元数据血缘、日志关联和流程挖掘进行更复杂的数据质量根因分析，发现潜在流程问题。

• 将发现的根因推送给其他智能体，以更新血缘、调整数据契约或优化流程。

• 根据自然语言输入帮助创建复杂的业务规则，其他智能体可进一步将这些规则转化为特定系统或平台上的代码、测试或策略。

• 监控并生成工单和报告，记录数据质量问题，触发相关修复行动。

借助元数据管理智能体提供上下文与语义

元数据为数据提供语境和含义，这是用户能够有效发现、理解和利用信息的关键。与数据质量工具类似，现有许多元数据管理工具已利用AI在以下方面发挥作用：

• 元数据提取：自动识别新数据源的模式并抽取技术元数据。

• 持续目录更新：为数据目录自动填充和更新条目，并利用自然语言处理丰富非结构化数据的描述。

• 自动血缘拼接：整合并校正来自多个系统的碎片化数据血缘信息。

• 数据敏感度分类：根据数据内容和上下文自动识别并分类敏感数据(如PII、PHI)，并应用相应的安全策略。

在数据管理员的框架下，一个更全面的元数据管理智能体应能整合并编排这些专用智能体，帮助人类数据管理员为其领域建立并持续维护数据字典和元数据存储库。

为了提供有意义的元数据，元数据管理智能体需要熟悉内部词汇和术语表，能够不断学习不同领域的定义和丰富规则，并在其他领域中主动推荐。这一点对于处理越来越多的非结构化数据源尤为重要，例如文档、邮件和报告，这些数据源也在不断被用于训练LLM和GenAI应用。

应用场景示例：假设一家大型电商公司拥有海量客户数据。在该场景中，元数据管理智能体可执行以下任务：

• 自动发现新的数据源，提取技术元数据，推断数据模式，并将其与公司特定业务词汇和术语表中的业务术语关联。

• 具备自愈能力：自动检测、诊断并修复元数据漂移问题，如血缘断裂、标签缺失或策略违规。

• 提升数据可发现性和可用性：将元数据图转化为业务用户能够理解的自然语言描述。

利用主数据智能体管理关键数据要素的全生命周期

作为企业最核心、最关键的业务数据对象，主数据几乎是所有数据管理员工作的重点。如今的MDM(Master Data Management，主数据管理)工具，正越来越多地在整个数据生命周期中嵌入AI能力，用于：

• 数据创建与丰富：填补缺失值，或在输入有限信息的情况下生成初始记录(例如，从产品规格自动生成产品描述)。AI能够识别已有模式，推断可能值，或从外部知识库获取标准描述。

• 智能匹配与去重：识别潜在的重复记录或关联关系，在部分场景下还能在人工监督下实现自动合并。

• 跨多个源系统的数据标准化与集成：统一不同来源的数据，并标准化数据架构(如TAMR)。

在数据管理员框架下，主数据智能体旨在让关键数据要素(CDE)的全生命周期管理更加自动化、高效和可靠。这包括通过多智能体的协同与编排，来管理所属领域CDE的创建、读取、更新和删除(CRUD)过程。

然而，合规性检查依然不可或缺，尤其是在处理敏感和关键业务主数据时。因此，最复杂、最关键的业务步骤仍需要依赖于人类专家的经验和领域数据战略所提供的上下文信息。

借助数据保留智能体确保合规性

数据保留已经成为数据管理员的重要职责，尤其是在企业面临日益复杂的法律、监管和伦理要求时。为应对这些挑战，许多现代数据管理工具——例如企业数据目录(Collibra、Microsoft Purview、Informatica)和主数据管理工具——已经开始内置AI功能，以实现数据保留策略的自动化与优化：

• 自动识别受保留规则约束的数据：通过分析元数据、数据分类和业务上下文，识别符合特定保留要求的数据(如PII、合同、财务记录)。

• 策略分配与执行：在数据达到保留期时，自动触发删除、匿名化或归档操作。

在数据管理员框架中，数据保留智能体会与元数据管理智能体和主数据智能体紧密协作，读取元数据，并触发专门的智能体执行删除、匿名化或归档操作。它不仅仅是执行已有的数据保留策略，还能基于数据使用模式，主动优化现有的保留政策与流程。

应用场景示例：医疗行业

在医疗领域，数据保留智能体可以帮助人类数据管理员遵循HIPAA等合规要求，执行如下任务：

• 基于内容和元数据自动识别病人病历，并按照敏感度进行分类(如精神健康记录、药物滥用记录)。

• 根据监管要求强制执行保留策略，例如在特定期限后自动归档病历，并在不再需要时安全删除。

• 监控数据访问，识别潜在的HIPAA违规行为，并及时提醒合规官进行调查。

• 优化数据保留策略，预测数据何时会失效，并自动将其转移到归档存储，从而释放主存储空间。

通过自动化这些任务，智能体能够帮助医疗机构降低合规风险、提升数据安全，并释放宝贵的IT资源。

结论

智能体正在重塑关键的数据管理任务，尤其是在数据质量、元数据管理、主数据流程和数据保留方面。数据管理员的价值在于其作为一个多智能体系统，能够多大程度上学习和适应企业的数据环境、接受了多少关于数据生态的训练与信息输入，以及它如何处理企业内部遇到的各种数据管理问题——无论是来自领域数据战略、问题与事件管理系统，还是内部审计报告。

随着时间推移，数据管理员将逐步理解企业面临的风险，并确保相关智能体被部署以保护和防御企业资产。需要注意的是，完全自主、通用型的跨企业复杂数据管理智能体仍在发展中，目前大多数企业在关键决策上依然采取“人机协同”的方式。

企业网D1net(www.d1net.com)：

国内头部to B IT门户，旗下运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利。