当前位置:大数据业界动态 → 正文

GenAI时代的数据治理蓝图

责任编辑:cres 作者:Lewkowicz |来源:企业网D1Net  2023-11-20 17:25:00 原创文章 企业网D1Net

随着我们深入ML和GenAI领域,对数据质量的重视变得至关重要。KMS Technology高级技术创新小组的首席技术官John Jeske深入研究了数据治理方法,如数据沿袭跟踪和联合学习,以确保顶级模型的性能。
 
数据质量是模型可持续性和利益相关者信任的关键。在建模过程中,数据质量使长期维护变得更容易,并使你能够在利益相关者社区中建立用户信心和信心。在包括大规模语言和生成性算法在内的复杂模型中,‘垃圾输入,垃圾输出’的影响会加剧。“Jeske说。
 
基因AI偏向与数据代表性问题
 
无论你为用例选择哪种模型,糟糕的数据质量都不可避免地会导致GenAI模型的扭曲。陷阱通常来自培训数据,这些数据错误地表示了公司的范围、客户基础或应用程序范围。
 
真正的资产是数据本身,而不是昙花一现的模型或建模架构。最近几个月,随着大量建模框架的出现,数据作为可货币化资产的一贯价值变得格外明显。
 
KMS Technology软件服务高级副总裁Jeff Scott补充道:“当AI生成的内容偏离预期输出时,这不是算法的错误。相反,这反映了培训数据的不足或扭曲。
 
严格的数据完整性治理
 
数据治理方面的最佳实践包括元数据管理、数据管理和部署自动化质量检查等活动。例如,确保数据的来源,在获取用于培训和建模的数据时使用经过认证的数据集,以及考虑使用自动化数据质量工具。虽然增加了一层复杂性,但这些工具对于实现数据完整性非常有用。
 
为了提高数据质量,我们使用了提供数据有效性、完整性检查和时间一致性等属性的工具,这促进了可靠、一致的数据,而这对于健壮的AI模型来说是不可或缺的。
 
AI发展中的责任追究和持续改进
 
数据是每个人的问题,在公司内分配数据治理的责任是一项基本任务。
 
最重要的是确保功能按设计工作,并且从潜在客户的角度来看,正在训练的数据是合理的。反馈加强了学习,然后在下一次训练模型时考虑到反馈,从而调用持续改进,直到信任点。
 
在我们的工作流程中,AI和ML模型在公开推出之前要经过严格的内部测试。我们的数据工程团队不断收到反馈,允许对模型进行迭代改进,以最大限度地减少偏差和其他异常情况。
 
风险管理与客户信任
 
数据治理需要相关业务领域的数据管理,并需要主题专家持续参与,这确保了流经其团队和系统的数据得到适当整理和一致的责任。
 
必须了解与接收来自技术的不准确结果相关的风险,公司必须评估其透明度,从数据来源和处理知识产权到整体数据质量和完整性。
 
透明度对客户的信任是不可或缺的,数据治理不仅仅是一项技术工作,由于风险从不准确的AI预测转移到最终用户,它还会影响公司的声誉。
 
总之,随着GenAI的不断发展,掌握数据治理变得更加关键,这不仅仅是为了维护数据质量,也是为了理解这些数据与利用它的AI模型之间的复杂关系。这种洞察力对于技术进步、业务健康以及维护利益相关者和更广泛公众的信任至关重要。
 
关于企业网D1net(www.d1net.com):
 
国内主流的to B IT门户,同时在运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。同时运营19个IT行业公众号(微信搜索D1net即可关注)。
 
版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:数据治理

原创文章 企业网D1Net

x GenAI时代的数据治理蓝图 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

GenAI时代的数据治理蓝图

责任编辑:cres 作者:Lewkowicz |来源:企业网D1Net  2023-11-20 17:25:00 原创文章 企业网D1Net

随着我们深入ML和GenAI领域,对数据质量的重视变得至关重要。KMS Technology高级技术创新小组的首席技术官John Jeske深入研究了数据治理方法,如数据沿袭跟踪和联合学习,以确保顶级模型的性能。
 
数据质量是模型可持续性和利益相关者信任的关键。在建模过程中,数据质量使长期维护变得更容易,并使你能够在利益相关者社区中建立用户信心和信心。在包括大规模语言和生成性算法在内的复杂模型中,‘垃圾输入,垃圾输出’的影响会加剧。“Jeske说。
 
基因AI偏向与数据代表性问题
 
无论你为用例选择哪种模型,糟糕的数据质量都不可避免地会导致GenAI模型的扭曲。陷阱通常来自培训数据,这些数据错误地表示了公司的范围、客户基础或应用程序范围。
 
真正的资产是数据本身,而不是昙花一现的模型或建模架构。最近几个月,随着大量建模框架的出现,数据作为可货币化资产的一贯价值变得格外明显。
 
KMS Technology软件服务高级副总裁Jeff Scott补充道:“当AI生成的内容偏离预期输出时,这不是算法的错误。相反,这反映了培训数据的不足或扭曲。
 
严格的数据完整性治理
 
数据治理方面的最佳实践包括元数据管理、数据管理和部署自动化质量检查等活动。例如,确保数据的来源,在获取用于培训和建模的数据时使用经过认证的数据集,以及考虑使用自动化数据质量工具。虽然增加了一层复杂性,但这些工具对于实现数据完整性非常有用。
 
为了提高数据质量,我们使用了提供数据有效性、完整性检查和时间一致性等属性的工具,这促进了可靠、一致的数据,而这对于健壮的AI模型来说是不可或缺的。
 
AI发展中的责任追究和持续改进
 
数据是每个人的问题,在公司内分配数据治理的责任是一项基本任务。
 
最重要的是确保功能按设计工作,并且从潜在客户的角度来看,正在训练的数据是合理的。反馈加强了学习,然后在下一次训练模型时考虑到反馈,从而调用持续改进,直到信任点。
 
在我们的工作流程中,AI和ML模型在公开推出之前要经过严格的内部测试。我们的数据工程团队不断收到反馈,允许对模型进行迭代改进,以最大限度地减少偏差和其他异常情况。
 
风险管理与客户信任
 
数据治理需要相关业务领域的数据管理,并需要主题专家持续参与,这确保了流经其团队和系统的数据得到适当整理和一致的责任。
 
必须了解与接收来自技术的不准确结果相关的风险,公司必须评估其透明度,从数据来源和处理知识产权到整体数据质量和完整性。
 
透明度对客户的信任是不可或缺的,数据治理不仅仅是一项技术工作,由于风险从不准确的AI预测转移到最终用户,它还会影响公司的声誉。
 
总之,随着GenAI的不断发展,掌握数据治理变得更加关键,这不仅仅是为了维护数据质量,也是为了理解这些数据与利用它的AI模型之间的复杂关系。这种洞察力对于技术进步、业务健康以及维护利益相关者和更广泛公众的信任至关重要。
 
关于企业网D1net(www.d1net.com):
 
国内主流的to B IT门户,同时在运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。同时运营19个IT行业公众号(微信搜索D1net即可关注)。
 
版权声明:本文为企业网D1Net编译,转载需在文章开头注明出处为:企业网D1Net,如果不注明出处,企业网D1Net将保留追究其法律责任的权利。

关键字:数据治理

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^