她是前途看好的产品管理主管，准备向高阶团队作重要的简报时，注意到市占率数据中，有个数字看起来不对劲。她马上请一位助理查核那些数字。助理深入查看后发现，市场研究部门提供的数据有个错误，於是这位主管作了必要的改正，避免了一场灾难。简报进行得非常顺利，她高兴得当场奖赏那个 助理，并总结说：「嗯，我们该制订一个政策：每次都要仔细检查这些数字。」 没有人想到要告知市场研究部门人员这个错误，更别提该部门不会采取任何行动，来确保下回提供的数据是正确的。

我担任「数据医生」(的职涯中，在数十家公司见过类似情况。在电信业，维修部门可能必须改正客户服务部门输入的错误地址;在金融服务业，风险管理部门可能必须包容不正确的贷款发放细节;在医疗保健业，医生必须在面对不完全的临床数据时，努力改善患者的治疗效果。的确，数据的品质问题，困扰着各种产业的各个部门、各个层级，并涉及各类型的资讯。

就像前述那位前途看好的主管，员工在日常工作中，经常要避开或纠正大量的这类错误。但这麽做的成本非常高。研究显示，知识工作者浪费多达50%的时间搜寻数据、找出错误予以纠正，以及为他们不信任的数据寻找有确切证据的来源。

假设有许多错误数据流出，可能会造成哪些影响：医院实验室错误的衡量数据，可能害死病人。不清楚的产品规格，可能会增加数百万美元的生产成本。不正确的财务报告，可能破坏了最佳的投资机会。这类错误对声誉造成的后果可能很严重，例子之一就是苹果公司的地图服务Apple Maps，在2012年秋天爆发许多问题，酿成风暴。

如果数据不可靠，经理人很快就不再信任数据，退而倚靠直觉去做决定、带领公司及执行策略。比方说，从大数据分析当中出现的那些有违常理的重要结果，经理人常不愿接受。

在「垃圾进，垃圾出」这个词问世五十年后的今天，我们仍在辛苦应付数据品质的问题。但我相信，要解决这个问题，不像许多人想的那样困难。解决方法并不是靠更好的技术，而在於：数据建立者与使用者之间的沟通必须更好;致力追求未来的好品质;最重要的是，数据品质的责任不应再放在资讯科技人员身上，他们无法掌控会产生那些数据的商业流程，而应由经理人来承担这个责任，他们投注极大努力要让数据正确。

从品质的角度来看，在数据的生存期当中，只有两个时刻是重要的：建立数据的那一刻，以及使用数据的那一刻。数据的品质，在建立数据的当下就已确定。但我们直到使用它的那一刻，才真正要判断它的品质。如果人们认为数据的品质不良，通常的反应是避开那个数据，或是自行改正错误。

但改善数据品质的重点，不在於大胆改正别人的错误数据，而在於让数据的建立者和使用者(他们的「顾客」)合作，以便让数据建立者找出错误的根本原因，并想出办法改善未来的品质。回想一下前述那位前途看好的主管。她没有把那个错误通知市场研究部门，而是自行改正错误，因而让他人成为同一笔错误数据的受害者。她也自行调整那些数字，尽管她远不如数据建立者适合和擅长做这件事。

好消息是，一点点沟通就会大有助益。我曾多次在与数据建立者和使用者开会时，听到有人说：「我们不知道有人在使用那个数据集，所以没有花太多时间在上面。现在我们已经知道它很重要了，会努力提供你需要的东西。」最容易、最有效的一个改善品质做法，是确保数据建立者知道，其他人是如何使用数据的。

更好的消息是，解决大部分的数据品质问题，不需要在新科技或流程再造方面进行重大投资。可以确定的是，严谨的衡量、自动化的控制、六标准差等方法，是有助益的，对较复杂的问题来说更是如此。但决定性的第一步，就只是让数据的使用者与建立者互相交谈。

致力使新数据正确

一旦公司发现自家数据的品质低於一般水准，通常第一个反应是采取大规模行动，清理现有的错误数据。其实，更好的做法是聚焦在改善新数据建立的方式，找出、并排除错误的根源。完成这项工作之后，未来可能还是得做一些清理工作，但不必持续清理。

以年营收2,300亿美元的能源巨擘雪弗龙石油公司为例。该公司钻井部门虽然沿用产业标准采用的系统，来收集数据，以评估钻井、规画新油井、制订安全方案，但获得的数据往往不足。例如，从数据中，经理人无法确定某一油井的钻探工作，是否在预算内完成。雪弗龙推出了一个计画，来清理和油井相关的最重要数据。但公司领导人很快就发现，全面清理数据需要花费长达五年的时间，而且，除非他们做出改变，否则这五年期间建立的一切数据，都不会比今天的数据来得好。

原文链接：http://www.thebigdata.cn/YeJieDongTai/13778.html