以下是现场速记。

普元大数据首席顾问 李书超

 

李书超：各位嘉宾下午好!非常荣幸今天给各位嘉宾带来这样一个主题分享。

 

主要从我们的视角，最近几年我们看到的各个行业对于数据建设的一些很好的心得体会，想跟大家做一些分享，给各位嘉宾在自身建设中提供一些帮助，就是非常有意义的事情。

 

分享分三部分：

 

1.数据建设的现状和问题

 

2.数据治理运营一体化能力连接。在数据建设场景下，需要把全部能力做全景化连接。

 

3.业界数据建设标杆参考

 

一、数据建设现状和问题

 

现在大家讲数字化转型，无论做业务的模式变革、业务的创新，做数字化的驱动，其实本身对于信息化而言，大部分都是一些IT的重构，之前我和一些大型企业，比如建行总工聊时，非常精准概括，他认为数字化转型本质就是把原有IT重构掉。传统很多应用，如ERP、MES、PDM、SCADA等很多企业做得很成熟、做得很好了，未来重构IT，不是把这些系统重新做一遍，会有很多创新的应用产生，如业务的协同，产供一体化、销服一体化、数字化运营等，个人总结下来，现在要做的未来数字化应用和传统的应用有什么区别?传统的应用更多是表单流程式的，数据自维护，业务人员自己录入自己用，或者我录入给别人用，给业务操作提供方便。未来有什么特点?有几个方向：基于数据的应用，没有数据玩不转，而且数据不是自己产生的，不是由业务人员自己录入的，可能上游给我的，可能内部汇总的，可能是收集的，是给业务提供建议和指导的，不是提供方便。传统应用更多是方便，对于超大型企业而言有IT是必要的，整个IT建设、信息化建设，从最早的无纸化、电算化，上OA、财务系统，大部分是提供便捷，对一些中小企业而言，没有这些也可以用。对于未来整个建设思考是在做数字化转型，是一些基于数据的应用来建设，才能对我提供支撑。

 

数据本身存在种种问题，也不一一赘述，几乎整个业界大家都非常理解，不可知、不可寻、不可用、不可供、不可连接，总会遇到其中一两个问题，数据质量问题、格式不对、异常、数据断流，种种问题都会困扰着我们。

 

我们在数据共享应用中也存在诸多问题，想把数据用起来，数据在哪里，在硬盘深还是Excel文件。什么形式?接口、数据下发。共享内容也不清晰，需要数据的人，不知道数据谁有，采购、研发、技术、销售、售后各部门之间业务壁垒严重，尤其大型企业，需要的数据哪个部门给我，最终都会找到IT。提供方，数据共享给谁，他为什么要这个数据，这个数据做什么用，这时提供方很担心的。我有这个数据，但数据安全性很高。管理职责不明确，谁来管，管什么，如何管，管到什么样的程度。

 

为了解决这些问题，相信在座的嘉宾自身企业里或多或少都建了一些数据能力，有数据集成、实时计算的、报表工具、BI工具、大数据平台、混合的存储、Hadoop平台、内存数据库等等非常多样化的存储，数据的开发、数据治理、主数据、隐私计算、数据安全，可能上了很多平台，平台越来越多时，相信现在没有任何一家厂商说一个厂商能提供所有的工具，不是重ERP时代了，这时候即使都使用一个厂商的工具，也可能是不同部门研发的，工具之间如何集成?工具之间会不会一些阻碍?都阻碍着我们去使用数据平台，支撑我们数据建设一个非常大的问题，经常各自为战，如何捏合在一起。

 

我们有了工具，还要干活，无论是我们自己的人还是供应商，还是厂商、外包的，有很多种模式，在这种模式下会有各种各样的工作，需要有一个需求，业务提了分析的需求，我要给他出一个报表;老板要看经营情况，跟竞争对手分析的需求，很多分段工作，数据的接入、数据的治理、数据加工、软件开发、需求对接这些内容并不是说我们新提出来的，大家都了解，这些事情中可能会包含很多段工作，很多大型客户就把这些数据拆成一段一段的，A厂商做数据接入，B厂商做数据治理，D厂商做数据开发，因为每个厂商有自己的擅长能力。从分工协作角度上蛮好的，但是这么运转过了两年之后发现，在整个沟通协作上会有非常大的问题，因为无论底层工具平台从原始数据，经过集成、计算、元数据、标准质量、主数据、开发、隐私计算、报表流转过来之后，很多时候最终需求的人、需求的用户可能看到的成果跟他提出的需求确实不匹配，太常见了。很多时候我要的是这个东西，你给我的是另外一个东西。

 

就像综艺节目一样，经常会做传话游戏，第一个人传给第二个人，第二个人传给第三个人，传到最后，那句话跟开始的本意已经发生了很大的变化。这也是我们在数据建设中发现的问题，很多大型企业都在经历这个阵痛，不是中小企业就不会这样，中小企业可能体量比较小，工作比较少，是不是几个人就结束掉了。人和人之间的理解还不一样，所以会导致很多段工作之间有很多问题。最终展现结果和需求不匹配，要找问题，一段一段找，接入时把数据来源50亿条，接入时少了一些，中间代码转换，数据格式变了，加工时做了维度上的汇聚，最后展现开发，生成一个报表，多段分工模式下，会有非常大的协作模式。

 

现在我们很多客户，包括我们和客户共建时开始探讨端到端的概念，是否能够把整体打穿。如何整体打穿?第一部分讲的是很多企业建设过程中遇到的一些困惑、问题，无论平台还是工具。

 

二、治理运营一体化能力连接

 

治理是什么、运营是什么?治理一词现在大家叫得比较滥，什么都可能叫治理。运营是什么?数据是一个很长的链路，数据的来源，ERP、MES、WMS，接很多数据过来，有很多流式数据接入，或工业互联网的压力、温度、传感数据接入，还有批量的，然后有数据清洗、存储，存储上有逻辑的划分，哪些存在大数据平台，哪些存在内存数据库，包括原始数据存在哪里，最后结果存在哪里。进行一些主题和模型的设计，经过一些规则、算法、关联形成数仓、数据集市、大数据湖或大数据平台、数据中心、主题库，最终给内部无论是IT也好还是业务也好共享数据，或者把数据加工好，把结果提供给他。会发现这是一个非常长的数据链路。对这个数据链路要掌握，而且这个链路的工作不是一次性的，这个链路会持续发生，今天在跑，明天也在跑，而且新来一个需求马上就跑。所以我们叫做数据运营。

 

“运营”一词最近两年也被逐渐纳入到大家视野中，包括国家现在发的很多政策，未来政务的公共数据要授权运营，肯定是国企。类似于企业做数据运营，未来社会数据要进行交易，现在国家“十四五”中讲产业数字化，数字产业化。未来相信在座的各位嘉宾的企业里的一些数据在有安全保障的条件下，可以进入市场进行流通，为企业通过数据创造价值，数据交易已经开始了。

 

去年下半年，南方电网把第一笔数据交易卖给了广发银行，卖的是制造业指数。因为电网是知道每一个企业里的用电量增加，用电量增加代表业务增加，无论对金融信贷、国家企业扶持都有非常大的价值，所以可以把内容包装成产品。我相信未来无论是我们自身还是很多跟外部的数据，都可以把我们的数据以产品的形式包装出去对外营销，也可以对外采购外部数据。相信大家几乎都会采购外部数据，未来有些数据政府可以提供，有些数据是企业之间互相流通。这是数据运营的概念。

 

数据治理市什么?更多是对整个数据运营过程中相关的模型、知识、算法、规范、应用每一个内容进行管控的过程，要管理每一个环节，所以治理和运营是相辅相成的，是密不可分的。所以才叫做治理和运营的一体化，既要把数据运转用起来，也把数据治理好。

 

我们一体化理念是什么?以数据资产为核心。“资产”一词也是好多年前提出来的，不是一个库、一个表、一个字段就是资产，能够发挥资产对内对外的共享和交易的过程。资产为核心，达成全能力有机结合，所有平台、所有工具都应该为资产服务，有的平台是用来汇集资产的，有的平台是用来存储资产的，有的平台是用来形成资产、共享资产、治理资产，更好把它用起来的。以数据治理为起点形成资产和优化资产，以数据运营为目标提供资产、应用资产。

 

这时候就把整个治理和运营一体化的场景做一个勾勒，有很多工具，主数据、大数据平台、集成工具，这么多工具如何有机结合在一起，能够为整体企业发挥价值，而不是各自为政。

 

如图，最开始是从整体核心，资产目录(资源目录)，本质上就是数据的分类展示内容，如何形成一个数据的归集，数据的编目、分类、展示，就是一个图书馆一样，可能会由设计人员、咨询人员、业务人员输出很多相关的模型设计，由技术人员进行元数据的采集，有一部分会纳入到主数据的建设，很大一部分会纳入到标准质量，这些其实都是我们去修内功的，如何形成资产、优化资产。

 

对外(指IT外部)，对业务会有多个门户，无论是面向业务人员的门户，面向管理人员的门户，面向技术人员的门户，每个门户都有人提交不同的需求，提交一个需求，希望得到服务，管理人员审批需求，技术人员开发任务，最终通过数据服务做封装，而且这里跟主数据有连接，主数据管核心的数据，整个治理运营一体化要把全部数据覆盖。要把所有数据全合到一起去看，这是我们认为治理和运营一体化的全部场景，可以把你在整个数据领域内的相关能力、平台、工具、工作概括到一起、捏合到一起。当然建立这样一个运转机制，对于未来数据工作还是非常有价值的。

 

以中间资产目录为切面，把下面叫做数据治理，跟传统的数据、标准、质量是一样的，上面叫做数据运营，未来要把数据更好地去面向用户发挥价值，做开发，这是我们讲的治理、运营一体化。

 

工具无论用什么，用某一个厂家或用多厂家的，关键要捏合到一起。

 

如何做治理?如何做运营?

 

治理现在有非常多的概念，比如通过咨询做治理，通过基础平台做治理，做元数据采集，相关内容有很多咨询厂商或专家也在做探讨，我们重点讲结果。现在大家做治理、做数据资产的盘点、数据资产的形成，更多是自上而下和自下而上相结合，自上而下从业务出发，按照业务分，业务有研发、生产、制造、仓储、物流、营销、售后，按照业务主题划分，层层抽丝剥茧，到主题模型、概念模型、逻辑模型，自上而下有好处，跟业务结合有好处，缺点是有时候会不接地气，所以才需要自下而上经过一些工具、技术，找到你做的主题模型落地在哪个系统的哪个库的哪个表上，这是双向结合的思路，而且是现在经过了整个行业锤炼和实践过来的结果。

 

大家之前讲数据治理其实更多都是事后的，事后可以做，但缺点是不及时，比如做数据质量，有客户问我做数据质量很好，一扫数据，10亿条中1亿条有问题，你发50万、100万条数据给业务，业务绝对不会给你改的。我们希望把事后能往前推，在事中、事前，甚至跟IT项目的建设过程相结合。现在大家做数字化转型，IT重构，应用重构，要重新做应用，整个相关数据的管理就在应用过程中做了，没有必要等传统一个系统做完之后再去做治理，这时候要在项目过程中每一个阶段去落地一些治理的工作和管控的内容，优化数据架构、数据模型，无论在需求阶段、设计阶段、开发测试、上线、运维、迭代、模型变更、质量检核、数据标准规划、元数据采集、资产关联以及相关管控审核，很多企业写信息化项目管理规范时，很多人会写上一句话，“要进行架构审核，做技术架构、应用架构、数据架构”，写归写，数据架构怎么审?要做相关管控，去做相关审核，就是要做数据架构审核内容。

 

数据的运营。运营可能是长期的、长效的，可能有一些是由别人提需求我来反馈结果。这里讲到数据的需求是全景化的需求，要一个数据，给我一个API，是一种返回，我要一个数据，给我一个Excel，也是一种返回，你给我一个在线查询、一个报表，甚至做一个PPT，类似于这样，未来数据运营就是满足业务全部的数据需求，你有什么样的需求，统一数据源管理，你要取数，不需要知道数据存在哪儿，我要找一个库存，库存数据在哪儿?在哪个库哪个表里他也不知道，你告诉我要什么数据，我给你取，统一的数据源管理，统一的服务封装，这个服务不是API。

 

通常意义上讲的服务都是API，这里的服务是抽象化的，所有数据的结果都可以定义为服务，接入式服务，把数据接过来，数据的下发，发给二级公司，数据的获取，给你一个API、Excel，给你数据报表，数据的加工、租户的开通、质量的检核都可以具象化一个服务，有服务就要有人去干，有一些可以通过平台解决，因为业界有很多数据开发平台可以自动化做很多开发，做服务的封装，但逃不掉还是有相关技术人员介入的，可以通过开发的管理，通过技术的开发来实现数据服务需求。

 

也就是说可以把很多数据类工作全部以数据服务的方式进行封装，包括接入、数据开发的服务、结果的服务、资源开通的服务、数据展示的服务、数据治理的服务。

 

信标委有一个大数据服务工作组，我本人在组里探讨一些未来数据标准，未来我们做大数据服务，什么是服务?不是API，肯定有很多抽象化的封装以及具象化的落地。

 

我们希望建立数据服务需求、开发、交付、反馈的全流程，就像电商平台一样，下一个订单，要一个数据，这个数据怎么包装好了给你，拿到之后用的好不好，好了给我反馈一下，不好也可以投诉我，对于整个服务来说，通过服务的目录、服务的申请、版本授权、服务的日志、监控这些辅助功能，对服务的全生命周期，通过服务的开发、发布、部署、更新、下线以及对相关数据源的适配，对各种工具的统一管理，也就是说未来企业内部很多数据都要统一接进来，登一个账号就可以打开一个报表工具，无论哪个厂商，打开大数据平台、打开数据库、打开机器学习平台、打开多方安全计算平台，可以做到统一的门户上，让业务人员提需求，让开发人员做开发，大家把整个认知拉平，把整个任务做一个协同。这是我们认为从治理到运营从场景到具象化内容的介绍。

 

三、业界数据建设标准参考

 

相信随着数字化进程，这一波潮流是国家和行业驱动下的，数据的建设相信未来会逐渐越来越深化，不仅是大型企业，大数据不是量大，是数据复杂，业务就是复杂的，量虽然不大，可能一天就几百万条，全年也就几亿条，但数据的复杂度决定还是大数据，这里需要整个相关建设，很多大型客户所走过的路未来是很大一部分企业未来要走的路，因为大家的企业都是想做大做强。

 

标杆案例参考

 

案例1，助力某制造型企业，虽然这个领域比较小，是一个细分领域上独特品类的龙头，做到了国内第一、世界第一，构建整个产品数据全生态，因为从大家讲数字化应用、产控平衡、数字化供应链，都希望做到按需生产，大型制造业、机械制造也备品备件，包括供应链端和销售端如何达到平衡，以及跟售后的协调，无论做主数据也好，还是做数仓也好，都解决不了大型数字化转型或数字化应用的问题，需要以产品为核心，把它从整个后端，从研发、采购、生产、质量控制到市场销售、售后服务全环节打通，甚至与外部的物流、市场、竞品等外部数据打通。很多部门之间有大量数据需求的，这些需求之间可能被忽视掉或拿不到真实的数据，类似这个时候，可以助力他把内部的数据打通。

 

案例2，城市级，直辖市公共数据数据治理应用，也是全国的标杆，未来大家会发现政务内容原本跟我们可能距离很远，北京、上海、广州各地都成立了交易所，未来政务数据之后授权运营，相信每一个在座的CIO或每一个企业都能拿到很多政务有偿共享过来的数据。未来很多时候政府会首选运营，政府拿出任何社会企业拿不到的数据，比如做供应商入围，供应商认证，想拿到它的信用数据，很多社会企业只能爬虫去拿公共的信用数据，政府可以拿到它的证照、纳税信息，可能会给你一些评级，类似这样的时候，公共数据也会参与到企业数据流转，政府会把数据给你，你也把数据给政府。特斯拉、上汽大众在林岗的工厂都要给政府上报生产经营数据，海关要做无感通关，也就是说有一笔采购可能不做海关查验，直接让你通关，比如大众进口80万个螺栓，海关不可能人工查，要求在数据无感通关之后，到了仓库入ERP的时候，把ERP的数据给我，这时候知道你的入库数据，生产线，这个月下线了多少台车，下线10万台，出口12万台，肯定虚报。这是一个趋势，国家在很多地方做一些试点。这时候，我们通过整个数据的归集，政府体系内数据的归集，体系外的归集，全部编目，无论做一网通办、一网同管，所有未来政务信息化应用都在这里整体实现。

 

案例3，一家大型央企，核心是寄递和邮物，包括银行、信托、保险，它的总部对31个省公司所有条线、事业部会有非常大的数据需求承接的内容，这时候构建集团数据中台，全部串联集融合、存储、治理和应用全过程，面向不同角色，比如面向内部人员，通过PC端、微信、小程序、APP，给集团总部金融条线、银行、证券、保险、信托、事业部、省分公司、电商公司所有人去赋能，一个业务人员直接在终端上可以提需求，就能看到一个数据的报表或拿到一个数据的文件。面向客户，把数据包装成营销活动、维系活动，给分子公司、网点，未来有非常大的网点赋能的内容，还有电商平台、营销人员赋能，面向合作伙伴，未来我们很多时候互相合作，我可以把我的数据提供给你，你可以把你的数据提供给我，还可以跟监管部门、供应商平台、物流平台实现多方协作。相信类似于这样建设时，真的就可以说通过数据的建设形成了一个企业内外部非常畅通的数据生态的通道。

 

总结

 

1.从我们认知下对各行各业企业遇见的数据建设中一些常见的现状和问题做了总结。

 

2.介绍了我们认为要捏合数据治理运营一体化相关架构。

 

3.通过我们协助客户建设的一些有经验或者有成效的内容，希望跟各位做一个参考。

 

普元是一家传统软件厂商，有相关的中间件、数据中台产品，为很多行业做场景化数字应用。

 

我们提供产品，我们更多提供方案，整合性方案，不一定产品都百分之百是我们的，但我们要为客户整合交付他数据领域全体系，至少在数据方面。这也是普元公司治理与做的事情。

 

今天分享就到这里，谢谢大家!