当前位置:大数据业界动态 → 正文

大数据与统计数据质量控制研究

责任编辑:editor004 作者: 杨旭东 |来源:企业网D1Net  2017-12-05 11:33:11 本文摘自:中国信息报

随着网络时代的迅猛发展,大数据在世界范围内飞速产生并不断扩张,如何从大数据中及时提炼、挖掘有价值的信息,提高统计数据的精准度与可利用性,对政府的宏观经济运行与决策具有更深层面的意义。

鉴于大数据具有海量、非结构化、多元性等特点,统计数据质量控制问题更趋向于复杂化,既涉及技术性的因素,又包含非技术性的因素。因此,对大数据与统计数据质量控制进行针对性探寻与研究就变得十分必要。

大数据对统计数据质量控制的主要影响因素

目前,大数据对统计数据质量控制的影响因素,主要产生于“流程、技术和管理”三个维度的“数据收集、数据存储、数据使用、数据库技术、数据质量检测技术、大数据分析技术、管理者认知、管理人员配备、统计体制与标准”9个环节之中。

流程维度:在数据收集阶段,尽管统计不断改进数据收集方式、统计标准以保证数据质量,但不同的数据来源,必然存在差异性和矛盾性,尤其是海量数据总体的无限扩展性,势必会给统计数据处理带来各种障碍;在数据存储阶段,传统单一性的数据结构无法满足大数据对存储的需求,很多以视频、图片等非结构化的数据对传统数据的存储造成麻烦;在数据使用阶段,各类统计数据的衔接,信息技术、数据平台、共享以及协同等层面都存在差异性等实际问题。

技术维度:在数据库技术方面,大数据呈现多样性且以指数形式递增,大数据的复杂性必然给统计数据质量的检测、甄别以及价值挖掘等增加难度;在数据质量检测技术方面,数据质量检测技术、数据质量检测算法等都会直接或间接影响统计对数据的控制质量;在大数据分析技术方面,传统的挖掘技术处理不同类型和格式的大数据,极易造成偏差,针对大数据特点的检测及智能化工具相对匮乏,也会增加统计对数据的质量检测、识别、分析与管控的技术难度等。

管理维度:在管理者认知方面,管理者对大数据重要性的认知程度不高,或者没有健全完善的质量监督管理制度等都会对统计数据质量控制产生负面影响;在管理人员配备方面,缺乏熟悉相关业务的复合型、高端人才,则是阻碍大数据质量提升与控制应用等的重要因素;在统计体制与标准方面,政府统计独立性受到制约,统计数据因与政府政绩、考核相关联而容易受到干预,统计标准的统一程度、统计过程与数据的透明度等也还存在一定的提升空间。

做好下一步工作的几点建议

首先,强化三大平台建设,提升统计分析处理能力。一是建立综合数据管理平台,规范升级统计流程,组建以社区为模块的统计数据采集平台;二是建立数据分析研究平台,不断增加对统计大数据研发的投入,促进统计科研成果向实体效益的有效转化,激发统计生产力;三是构建公众统计数据平台,打造“阳光统计”,增加统计调查数据的透明度,更好地服务公众和社会,提高政府统计的公信力。

其次,注意抓好高端人才队伍建设,加强对统计大数据的深入挖掘。有计划地吸收引进懂研发、精业务的复合型高端人才,激励更多的统计人才实现从统计专家向统计数据专家、数据分析师的转变与跨越。同时,注意利用智能分析技术实现统计大数据的价值挖掘、预测性分析以及可视化开发,确保得到的统计成果更有实效性。

最后,通过推进部门联合,努力构建新型统计协作体系。加强部门之间的相互配合,强化统计工作的基础框架和底层设计,从大数据的源头推进数据的规范化、标准化;通过推进部门协作,建立大数据的价值挖掘与分享机制,最大限度地提高统计大数据的使用效率。

关键字:管理维度数据平台数据质量

本文摘自:中国信息报

x 大数据与统计数据质量控制研究 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

大数据与统计数据质量控制研究

责任编辑:editor004 作者: 杨旭东 |来源:企业网D1Net  2017-12-05 11:33:11 本文摘自:中国信息报

随着网络时代的迅猛发展,大数据在世界范围内飞速产生并不断扩张,如何从大数据中及时提炼、挖掘有价值的信息,提高统计数据的精准度与可利用性,对政府的宏观经济运行与决策具有更深层面的意义。

鉴于大数据具有海量、非结构化、多元性等特点,统计数据质量控制问题更趋向于复杂化,既涉及技术性的因素,又包含非技术性的因素。因此,对大数据与统计数据质量控制进行针对性探寻与研究就变得十分必要。

大数据对统计数据质量控制的主要影响因素

目前,大数据对统计数据质量控制的影响因素,主要产生于“流程、技术和管理”三个维度的“数据收集、数据存储、数据使用、数据库技术、数据质量检测技术、大数据分析技术、管理者认知、管理人员配备、统计体制与标准”9个环节之中。

流程维度:在数据收集阶段,尽管统计不断改进数据收集方式、统计标准以保证数据质量,但不同的数据来源,必然存在差异性和矛盾性,尤其是海量数据总体的无限扩展性,势必会给统计数据处理带来各种障碍;在数据存储阶段,传统单一性的数据结构无法满足大数据对存储的需求,很多以视频、图片等非结构化的数据对传统数据的存储造成麻烦;在数据使用阶段,各类统计数据的衔接,信息技术、数据平台、共享以及协同等层面都存在差异性等实际问题。

技术维度:在数据库技术方面,大数据呈现多样性且以指数形式递增,大数据的复杂性必然给统计数据质量的检测、甄别以及价值挖掘等增加难度;在数据质量检测技术方面,数据质量检测技术、数据质量检测算法等都会直接或间接影响统计对数据的控制质量;在大数据分析技术方面,传统的挖掘技术处理不同类型和格式的大数据,极易造成偏差,针对大数据特点的检测及智能化工具相对匮乏,也会增加统计对数据的质量检测、识别、分析与管控的技术难度等。

管理维度:在管理者认知方面,管理者对大数据重要性的认知程度不高,或者没有健全完善的质量监督管理制度等都会对统计数据质量控制产生负面影响;在管理人员配备方面,缺乏熟悉相关业务的复合型、高端人才,则是阻碍大数据质量提升与控制应用等的重要因素;在统计体制与标准方面,政府统计独立性受到制约,统计数据因与政府政绩、考核相关联而容易受到干预,统计标准的统一程度、统计过程与数据的透明度等也还存在一定的提升空间。

做好下一步工作的几点建议

首先,强化三大平台建设,提升统计分析处理能力。一是建立综合数据管理平台,规范升级统计流程,组建以社区为模块的统计数据采集平台;二是建立数据分析研究平台,不断增加对统计大数据研发的投入,促进统计科研成果向实体效益的有效转化,激发统计生产力;三是构建公众统计数据平台,打造“阳光统计”,增加统计调查数据的透明度,更好地服务公众和社会,提高政府统计的公信力。

其次,注意抓好高端人才队伍建设,加强对统计大数据的深入挖掘。有计划地吸收引进懂研发、精业务的复合型高端人才,激励更多的统计人才实现从统计专家向统计数据专家、数据分析师的转变与跨越。同时,注意利用智能分析技术实现统计大数据的价值挖掘、预测性分析以及可视化开发,确保得到的统计成果更有实效性。

最后,通过推进部门联合,努力构建新型统计协作体系。加强部门之间的相互配合,强化统计工作的基础框架和底层设计,从大数据的源头推进数据的规范化、标准化;通过推进部门协作,建立大数据的价值挖掘与分享机制,最大限度地提高统计大数据的使用效率。

关键字:管理维度数据平台数据质量

本文摘自:中国信息报

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^