2008年9月，《自然》杂志推出了名为“大数据”的封面专栏。2009年开始“大数据”成为互联网技术行业中的热门词汇。2010年，全球知名咨询公司麦肯锡管理咨询公司提出了“大数据时代已经到来”，把大数据推到一个高潮阶段。麦肯锡在研究报告中指出，“数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素，而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来”。
2012年世界经济论坛上发布的一份题为《大数据，大影响》(Big Data, Big Impact)的报告宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。之后，而大数据的特征也从最初的“3V”变成“6V+1C”。即数据体量大(Volume)，类型多样化(Variety)，处理速度快(Velocity)，应用价值大而价值密度低(Value)，数据获取与发送的方式自由灵活(Vender)，准确性(Veracity)以及处理和分析难度非常大(Complexity)。[2]但是，一般而言，人们习惯采用维克托·迈尔﹒舍恩伯格和肯尼斯·克耶编写的《大数据时代》中的提法，以用4个“V”打头的词(Volume，Variety，Velocity，Value)来描述大数据的特征。
1
数据体量巨大(Volume)
从TB级别，跃升到PB级别，乃至ZB级别。截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=1024TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=1024PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。再比如，3年前，国内淘宝大概有3.7亿会员，商品是8.8亿，每天交易近1000万笔，每天会产生20TB数据，运算的数据量达到2PB。2011年Facebook已经有6亿用户，现在这个数字已经变成9亿了，每个月这些人上传照片10亿张，每天产生300TB的数据。
自人类有史以来，我们所产生的信息量为50亿GB，而过去三年所产生的数据量比以往4万年的数据量还要多。2010年全球的数据量已经达到1.2ZB，到2020年将暴增近30倍，达到35ZB。这里1ZB=1024EB=1048576PB=1073741824TB，而35个ZB等于37580963840TB，也就是说全球大概需要376亿个1TB硬盘来存储数据!而残酷的现实状况是，60%创造的数据会因为没有办法存储而丢失，这就对存储效率提出一个新的挑战。
随着云存储的出现，存储问题随之得以解决。30年前，存储1TB也就是约1000GB数据的成本大约是16亿美元，而存储到云上只需不到100美元。但是，如果仅仅是存储数据，而不以云计算进行数据挖掘和数据分析，那么，数据仍然是数据，没有太大价值。
2
数据类型繁多(Variety)
包括网络日志、视频、图片、地理位置信息等，物物相相连形成了人与物、物与人、物与物之间的信息交换，这些构成了信息的源头。社交性、属地性与移动性以SoLoMo(Social + Local + Mobile)的移动互联网应用得以实现，手机扮演着极其重要的角色，通过手机产生的文字、照片、视频、音频、地理信息、速度信息等每时每刻都可以成为记录的依据，随时随地可以通过微博发送与别人分享。五年前，在中国微博中三分之一是用手机发送的，而QQ上一半的信息是通过手机发送的。如今，更多的是微信在快速传播。腾讯公司发布的《2016微信年度生活报告》报告显示，微信有7.68亿活跃用户，这个数字比美国人口的两倍还要多。这些活跃用户每天在微信上进行的音视频通话次数超过1亿次。
3
处理速度快(Velocity)
如果我们要处理FACEBOOK每天新产生的300TB的数据，假设每秒钟扫描50兆，需要105000分钟，用1000台机器干这个事可以缩到105分钟，这说明这么大的数据只能用多机分布并行的方式处理，才能够有效地压缩时间。因此，根据1秒定律，速度决定一切，这一点和传统的数据挖掘技术有着本质的不同。怎么能够加快海量数据计算的速度，如何在866亿的网页中，通过这些数据的分析，知道目标顾客在什么地方。
与此同时，网络的反应速度也成为大家关注的焦点。网络的带宽及反应速度直接影响到企业的效率甚至竞争的成败。信息的流通管道通过不同的传输标准互相传递：光纤、铜缆、蓝牙、NFC、WiFi、2G/3G甚至4G。传统的以E-Mail应用的垂直网络构架显然已经不适合现在Web2.0时代的需求。
4
价值(Value)
虽然数据的数量倍增，但数据的价值密度却降低了，所以，我们都希望从大数据里挖掘更有价值的东西，但是并非所有人都有“金刚钻”：三分之一的企业领导者经常基于他们不信任或者不完备的信息进行决策，二分之一的企业领导者抱怨自己无法获得开展本职工作所需的信息，60%的首席执行官需要更加有效的信息决策系统，80%的首席信息官将“业务智能和分析”作为远景规划的一部分，以此提升竞争力。根据IDC预测，我们看到2010年全球大数据以及相关的硬件、软件和服务市场，大概是30亿美元以上的市场，而我们在2015年整个市场将超过170亿美元，平均增长速度每年超过50%。
总之，大数据的这些特征，昭示着我们正在进入的这个时代，有许多新的挑战，也有许多潜在的机会，但是，如何作为呢?我们需要认真分析。
大数据时代的来临，我们能够做什么?
(一)关于大数据带来的计划经济的争论
大数据与计划经济的话题，最早可以追溯到2014年首届西湖品学大数据峰会上，小微金服集团首席风险官胡晓明并没有针对金融领域详谈大数据应用，而是分享了对大数据的宏观思考。他发现大数据带来四个巨大改变，其中，最大的一个改革是：当数据出现以后，市场经济和计划经济之间，哪个是对的，哪个是错的?在亚当斯密或者金融学这个时代，是没有数据的，没有人的行为数据，没有社会的数据，没有资金流的数据。但是，今天有了数据以后，很多经济学的一些基础理论甚至可能会被修正，原来我们所有的商业行为当中，都是先生产或者先制造才会有销售行为，但今天有了互联网，我们产生了先有销售行为，才会有制造行为，它会影响到整个供应链。
2016年11月19日，由浙商总会和上海市浙江商会联合举办的“2016世界浙商上海论坛暨上海市浙江商会成立三十周年大会”上，马云就在发言中说：“马克思主义讲到的市场经济和计划经济到底哪个好?我认为这个观念我们过去的一百多年来一直觉得市场经济非常之好，我个人看法未来三十年会发生很大的变化，计划经济将会越来越大。为什么?因为数据的获取，我们对一个国家市场这只无形的手有可能被我们发现。中医的医生在没有发现X光和CT机之前我们是没办法把肚子打开来看一看，所以中医的号脉，望、闻、问、切形成了一种独特的指挥系统，但是X光和CT机出来以后，发生了天翻地覆，相信数据时代我们对国家和世界的经济、数据明确的掌握，就像对世界经济我们将会有一个X光机和CT机，所以30年以后将会有新的理论出来。”
在2017年中国国际大数据产业博览会的“机器智能”高峰对话会上，马云在演讲中说：“去年我提了一个观点，我说由于大数据时代的出现，我们对计划经济和市场经济将进行重新定义，我们在过去的五六十年，大家认为市场经济要比计划经济好很多。但我个人觉得，未来三十年，市场经济和计划经济将会被重新定义。我这个观点在国内得到了很多的经济学家一致批判，大家觉得我是胡说八道。这里我自己先告诉大家，我指的计划经济不是苏联那个时候的计划经济，也不是中国刚开始的计划经济。计划经济和市场经济最大的差异是，市场经济有一只无形的手，我想问大家，如果这只无形的手你能摸到，你愿意做计划吗?在大数据时代，特别是万物互联的时代，人类获得数据的能力远远超过大家想象，人类取得对数据进行重新处理以及处理速度的能力也远远超过大家，不管是AI也好，MI也好，我们对世界的认识将会提升到一个新的高度。所以，我想说明的一个问题，由于大数据让市场变得更加聪明。由于大数据，让计划和预判成为了可能。”
为此，许多网站与学者对马云的看法提出了批评。比如，凤凰网的评论是：“马云的计划经济思维，是理性的自负。”再比如，吴敬琏、钱颖一、张维迎等也对此提出了批评：“计划经济的实质是试图用有形之手代替无形之手，这样的尝试，在此前的苏联和其他国家的社会主义实验中已经遭遇挫败。以某一个具体的项目实践而论，人类过往的历史证明，类似马云这样，试图以科学技术的发展，持续线性的进步来制定计划，改善人类状况的项目普遍遭遇了失败。马云可以用大数据为阿里巴巴制定计划，但是，民众不需要被大数据制定的计划经济囊括其中——在大集体时代，它已经给中国人留下了过于痛苦的烙印和伤痕。所以说有了大数据就能搞计划经济，这个说法是非常可笑的。有人认为，大数据的出现可能会使计划经济重新变得可行，这完全是错误的。
(二)大数据时代，我们必须有所作为
大数据时代的来临，似乎人们一下子都告别了过去的“小数据时代”，如果您认为自己，要在大数据时代“撸起袖子大干”，那么，就必须了解我们能够做什么。
第一，对于大多数人而言，仍然是处于“小数据时代”。从上面的分析，我们可以清楚地认识到：大数据尽管看上去很美，但是，我们距离大数据还很远，或者说我们大多数人或者所在的机构，并不具备掌握大数据的能力。铁道部2011年底推出的在线订票系统，采用的系统是当今最先进的系统，但当春运高峰期间，几亿人同时访问时，网站所有服务都陷入了瘫痪。也许，这是我们经历过的最典型的大数据案例。
此外，我们面临着非结构化数据的增长。根据信息的结构类型，可以把信息分为三种：结构化信息、半结构化信息与非结构化信息。所谓结构化信息是指经过分析后可分解成多个互相关联组成部分的信息，各组成部分间有明确的层次结构，我们通常接触的，包括生产、业务、交易、客户信息等方面的记录都属于结构化信息。所谓非结构化信息是指我们通常无法直接知道他的内容，数据库也只能将它保存在一个BLOB字段中，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等，它需要高级分析工具来创建或利用一种更易于人们感知和交互的结构。
所谓半结构化信息是介于结构化信息与非结构化信息之间的信息，以内容为基础，如专业网站上的细分频道，其标题和正文的语法相当规范，关键词的范围相当局限，可以用于搜索，这是IT的第二次浪潮，包括电子邮件，文字处理文件以及大量保存和发布在网络上的信息。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。
当今，数据的内容不仅越来越多，而且结构已发生了极大改变，非结构化信息快速增长。企业80%的数据是非结构化或半结构化的，结构化数据仅有20%。并且全球结构化数据增长速度约为32%，而非结构化数据增速高达63%。也有专家认为，90%的信息和知识在“结构化”世界之外，IT应用中还存在着一个“非结构化”的世界。[5]
第二，遵循摩尔定律，增加数据存储能力与人力资本的投资。根据IDC估计，由于计算机技术进步的持续推动，2011年企业创造、采集、储存和管理信息的成本已经下降到2005年的六分之一，而同期企业关于数据的总投资自2005年以来却反而上升了百分之五十。也就是说，数据产生成本大概每两年下降一半，而这一趋势，最起码会持续到2015年。数据产生成本的下降和增加的投资规模，最终导致了全球数据增速符合“大数据摩尔定律”，与之相匹配的现象即是全球数据存储能力增长显著。
此外，必须加大相关人力资本的投资。根据麦肯锡全球研究所(McKinsey Global Institute)2011年发布的一份报告，预计美国到2018年需要14万名到19万名拥有“深度分析”专长的工作者，以及150万名精通数据的经理人。由此可见，全球对数据分析能力人才的渴求。
第三，充分利用数据测量，分析顾客行为。麻省理工学院斯隆管理学院的经济学教授埃里克·布吕诺尔夫松(ErikBrynjolfsson)曾经指出，数据测量就相当于是现代版的显微镜。显微镜是在四个世纪以前发明的，能让人们看到以前从来都无法看到的事物并在细胞的层面上进行测量。比如，Twitter消息、Facebook帖子和谷歌搜索使得对人们行为和情绪的细节化测量成为可能。谷歌上住房相关搜索查询量的增加或减少的趋势能更加准确地预测未来一个季度中的住房市场走势。
为此，必须创新信息处理技术，工信部发布的物联网“十二五”规划上，把信息处理技术作为4项关键技术创新工程之一提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析等。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与“大数据”密切相关。
当然，大数据时代，我们必须顺应变革，不断创新。比如，传统的网络结构设计是以客户端向服务器发出请求，由服务器应答把结果反馈给客户的垂直结构。而在大数据时代，这种垂直结构日益被水平结构所替代，大量的数据存储在不同地域、各种类型的服务器中。当客户发出一个查询请求时，最多的运算是服务器之间的信息交换，最后将结果反馈给客户，也就是说，新一代网络架构要适应Web2.0时代的水平服务应用。再比如，Facebook近9亿人实名制的客户形成了巨大的网络社区，并使得信息充分共享，将来可以通过搜索引擎让资金需求和供给进行有序排列，通过云计算和资讯体系的完善，确定风险成交的价格，每个人手里有一个移动终端，都可以在手上完成上述各类现在的银行业务，由此可见，此类创新对传统的银行业务将带来巨大的冲击。
第四，大数据与推进国家治理现代化。十八届三中全会公报指出“全面深化改革的总目标是完善和发展中国特色社会主义制度，推进国家治理体系和治理能力现代化。”在党的十八届五中全会上，中央决定实施“国家大数据战略”。2015 年8 月31日，国务院印发《促进大数据发展行动纲要》明确提出：“大数据成为推动经济转型发展的新动力;大数据成为重塑国家竞争优势的新机遇;大数据成为提升政府治理能力的新途径。”短短2个月后，党的中央全会进一步把国务院“大数据发展行动”提升到“国家大数据战略”层面。特别是，2017年12月8日中共中央政治局就实施国家大数据战略进行第二次集体学习。习近平在主持学习时强调：“大数据发展日新月异，我们应该审时度势、精心谋划、超前布局、力争主动，深入了解大数据发展现状和趋势及其对经济社会发展的影响，分析我国大数据发展取得的成绩和存在的问题，推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好服务我国经济社会发展和人民生活改善”。
而大数据技术可否推进一个国家治理现代化呢?一份行业报告显示，英国政府通过高效的使用公共大数据的技术每年可以节省330亿英镑，相当于英国人每人每年节省500英镑(约每人每年节约5000人民币)。
而在我国，要推进国家治理现代化，需要跨越的门槛首先是政府开放数据的问题。
国外提出的政府开放数据的原则，强调的是民众对数据的“知情权”，即完整性;原始性;及时性;可获取性;可处理性;非歧视性;非专有性(Non-proprietary)：不受独家控制;非许可性(License-free)：数据不受任何版权、专利、商标或商业秘密控制。[7]也就是说，共享数据应以公众需求为导向的。数据开放的“目录”不是登记政府现有的数据，而是要按照群众的实际需要编写“目录”，按需求归档。美国在政府信息化建设中坚持“以公众需求为导向”的理念，美国联邦政府在电子政务建设中提出了“让人们点击3次鼠标把事情办完”的口号，减少企业或老百姓与政府部门打交道的时间和成本，使公众真正成为政府信息化主角，促使政府从内部进行变革，实现全民政府的理想，公众的需求将成为未来政府信息化发展的原动力。德国政府提出“让数据而不是公民跑路”等口号，都充分体现了“以人为本”的服务理念。习近平强调，要运用大数据提升国家治理现代化水平，要建立健全大数据辅助科学决策和社会治理的机制，推进政府管理和社会治理模式创新，实现政府决策科学化、社会治理精准化、公共服务高效化。
正如李克强总理所强调的，社会信用体系建设包括政务诚信、商务诚信、社会诚信的建设，而政务诚信是“三大诚信”体系建设的核心，政府言而有信，才能为企业经营做出良好示范，更有利于推进社会诚信提高。作为市场监督和管理者，政府应首当其冲推进政务公开，建设诚信政府。为此，国务院通过《社会信用体系建设规划纲要(2014—2020年)》，要求依法公开在行政管理中掌握的信用信息，提高决策透明度，以政务诚信示范引领全社会诚信建设。
总之，我们新技术革命必将促进我国政府职能转变。如果我们认同以互联网、大数据、云技术、人工智能为代表的这次技术革命是新的生产力，那么，生产力决定生产关系，经济基础决定上层建筑，这场新技术革命必然将推动上层建筑的重构。
第一，政府从过去的信息优势地位逐步转变为劣势地位。过去政府有关部门掌握了大量的数据与信息，而今，海量的数据、碎片化的数据被平台数据公司所控制。
第二，政府调控经济的手段由过去高度集权、集中有效逐步变成分散、低效的状态，从某种程度上讲，目前政府调控经济的手段比较有限，在有限的手段里面，如何提高政府的调控效率，则显得更为重要。
第三，政府要进行决策的门槛在提升。过去靠拍脑袋决策的方式如何过渡到科学决策，政府的决策水平有待提高，以适应日益复杂的经济环境，要求政府逐步从“政务公开”逐步走向“开放数据”，尤其是政府部门要“精准计算”、“协同共享”。
京公网安备 11010502049343号