摘要：

2014年，大数据进入快速发展的第一阶段，人们对大数据的概念和重要性已经有了比较清晰的认知。企业对于大数据的需求持续增强，各类大数据应用逐渐落地，并成为产业链的核心，企业着力培育自身的数据资产；政府的大数据思维逐渐形成，数据开放、应用数据提升治理能力、产业推进动作频繁。供给方面，新兴技术推动大数据技术环境趋向成熟，行业大数据应用逐渐丰富，大数据生态系统多元化程度加强。

一 全球大数据从“概念”走向“价值”

大数据软硬件技术趋于体系化。大数据软件技术体系逐步趋于完整，在数据的基本框架、采集传输、存储、处理分析等各个环节上，都有不同于以往抽样、封闭、小规模条件的新技术予以支撑。目前的顶层软件技术主要有三类：流数据分析和复杂事件处理、数据库和Hadoop（见图11-1）。

同时，企业非常重视在大数据硬件技术上的布局。上海科技发展研究中心对全球大数据方面的专利分析表明：一方面，数据处理、存储和相关设备依然是专利较为集中的领域，如大数据专利数量较多的G06F-017、G06F-015、G06F-007、G06F-003、G06F-009、G06F-021 等分类号，均侧重于计算机数据的处理、存储、控制、接口、安全等硬件电路、设备和零部件。另一方面，8571 项专利集聚形成几个较大的专利群，包括采集显示和传输、处理分析、记录存储、数据管理、共享与协作等，其中规模最大的专利群，依然是与采集、显示和传输相关的外围信息硬件设备。

大数据创新从开源走向产品化，“两纵三横”的产业体系趋于成熟。与开源运动的结合是大数据技术创新中的一个鲜明特点，形成了独特的“互联网公司原创→开源扩散→IT 厂商产品化→其他企业使用”的发展过程。领先企业进行前沿创新，创新成果通过开源得到不断完善并向全社会辐射，原创与开源相得益彰，在国际上形成了一套高效运转的研发产业化体系。开源模式让人们“不必重复发明轮子”，能够降低研发和采购成本，还能够启发新的创意，有效降低了产业技术的壁垒，吸引更多的企业和创业者介入，加快再创新步伐。特别是开源 Apache Hadoop 的大范围应用，大大加速了大数据应用进程，一大批互联网公司和传统IT企业从这种技术扩散体系中受益。在此基础上，传统的IT 企业、互联网企业纷纷开发了基于大数据的行业解决方案和商业应用平台，一批新兴大数据企业加快发展并进行商业模式创新，产业创新生态系统所需的各项条件日趋完备。作为一个独立的产业来看，大数据的产业体系框架表现为“两纵三横”：“两纵”基于技术的基础程度，分为底层技术和应用层技术，前者是共性、基础性技术，如Hadoop 框架、Hbase 数据库、Mahout 算法集等；后者是“二次开发”行为，包括各类个性化方案、产品与服务。而“三横”基于处理的流程顺序，分为基础设施、分析系统和应用工具，也可进一步细化为数据的采集、存储、处理、分析、服务五个方面。这一框架体系已经趋于成熟，能够满足当前大多数的产业应用需求。

企业内部针对大数据的支出增加，大数据产业规模不断增长。Gartner预计2014年IT相关支出的主要动力即大数据的发展，其在2014年10月的调查显示，业界对大数据技术的投资不断扩大，73%的受访者已经投资或者计划在未来24个月内投资大数据，相比2013年的64%有所增长。企业机构开始移除大数据投资的障碍，表示没有大数据相关投资的企业机构比例从2013年的31%降低至24%。2013年，只有8%的企业机构表示已经将大数据项目部署到生产环境中，到2014年这个比例增加到13%。分析交易数据的企业机构所占比例从2013年的70%增加到2014年的79%，而那些分析日志数据的企业机构减少了2%。Wikibon数据显示，2014年全球大数据产业规模约为285亿美元，比2013年增长53%（见图11-2）。其中大数据服务、硬件、软件分别占40%、38%和22%。

　　图11-2 2011～2017年全球大数据市场规模

面对大数据市场竞争，互联网巨头、专业大数据厂商和传统系统集成商三类竞争者各具优势。

一是以互联网巨头为代表的“互联网颠覆者”。谷歌、亚马逊、Apache基金会开发了全新的基础技术与数据库构架，依靠免费、开源的互联网模式，主导大数据技术发展，彻底改变了原有的技术标准与游戏规则。

二是专业大数据厂商。在新的规则面前，大公司与创业者处在同一起跑线上，一些拥有核心人才与市场嗅觉的创业企业，如Splunk、Cloudera等企业，在特定工具、专业平台方面迅速抢占先机，填补市场空白，获得快速发展，在产业链中拥有了一席之地。随着大数据技术的初步成熟，在资本支持下，涌现出一大批新兴大数据专业厂商。2014年大数据投融资案例仍然快速增长。从2014年Wikibon发布的数据来看，专业大数据厂商（指全部营收都是大数据相关）的大数据营收占2013年总营收的比重已超过11.8%，发展非常迅速，也说明大数据产业正在快速形成。2014年比较有影响力的专业大数据厂商主要有Palantir、Cloudera、Hortonworks、Splunk、10Gen、MapR等（见表11-1、表11-2）。

三是传统系统集成商，如微软、IBM、HP、甲骨文、EMC2、SAP等，这些传统IT 巨头拥有强大的资金、研发能力和市场资源。面临大数据的冲击，他们能够敏锐意识到自我革命的紧迫性，并且马上采取应对举措。他们的策略更多是防御性和商业化的，即依靠已有客户资源、成熟的产品线、丰富的行业经验加上商业并购予以应对。

二 中国大数据发展环境不断完善

国家大数据战略呼之欲出。无论是从数据的供给还是应用来看，政府都是大数据产业的重要一环。目前，各国也只是在网络安全与隐私保护方面出台了相关监管法案。与此相反，政府将在促进产业发展上扮演更加重要的角色，如政府数据开放、大数据基础研究计划的推进。我国政府从2014年开始，逐步将大数据提升至国家战略高度，目前正在加紧制定相关指导意见，具体战略有望于2015年出台。这一文件的发布，将对产业发展、政府治理能力提升发挥重要的指导作用，有利于进一步完善产业发展环境，推动创新创业。

地方政府对大数据的热度有增无减，政企大数据合作更加紧密，互动提升政府执政水平、促进商业模式创新、推动产业发展。政府拥有大量的政务及城市信息数据与巨大的应用需求，而企业则掌握着居民生活消费相关的数据与大数据采集、处理、分析的关键技术。两者的合作可以形成优势的互补，将双方的资源盘活，各取所需，更加充分地挖掘数据中蕴含的价值。政企合作不仅为政府降低了平台搭建与数据收集的成本，而且通过数据价值的挖掘，大幅提高了政府的执政水平与工作效率，同时通过模式的创新，进一步带动当地大数据产业的发展，实现政府与企业的互利共赢。2014年，政府与企业在大数据领域的合作不断加强，关系更加紧密，合作领域更加广泛、模式更加多元化，以北京、上海、广州、贵州、武汉等为代表的省市政府在数据资源的开放共享上走在了全国前列。

受益于大数据的开源特点，国内大数据技术研发也把自主创新和开源结合起来，以更加开放的心态融入国际大数据技术创新潮流中去，大数据科学研究取得了一定进步。上海科技发展研究中心研究表明，大数据相关文献数排前25 位的研究机构中，美国16 所大学上榜，共发表论文559 篇，占美国文献总数的36.4%。中国则有6 所大学机构上榜，其中中科院发表论文数居世界第一，达到109 篇，之后依次是清华大学、上海交通大学、哈尔滨工业大学、浙江大学和华中科技大学。6 所大学机构共计发表论文244 篇，约占我国大数据文献总数的四分之一。从资助机构上看，资助5 篇以上的机构共有36 家，大多为国家基金组织和政府部门。其中，中国国家自然科学基金、美国国家科学基金和国立卫生研究院是三家资助发表文献最多的机构，分别达到122 篇、109 篇和57 篇。而企业更多的是聚焦专利领域进行布局，仅有谷歌和微软两家公司资助的研究文献超过5 篇。值得一提的是，14 家国际性企业大数据技术专利的一部分贡献来自其在华分公司。8571 项专利中，公开国为中国的有1757 项，优先权国在中国的有170 项，说明我国研究人员在大数据领域的研究水平在不断提升。

投融资案例增多，专业大数据公司初长成。2014年7月，大数据服务商百分点获C轮2500万美元融资，聚焦金融领域应用的大数据服务企业九次方于2015年1月获得了2亿元融资，虽然融资额度与国外厂商仍有一定差距，但是表明国内大数据厂商也已经实现初步成长，进入发展快车道（见表11-3）。

　　表11-3 国内典型专业大数据厂商

　　续表

总体上，与美国相比，国内的大数据企业在技术创新上还有较大差距，但在应用方面具有优势。《大数据云图》作者芬雷布在其“美国大数据云图3.0版”中将美国的大数据产业版块划分为六块，分别为数据源、开源、跨平台基础设施/分析、基础设施、分析、应用。其中“分析”领域的热点是数据可视化、非结构化数据；“基础设施”领域的热点是NoSQL和NewSQL数据库；“应用”领域的热点是广告优化和营销。通过互联网周刊发布的“中国大数据服务商综合服务水平TOP100排行榜”（见表11-4）与美国大数据的发展对比，可以发现以下几点。

第一，在“数据源”领域，中美各有特色，中国互联网平台数据源和行业数据源建设已经起步，但本地数据（语用数据、情境数据）仍有待加强。第二，“开源”、“跨平台基础设施/分析”和“基础设施”三个领域，美国处于垄断地位。榜单中列前15位的均是美国厂商，且多跨“跨平台基础设施/分析”和“基础设施”两个领域。中国一些厂商认为美国相关技术专业性太强，不利于普及，更倾向于短平快技术应用。但一些企业坚持在这些重要领域耕耘，如商业智能软件（用友软件、久其软件）和数据中心建设与维护（天玑科技、银信科技、荣之联等）。第三，中国厂商绝大多数集中于应用与分析领域，前者如广告优化与营销（阿里巴巴、腾讯等），金融、汽车、政府、健康、教育、安全等行业应用；后者如数据处理、分析环节、综合处理（拓尔思、美亚柏科等），语音识别（科大讯飞、云知声），视频识别（海康威视、大华股份、华平股份、中威电子、国腾电子）。在“应用”领域，中美热点相似度较高，都包括广告优化、营销、金融、产业、政府、健康、教育、安全等。

在技术方面，中美企业差距较大。榜上前10名基本是属于“跨平台基础设施/分析”的美国厂家。在工具和能力方面，中国企业借助市场特点具有优势。其中可分为三类，一类是ICT服务商，如华为、浪潮、用友、东软、金蝶等；一类是国内上市公司，如拓尔思、东方国信、天玑科技等；一类是互联网企业，如阿里巴巴、百度、腾讯等。当然，在大数据的终极目标上，中美两国都还有很长的路要走。

数据驱动型的商业模式创新加快涌现。大数据的商业模式大致可以分为数据托管和交易平台、关系挖掘和沉淀价值利用、数据社交和跨界连接三种类型。

数据托管和交易平台模式。该模式应用已有数十年之久，是发展最为成熟、最为普遍的大数据商业模式，本质是发挥规模效应，降低单个企业在数据信息存储和寻找上的投入成本。主要业务形态有空间出租托管、数据商店、数据市场等，国外典型的代表企业为亚马逊、EMC、DropBox。国内则以“中关村大数据金融服务平台”为代表，主要通过开放的API数据录入、检索、调用，为政府机构、科研单位、企业乃至个人提供数据交易和使用的场所。该平台对在线数据交易、离线数据交易、托管数据交易三种数据交易模式进行了规范，自2014年2月底启动以来，已整合京东、新浪、天翼等开放API数据千余条，收录国外API数据达数千项，并计划为国家部委及北京市等政府机构提供数据开放等服务，已产生85笔交易，交易额达112万元。

关系挖掘和沉淀价值利用模式。关系挖掘是最受关注的大数据商业模式，也是数据科学的主要应用模式。核心是通过数据发现隐藏的相关性，最终用于指导商业、精准化服务与辅助决策。该模式的实现需要一些先决条件，主要是面向数据的处理分析环节：一是目标领域的完全量化，如互联网广告领域，从广告点击到用户购买行为，均有完整翔实的数据记录。二是数据处理能力的大幅提升，要能够处理非关系型数据，并在海量条件下保持实时快速的性能。该模式的难点在于需要颠覆常规的用户思维和需求逻辑，典型类型是沉淀价值的利用，即将一些通常无意义的数据甚至是垃圾数据进行利用，最终得出有价值的结论。比如，谷歌公司利用了数十亿用户搜索时的错误拼写记录，用以提升其拼写检查器的智能性。就目前而言，基于关系挖掘的大数据模式尚未成熟，但社会各界对这种模式寄予了较高的期望，认为其将有助于驱动产业转型和发展新兴产业，如推动生物医药等研发密集型产业、企业咨询等知识密集型产业向数据密集型产业转型，推动零售、交通等传统服务业向现代服务业转型，推动传统制造业向智能制造业转型等。

如2014年7月，北京市政府联合百度公司及其他智能设备商和服务商共同宣布推出了“北京健康云”项目，依托大数据分析，提前发现健康隐患，为居民用户提供个性化的健康咨询服务，将健康的重心由“治疗”转向“预防”。2014年9月，国家统计局与包括腾讯、数海科技、搜房网等在内的六家公司签署大数据战略合作协议，将政府力量与企业资源相结合，共同推进大数据在政府统计中的应用。2014年11月，中国气象局公共气象服务中心和海尔签署独家战略合作，探索“空气大数据”在智能家居领域的深层价值。2014年11月，山西省农业厅、动物卫生监督所与北京宝讯溯源科技有限公司签署了“畜牧兽医大数据系统平台建设合作协议”，利用大数据增强全省重大动物疫病防控能力和畜产品质量安全监管能力。此外，一些政府部门在报告撰写、决策分析的过程中，也陆续使用第三方企业提供的海量数据或分析结果，提高了工作效率与决策的科学性。2014年，在推进本地大数据产业发展的过程中，贵州省还联合阿里巴巴集团、百度公司共同举办了2014年中国“云上贵州”大数据商业模式大赛，吸引大数据优秀人才、企业、项目落地，为产业的长远发展造势并打造人才基础。

2015年2月《互联网周刊》发布的“2014大数据应用案例TOP100”显示，2014年大数据应用已经涵盖医疗、交通、金融、教育、体育、零售等各行各业。可以发现，一方面，微软、英特尔、IBM等国外巨头科技公司占据半壁江山，发展相对成熟，本土公司的发展则相对落后；另一方面，当前大数据的应用仍以企业为主，100个案例中有88个，直接以普通用户为对象的应用则相对较少，仅占12席。

　　续表

五 数据交易、数据安全、开放共享主导大数据未来

大数据自身的安全问题及其在信息安全领域的应用备受关注。大数据安全是一个很宽泛的领域，可以包括大数据系统的安全、数据本身的安全以及隐私保护、大数据应用带来的安全问题和隐私问题，以及大数据技术在安全领域的应用。

在大数据时代，网络对人们经济、社会活动的介入越来越深，信息和数据的收集也变得越来越便捷。这一方面使相关行业能够利用信息和数据实现更大的价值创造，另一方面也给个人信息的保护带来前所未有的挑战。用户的位置信息、行为信息、消费信息、社交信息等，都变成了可被存储、分析的数据，如果将这些数据汇总起来，可以准确还原和预测个人在日常生活中的真实活动轨迹，如果被滥用，势必加剧个人信息风险。

用户信息不仅涉及个人隐私，更是一种重要的“数据资产”，特别是互联网经济的崛起，使大数据带来的商业价值日益凸显。也正是鉴于此，相关行业的数据和信息被作为核心资源广泛争夺。然而，一方面缺少监管，另一方面又有利可图，这使非法获取个人信息的行为获得了很大的操作空间。近年来，由于经济利益的驱使、行业生态的混乱、法律法规的缺失，以及公民自身对个人信息保护意识的欠缺等原因，围绕个人信息的采集、加工、开发和销售正悄然变为一条“数据产业链”，信息泄露导致的“精准营销”和金融诈骗活动，给人们的隐私和财产造成了难以估量的损失。

在大数据时代的信息安全风险面前，既不能熟视无睹，也不能因噎废食。如何让个人信息的保存、使用和流动保持在安全可控的范围，在合法、合理利用数据资源增进社会福祉的同时，筑牢个人信息安全的“防火墙”，已经成为政府和企业都无法回避的问题。

捍卫大数据时代的个人信息安全，亟待建立健全系统化的防护体系，法律和技术双管齐下。在法律层面，迫切需要制定保护公民个人信息的专门性法规，明确规定个人信息的保护范围，并对个人信息的采集、使用、处理予以特别规定；在行业层面，要建立互联网、电信、金融等重点领域的行业自律机制，完善客户信息的管理规范，使客户信息的采集更加透明，并切实做好保密义务；在技术层面，要加快建立规范的网络认证标准体系，厘清数据权利/权力，如数据拥有权、隐私权、许可权，以及许可后的撤销和转移权、审计权和分红权，加快大数据安全保障关键技术的推广，降低信息泄露的潜在风险。唯有如此，才能有效遏制大数据时代个人信息安全的系统性风险，使大数据真正成为促进信息消费的新动力。

数据的资产属性只有真正开始流通才能产生价值，数据交易标准决定未来大数据的价值潜力的发挥程度。除了政府掌握的公共数据资源，企业等机构的数据资产属性决定了其不可能被随意使用，数据割据的状态导致大量有价值的数据长期“沉睡”，无法发挥应有的价值。因此，业界一直在努力制定数据确权、数据定价、数据保险、数据货币，以及数据的登记、交割等一系列大数据交易及相关标准。中关村大数据交易产业联盟在2014年发布《中关村数海大数据交易平台规则》是非常好的尝试，但是要做到更深入、更全面的数据流通还有很长的路要走。

虽然数据安全、数据交易等问题困扰着大数据的发展，但是政府大数据的特殊性使其成为大数据最为有效的试错、落地领域，围绕政府大数据的应用在未来必将迎来更大的发展，政企结合也将是政府大数据未来发展的必然选择。伴随着智慧城市建设的火热进行，政府大数据的应用将进入实践建设阶段，市场需求有望得到爆发式增长，这将有效带动大数据收集、挖掘、分析、处理、应用到智能终端产品的制造等大数据全产业链的发展。