当前位置:大数据业界动态 → 正文

警惕“大数据傲慢”

责任编辑:editor006 作者:熊璋 |来源:企业网D1Net  2015-07-01 17:14:18 本文摘自:光明网

我们每天听到“数据”一词的频率突然高起来,如“大数据”、“数据经济”和“政府数据公开”等,“数据”与现代社会、与大家的日常生活越来越息息相关。

从“数字”、“数值”到“数据”

没有计算机和信息技术的年代里,“数据”更多的是“数字”或“数值”,至多也就是用于统计的“数字”或“数值”。计算机问世初期,信息技术有了“数值计算”和“数据处理”的差别,只不过,“数值”通常指连续变化的物理量;而“数据处理”处理的是离散的一组组“数字”而已,“数据”仍然停留在统计应用的水平。

随着计算机和信息技术的普及和发展,互联网的普及特别是移动互联网的普及,“数据”有了更多的内涵和更广外延,“数据”不再限于“数字”或“数值”,只要是计算机可以处理,“数据”可以是文本、语音、图形、图片、视频和更多其他的形式。“金融数据”包括但不限于银行交易、证券交易、外汇牌价和交易、信贷、资信、金融趋势等。“医疗数据”包括但不限于病人症状、检查结论、诊断、用药、流行病、专家就诊时间、医疗资源分布等。“教育数据”包括但不限于适龄学生数、课程计划、成绩、教育质量、升学、就业等等。各种数据,林林总总,不一而足。

曾记得,“数字化”风靡一时。科学家香农在上个世纪40年代就提出了采样定理,即对一个连续函数,按给定间隔提取其值,就可以用一组离散的数字序列代表这个连续函数,这就是数字化的重要基础。“数字化”的另一个意思是“数字化标示”,用一串数字来标示一个客体。“数字化”目标是数字计算机可以处理模拟信号,也可以纪录处理各种客体的“数字化标示”,我们不能不说这是一场技术革命,只不过这个革命是一种工具(计算机)或过程(计算机处理)的革命。“数据”就不同了,“数据”是现在信息社会的一个新生儿,它像石油和矿石,是一种新的原材料,可以用来加工、产生价值;它像农具和机器,是一种新的生产资料,可以提高生产的效率;它像高速路和机场,是一种新的基础设施,投资和利用它可以改善经济和民生。

有创新企业的生产原材料就是“数据”,他们对这样的原材料加工,生产去形形色色的“数据产品”,获得受益,比如:加工过的病案数据对于医药企业,加工过的点评数据对于餐饮企业,加工过的人口流动数据对于规划部门。有些企业很好的利用了“数据”这种生产资料,通过收集分析用户习惯“数据”,可以设计生产出更有人缘的产品,比如:世界知名的互联网公司和手机公司都不断在收集分析用户使用习惯的“数据”,进而改进自己的产品,搜索服务提供商不停收集用户的搜索关键词,借以分析各种有价值的趋势。也有不少地方开始关注对于“数据”基础设施的投入,提高本地区的竞争力,

有企业家说,鼠标嫁给水泥,诞生的宝宝叫数据经济。

“大数据”并不仅仅是因为“数据”量大

“大数据”极大的提升了“数据”一词的使用频率。多大是“大”?

其实历史上“海量数据”被用过很长时间,“海量数据”也是在说“数据”的规模,“大数据”也包含“数据”的规模,不同的是:“大数据”不仅关乎规模,同时还涉及数据的多样性和复杂性,最关键的是用传统的理论和方法都无法高效处理。

曾几何时,人民熟知的数据大小的单位,从位、K(千、10的3次方)、M(百万、10的6次方)、G(十亿、10的9次方)、到了T(兆、10的12次方)、P(千兆、10的15次方)、甚至E(百京、10的18次方)。《经济学人》期刊2010年2月出版的专辑“The data deluge(数据洪流)”中提到数据大小的单位E时,不少专业人士也得上网查查,E到底是多大?

“大数据”与“数据”或“传统数据”有规模上的不同,同时在收集方式上,特别是分析方法上有着根本的差别。搜索服务提供商不停收集用户搜索关键字,用于分析各种趋势;社交网络不停收集聊天主体,分析其中关键字和语义,判断社会大众心情;电商则通过售买数据解读热销产品,这些和“传统数据”或“小数据”的收集方式有明显的差异。“传统数据”的分析方法主要是统计和数据挖掘。“大数据”的加工与“传统数据完全不同”:高度并发的数据采集、数据全集(而非抽样)的处理、数据清洗等预处理,非结构化数据的处理、语义分析、深度学习。正是由于采用了各种新的数据处理方法,“数据”才能成为“大数据”,“数据”才有价值,“数据”才能成为原材料、生产资料、基础设施。

[page]

2015年07月01日 06:00:00来源:光明网

数据的社会价值

当“数据”不再只是“数字”和“数值”,当“数据”成为了原材料、成了生产资料、成了基础设施,我们显然可以得出结论:现代社会“数据”无处不在。正是无处不在的计算、无处不在的网络和无处不在的数据构筑了信息社会的三个维度。

现在信息社会是信息技术的发展和普及带来的,而信息技术的发展史,是信息技术核心不断转换的历史,计算机刚刚问世时,信息技术的核心是计算机;随着计算机越来越多,核心转移到计算机的网络;有了网络,核心就转移成为搜索,在互联网和移动互联网普及的今天,数据成为了信息技术的核心。

《自然》期刊2015年2月发表查尔斯 赛费的文章说,“大数据”不仅带来了商业和科学的革命,同时带来了社会的变化,在过去的十年里,我们让机器在我们生存的方方面面扮演者中间角色,我们和朋友交流、娱乐、驾驶、健身、看医生、读书,总有计算设备在那接收、发送数据,是我们留下了朵朵巨大的数据云。

从司空见惯的日常生活到最尖端的科学研究,人类不断在创造数据,也不停地利用和享受着数据带来的便利。

一个人早上起床通过智能手机上网看看天气预报,利用了数据、计算、和网络,通过电视节目来看天气预报也是一样,有专业人员收集天气数据、分析天气数据、得出数据预报结论,通过电视节目播出来。通过电商采购日常用品越来越普及,一目了然的多种选择,可供参考的用户评价,优惠的价格,快速的物流和配送,方方面面都在利用数据、计算和网络诠释着便捷和高效,通过改变人们的消费习惯来改变着人的生活方式。

电子邮件、短信、博客、微信和朋友圈是全新的人与人的交互方式,让几年前还常用的邮递信件、电报、传真变成历史。

传统的不同语言之间的互译,多少年来都是语言学家编出字典,语言专家借助字典互译,然而,数据改变了这样的传统,谷歌公司利用“大数据”和统计的方法,通过对大量双语文献的收集和处理,为社会提供了71种语言的即时互译,去年一年为大众提供了达2亿次的翻译服务。这种翻译可能还没有达到语言学家的文学译著那么优雅,但是已经服务于联合国不同语种的文件翻译。

欧洲核子研究组织(CERN)是全球最大的粒子物理学实验室和高能物理研究中心,取得了令人瞩目的科学成就,它同时也是世界上第一个网站,第一个网络服务器,第一个浏览器的诞生地。它的科学发现的基础是其各种设备每天不停歇的接收和处理不可想象规模的数据,每秒钟要处理几十TB的数据。

如果说工业1.0是蒸汽机带来的机械化、工业2.0是电力带来的电动化、工业3.0是计算机带来的自动化,那工业4.0就是数据带来的智能化。其最基本的理念是CPS(信息物理系统),简单说,就是用数据让所有相关因素连接为一个系统,包括订单、原材料、生产设施、生产过程、仓储、物流、全球化等等,仔细分析工业4.0的核心特征,都与数据有密不可分的联系。

[page]

2015年07月01日 06:00:00来源:光明网

数据素养

“素养”可以看作是素质和修养,是人的思维方式、能力和价值观。现在社会人与物、人与人的交互愈加密切,人的素养就成为现在社会一个非常重要的关注点,信息技术和“数据”的社会价值越来越高,当然对现代社会的人的“数据”素养提到一个新的高度。

“数据素养”包括对数据的敏感性,数据收集、处理、分析、判断和利用的能力,尊重数据伦理、保证数据准确、安全和隐私的修养。

“数据素养”不再限于对信息从业人员的要求,而变成了一种对全民、尤其是年轻一代的要求,显然没有人可以游离在信息社会之外。非常有意思的观察是:给幼儿智能手机类似的物品,多数幼儿都会模仿大人,用手指在屏幕上划来划去,好像他们的家长小时候更多是拿笔会画一样,这是认知规律使然,从一个侧面证明了数据素养是从很小年龄就可以开始训练和培养的。仍然存在的城乡差异、地区差异、职业差异、教育程度差异等并没有影响大众一起接受智能手机、网络电视、电商或“微信”,几乎每个公民都有提高自身“数据素养”的需求。当然这并不是要求非专业人员具备和专业人员同样的技能,不同人群的“数据”技能是不同层次的,但是价值观、伦理规范是同样的,要判断数据的真伪、要保证数据的准确、要关注数据的安全、要尊重他人的数据隐私等。

《科学》期刊2014年11月刊发费雷德 凯特的文章,其中一个重要观点是:随着现代社会越来越“数据化”,如果我们依然完全依靠现在保护隐私的工具软件,我们的隐私只会处于前所未有的危险中。各种信息泄露。

《福布斯》期刊2015年1月5日报道,摩根士丹利发现其大约900名财富管理客户的账户名称和账户号码被泄露在公开网站上,尽管客户账户密码和社会安全号码未被泄露,当时也还没有证据显示任何客户因此遭受经济损失,但是足以引起社会的高度关注。《路透社》2015年5月13日报道,“Uber(优步打车)”大约5万名司机的信息被未知第三方获取,是一次大规模的信息泄露,该公司2014年9月在自身系统中发现一个漏洞,可让外人在未经授权情况下获取部分司机的姓名和驾照号码。虽然优步未收到任何有关这些数据“已遭滥用的报告”,但是对于这样敏感数据的大规模泄露还是暴露出快速发展的互联网公司数据安全方面的风险。

《科学》期刊2014年3月14日发表大卫 拉泽的文章,作者认为:大数据集的分析是很复杂的,但是由于大数据的收集不一定有传统小数据的收集过程那样的缜密,难免出现失准的情况,作者用谷歌流感趋势(GFT)失准作例子,指出了“大数据傲慢”是问题的根源,是大家应该思考的问题。

谷歌认为用户搜索关键词可以用来预测流感疫情的现状,据此开发了谷歌流感趋势(GFT),不过其结果与美国疾病预防控制中心的监测报告相比对,2013年2月,GFT预测的流感样病例门诊数超过了CDC根据全美各实验室监测报告得出的预测结果的两倍,显然失准。

在数据公开、数据交换、数据共享和数据利用成为大势所趋时,不论是政府机构、企业还是个人,都在创造数据、管理数据和使用数据,每个公民在这样的过程中遵守法律和尊重伦理是最必不可少的素养。

关键字:数据数据清洗谷歌

本文摘自:光明网

x 警惕“大数据傲慢” 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

警惕“大数据傲慢”

责任编辑:editor006 作者:熊璋 |来源:企业网D1Net  2015-07-01 17:14:18 本文摘自:光明网

我们每天听到“数据”一词的频率突然高起来,如“大数据”、“数据经济”和“政府数据公开”等,“数据”与现代社会、与大家的日常生活越来越息息相关。

从“数字”、“数值”到“数据”

没有计算机和信息技术的年代里,“数据”更多的是“数字”或“数值”,至多也就是用于统计的“数字”或“数值”。计算机问世初期,信息技术有了“数值计算”和“数据处理”的差别,只不过,“数值”通常指连续变化的物理量;而“数据处理”处理的是离散的一组组“数字”而已,“数据”仍然停留在统计应用的水平。

随着计算机和信息技术的普及和发展,互联网的普及特别是移动互联网的普及,“数据”有了更多的内涵和更广外延,“数据”不再限于“数字”或“数值”,只要是计算机可以处理,“数据”可以是文本、语音、图形、图片、视频和更多其他的形式。“金融数据”包括但不限于银行交易、证券交易、外汇牌价和交易、信贷、资信、金融趋势等。“医疗数据”包括但不限于病人症状、检查结论、诊断、用药、流行病、专家就诊时间、医疗资源分布等。“教育数据”包括但不限于适龄学生数、课程计划、成绩、教育质量、升学、就业等等。各种数据,林林总总,不一而足。

曾记得,“数字化”风靡一时。科学家香农在上个世纪40年代就提出了采样定理,即对一个连续函数,按给定间隔提取其值,就可以用一组离散的数字序列代表这个连续函数,这就是数字化的重要基础。“数字化”的另一个意思是“数字化标示”,用一串数字来标示一个客体。“数字化”目标是数字计算机可以处理模拟信号,也可以纪录处理各种客体的“数字化标示”,我们不能不说这是一场技术革命,只不过这个革命是一种工具(计算机)或过程(计算机处理)的革命。“数据”就不同了,“数据”是现在信息社会的一个新生儿,它像石油和矿石,是一种新的原材料,可以用来加工、产生价值;它像农具和机器,是一种新的生产资料,可以提高生产的效率;它像高速路和机场,是一种新的基础设施,投资和利用它可以改善经济和民生。

有创新企业的生产原材料就是“数据”,他们对这样的原材料加工,生产去形形色色的“数据产品”,获得受益,比如:加工过的病案数据对于医药企业,加工过的点评数据对于餐饮企业,加工过的人口流动数据对于规划部门。有些企业很好的利用了“数据”这种生产资料,通过收集分析用户习惯“数据”,可以设计生产出更有人缘的产品,比如:世界知名的互联网公司和手机公司都不断在收集分析用户使用习惯的“数据”,进而改进自己的产品,搜索服务提供商不停收集用户的搜索关键词,借以分析各种有价值的趋势。也有不少地方开始关注对于“数据”基础设施的投入,提高本地区的竞争力,

有企业家说,鼠标嫁给水泥,诞生的宝宝叫数据经济。

“大数据”并不仅仅是因为“数据”量大

“大数据”极大的提升了“数据”一词的使用频率。多大是“大”?

其实历史上“海量数据”被用过很长时间,“海量数据”也是在说“数据”的规模,“大数据”也包含“数据”的规模,不同的是:“大数据”不仅关乎规模,同时还涉及数据的多样性和复杂性,最关键的是用传统的理论和方法都无法高效处理。

曾几何时,人民熟知的数据大小的单位,从位、K(千、10的3次方)、M(百万、10的6次方)、G(十亿、10的9次方)、到了T(兆、10的12次方)、P(千兆、10的15次方)、甚至E(百京、10的18次方)。《经济学人》期刊2010年2月出版的专辑“The data deluge(数据洪流)”中提到数据大小的单位E时,不少专业人士也得上网查查,E到底是多大?

“大数据”与“数据”或“传统数据”有规模上的不同,同时在收集方式上,特别是分析方法上有着根本的差别。搜索服务提供商不停收集用户搜索关键字,用于分析各种趋势;社交网络不停收集聊天主体,分析其中关键字和语义,判断社会大众心情;电商则通过售买数据解读热销产品,这些和“传统数据”或“小数据”的收集方式有明显的差异。“传统数据”的分析方法主要是统计和数据挖掘。“大数据”的加工与“传统数据完全不同”:高度并发的数据采集、数据全集(而非抽样)的处理、数据清洗等预处理,非结构化数据的处理、语义分析、深度学习。正是由于采用了各种新的数据处理方法,“数据”才能成为“大数据”,“数据”才有价值,“数据”才能成为原材料、生产资料、基础设施。

[page]

2015年07月01日 06:00:00来源:光明网

数据的社会价值

当“数据”不再只是“数字”和“数值”,当“数据”成为了原材料、成了生产资料、成了基础设施,我们显然可以得出结论:现代社会“数据”无处不在。正是无处不在的计算、无处不在的网络和无处不在的数据构筑了信息社会的三个维度。

现在信息社会是信息技术的发展和普及带来的,而信息技术的发展史,是信息技术核心不断转换的历史,计算机刚刚问世时,信息技术的核心是计算机;随着计算机越来越多,核心转移到计算机的网络;有了网络,核心就转移成为搜索,在互联网和移动互联网普及的今天,数据成为了信息技术的核心。

《自然》期刊2015年2月发表查尔斯 赛费的文章说,“大数据”不仅带来了商业和科学的革命,同时带来了社会的变化,在过去的十年里,我们让机器在我们生存的方方面面扮演者中间角色,我们和朋友交流、娱乐、驾驶、健身、看医生、读书,总有计算设备在那接收、发送数据,是我们留下了朵朵巨大的数据云。

从司空见惯的日常生活到最尖端的科学研究,人类不断在创造数据,也不停地利用和享受着数据带来的便利。

一个人早上起床通过智能手机上网看看天气预报,利用了数据、计算、和网络,通过电视节目来看天气预报也是一样,有专业人员收集天气数据、分析天气数据、得出数据预报结论,通过电视节目播出来。通过电商采购日常用品越来越普及,一目了然的多种选择,可供参考的用户评价,优惠的价格,快速的物流和配送,方方面面都在利用数据、计算和网络诠释着便捷和高效,通过改变人们的消费习惯来改变着人的生活方式。

电子邮件、短信、博客、微信和朋友圈是全新的人与人的交互方式,让几年前还常用的邮递信件、电报、传真变成历史。

传统的不同语言之间的互译,多少年来都是语言学家编出字典,语言专家借助字典互译,然而,数据改变了这样的传统,谷歌公司利用“大数据”和统计的方法,通过对大量双语文献的收集和处理,为社会提供了71种语言的即时互译,去年一年为大众提供了达2亿次的翻译服务。这种翻译可能还没有达到语言学家的文学译著那么优雅,但是已经服务于联合国不同语种的文件翻译。

欧洲核子研究组织(CERN)是全球最大的粒子物理学实验室和高能物理研究中心,取得了令人瞩目的科学成就,它同时也是世界上第一个网站,第一个网络服务器,第一个浏览器的诞生地。它的科学发现的基础是其各种设备每天不停歇的接收和处理不可想象规模的数据,每秒钟要处理几十TB的数据。

如果说工业1.0是蒸汽机带来的机械化、工业2.0是电力带来的电动化、工业3.0是计算机带来的自动化,那工业4.0就是数据带来的智能化。其最基本的理念是CPS(信息物理系统),简单说,就是用数据让所有相关因素连接为一个系统,包括订单、原材料、生产设施、生产过程、仓储、物流、全球化等等,仔细分析工业4.0的核心特征,都与数据有密不可分的联系。

[page]

2015年07月01日 06:00:00来源:光明网

数据素养

“素养”可以看作是素质和修养,是人的思维方式、能力和价值观。现在社会人与物、人与人的交互愈加密切,人的素养就成为现在社会一个非常重要的关注点,信息技术和“数据”的社会价值越来越高,当然对现代社会的人的“数据”素养提到一个新的高度。

“数据素养”包括对数据的敏感性,数据收集、处理、分析、判断和利用的能力,尊重数据伦理、保证数据准确、安全和隐私的修养。

“数据素养”不再限于对信息从业人员的要求,而变成了一种对全民、尤其是年轻一代的要求,显然没有人可以游离在信息社会之外。非常有意思的观察是:给幼儿智能手机类似的物品,多数幼儿都会模仿大人,用手指在屏幕上划来划去,好像他们的家长小时候更多是拿笔会画一样,这是认知规律使然,从一个侧面证明了数据素养是从很小年龄就可以开始训练和培养的。仍然存在的城乡差异、地区差异、职业差异、教育程度差异等并没有影响大众一起接受智能手机、网络电视、电商或“微信”,几乎每个公民都有提高自身“数据素养”的需求。当然这并不是要求非专业人员具备和专业人员同样的技能,不同人群的“数据”技能是不同层次的,但是价值观、伦理规范是同样的,要判断数据的真伪、要保证数据的准确、要关注数据的安全、要尊重他人的数据隐私等。

《科学》期刊2014年11月刊发费雷德 凯特的文章,其中一个重要观点是:随着现代社会越来越“数据化”,如果我们依然完全依靠现在保护隐私的工具软件,我们的隐私只会处于前所未有的危险中。各种信息泄露。

《福布斯》期刊2015年1月5日报道,摩根士丹利发现其大约900名财富管理客户的账户名称和账户号码被泄露在公开网站上,尽管客户账户密码和社会安全号码未被泄露,当时也还没有证据显示任何客户因此遭受经济损失,但是足以引起社会的高度关注。《路透社》2015年5月13日报道,“Uber(优步打车)”大约5万名司机的信息被未知第三方获取,是一次大规模的信息泄露,该公司2014年9月在自身系统中发现一个漏洞,可让外人在未经授权情况下获取部分司机的姓名和驾照号码。虽然优步未收到任何有关这些数据“已遭滥用的报告”,但是对于这样敏感数据的大规模泄露还是暴露出快速发展的互联网公司数据安全方面的风险。

《科学》期刊2014年3月14日发表大卫 拉泽的文章,作者认为:大数据集的分析是很复杂的,但是由于大数据的收集不一定有传统小数据的收集过程那样的缜密,难免出现失准的情况,作者用谷歌流感趋势(GFT)失准作例子,指出了“大数据傲慢”是问题的根源,是大家应该思考的问题。

谷歌认为用户搜索关键词可以用来预测流感疫情的现状,据此开发了谷歌流感趋势(GFT),不过其结果与美国疾病预防控制中心的监测报告相比对,2013年2月,GFT预测的流感样病例门诊数超过了CDC根据全美各实验室监测报告得出的预测结果的两倍,显然失准。

在数据公开、数据交换、数据共享和数据利用成为大势所趋时,不论是政府机构、企业还是个人,都在创造数据、管理数据和使用数据,每个公民在这样的过程中遵守法律和尊重伦理是最必不可少的素养。

关键字:数据数据清洗谷歌

本文摘自:光明网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^