当前位置:大数据业界动态 → 正文

从斯诺登爆料911看拥抱大数据应避免的误区

责任编辑:editor004 |来源:企业网D1Net  2014-06-11 13:55:08 本文摘自:DOIT.com.cn

斯诺登带来的启发,不仅仅在于信息安全和自主可控的重要性,还包括如何避免大数据项目的一些误区。

斯诺登最新的爆料涉及911和NSA(美国国家安全局)的监控手段。据央视日前报道,斯诺登称,美国在911事件发生前已获得必要的情报信息,CIA(中情局)也都知道恐怖分子是谁,但在所有搜集到的海量机密信息中,他们没能完全理解信息之间的关联,以致没能及时做出决策性判断,有效的措施也就更无从说起了。

NSA的新信息来自《纽约时报》的报道。除了收集电话元数据和邮件通讯内容,NSA每天还收集数百万张图像,建造一个大型数据库以便更好地追踪和识别目标人物,斯诺登说,其中约5.5万张具备“面部识别质量”。

通过上述信息,无论从“4V(Volume、Velocity、Variety、Value)”的哪个角度来看,美国情报部门所做的事情都应该算得上是“大数据”项目。事实上,受斯诺登事件影响而卸任的原NSA局长、美军网络司令部司令、四星上将Gen.KeithAlexander(基思·亚历山大)曾表示,未来属于大数据。

明确价值点

“我们生活在大数据的时代,我们必须弄清楚如何利用它。”Alexander说。NSA在他主政长达8年多的时间里,所收集的海量信息甚至令该机构的诸多前高管感到难以置信。据悉,Alexander引入了大数据解决方案为NSA加速数据的分类和处理,其中一款名为“ApacheAccumulo”的工具可以处理PB级数据。

结果,尽管Alexander辩护称棱镜项目在反恐工作中发挥了作用,但不管CIA还是NSA,911这样本来可以预防的重大恐怖袭击事件毕竟还是发生了。所以说,斯诺登的爆料,再次验证了Value(价值)才是大数据的核心。组织如果要实施大数据项目,价值最大化一定是评估项目的第一要素。

按照斯诺登的说法,美国投入大量资金的监控项目并没能保证美国公民的安全,反而剥夺了人们的权利。这可能是是斯诺登和Alexander对价值的理解有差异。信奉数据的人,不便以阴谋论去推测Alexander和NSA的具体用意,但监控百余名外国领导人这样的行动,确实似乎和美国公民安全没有直接的联系,更不用说未经授权监控美国公民了。

我们能够得到两点启示:资源要用到刀刃上,否则大数据也会成为废数据或者大浪费——毕竟,数据的收集和存储需要人力、财力、时间和IT基础设施的投入,甚至还可能有组织架构的调整;更为重要的是,你要弄清楚刀刃在哪里,也就是说实施大数据要树立正确的目标。

相信奉行利益最大化的现代企业一定能想到大数据要追求大价值,迷茫的更多在于刀刃在哪里。这可以参考互联网公司,在大数据概念走红之前,压榨数据的潜能作为企业核心竞争力就已经是他们的信条。例如,百度和谷歌借助用户浏览行为提供个性化的搜索,淘宝亚马逊因为根据用户购物习惯为用户提供精准的喜好物品。学习互联网企业,从营销入手,更快速地定位到你的客户,或者更好地理解和响应客户的需求,改善产品的用户体验,是一个不错的切入点,相对易于实施和见效。

另外,从此前报道的“CIA每年花费千万美元向电信运营商AT&T公司购买国际电话数据”来看,神秘的NSA,尽管对通讯的监控很到位,但其数据库并不能为CIA的同行所用,而后者出于业务需求,也建设有自己的大数据。这种数据壁垒的现象,无疑会带来重复建设的问题,资源浪费严重,无法做到将资源用到刀刃上。随着IT的发展逐步推进的信息化,烟囱式的系统带来的数据孤岛已是现实,如果要更好地发挥数据的价值,是时候考虑数据集中、云平台的建设或者利用了。

当然,如果实现数据的共享,NSA的保密性就要差很多,普通的项目,还可能涉及奥巴马的智囊团最近提醒白宫的大数据隐私问题(在NSA和CIA面前应当可以无视隐私了)。但在一个企业组织内部,如果没有必要,故意设置数据壁垒,是不利于大数据价值的发挥的。

关注分析而非数据量

更重要的一点,CIA未能提前预防911,是因为不能完全理解信息之间的关联。但维克托·迈尔-舍恩伯格早已指出,大数据的相关关系分析法,更准确,更快,而且不易受偏见的影响。换言之,建立在相关关系基础上的预测应该是大数据的核心,这种预测更加靠谱。对于911事件而言,尽管大数据工具足够给力,但Alexander和他的同行在关联性分析方面还做得不够。殷鉴不远,我们就更要根据关联性来收集数据并分析,提升大数据的价值。

和整个业界产生的数据量相比,有选择地收集的数据、甚至只是利用已有的数据可能还太小,但不必懊丧,我们要的是数据的价值,没必要纠结是不是大数据,也没必要为满足占有欲望而保有数据(当然合规性需求不在此列)。

JMP数据分析大中华地区总经理严雪林就对大数据的概念不甚热心。在他看来,数据分析的本质是用来改善运营的,大小数据分析的差别只是数据量及其对数据存储、查询及分析吞吐量的要求不同;从手头、身边保有的小数据当中提取价值,是大数据时代数字化决策的基础。

所以说,分析才是数据实现价值的保障。其实,上述CIA不能理解关联性,也是业务分析技能不足的一种表现。但严雪林从Google的搜索结果分析得出结论,中国用户对大数据看得太重,对分析看得太轻。

当然,也有一些务实的企业,譬如百度,注重数据分析结果的呈现,年初基于LBS利用的“春运大数据”就是代表之作,而其开放的大数据引擎,提供的也是大数据存储、分析及挖掘的技术能力,至于其后端的分布式基础设施,用户就无需了解太多。

高大上的IT基础设施提供商或者分析解决方案提供商,是不太愿意承认春运大数据是真正的大数据的——它虽然容易为民众接受,但确实也和我们早前的认知有所差距。可是对于社会管理、生活服务商或者个人生活安排来说,这种展现自有其价值。

中国气象局与阿里云的携手是另外一个例子。借助于阿里云基础设施的计算能力,气象局在全国雷达数据的处理即使再快速,天气预报再精确,似乎也只是“数据大”而非大数据,但气象数据和阿里积累的商业数据交汇融合之后形成的服务,其对各行各业的价值之大显然是不可估量的。

更加务实的是教育行业。在日前第六届中国云计算大会的云计算大数据教育行业应用论坛,来自清华、国防科大、北航等名校的专家教授们就MOOC(大型开放式网络课程)的发展趋势进行热烈的讨论,他们认为MOOC是当前云计算大数据在教育领域的最佳实践,并提出了计算教育学的概念——通过对教育全过程的大数据进行精确分析,把以定性研究为主体、以经验为基础的教育学,转变为以数据为基础、以计算和模型为手段的定量科学。

不过,在他们的探讨中,MOOC目前也只是比传统方式多了简单的统计,甚至没有涉及数据分析技术的应用。一般而言,教授们对概念抠的比企业要细得多,但他们都已经接受了这就是大数据。这再次证明价值才是根本。

关键字:谷歌爆料数据集中nsa

本文摘自:DOIT.com.cn

x 从斯诺登爆料911看拥抱大数据应避免的误区 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

从斯诺登爆料911看拥抱大数据应避免的误区

责任编辑:editor004 |来源:企业网D1Net  2014-06-11 13:55:08 本文摘自:DOIT.com.cn

斯诺登带来的启发,不仅仅在于信息安全和自主可控的重要性,还包括如何避免大数据项目的一些误区。

斯诺登最新的爆料涉及911和NSA(美国国家安全局)的监控手段。据央视日前报道,斯诺登称,美国在911事件发生前已获得必要的情报信息,CIA(中情局)也都知道恐怖分子是谁,但在所有搜集到的海量机密信息中,他们没能完全理解信息之间的关联,以致没能及时做出决策性判断,有效的措施也就更无从说起了。

NSA的新信息来自《纽约时报》的报道。除了收集电话元数据和邮件通讯内容,NSA每天还收集数百万张图像,建造一个大型数据库以便更好地追踪和识别目标人物,斯诺登说,其中约5.5万张具备“面部识别质量”。

通过上述信息,无论从“4V(Volume、Velocity、Variety、Value)”的哪个角度来看,美国情报部门所做的事情都应该算得上是“大数据”项目。事实上,受斯诺登事件影响而卸任的原NSA局长、美军网络司令部司令、四星上将Gen.KeithAlexander(基思·亚历山大)曾表示,未来属于大数据。

明确价值点

“我们生活在大数据的时代,我们必须弄清楚如何利用它。”Alexander说。NSA在他主政长达8年多的时间里,所收集的海量信息甚至令该机构的诸多前高管感到难以置信。据悉,Alexander引入了大数据解决方案为NSA加速数据的分类和处理,其中一款名为“ApacheAccumulo”的工具可以处理PB级数据。

结果,尽管Alexander辩护称棱镜项目在反恐工作中发挥了作用,但不管CIA还是NSA,911这样本来可以预防的重大恐怖袭击事件毕竟还是发生了。所以说,斯诺登的爆料,再次验证了Value(价值)才是大数据的核心。组织如果要实施大数据项目,价值最大化一定是评估项目的第一要素。

按照斯诺登的说法,美国投入大量资金的监控项目并没能保证美国公民的安全,反而剥夺了人们的权利。这可能是是斯诺登和Alexander对价值的理解有差异。信奉数据的人,不便以阴谋论去推测Alexander和NSA的具体用意,但监控百余名外国领导人这样的行动,确实似乎和美国公民安全没有直接的联系,更不用说未经授权监控美国公民了。

我们能够得到两点启示:资源要用到刀刃上,否则大数据也会成为废数据或者大浪费——毕竟,数据的收集和存储需要人力、财力、时间和IT基础设施的投入,甚至还可能有组织架构的调整;更为重要的是,你要弄清楚刀刃在哪里,也就是说实施大数据要树立正确的目标。

相信奉行利益最大化的现代企业一定能想到大数据要追求大价值,迷茫的更多在于刀刃在哪里。这可以参考互联网公司,在大数据概念走红之前,压榨数据的潜能作为企业核心竞争力就已经是他们的信条。例如,百度和谷歌借助用户浏览行为提供个性化的搜索,淘宝亚马逊因为根据用户购物习惯为用户提供精准的喜好物品。学习互联网企业,从营销入手,更快速地定位到你的客户,或者更好地理解和响应客户的需求,改善产品的用户体验,是一个不错的切入点,相对易于实施和见效。

另外,从此前报道的“CIA每年花费千万美元向电信运营商AT&T公司购买国际电话数据”来看,神秘的NSA,尽管对通讯的监控很到位,但其数据库并不能为CIA的同行所用,而后者出于业务需求,也建设有自己的大数据。这种数据壁垒的现象,无疑会带来重复建设的问题,资源浪费严重,无法做到将资源用到刀刃上。随着IT的发展逐步推进的信息化,烟囱式的系统带来的数据孤岛已是现实,如果要更好地发挥数据的价值,是时候考虑数据集中、云平台的建设或者利用了。

当然,如果实现数据的共享,NSA的保密性就要差很多,普通的项目,还可能涉及奥巴马的智囊团最近提醒白宫的大数据隐私问题(在NSA和CIA面前应当可以无视隐私了)。但在一个企业组织内部,如果没有必要,故意设置数据壁垒,是不利于大数据价值的发挥的。

关注分析而非数据量

更重要的一点,CIA未能提前预防911,是因为不能完全理解信息之间的关联。但维克托·迈尔-舍恩伯格早已指出,大数据的相关关系分析法,更准确,更快,而且不易受偏见的影响。换言之,建立在相关关系基础上的预测应该是大数据的核心,这种预测更加靠谱。对于911事件而言,尽管大数据工具足够给力,但Alexander和他的同行在关联性分析方面还做得不够。殷鉴不远,我们就更要根据关联性来收集数据并分析,提升大数据的价值。

和整个业界产生的数据量相比,有选择地收集的数据、甚至只是利用已有的数据可能还太小,但不必懊丧,我们要的是数据的价值,没必要纠结是不是大数据,也没必要为满足占有欲望而保有数据(当然合规性需求不在此列)。

JMP数据分析大中华地区总经理严雪林就对大数据的概念不甚热心。在他看来,数据分析的本质是用来改善运营的,大小数据分析的差别只是数据量及其对数据存储、查询及分析吞吐量的要求不同;从手头、身边保有的小数据当中提取价值,是大数据时代数字化决策的基础。

所以说,分析才是数据实现价值的保障。其实,上述CIA不能理解关联性,也是业务分析技能不足的一种表现。但严雪林从Google的搜索结果分析得出结论,中国用户对大数据看得太重,对分析看得太轻。

当然,也有一些务实的企业,譬如百度,注重数据分析结果的呈现,年初基于LBS利用的“春运大数据”就是代表之作,而其开放的大数据引擎,提供的也是大数据存储、分析及挖掘的技术能力,至于其后端的分布式基础设施,用户就无需了解太多。

高大上的IT基础设施提供商或者分析解决方案提供商,是不太愿意承认春运大数据是真正的大数据的——它虽然容易为民众接受,但确实也和我们早前的认知有所差距。可是对于社会管理、生活服务商或者个人生活安排来说,这种展现自有其价值。

中国气象局与阿里云的携手是另外一个例子。借助于阿里云基础设施的计算能力,气象局在全国雷达数据的处理即使再快速,天气预报再精确,似乎也只是“数据大”而非大数据,但气象数据和阿里积累的商业数据交汇融合之后形成的服务,其对各行各业的价值之大显然是不可估量的。

更加务实的是教育行业。在日前第六届中国云计算大会的云计算大数据教育行业应用论坛,来自清华、国防科大、北航等名校的专家教授们就MOOC(大型开放式网络课程)的发展趋势进行热烈的讨论,他们认为MOOC是当前云计算大数据在教育领域的最佳实践,并提出了计算教育学的概念——通过对教育全过程的大数据进行精确分析,把以定性研究为主体、以经验为基础的教育学,转变为以数据为基础、以计算和模型为手段的定量科学。

不过,在他们的探讨中,MOOC目前也只是比传统方式多了简单的统计,甚至没有涉及数据分析技术的应用。一般而言,教授们对概念抠的比企业要细得多,但他们都已经接受了这就是大数据。这再次证明价值才是根本。

关键字:谷歌爆料数据集中nsa

本文摘自:DOIT.com.cn

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^