当前位置:大数据业界动态 → 正文

大数据的泰坦尼克号,Hadoop即将沉没了吗?

责任编辑:jackye 作者:张霖 |来源:企业网D1Net  2017-03-28 09:47:28 本文摘自:IT经理网

最糟糕的消息并非Hadoop这艘泰坦尼克号注定要沉没,而是海面上压根没有其它泰坦尼克级别的船只可以用来救援。

hadoop_泰坦尼克

对很多大数据领域的投资者和用户,尤其是在Hadoop技术上浸透心血和汗水的专家来说,这可能是个很糟糕的消息:Hadoop可能真的不行了!

近日,云数据仓库服务提供商Snowflake Computing的首席执行官Bob Muglia在接受采访时指出:“没有一家企业客户对Hadoop满意,很显然,Hadoop已经是一项没有前景的技术。”

虽然不止Muglia,业界很早就对Hadoop的前景表示悲观,包括IT经理网早在2012年就曾发布文章指出Hadoop的核心技术已经过时,因为Hadoop并不擅长处理“快数据”。但是,在媒体、业界的合力炒作下,已经有数以千计的企业使用Hadoop来存储海量数据,这些上了贼船的企业和项目如此之多,因此Hadoop不太可能一夜之间就销声匿迹,正如今天很多企业还在使用半个世纪之前的主机应用一样。而且受益于S3(云存储)和Spark(大数据处理)等技术的续命,Hadoop依然会作为垂直和遗留技术存在很长一段时间。

据Muglia介绍,在众多Hadoop用户中,真正能够驯服Hadoop的企业不到20家,甚至可能不到10家。要知道,如果考虑到Hadoop已经进入市场很长时间,而且整个行业都投入巨大资源,Hadoop部署的成功率可谓低得惊人。易用性太差是导致Hadoop成功率低下的主要原因之一,正如“为什么如此难用Hadoop的12个技术痛点”这篇文章中所提到的,不少专家指出,如果不解决易用性问题,Hadoop将被自己终结。

Hadoop垂而不死是一个历史性的错误,人们围绕Hadoop开展大量项目和工作,但Hadoop真的是朽木难雕。Hadoop的卖点是可以作为廉价的ETL数据存储方案(Hadoop目前只是“穷人的ETL”),但是对于运行面向用户的交互应用来说真的很不对路。

即使是在Facebook这样顶尖的互联网技术公司里,从Hadoop环境中获取分析结果也是一件非常痛苦的事情,据Johnson介绍:挖掘一个结果非常困难,除非你真的非常懂整个系统的运作原理。对于懂得为MapReduce或Pig编程的数据科学家来说,Hadoop非常棒,但是如果你往上看,在抽象层Hadoop的交付能力非常糟糕,对于那些业务分析师来说简直就是噩梦。

“Hive层还算OK,但是对于那些打算将Hadoop作为数据仓库使用的人来说,Hadoop慢得吓人,比传统数据仓库要慢上十倍!”Johnson说道:”Kudo、Impala和Presto都比Hive好得多,但距离人们的期望依然有很大一段距离。“

更加让人沮丧的是,Hadoop社区目前对Hadoop的复杂性和性能低下并没有多大作为,Hadoop生态系统依然掌握在一小撮专家手中,对于能写代码的技术专家来说,Hadoop的功能非常强大,但是对于大多数的用户来说,Hadoop就是一个大坑,每次你听说这个世界上还空缺数以万计的数据科学家的消息,那差不多是对Hadoop的一种控诉。

Hadoop是首个在业界被广泛采纳的开源分布式计算平台,不计其数的软件厂商、用户、专家跳上了Hadoop这艘“泰坦尼克号”,但最糟糕的消息并非泰坦尼克号注定要沉没,而是海面上压根没有第二艘泰坦尼克级别的船只可以用来救援。前雅虎Hadoop系统开发者Phu Hoang认为:在能够替代Hadoop的计算平台出现之前,我们能做的只能是尽量屏蔽复杂性,让Hadoop变得更加易用。企业不关心架构,企业只关心数据处理速度和分析结果,Hadoop这样的底层难题滚的越远越好。

Hadoop这艘泰坦尼克号上的成员也不是完全没有希望,类似Kafka这样的更优秀的大数据处理技术正在快速成长。Kafka的开发者Jay Kreps在创办Confluent之前,曾经负责LinkedIn的大型Hadoop集群,他认为Hadoop堆栈的搭建极为复杂,这是一个纯粹的技术性问题。如今虽然大量Hadoop发行版本中都包含了Kafka,但是Kreps建议人们在搭建Kafka是尽量避免对Hadoop的任何依赖,“Kafka是一个完全独立的系统,跟Hadoop没有任何联系。明白这一点对于那些开发生产应用的人来说非常有益。

关键字:Hadoop泰坦尼克号

本文摘自:IT经理网

x 大数据的泰坦尼克号,Hadoop即将沉没了吗? 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

大数据的泰坦尼克号,Hadoop即将沉没了吗?

责任编辑:jackye 作者:张霖 |来源:企业网D1Net  2017-03-28 09:47:28 本文摘自:IT经理网

最糟糕的消息并非Hadoop这艘泰坦尼克号注定要沉没,而是海面上压根没有其它泰坦尼克级别的船只可以用来救援。

hadoop_泰坦尼克

对很多大数据领域的投资者和用户,尤其是在Hadoop技术上浸透心血和汗水的专家来说,这可能是个很糟糕的消息:Hadoop可能真的不行了!

近日,云数据仓库服务提供商Snowflake Computing的首席执行官Bob Muglia在接受采访时指出:“没有一家企业客户对Hadoop满意,很显然,Hadoop已经是一项没有前景的技术。”

虽然不止Muglia,业界很早就对Hadoop的前景表示悲观,包括IT经理网早在2012年就曾发布文章指出Hadoop的核心技术已经过时,因为Hadoop并不擅长处理“快数据”。但是,在媒体、业界的合力炒作下,已经有数以千计的企业使用Hadoop来存储海量数据,这些上了贼船的企业和项目如此之多,因此Hadoop不太可能一夜之间就销声匿迹,正如今天很多企业还在使用半个世纪之前的主机应用一样。而且受益于S3(云存储)和Spark(大数据处理)等技术的续命,Hadoop依然会作为垂直和遗留技术存在很长一段时间。

据Muglia介绍,在众多Hadoop用户中,真正能够驯服Hadoop的企业不到20家,甚至可能不到10家。要知道,如果考虑到Hadoop已经进入市场很长时间,而且整个行业都投入巨大资源,Hadoop部署的成功率可谓低得惊人。易用性太差是导致Hadoop成功率低下的主要原因之一,正如“为什么如此难用Hadoop的12个技术痛点”这篇文章中所提到的,不少专家指出,如果不解决易用性问题,Hadoop将被自己终结。

Hadoop垂而不死是一个历史性的错误,人们围绕Hadoop开展大量项目和工作,但Hadoop真的是朽木难雕。Hadoop的卖点是可以作为廉价的ETL数据存储方案(Hadoop目前只是“穷人的ETL”),但是对于运行面向用户的交互应用来说真的很不对路。

即使是在Facebook这样顶尖的互联网技术公司里,从Hadoop环境中获取分析结果也是一件非常痛苦的事情,据Johnson介绍:挖掘一个结果非常困难,除非你真的非常懂整个系统的运作原理。对于懂得为MapReduce或Pig编程的数据科学家来说,Hadoop非常棒,但是如果你往上看,在抽象层Hadoop的交付能力非常糟糕,对于那些业务分析师来说简直就是噩梦。

“Hive层还算OK,但是对于那些打算将Hadoop作为数据仓库使用的人来说,Hadoop慢得吓人,比传统数据仓库要慢上十倍!”Johnson说道:”Kudo、Impala和Presto都比Hive好得多,但距离人们的期望依然有很大一段距离。“

更加让人沮丧的是,Hadoop社区目前对Hadoop的复杂性和性能低下并没有多大作为,Hadoop生态系统依然掌握在一小撮专家手中,对于能写代码的技术专家来说,Hadoop的功能非常强大,但是对于大多数的用户来说,Hadoop就是一个大坑,每次你听说这个世界上还空缺数以万计的数据科学家的消息,那差不多是对Hadoop的一种控诉。

Hadoop是首个在业界被广泛采纳的开源分布式计算平台,不计其数的软件厂商、用户、专家跳上了Hadoop这艘“泰坦尼克号”,但最糟糕的消息并非泰坦尼克号注定要沉没,而是海面上压根没有第二艘泰坦尼克级别的船只可以用来救援。前雅虎Hadoop系统开发者Phu Hoang认为:在能够替代Hadoop的计算平台出现之前,我们能做的只能是尽量屏蔽复杂性,让Hadoop变得更加易用。企业不关心架构,企业只关心数据处理速度和分析结果,Hadoop这样的底层难题滚的越远越好。

Hadoop这艘泰坦尼克号上的成员也不是完全没有希望,类似Kafka这样的更优秀的大数据处理技术正在快速成长。Kafka的开发者Jay Kreps在创办Confluent之前,曾经负责LinkedIn的大型Hadoop集群,他认为Hadoop堆栈的搭建极为复杂,这是一个纯粹的技术性问题。如今虽然大量Hadoop发行版本中都包含了Kafka,但是Kreps建议人们在搭建Kafka是尽量避免对Hadoop的任何依赖,“Kafka是一个完全独立的系统,跟Hadoop没有任何联系。明白这一点对于那些开发生产应用的人来说非常有益。

关键字:Hadoop泰坦尼克号

本文摘自:IT经理网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^