当前位置:存储行业动态 → 正文

大数据时代:内存计算先行

责任编辑:vivian |来源:企业网D1Net  2012-01-21 09:57:12 本文摘自:《互联网周刊》

我们已经进入了大数据时代,EMC、甲骨文、SAP相继推出的内存计算就是大数据时代下的产物。

云计算时代来了,随之而来的还有大数据时代。

 2011年一年产生了大概4个EB的数据,这个数据很可能等于人类从公元前3000年到2000年所产生的全部数据的总和。

在数字化的经济当中,每18个月我们的数据会翻一番。

内存计算时代到来

很多人都在说:“不管磁盘是否消融,闪存都是将来的一个趋势。”

在2011年,一个名为“内存计算”的名词突然出现在我们的视野中,EMC、甲骨文、SAP都相继推出内存计算的相关解决方案。

随着内存价格的下降,下一代的内存计算时代即将来临。由于计算速度量变产生的质变,也已开始。

早在2008年,EMC就在企业存储系统中率先采用了基于闪存的固态硬盘,去年五月份召开的EMC World 2011更将主题定位“当云计算遭遇大数据”。EMC信息基础架构产品部总裁帕特·基辛格在EMC World上说明了EMC进一步促进闪存技术应用的战略,这项战略涵盖多个方面,旨在为客户降低成本,并极大地提高存储系统和应用的性能。

而SAP的内存计算产品HANA也从2010年就已传出风声,去年6月SAP正式宣布内存计算产品SAP HANA应用软件正式开始提供给全球客户使用,SAP正式加入了内存计算的战场。

作为SAP老对手的甲骨文也在Oracle OpenWorld2011上发布了名为Exalytics的内存计算系统,作为Oracle的BI即将拥有的智能机,其1TB内存的配置也宣示着甲骨文对于内存计算领域的不甘人后。

那么内存计算究竟能带给我们什么呢?SAP公司联席CEO和执行董事会成员孟鼎铭这样形容SAP内存计算技术的作用:“这是有史以来第一次一个公司可以把销售以及市场细分的数据带到云中,而且是以实时方式进行,同时对市场重新细分,重新调整企业的流程、企业模式,以及企业营销模式。”

在一个数字化的经济体里,智能电表能够追踪能源使用量,同时它也能够实时地分析几十亿个数据电,通过这种方式,能源可以得到节约,而可再生能源也能够得到使用,环境会变得更好。

就像孟鼎铭所说:“深刻的根本性的变化正在发生,而这将彻底地改变企业经营的方式。企业需要更加社会化,更加体贴客户的需求,以及客户的客户的需求”。

大数据与云计算

正是基于这样的需求,在大数据的时代背景下,内存计算技术应运而生,正如孟鼎铭所说:“我们能够对结构性的数据和非结构性的数据进行整合。我们有各种各样新的商业模式可以进行模拟,可以调整我们的制造结构,可以重新考虑我们的市场细分和价格战略,所有的这一切,都是在几秒钟内可以完成的,这个在以前完全是令人难以置信的。”

如果说内存计算技术出现的充分条件是大数据时代下,企业对于数据处理的高要求,那么内存价格的不断下降,就是内存计算技术得以发展的必要条件。

采用内存计算,必须把大量的数据装载在内存中,对于内存的开销就会比传统的数据库解决方案要大很多。

幸运的是,IT中间件的发展仍然按照摩尔定律不断在前进,内存价格也在不断下降,就像SAP解决方案和架构部总经理张志琦所说:“十年以前你跟他谈1个TB的内存,人家会觉得你是一个疯子;现在4兆内存条差不多2万块钱,这2万块钱对于一个企业本身的IT投入来说是很小的”。因为最底层的半导体技术提升,造成软件行业的进一步变化,帮助整个产业进行更大的提升,这也是一个必然的趋势。

同时相关技术的应用,也可以降低使用内存代替硬盘而提高的成本,比如SAP HANA的内存压缩技术,就可以以超过20倍的方式去压缩数据。一个TB的数据,以20倍压缩,只需要50GB就可以,这样一来,内存成本就可以直线下降。

通过加速大数据的处理速度,会给我们的商务活动乃至生活以从量变到质变的过程,张志琦给记者举了农夫山泉的例子:“农夫山泉是SAP内存计算技术的第一个客户,其所有的销售数据加载在HANA里面,然后进行分析和计算。在它原来的平台之上,不可能把所有的历史数据完全加载计算。如果非要计算也可以,但分析的周期可能是以年为单位。HANA使他们有机会把所有的历史数据加载进去,短短的几秒钟之内完成所有假设的分析,按照区域、天气来进行销量的分析,这些分析在原来是不可能做到的。”

不只是对于大企业,小型企业也需要面临大数据,也需要内存计算,张志琦认为:“在整个业界有这样一个趋势,大数据不等于大企业”,任何规模的企业都会面临到大数据的话题,张志琦说:“无论多大规模企业都会通过网络营销方式接触更多的客户。最基本的营销方式通过微博、论坛,更多媒体广告进行。比如通过微博的方式,能够产生的数据是几何级的,这个产品到底卖的好不好,消费者喜欢不喜欢,有没有提升的空间,都可以通过消费者之间的舆情监控方式来很好的获取,无论企业规模多大。”

在大数据时代,内存计算技术不只可以应用于商业领域,还可以改变我们的生活,我们国家来的人口政策、临床医学的科研,乃至民生的工程中,都要牵扯到复杂计算和运算,而内存计算技术都可以为这些行业和事业做出更大的贡献。

防患于未然

内存计算与云计算的结合无疑令人兴奋,基于SAP HANA的新一代内存应用产品SAP BusinessObjects就可以应用在云端。

但如果将内存计算技术应用在云端,这里存在一个非常明显的问题,虽然通过运用内存计算可以在云端实现高速的信息提取以及计算,但这些计算后的数据,最后是要被一个一个分散的终端所使用,WEB模式失利的阴影还笼罩在我们头上,即信息传递到分布式的客户端是需要时间的,在来回请求的过程中,信息的传输速率却不会因为内存计算的应用而得到加强,而只会受到带宽的影响,目前国内的带宽能否负担的起大数据的传输仍是一个问号,而缺少了足够带宽的支持,内存计算能够带给我们多大的量变还是一个问题。

这样考虑的话,相比较于那种“一片大云”的模式,苹果那种“一些小云”的模式可能更适合未来内存计算应用在云计算领域,依托于苹果强大的终端计算能力,iCloud形成了类似有服务器的P2P网络,这种云计算模式既避免了WEB模式的阴影,又可以充分利用内存计算的高速信息处理能力。

在内存增大的情况下,如何处理散热问题也需要及早的注意,全球各大互联网企业为了解决自己数据中心的散热问题,早已无所不用其极,有利用雪山散热的、也有利用海水散热的,而大量内存产生的热量如何散去,也是一个难题。

另外,利用内存来提取数据固然极大地提高了信息处理速度,但缓存的大量占用,需要面临的首要问题是如何清理临时内存,如果不能及时清理临时内存,运算速度必将受到严重的影响。

同时,目前大部分病毒都是针对内存展开攻击,如果未来内存计算技术大量普及,甚至完全取代了硬盘,那么我们的信息安全如何保证,如此花样繁多的针对内存的攻击手段,我们如何防备也是需要注意的。

总之,内存计算在未来是大势所趋,这个大趋势是不会变的,目前EMC、甲骨文、SAP都在内存计算领域发力的战略眼光是正确的,但内存计算毕竟是一项较新的技术,如何在以上那些隐患暴露之前做好预防措施,则是决定未来成败的关键。 

关键字:存储大数据

本文摘自:《互联网周刊》

x 大数据时代:内存计算先行 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

大数据时代:内存计算先行

责任编辑:vivian |来源:企业网D1Net  2012-01-21 09:57:12 本文摘自:《互联网周刊》

我们已经进入了大数据时代,EMC、甲骨文、SAP相继推出的内存计算就是大数据时代下的产物。

云计算时代来了,随之而来的还有大数据时代。

 2011年一年产生了大概4个EB的数据,这个数据很可能等于人类从公元前3000年到2000年所产生的全部数据的总和。

在数字化的经济当中,每18个月我们的数据会翻一番。

内存计算时代到来

很多人都在说:“不管磁盘是否消融,闪存都是将来的一个趋势。”

在2011年,一个名为“内存计算”的名词突然出现在我们的视野中,EMC、甲骨文、SAP都相继推出内存计算的相关解决方案。

随着内存价格的下降,下一代的内存计算时代即将来临。由于计算速度量变产生的质变,也已开始。

早在2008年,EMC就在企业存储系统中率先采用了基于闪存的固态硬盘,去年五月份召开的EMC World 2011更将主题定位“当云计算遭遇大数据”。EMC信息基础架构产品部总裁帕特·基辛格在EMC World上说明了EMC进一步促进闪存技术应用的战略,这项战略涵盖多个方面,旨在为客户降低成本,并极大地提高存储系统和应用的性能。

而SAP的内存计算产品HANA也从2010年就已传出风声,去年6月SAP正式宣布内存计算产品SAP HANA应用软件正式开始提供给全球客户使用,SAP正式加入了内存计算的战场。

作为SAP老对手的甲骨文也在Oracle OpenWorld2011上发布了名为Exalytics的内存计算系统,作为Oracle的BI即将拥有的智能机,其1TB内存的配置也宣示着甲骨文对于内存计算领域的不甘人后。

那么内存计算究竟能带给我们什么呢?SAP公司联席CEO和执行董事会成员孟鼎铭这样形容SAP内存计算技术的作用:“这是有史以来第一次一个公司可以把销售以及市场细分的数据带到云中,而且是以实时方式进行,同时对市场重新细分,重新调整企业的流程、企业模式,以及企业营销模式。”

在一个数字化的经济体里,智能电表能够追踪能源使用量,同时它也能够实时地分析几十亿个数据电,通过这种方式,能源可以得到节约,而可再生能源也能够得到使用,环境会变得更好。

就像孟鼎铭所说:“深刻的根本性的变化正在发生,而这将彻底地改变企业经营的方式。企业需要更加社会化,更加体贴客户的需求,以及客户的客户的需求”。

大数据与云计算

正是基于这样的需求,在大数据的时代背景下,内存计算技术应运而生,正如孟鼎铭所说:“我们能够对结构性的数据和非结构性的数据进行整合。我们有各种各样新的商业模式可以进行模拟,可以调整我们的制造结构,可以重新考虑我们的市场细分和价格战略,所有的这一切,都是在几秒钟内可以完成的,这个在以前完全是令人难以置信的。”

如果说内存计算技术出现的充分条件是大数据时代下,企业对于数据处理的高要求,那么内存价格的不断下降,就是内存计算技术得以发展的必要条件。

采用内存计算,必须把大量的数据装载在内存中,对于内存的开销就会比传统的数据库解决方案要大很多。

幸运的是,IT中间件的发展仍然按照摩尔定律不断在前进,内存价格也在不断下降,就像SAP解决方案和架构部总经理张志琦所说:“十年以前你跟他谈1个TB的内存,人家会觉得你是一个疯子;现在4兆内存条差不多2万块钱,这2万块钱对于一个企业本身的IT投入来说是很小的”。因为最底层的半导体技术提升,造成软件行业的进一步变化,帮助整个产业进行更大的提升,这也是一个必然的趋势。

同时相关技术的应用,也可以降低使用内存代替硬盘而提高的成本,比如SAP HANA的内存压缩技术,就可以以超过20倍的方式去压缩数据。一个TB的数据,以20倍压缩,只需要50GB就可以,这样一来,内存成本就可以直线下降。

通过加速大数据的处理速度,会给我们的商务活动乃至生活以从量变到质变的过程,张志琦给记者举了农夫山泉的例子:“农夫山泉是SAP内存计算技术的第一个客户,其所有的销售数据加载在HANA里面,然后进行分析和计算。在它原来的平台之上,不可能把所有的历史数据完全加载计算。如果非要计算也可以,但分析的周期可能是以年为单位。HANA使他们有机会把所有的历史数据加载进去,短短的几秒钟之内完成所有假设的分析,按照区域、天气来进行销量的分析,这些分析在原来是不可能做到的。”

不只是对于大企业,小型企业也需要面临大数据,也需要内存计算,张志琦认为:“在整个业界有这样一个趋势,大数据不等于大企业”,任何规模的企业都会面临到大数据的话题,张志琦说:“无论多大规模企业都会通过网络营销方式接触更多的客户。最基本的营销方式通过微博、论坛,更多媒体广告进行。比如通过微博的方式,能够产生的数据是几何级的,这个产品到底卖的好不好,消费者喜欢不喜欢,有没有提升的空间,都可以通过消费者之间的舆情监控方式来很好的获取,无论企业规模多大。”

在大数据时代,内存计算技术不只可以应用于商业领域,还可以改变我们的生活,我们国家来的人口政策、临床医学的科研,乃至民生的工程中,都要牵扯到复杂计算和运算,而内存计算技术都可以为这些行业和事业做出更大的贡献。

防患于未然

内存计算与云计算的结合无疑令人兴奋,基于SAP HANA的新一代内存应用产品SAP BusinessObjects就可以应用在云端。

但如果将内存计算技术应用在云端,这里存在一个非常明显的问题,虽然通过运用内存计算可以在云端实现高速的信息提取以及计算,但这些计算后的数据,最后是要被一个一个分散的终端所使用,WEB模式失利的阴影还笼罩在我们头上,即信息传递到分布式的客户端是需要时间的,在来回请求的过程中,信息的传输速率却不会因为内存计算的应用而得到加强,而只会受到带宽的影响,目前国内的带宽能否负担的起大数据的传输仍是一个问号,而缺少了足够带宽的支持,内存计算能够带给我们多大的量变还是一个问题。

这样考虑的话,相比较于那种“一片大云”的模式,苹果那种“一些小云”的模式可能更适合未来内存计算应用在云计算领域,依托于苹果强大的终端计算能力,iCloud形成了类似有服务器的P2P网络,这种云计算模式既避免了WEB模式的阴影,又可以充分利用内存计算的高速信息处理能力。

在内存增大的情况下,如何处理散热问题也需要及早的注意,全球各大互联网企业为了解决自己数据中心的散热问题,早已无所不用其极,有利用雪山散热的、也有利用海水散热的,而大量内存产生的热量如何散去,也是一个难题。

另外,利用内存来提取数据固然极大地提高了信息处理速度,但缓存的大量占用,需要面临的首要问题是如何清理临时内存,如果不能及时清理临时内存,运算速度必将受到严重的影响。

同时,目前大部分病毒都是针对内存展开攻击,如果未来内存计算技术大量普及,甚至完全取代了硬盘,那么我们的信息安全如何保证,如此花样繁多的针对内存的攻击手段,我们如何防备也是需要注意的。

总之,内存计算在未来是大势所趋,这个大趋势是不会变的,目前EMC、甲骨文、SAP都在内存计算领域发力的战略眼光是正确的,但内存计算毕竟是一项较新的技术,如何在以上那些隐患暴露之前做好预防措施,则是决定未来成败的关键。 

关键字:存储大数据

本文摘自:《互联网周刊》

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^