当前位置:大数据采集存储 → 正文

大数据存储与处理面面观

责任编辑:editor008 |来源:企业网D1Net  2014-06-11 10:13:33 原创文章 企业网D1Net

《企业网D1Net》6月11日讯

当前,在大数据时代下,大数据存储的应用已经成为世界各国竞争的焦点之一,而我国大数据存储、分析和处理的能力还很薄弱,与大数据相关的技术和工具的运用也相当不成熟,大部分企业仍处于IT产业链的低端。我国在数据库、数据仓库、数据挖掘以及云计算等领域的技术,普遍落后于国外先进水平。

在大数据存储方面,数据的爆炸式增长,数据来源的极其丰富和数据类型的多种多样,使数据存储量更庞大,对数据展现的要求更高。而目前我国传统的数据库,还难以存储如此巨大的数据量。在大数据的分析处理方面,由于针对具体的应用类型,需要采用不同的处理方式,因此必须通过建立高级大数据的分析模型,来实现快速抽取大数据的核心数据、高效分析这些核心数据并从中发现价值,而这些数据分析能力我国还很欠缺。

因此,如何提高我国对大数据资源的存储和整合能力,实现从大数据中发现、挖掘出有价值的信息和知识,是当前我国大数据存储和处理所面临的挑战。

处理大数据存储挑战的建议

通过隔离管理大数据存储

如果您在您的企业中有多个存储箱,那么将数据库、线交易处理(OLTP)和微软Exchange应用到特定的存储系统绝对是一个好主意。而专其它存储系统则用于大数据应用,如门户网站,在线流媒体应用,等等。

如果您的企业负担不起分隔的存储系统,将特定的前端存储端口到数据库,OLTP,等等;致力于大数据应用到其他端口。背后的基本原理是使用专用端口,而大数据流量是以千字节或兆字节衡量,OLTP应用流量是以每秒的输入/输出操作(IOPS)衡量,因为数据块的大小是比大数据更大而比OLTP应用程序更小。OLTP应用程序是CPU密集型的,而大数据应用程序更多的使用前端端口。因此,更多的端口可以专注于大数据应用。

专业的大数据存储管理

如今,很多公司提供兼容数据管理的存储系统。你应该在寻找你的大数据存储管理解决方案时评估这些公司。如EMCIsilon的集群存储系统对于大数据存储管理是一个更好的选择,因为在一个单一的文件系统中大数据能增长到多字节的数据。

大数据分析

除了存储,大数据管理的另一项大的挑战是数据分析。一般的数据分析应用程序无法很好的处理大数据,毕竟涉及到大量的数据。

目前,诸如EMCGreenplum这样的公司就在采用专门针对大数据的管理和分析的工具。这些应用程序运行在集群存储系统上,缓解大数据的管理。建议选择应用程序可同时工作在群集存储系统,并迅速有效地分析数据。快速索引,确保元数据始终驻留在固态硬盘(SSD),如果存储箱为您提供了这样的选择的话。

管理大数据的另一个需要重点考虑的是未来的数据增长。你的大数据存储管理系统应该是可扩展的,足以满足未来的存储需求。

D1Net评论:

如今,很多公司都在寻找云计算服务来进行存储和管理海量数据,而选择云服务来大型数据存储管理,可以确保数据的所有权仍然是你的。你应该有权选择将您的数据移入或移出云服务,而不被供应商锁定。其他重要的考虑因素是供应商的数据安全指南。

关键字:

原创文章 企业网D1Net

x 大数据存储与处理面面观 扫一扫
分享本文到朋友圈
当前位置:大数据采集存储 → 正文

大数据存储与处理面面观

责任编辑:editor008 |来源:企业网D1Net  2014-06-11 10:13:33 原创文章 企业网D1Net

《企业网D1Net》6月11日讯

当前,在大数据时代下,大数据存储的应用已经成为世界各国竞争的焦点之一,而我国大数据存储、分析和处理的能力还很薄弱,与大数据相关的技术和工具的运用也相当不成熟,大部分企业仍处于IT产业链的低端。我国在数据库、数据仓库、数据挖掘以及云计算等领域的技术,普遍落后于国外先进水平。

在大数据存储方面,数据的爆炸式增长,数据来源的极其丰富和数据类型的多种多样,使数据存储量更庞大,对数据展现的要求更高。而目前我国传统的数据库,还难以存储如此巨大的数据量。在大数据的分析处理方面,由于针对具体的应用类型,需要采用不同的处理方式,因此必须通过建立高级大数据的分析模型,来实现快速抽取大数据的核心数据、高效分析这些核心数据并从中发现价值,而这些数据分析能力我国还很欠缺。

因此,如何提高我国对大数据资源的存储和整合能力,实现从大数据中发现、挖掘出有价值的信息和知识,是当前我国大数据存储和处理所面临的挑战。

处理大数据存储挑战的建议

通过隔离管理大数据存储

如果您在您的企业中有多个存储箱,那么将数据库、线交易处理(OLTP)和微软Exchange应用到特定的存储系统绝对是一个好主意。而专其它存储系统则用于大数据应用,如门户网站,在线流媒体应用,等等。

如果您的企业负担不起分隔的存储系统,将特定的前端存储端口到数据库,OLTP,等等;致力于大数据应用到其他端口。背后的基本原理是使用专用端口,而大数据流量是以千字节或兆字节衡量,OLTP应用流量是以每秒的输入/输出操作(IOPS)衡量,因为数据块的大小是比大数据更大而比OLTP应用程序更小。OLTP应用程序是CPU密集型的,而大数据应用程序更多的使用前端端口。因此,更多的端口可以专注于大数据应用。

专业的大数据存储管理

如今,很多公司提供兼容数据管理的存储系统。你应该在寻找你的大数据存储管理解决方案时评估这些公司。如EMCIsilon的集群存储系统对于大数据存储管理是一个更好的选择,因为在一个单一的文件系统中大数据能增长到多字节的数据。

大数据分析

除了存储,大数据管理的另一项大的挑战是数据分析。一般的数据分析应用程序无法很好的处理大数据,毕竟涉及到大量的数据。

目前,诸如EMCGreenplum这样的公司就在采用专门针对大数据的管理和分析的工具。这些应用程序运行在集群存储系统上,缓解大数据的管理。建议选择应用程序可同时工作在群集存储系统,并迅速有效地分析数据。快速索引,确保元数据始终驻留在固态硬盘(SSD),如果存储箱为您提供了这样的选择的话。

管理大数据的另一个需要重点考虑的是未来的数据增长。你的大数据存储管理系统应该是可扩展的,足以满足未来的存储需求。

D1Net评论:

如今,很多公司都在寻找云计算服务来进行存储和管理海量数据,而选择云服务来大型数据存储管理,可以确保数据的所有权仍然是你的。你应该有权选择将您的数据移入或移出云服务,而不被供应商锁定。其他重要的考虑因素是供应商的数据安全指南。

关键字:

原创文章 企业网D1Net

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^