当前位置:存储行业动态 → 正文

全球数据存储量呈现爆炸式增长

责任编辑:editor03 |来源:企业网D1Net  2014-03-05 13:57:27 本文摘自:慧聪网

今天,全球数据存储量呈现爆炸式增长,企业及互联网数据以每年50%的速率在增长,据Gartner预测,到2020年,全球数据量将达到35ZB,等于80亿块4TB硬盘。数据结构变化给存储系统带来新的挑战。非结构化数据在存储系统中所占据比例已接近80%。

互联网的发展使得数据创造的主体由企业逐渐转向个人用户,而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据;企业办公流程更多通过网络实现,表单、票据等都实现了以非结构化为主的数字化存档;同时,基于数据库应用的结构化数据仍然在企业中占据重要地位,存储大量的核心信息。

数据业务的急剧增加,传统单一的SAN存储或NAS存储方式已经不适应业务发展需要。SAN存储:成本高,不适合PB级大规模存储系统。数据共享性不好,无法支持多用户文件共享。NAS存储:共享网络带宽,并发性能差。随系统扩展,性能会进一步下降。因此,集中式存储再次活跃。

那么集中式存储和分布式存储的有缺点分别有哪些呢?在面对二者时我们该如何选择呢?下面我将为大家介绍和分析集中式存储和分布式存储的不同之处以及在应用中我们应做的选择。

分布式和集中式存储的选择

集中存储的优缺点是,物理介质集中布放;视频流上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。

分布存储,集中管理的优缺点是,物理介质分布到不同的地理位置;视频流就近上传,对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

对于城市监控系统的监控数据,各个区域是否集中,怎么集中很多时候和一个城市的行政划分有关,一个城市的区域大小和可用的网络状况有关。城市越小,网络条件越好,越容易实现集中存储。反之就越需要进行分布式存储。如北京有8个区。建立视频监控系统时,可以每个区域先集中,再汇聚到总中心,如应急指挥中心。

视频监控存储采购需要注意的问题因为监控是一个视频应用类系统,具有和其它系统不同的访问特点:以流媒体方式对存储设备进行访问,多路视频长时间同时写入同一个存储,实时多路视频访问同一个文件,视频访问带宽恒定,带宽稳定性要求高,为1/25秒的平均值,视频访问时间长,容量需求巨大,存储扩展性能高。视频存储对存储环境没有特殊的要求。按常规监控系统的数据基本上都是临时性,超过在线存储时间(如7天、15天,个别会要求30 天)后,就可以删除了,因此监控系统的备份很多时候只要能满足一个月就可以了。

因此的设备选型时,不一定非要选带宽最大的,而要选择带宽波动最小的,曲线最平稳的。因为要长时间运行,最好在用控制器架构的存储设备,不要选择PC架构的,选择容量可以扩张的设备。

另外,在超过100TB容量的情况下,FC-sata设备的价格不一定就比ISCSI设备贵。FC支持的磁盘数量多,ISCSI设备一般支持的数量少,假设容量要求为500TB,FC-sata只需要一套就可以,而ISCSI设备就需要很多到才行,仅仅ISCSI设备的控制器部门的费用就是很大一块。

视频监控系统首先是一个视频应用系统,因为存储设备要能够提供稳定的带宽输出,满足长时间视频读写的要求,其次,视频监控系统既要满足大量摄像头的实时数据写入,和要满足大量监控端的视频回放需求,因此,还要考虑存储系统可以提供足够的IOPS性能。

由于视频监控系统一般遍布全市甚至全国,因此存储设备还要考虑是否可以实现物理上分散,但管理和监控上可以统一的功能。

网络视频系统的存储方案选择视频应用类系统包括如网络视频、IPTV、VOD点播和视频监控。但由于网络视频系统的码率一般相对较小,大约为100Kb/S- 200Kb/s左右,因此对带宽要求相对较小。需要在线播放的用户很多,因此一般来将存储设备的IOPS性能要求很高,一般网站机房的总带宽一般都在 1-2Gb/s(实际可用的带宽)左右,个别大型网站可能达到4-5Gb/s.能分配给网络视频板块的也就差不多100-200MB/S,因此对于带宽来讲一般的ISCSI存储和FC存储都可以轻松满足,但如果采用NAS存储,则需要中高端产品。

虽然采用高端NAS设备的成本较高,但NAS本身对外提供共享的文件系统,在网络视频的管理和共享方面区有天然的优势,方便后期的视频服务器数量扩张和升级。ISCSI和中低端的FC设备由于采用低成本的SATA磁盘,IOPS新能一般都在6w-10w左右,因此无法用与大型的网络视频系统。

建议网络视频系统选型是要从带宽和IOPS两个方面去考虑,在两个方面都满足的情况,尽量采用NAS产品。大型系统建议采用FC磁盘的光纤设备。

如果系统有一个好的视频管理系统和分发软件系统的话,可以采用小容量的高性能存储作为在线存储为用户提高实时访问,再采用一台低成本的ISCSI或NAS设备作为二级存储。

例如安防尽量采用星型连接方式,同时也可以用总线的方式或者无线的方式做为补充。电力线载波很难用于安防探头的连接方式,因为无法解决停电时的信号传输问题。星型连接还是信息综合布线的最佳解决方案。灯光和除了信息类家电以外的电器如空调、电饭煲等的控制可以采用总线、电力线、无线或红外等方式。

关键字:数据存储全球

本文摘自:慧聪网

x 全球数据存储量呈现爆炸式增长 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

全球数据存储量呈现爆炸式增长

责任编辑:editor03 |来源:企业网D1Net  2014-03-05 13:57:27 本文摘自:慧聪网

今天,全球数据存储量呈现爆炸式增长,企业及互联网数据以每年50%的速率在增长,据Gartner预测,到2020年,全球数据量将达到35ZB,等于80亿块4TB硬盘。数据结构变化给存储系统带来新的挑战。非结构化数据在存储系统中所占据比例已接近80%。

互联网的发展使得数据创造的主体由企业逐渐转向个人用户,而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据;企业办公流程更多通过网络实现,表单、票据等都实现了以非结构化为主的数字化存档;同时,基于数据库应用的结构化数据仍然在企业中占据重要地位,存储大量的核心信息。

数据业务的急剧增加,传统单一的SAN存储或NAS存储方式已经不适应业务发展需要。SAN存储:成本高,不适合PB级大规模存储系统。数据共享性不好,无法支持多用户文件共享。NAS存储:共享网络带宽,并发性能差。随系统扩展,性能会进一步下降。因此,集中式存储再次活跃。

那么集中式存储和分布式存储的有缺点分别有哪些呢?在面对二者时我们该如何选择呢?下面我将为大家介绍和分析集中式存储和分布式存储的不同之处以及在应用中我们应做的选择。

分布式和集中式存储的选择

集中存储的优缺点是,物理介质集中布放;视频流上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。

分布存储,集中管理的优缺点是,物理介质分布到不同的地理位置;视频流就近上传,对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

对于城市监控系统的监控数据,各个区域是否集中,怎么集中很多时候和一个城市的行政划分有关,一个城市的区域大小和可用的网络状况有关。城市越小,网络条件越好,越容易实现集中存储。反之就越需要进行分布式存储。如北京有8个区。建立视频监控系统时,可以每个区域先集中,再汇聚到总中心,如应急指挥中心。

视频监控存储采购需要注意的问题因为监控是一个视频应用类系统,具有和其它系统不同的访问特点:以流媒体方式对存储设备进行访问,多路视频长时间同时写入同一个存储,实时多路视频访问同一个文件,视频访问带宽恒定,带宽稳定性要求高,为1/25秒的平均值,视频访问时间长,容量需求巨大,存储扩展性能高。视频存储对存储环境没有特殊的要求。按常规监控系统的数据基本上都是临时性,超过在线存储时间(如7天、15天,个别会要求30 天)后,就可以删除了,因此监控系统的备份很多时候只要能满足一个月就可以了。

因此的设备选型时,不一定非要选带宽最大的,而要选择带宽波动最小的,曲线最平稳的。因为要长时间运行,最好在用控制器架构的存储设备,不要选择PC架构的,选择容量可以扩张的设备。

另外,在超过100TB容量的情况下,FC-sata设备的价格不一定就比ISCSI设备贵。FC支持的磁盘数量多,ISCSI设备一般支持的数量少,假设容量要求为500TB,FC-sata只需要一套就可以,而ISCSI设备就需要很多到才行,仅仅ISCSI设备的控制器部门的费用就是很大一块。

视频监控系统首先是一个视频应用系统,因为存储设备要能够提供稳定的带宽输出,满足长时间视频读写的要求,其次,视频监控系统既要满足大量摄像头的实时数据写入,和要满足大量监控端的视频回放需求,因此,还要考虑存储系统可以提供足够的IOPS性能。

由于视频监控系统一般遍布全市甚至全国,因此存储设备还要考虑是否可以实现物理上分散,但管理和监控上可以统一的功能。

网络视频系统的存储方案选择视频应用类系统包括如网络视频、IPTV、VOD点播和视频监控。但由于网络视频系统的码率一般相对较小,大约为100Kb/S- 200Kb/s左右,因此对带宽要求相对较小。需要在线播放的用户很多,因此一般来将存储设备的IOPS性能要求很高,一般网站机房的总带宽一般都在 1-2Gb/s(实际可用的带宽)左右,个别大型网站可能达到4-5Gb/s.能分配给网络视频板块的也就差不多100-200MB/S,因此对于带宽来讲一般的ISCSI存储和FC存储都可以轻松满足,但如果采用NAS存储,则需要中高端产品。

虽然采用高端NAS设备的成本较高,但NAS本身对外提供共享的文件系统,在网络视频的管理和共享方面区有天然的优势,方便后期的视频服务器数量扩张和升级。ISCSI和中低端的FC设备由于采用低成本的SATA磁盘,IOPS新能一般都在6w-10w左右,因此无法用与大型的网络视频系统。

建议网络视频系统选型是要从带宽和IOPS两个方面去考虑,在两个方面都满足的情况,尽量采用NAS产品。大型系统建议采用FC磁盘的光纤设备。

如果系统有一个好的视频管理系统和分发软件系统的话,可以采用小容量的高性能存储作为在线存储为用户提高实时访问,再采用一台低成本的ISCSI或NAS设备作为二级存储。

例如安防尽量采用星型连接方式,同时也可以用总线的方式或者无线的方式做为补充。电力线载波很难用于安防探头的连接方式,因为无法解决停电时的信号传输问题。星型连接还是信息综合布线的最佳解决方案。灯光和除了信息类家电以外的电器如空调、电饭煲等的控制可以采用总线、电力线、无线或红外等方式。

关键字:数据存储全球

本文摘自:慧聪网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^