当前位置:大数据业界动态 → 正文

消除商用大数据产品选型“痛点” 大数据基准测试第一批结果公布

责任编辑:editor004 |来源:企业网D1Net  2015-08-20 11:37:45 本文摘自:中国信息产业网

2015年,大数据产品和服务采购进入爆发期,大数据领域新技术和新产品层出不穷。然而,一个不容忽视的事实是:业界仍然缺乏统一的产品评测标准。面对市场上层出不穷的大数据技术和产品,企业CIO面临如何评估、选择和使用大数据的烦恼,企业IT部门也苦恼于如何搭建企业级的大数据平台以支撑企业未来业务的发展。

2014年6月,业界第三方机构——数据中心联盟联合20多家企业启动了大数据平台基准测试标准的制定,力图以标准化与测试为纽带,将应用与技术、用户与厂商有机联系起来,推进我国大数据技术水平不断提升,帮助企业解决大数据技术和产品评估、选型、使用等难题。经过半年研讨,数据中心联盟于2015年1月底发布了《大数据平台基准测试》的技术要求和测试方法,这是国内第一个面向商用大数据产品的评测标准。

2015年5月至7月,受数据中心联盟委托,中国信息通信研究院开展了大数据商业产品的第一轮测试,中移(苏州)软件技术有限公司的BC-Hadoop、华为技术有限公司的FusionInsight、星环信息科技(上海)有限公司的Transwarphadoop、上海优刻得信息科技有限公司的UDDP、中兴通讯股份有限公司的GoldenData参加测试。这些软件产品在中国信息通信研究院提供的16台服务器上进行测评,而云服务则在优刻得公司提供的公有云环境中进行评测。

此次测试是业界第一次商用大数据软件平台测试活动,也是第一次多任务负载的大数据测试。测试在统一环境要求、统一数据规模、统一任务负载和统一测试周期的条件下进行。2015年7月30日,“2015年可信云大会”在北京召开,数据中心联盟在会上正式发布了大数据商业产品第一轮测试结果,并披露了部分测试数据。

数据中心联盟透露,在本次测试中,在批处理任务方面,数据排序处理的数据量达到13.6TB,集群最高处理速度达到1.66GB/s,平均吞吐率为1258MB/s;词频统计处理2.8TB的文本数据,速度最高达到1.67GB/s,平均吞吐率为1155MB/s。

在NoSQL数据库任务中,“写(Write)”操作向服务端写入20亿条记录,最快为140万ops;“读(Read)”操作从服务端读取20亿条记录,最快为87万ops,平均为71.7万ops;“扫描(Scan)”操作最快为9.6万ops,平均为8.7万ops。

在Hive任务中,Aggregation对1.83TB的大表做聚合,最快的吞吐率为3759MB/s,平均吞吐率为2087MB/s。

值得一提的是,除了性能测试外,本次测试还覆盖产品的容错性、安全与运维等方面,考验参测企业在限定时间内完成环境安装、平台部署和性能调优的综合能力。

此外,中国信息通信研究院还与华为在200台服务器单集群上进行了预测试,这是国内第一次在大规模节点上进行的测试,为正式开展大规模集群测试工作积累了经验。据悉,数据中心联盟正在与金融、电信等行业用户联合,制定更贴近行业特点、针对更复杂任务和更大规模集群的测试标准,第二轮测试正在筹备中。

关键字:数据中心痛点数据平台

本文摘自:中国信息产业网

x 消除商用大数据产品选型“痛点” 大数据基准测试第一批结果公布 扫一扫
分享本文到朋友圈
当前位置:大数据业界动态 → 正文

消除商用大数据产品选型“痛点” 大数据基准测试第一批结果公布

责任编辑:editor004 |来源:企业网D1Net  2015-08-20 11:37:45 本文摘自:中国信息产业网

2015年,大数据产品和服务采购进入爆发期,大数据领域新技术和新产品层出不穷。然而,一个不容忽视的事实是:业界仍然缺乏统一的产品评测标准。面对市场上层出不穷的大数据技术和产品,企业CIO面临如何评估、选择和使用大数据的烦恼,企业IT部门也苦恼于如何搭建企业级的大数据平台以支撑企业未来业务的发展。

2014年6月,业界第三方机构——数据中心联盟联合20多家企业启动了大数据平台基准测试标准的制定,力图以标准化与测试为纽带,将应用与技术、用户与厂商有机联系起来,推进我国大数据技术水平不断提升,帮助企业解决大数据技术和产品评估、选型、使用等难题。经过半年研讨,数据中心联盟于2015年1月底发布了《大数据平台基准测试》的技术要求和测试方法,这是国内第一个面向商用大数据产品的评测标准。

2015年5月至7月,受数据中心联盟委托,中国信息通信研究院开展了大数据商业产品的第一轮测试,中移(苏州)软件技术有限公司的BC-Hadoop、华为技术有限公司的FusionInsight、星环信息科技(上海)有限公司的Transwarphadoop、上海优刻得信息科技有限公司的UDDP、中兴通讯股份有限公司的GoldenData参加测试。这些软件产品在中国信息通信研究院提供的16台服务器上进行测评,而云服务则在优刻得公司提供的公有云环境中进行评测。

此次测试是业界第一次商用大数据软件平台测试活动,也是第一次多任务负载的大数据测试。测试在统一环境要求、统一数据规模、统一任务负载和统一测试周期的条件下进行。2015年7月30日,“2015年可信云大会”在北京召开,数据中心联盟在会上正式发布了大数据商业产品第一轮测试结果,并披露了部分测试数据。

数据中心联盟透露,在本次测试中,在批处理任务方面,数据排序处理的数据量达到13.6TB,集群最高处理速度达到1.66GB/s,平均吞吐率为1258MB/s;词频统计处理2.8TB的文本数据,速度最高达到1.67GB/s,平均吞吐率为1155MB/s。

在NoSQL数据库任务中,“写(Write)”操作向服务端写入20亿条记录,最快为140万ops;“读(Read)”操作从服务端读取20亿条记录,最快为87万ops,平均为71.7万ops;“扫描(Scan)”操作最快为9.6万ops,平均为8.7万ops。

在Hive任务中,Aggregation对1.83TB的大表做聚合,最快的吞吐率为3759MB/s,平均吞吐率为2087MB/s。

值得一提的是,除了性能测试外,本次测试还覆盖产品的容错性、安全与运维等方面,考验参测企业在限定时间内完成环境安装、平台部署和性能调优的综合能力。

此外,中国信息通信研究院还与华为在200台服务器单集群上进行了预测试,这是国内第一次在大规模节点上进行的测试,为正式开展大规模集群测试工作积累了经验。据悉,数据中心联盟正在与金融、电信等行业用户联合,制定更贴近行业特点、针对更复杂任务和更大规模集群的测试标准,第二轮测试正在筹备中。

关键字:数据中心痛点数据平台

本文摘自:中国信息产业网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^