当前位置:服务器行业动态 → 正文

如何保证人工智能与HPC的成功融合?

责任编辑:jcao 作者:曹建菊 |来源:企业网D1Net  2017-07-04 09:09:47 本文摘自:企业网D1Net

人工智能的发展经历过很有意思的波峰与波谷,虽然目前来看,人工智能得到了很大的释放,价值也在各种探讨中正在一步步落地。而在联想首席科学家祝明发看来:人工智能其实远远没有20世纪50年代来得猛烈。

20世纪50年代人工智能研究曾达到过一个高潮,设想比现在还要大胆。大家甚至担忧过未来人工智能的发展将非常恐怖,很多年后世界会是机器人的世界,机器人将统治这个世界。当然这样大胆的设想并没有实现,因为人工智能作为一个学科来说,是从机器推理开始取得的进展,通过搜索取得的进展都和人工神经网络深度学习取得的进展相关。

我们看到,人工智能正在与各种行业应用越来越紧密结合,而这,也正是当前人工智能与20世纪50年代人工智能研究的本质区别。

HPC----高性能计算,是各种科学研究、气象测算、海洋勘探的必备辅助,没有HPC,很多科学研究将无法开展。怎样才能保证人工智能与HPC的成功融合?

未来HPC的三大纬度

中国科学院计算所所长孙凝晖认为,高性能计算未来将向三个纬度发展,即:算得快、算得多和算得稳。

首先,传统HPC的要求便是算得快,中国高性能计算的发展,已从1P到100P到1000P甚至1亿P的发展,计算算力要求无止境,这是永远的纬度。

其次,还要算得多,包括以下两个层次:首先是数据多,比如互联网的数据非常大,主要靠数据采集和处理来获得收益;再如传统计算密集的石油勘探领域数据量也已经达到了几十P的量;再如中国科学院也正在产生的大量数据,中国科学院正在制定新的发展规划,国家投入建设了上海、合肥和怀柔三个科学中心,这三个大型科学中心将配备最顶级的科学装置,不仅是传统的天文望远镜,还有生物领域观察的设备,对地球观察的设备,对物质科学的观察设备等等。这些大的科学装置都会产生大量的数据。第二个层次是如何解决数据的传输、移动和高效计算的问题,这将比纯粹的计算更加重要。因此,AI在高性能计算领域的应用,虽然需要GPU很强的计算能力,但其核心还是要解决数据处理的问题,把数据处理好才能产生更大的智能。因此,让计算机如何算得多,算得更加好,是第二个非常重要的发展方向。

第三,算得稳,云计算和物联网发展的应用特征,需要计算用户质量能更好地得到保障,物联网应用,智能汽车等对延迟的要求更加苛刻,因此,计算的负载保证用户任务完成时间上要求更稳定的供给,如何在计算负载剧烈变化,负载类型多样的情况下,保证资源利用率,保证用户体验的稳定,算得稳也将是高性能计算非常重要的发展方向。

算得快、算得多和算得稳这三个纬度把高性能计算空间撑得更大,未来的科学研究还是企业运用出将会有更大的发展空间。

AI成功的四大要素

显而易见,计算、算法和数据是人工智能的三大基础。如何保证AI的成功呢?联想集团副总裁、企业服务云计算研究室、无线研究实验室黄莹博士认为:AI成功需要满足四大要素,称之为ABCD。

A是算法上的创新;

B是商业方面要有定向,即怎么样才能够应用好;

C是计算力,也就是如何将GPU、CPU、TPU进行更好的结合;

D是数据,即怎么样才能把数据更好处理好等等。

因此,AI的成功因素之一是算法,算法是很重要的一个方面,从AlphaGo上也可以看到算法的重要。目前,计算engine上,Nvidia、TensorFlow、Caffe、Torch等比较领先。

第二,进行大数据处理。未来数据量将越来越庞大,需要对大数据进行很好的处理。

第三是计算力,怎么样能够在TPU、GPU和FPGA等加速器上进行组合则是HPC专家的研究重点。因为GPU或者TPU或者FPGA不完全跟上和算法完全匹配时,要靠人做很多的调优才能把GPU集群真正用好,这其中会面对极大的挑战。以谷歌做翻译训练为例,一般的训练要在12台带8个GPU的机器上算一周,但如果没有这么好的集群,只能在一台带8个GPU上训练需要计算三个月;如果只有一个GPU的机器则需要算两年。因此,很多这种研究需要AI专家、分布式计算专家、网络、存储工程师等一群专家在一起工作。这种深度学习的训练便导致了AI鸿沟,因为一般企业和一般的研究所没有这么多专家在一起做这样的事情。

基于上述思考,联想推出了HPC+AI智能超算平台LiCO,LiCO是提供强大计算力的最佳平台,在HPC软硬件平台上整合支撑了各种深度学习应用,并融合了主流的人工智能框架。

联想HPC的AI创新

联想是全球领先的HPC厂商,联想于2001年成立了高性能服务器事业部,开始了在HPC领域的探索。而在刚刚结束的ISC 2017上,联想以91套高性能计算系统入围全球HPC TOP500份额榜,连续三年获得中国第一,继续蝉联全球第二。

在产品和技术上,联想也正在步入世界先进行列,联想的x86服务器产品性能和品质全世界上共知,物理机计算节点可靠性有着很好的口碑。联想独创了45摄氏度温水水冷技术,相比传统的空气冷却,最高可降低40%的能耗,比其他厂商的水冷技术能耗也低了近20%。通过联想水冷能够使得数据中心的PUE值降低到1.1,这远低于1.8-2.0的业界平均水平,能帮助客户大大节省整体投资,提升AI计算的效能。目前,联想与全球最大的7个数据中心中的6个达成了合作,继续在HPC领域展露锋芒。上一个财年,联想以17%的增长率成为全球增速最快的HPC厂商。

上图为:联想首席科学家祝明发

联想首席科学家祝明发介绍:联想近日推出的深腾8810集群由联想自主研发,拥有多项HPC和AI的关键技术,包括46项国家发明专利。其搭载的全新HPC+AI智能超算平台LiCO,不仅强化了上一代LiCO的全部功能,更在HPC软硬件平台上整合支撑了各种深度学习应用,融合了谷歌的Tensorflow、脸书的Caffe、微软的MXNET等主流的人工智能框架;另外,LiCO分布式的资源调度系统,可以帮助用户从容应对人脸识别、自然语言处理等各种深度学习训练不断增长的计算需求;其任务模板可以让不同类型的用户,如初学者、专家、数据科学家,都能够快速上手; 而LiCO端到端的解决方案包含数据预处理、训练、参数调整、过程监控、测试等,能让用户能够集中精力在AI算法和业务应用。

在生态联盟方面,联想进一步加强了与各领域合作伙伴的密切联系,打造HPC+AI的完整生态圈。除了在硬件层面继续加深与Intel、NVIDIA、Mellanox等厂商的合作,联想还在软件层面主动开放生态系统,吸引主流软件厂商例如Redhat加入联盟。同时,联想创投还不断发掘应用层面具有潜力的科技创新公司,投资了Face++、银河水滴科技等,以更快的速度抢占AI的制高点。另外,联想与科大讯飞、滴滴出行、今日头条等人工智能领先公司在系统与应用方面的深入紧密合作,也能帮助客户在语音、图像、视频、搜索、网络等方面取得几何数量级的应用性能提升。

采访小记

无论如何,我们都正在进入一个人工智能研究及应用创新集中爆发的时代,我们不再像20世纪50年代一样担忧人类将会被机器人统治,我们更愿意用人工智能与应用结合,让这个世界变得更美好。当然,人工智能也只有在强大计算力的支持下,通过和成熟的算法、大数据相结合,才能真正做到改变。

关键字:HPC 人工智能 AI 联想

本文摘自:企业网D1Net

如何保证人工智能与HPC的成功融合? 扫一扫
分享本文到朋友圈

关于我们联系我们版权声明友情链接广告服务会员服务投稿中心招贤纳士

企业网版权所有©2010-2019 京ICP备09108050号-6

^