当前位置:云计算企业动态 → 正文

超算入云:HPC in Cloud | 品高云公开课

责任编辑:yliang |来源:企业网D1Net  2016-07-25 12:13:01 本文摘自:品高云计算

小编的话

“品高云公开课”系列文章意在分享技术牛人的知识干货,和大家一起交流学习云知识,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞!2015年12月18日本期品高云公开课由品高云教育行业总监吴一冰带来“超算入云:HPC in Cloud”的分享。

分享嘉宾


 

吴一冰品高云教育行业总监,CCF YOCSEF广州AC委员。长期从事云计算、云安全等相关领域技术研究,近年来致力于为教育信息化贡献来自云端的力量。

分享正文

大家好,我是品高云教育行业经理吴一冰,今天跟各位分享一点关于云计算这个老兵的新任务,HPC in Cloud。

之前参加过智慧教育展,在展会上有不少谈云的,云教学、云备课,好多种不同的说法。大家似乎认为云计算是一个万能的技术,这是云计算的成功,也是对于云计算概念的一种透支,很多人已经不知道云这个玩意最擅长的、最能干的是什么了。

我们品高云做了很多年云计算,最开始,大家对云计算的看法认为云计算可以提供更快的计算速度,好像我们有个大集群,里面蕴藏着巨大的计算力,理所当然可以干“超级计算”的事情。这也是最开始云超算这个概念的出现背景,但从市场跟技术原理上,都没能得到主流认同。

后来我们渐渐发现,云计算的最核心的本质,并不是计算速度,而是交付速度,提升各种资源的交付效率。

最初阶段云计算交付基础环境,例如虚拟机、云存储;

后来云计算可以交付运行环境,不仅是虚拟机,里面还有中间件、数据库,用户拿到之后可以直接丢应用进去,就能运行;

再后来,云计算可以直接交付应用,我们把应用做成部署模板,自动化创建应用;

云计算继续发展,可以交付并行的应用。这个能力对于云HPC来说,是有里程碑似的意义。

云计算的发展,渐渐达到了HPC高性能计算的基础环境支撑要求,使得这两条技术流派产生了交叉。

因此,近年来我们可以看到亚马逊AWS,微软的Azure,都推出了HPC集群服务,美国有很多高校、研究机构、企业,例如华盛顿大学、辉瑞制药等,都在使用亚马逊的在线HPC集群。阿里云前一段也推出了并行计算服务,尽管业内很多HPC专家都说阿里做的还不成熟,但说明阿里云也看到了这个趋势,开始做了云超算。

说回到我们的高性能计算云,高性能计算这个技术本身,最开始并不是针对高校的。这项复杂的技术,适用于定向的研究机构、企业,长期用于研究同一种课题,例如中科院等离子研究所、中石化用于石油勘探等。

这跟高校的科研模式有比较明显的差异,高校内的研究门类特别多,有物理、化学、电子、生命科学等,而且大多数研究是实验、验证性质的。


 

而且具有短期、高频、多样化的特点。就是每个实验运行的时间并不长,但可能有很多次实验,对于学校来说,也有很多种不同的应用。

当前大多数高校的HPC资源,都是在各科研团队手里,彼此之间很难共享,资深的老师可能有很多HPC资源,年轻老师可能没资源;有些老师做课题实验时,HPC资源可能不够用,但不做实验的老师,可能资源有大量闲置。


 

另外一方面,HPC环境安装部署搭建的复杂度很高。物理学院的老师搭好之后,即便不用,借给材料学院的老师,也没法直接用,要做很大的改动,材料院的老师用完也没法恢复成物理院需要的HPC环境。简单说,构建难度大、复杂度高,归根结底就是交付效率比较低。

而云计算恰恰就是解决资源交付效率低的问题的。

刚才我们说到,云计算可以交付集群应用,也就是可以直接自动构建HPC集群。我们只需要将各种不同的HPC应用模板进行初始化导入,各院系的用户就可以直接通过云平台自助的去创建。


 

  品高教育云平台自助服务门户视图

对于资源管理者来说,也不需要去做各种复杂的运维工作,因为云平台会利用自动化服务来代替人来做运维。管理者给用户分配配额,例如100核的CPU、200G的内存、10T的存储等。用户就可以自助的去使用平台来创建HPC集群,只需要选择他需要的HPC软件应用、选择节点配置、指定节点规模。剩下的所有事情,都交给云,云会自动创建资源、自动安装软件、自动配置成集群,用户可以直接使用。


 

  通过品高教育云平台部署Matlab集群模拟界面

为了更好的满足各类HPC的需求,云计算还需要针对HPC应用场景做技术优化,例如支持GPU、Xeon Phi等协处理器,这些都是在HPC领域有很重要作用的设备。而且为了提供更强大的计算性能,我们不得不告别虚拟机,改用LXC容器技术来提供计算单元,基本上可以实现物理服务器99%的性能。而且,为了解决不同架构、不同HPC应用对于底层资源的兼容性要求,品高云还做了测试,通过了Intel的Intel Cluster Ready 的认证,也是国内唯一一家通过ICR认证的云平台软件厂商。

现在不少学校都有高性能计算的需求,超算的应用也越来越广。但不少高校觉得超算平台的运维压力很大,自己不懂,觉得建设一个超算平台这个事情心里没底。但都认为云计算不算新技术了,也比较成熟了,可以上云了。但如果这个云,还能干超算的事情,那么这个云的价值就非常大了。而且云中提供的超算,还大大降低了管理和使用的技术门槛,毕竟比较麻烦、复杂的配置、部署的工作都由云计算来完成了。

学校的IT管理部门,可以通过HPC科研云,向校内各院系提供HPC云服务,并且可以记录每年我服务了多少个院系、多少个科研团队,支持了多少个项目等,这些科研项目产生的学术价值、经济价值,都会与IT部门相关。真正帮助IT部门的定位从成本中心转型为服务中心、运营中心。工作主体也从IT资源运维,变成了IT资源运营。

欢迎大家一起来交流!

想提出问题的同学们,可以在右下方“写留言”,分享嘉宾会热情并且耐心地进行解答噢!

你想和更多志同道合的技术大咖一起交流吗?你想收听每周的“品高云微信群公开课”的直播吗?

长按识别以下二维码关注“品高云计算”微信公众号,回复“公开课”,品高云公开课的最新咨询、往期精彩回顾都在这里!

关键字:HPCInCloud品高云

本文摘自:品高云计算

x 超算入云:HPC in Cloud | 品高云公开课 扫一扫
分享本文到朋友圈
当前位置:云计算企业动态 → 正文

超算入云:HPC in Cloud | 品高云公开课

责任编辑:yliang |来源:企业网D1Net  2016-07-25 12:13:01 本文摘自:品高云计算

小编的话

“品高云公开课”系列文章意在分享技术牛人的知识干货,和大家一起交流学习云知识,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞!2015年12月18日本期品高云公开课由品高云教育行业总监吴一冰带来“超算入云:HPC in Cloud”的分享。

分享嘉宾


 

吴一冰品高云教育行业总监,CCF YOCSEF广州AC委员。长期从事云计算、云安全等相关领域技术研究,近年来致力于为教育信息化贡献来自云端的力量。

分享正文

大家好,我是品高云教育行业经理吴一冰,今天跟各位分享一点关于云计算这个老兵的新任务,HPC in Cloud。

之前参加过智慧教育展,在展会上有不少谈云的,云教学、云备课,好多种不同的说法。大家似乎认为云计算是一个万能的技术,这是云计算的成功,也是对于云计算概念的一种透支,很多人已经不知道云这个玩意最擅长的、最能干的是什么了。

我们品高云做了很多年云计算,最开始,大家对云计算的看法认为云计算可以提供更快的计算速度,好像我们有个大集群,里面蕴藏着巨大的计算力,理所当然可以干“超级计算”的事情。这也是最开始云超算这个概念的出现背景,但从市场跟技术原理上,都没能得到主流认同。

后来我们渐渐发现,云计算的最核心的本质,并不是计算速度,而是交付速度,提升各种资源的交付效率。

最初阶段云计算交付基础环境,例如虚拟机、云存储;

后来云计算可以交付运行环境,不仅是虚拟机,里面还有中间件、数据库,用户拿到之后可以直接丢应用进去,就能运行;

再后来,云计算可以直接交付应用,我们把应用做成部署模板,自动化创建应用;

云计算继续发展,可以交付并行的应用。这个能力对于云HPC来说,是有里程碑似的意义。

云计算的发展,渐渐达到了HPC高性能计算的基础环境支撑要求,使得这两条技术流派产生了交叉。

因此,近年来我们可以看到亚马逊AWS,微软的Azure,都推出了HPC集群服务,美国有很多高校、研究机构、企业,例如华盛顿大学、辉瑞制药等,都在使用亚马逊的在线HPC集群。阿里云前一段也推出了并行计算服务,尽管业内很多HPC专家都说阿里做的还不成熟,但说明阿里云也看到了这个趋势,开始做了云超算。

说回到我们的高性能计算云,高性能计算这个技术本身,最开始并不是针对高校的。这项复杂的技术,适用于定向的研究机构、企业,长期用于研究同一种课题,例如中科院等离子研究所、中石化用于石油勘探等。

这跟高校的科研模式有比较明显的差异,高校内的研究门类特别多,有物理、化学、电子、生命科学等,而且大多数研究是实验、验证性质的。


 

而且具有短期、高频、多样化的特点。就是每个实验运行的时间并不长,但可能有很多次实验,对于学校来说,也有很多种不同的应用。

当前大多数高校的HPC资源,都是在各科研团队手里,彼此之间很难共享,资深的老师可能有很多HPC资源,年轻老师可能没资源;有些老师做课题实验时,HPC资源可能不够用,但不做实验的老师,可能资源有大量闲置。


 

另外一方面,HPC环境安装部署搭建的复杂度很高。物理学院的老师搭好之后,即便不用,借给材料学院的老师,也没法直接用,要做很大的改动,材料院的老师用完也没法恢复成物理院需要的HPC环境。简单说,构建难度大、复杂度高,归根结底就是交付效率比较低。

而云计算恰恰就是解决资源交付效率低的问题的。

刚才我们说到,云计算可以交付集群应用,也就是可以直接自动构建HPC集群。我们只需要将各种不同的HPC应用模板进行初始化导入,各院系的用户就可以直接通过云平台自助的去创建。


 

  品高教育云平台自助服务门户视图

对于资源管理者来说,也不需要去做各种复杂的运维工作,因为云平台会利用自动化服务来代替人来做运维。管理者给用户分配配额,例如100核的CPU、200G的内存、10T的存储等。用户就可以自助的去使用平台来创建HPC集群,只需要选择他需要的HPC软件应用、选择节点配置、指定节点规模。剩下的所有事情,都交给云,云会自动创建资源、自动安装软件、自动配置成集群,用户可以直接使用。


 

  通过品高教育云平台部署Matlab集群模拟界面

为了更好的满足各类HPC的需求,云计算还需要针对HPC应用场景做技术优化,例如支持GPU、Xeon Phi等协处理器,这些都是在HPC领域有很重要作用的设备。而且为了提供更强大的计算性能,我们不得不告别虚拟机,改用LXC容器技术来提供计算单元,基本上可以实现物理服务器99%的性能。而且,为了解决不同架构、不同HPC应用对于底层资源的兼容性要求,品高云还做了测试,通过了Intel的Intel Cluster Ready 的认证,也是国内唯一一家通过ICR认证的云平台软件厂商。

现在不少学校都有高性能计算的需求,超算的应用也越来越广。但不少高校觉得超算平台的运维压力很大,自己不懂,觉得建设一个超算平台这个事情心里没底。但都认为云计算不算新技术了,也比较成熟了,可以上云了。但如果这个云,还能干超算的事情,那么这个云的价值就非常大了。而且云中提供的超算,还大大降低了管理和使用的技术门槛,毕竟比较麻烦、复杂的配置、部署的工作都由云计算来完成了。

学校的IT管理部门,可以通过HPC科研云,向校内各院系提供HPC云服务,并且可以记录每年我服务了多少个院系、多少个科研团队,支持了多少个项目等,这些科研项目产生的学术价值、经济价值,都会与IT部门相关。真正帮助IT部门的定位从成本中心转型为服务中心、运营中心。工作主体也从IT资源运维,变成了IT资源运营。

欢迎大家一起来交流!

想提出问题的同学们,可以在右下方“写留言”,分享嘉宾会热情并且耐心地进行解答噢!

你想和更多志同道合的技术大咖一起交流吗?你想收听每周的“品高云微信群公开课”的直播吗?

长按识别以下二维码关注“品高云计算”微信公众号,回复“公开课”,品高云公开课的最新咨询、往期精彩回顾都在这里!

关键字:HPCInCloud品高云

本文摘自:品高云计算

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^