当前位置:存储行业动态 → 正文

新数据时代,新存储之道

责任编辑:zsheng |来源:企业网D1Net  2018-12-11 20:15:37 本文摘自:DOIT

AI和5G技术加速了数字化转型,随着“新”数据形态、“新”部署环境、“新”应用模式及“新”价值需求的涌现,对数据存储带来了新的挑战,也就意味着存储需要管理的数据更多了、更宽了、更复杂了。在2018中国存储与数据峰会中,浪潮存储研发总监李辉带来了《新数据时代,新存储之道》的主题演讲。

李辉认为,大数据、AI、云是应对以上四个变化常用的技术手段,他总结为7个“V”,分别是:“Virtualization、Value、Variety、Veracity、Velocity、Volume和Visibility。

实际上今天的云有了新的挑战和压力,如何去支撑更大规模的数据中心和更彻底的虚拟化和云化;在大数据方面,如何获取更有价值的数据;AI预测是不是真的准确等等。

对此,浪潮给出的解决方案是采用集群的方式搭建一个AI集群,基于浪潮服务器硬件平台,用一套分布式存储的软件来提供文件对接大数据。为未来超大规模数据中心打造一套超大规模的分布式存储系统。

同时,李辉表示,浪潮的场景化定制是较为独特的服务理念,浪潮提供一个观点,即研发就是服务,通过给客户面向未来整个数字化的转型,云化数据中心的建设,对EB级数据的处理来定向开发定制战略合作,这是浪潮的新存储之道。

以下为演讲全文:

各位尊敬的来宾,我是来自浪潮的李辉,跟郑信武先生也认识了很多年,参加这个会也参加了很多年,但今天是第一次登台演讲,在主会场来跟大家作交流和分享。也非常感谢DOIT和郑信武先生的邀请,来参加这次盛会,也预祝这次大会能够圆满的成功。也非常希望像郑信武先生讲的,在未来数据产业和存储产业上,DOIT能够组织更多的交流平台,来促进咱们中国存储产业超越式的发展。

说起浪潮,大家可能都了解浪潮的服务器,浪潮的服务器现在是全球第三,国内一直是第一。但现在浪潮是一家基于云+数,为广大政府用户和企业用户提供云服务的公司。同时浪潮也是为我们的用户提供全面的云化基础设施,不仅有服务器,还有存储、网络、云平台等产品。

所以今天跟大家交流和分享的内容是浪潮在存储这方面创新,因为今天的主题是2018中国存储和数据峰会,其实我今天的内容也是这两个基本点,一个是存储,一个是数据,只不过是这两个点的顺序反了过来。想先跟大家交流一下数据的情况,然后再跟大家交流浪潮如何应对新技术带来的变化,怎么运用新的存储解决之道帮助用户应对这些新的挑战,充分释放这些数据的价值。

刚才李博士从应用的角度讲了工业互联网,我们今天讲的这些是存储系统层面的内容。首先我们想看一下,其实现在大家都在讲一个事情就是数字化转型,这是一个非常热的话题,无论是我们现在的各种各样的应用,我们一些非常好听的名字,比如说智慧地球、智慧城市、智慧企业、智慧教育、智慧医疗、城市大脑、工业大脑、企业大脑,事实上都是数字化转型。

其实我们在数字化转型过程中,一个基本的架构、基本的原理是说我们想从这个物理世界里得到更多的数据,拿到我们所谓的数字世界里,通过这个数字世界的加工和处理,再回到这个物理世界,能够给这个物理世界带来更好的结果、更好的产品,使之更好的服务。

比如说DOIT做易会实际上也是这样,所有参会的人信息在DOIT,通过这样的一些信息和数据来组织更好的会务服务,其实这也是数字化转型。在数字化转型当中,一个很核心的是我们要有更多的数据进入到我们的数字世界,在未来我们会看到有两个核心的技术,一个是5G,一个是AI,将会加速数字化的转型。5G理论上的性能会比4G提高1000倍,实际的一些POC测试的性能提高了10倍,将会把更多的IOT设备推到了网络上,来帮助我们采集数据。而AI现在刚才大家都在提AI非常热,AI会让我们有更强的能力来去做更多的、更深入的一些数据的或者是一些智慧的应用,这两个技术会加速数字化的转型。

那这两个技术加速数字化的转型会带给我们什么?会在数据方面产生一些什么样的变化?主要是有四个方面的变化,第一个,数据会具备新的形态。我们老说海量数据、大数据,可能今天我们才真正体会到我们现在面对的是海量的数据,我们面对的是大数据。因为今天我们看我们的数据来源,有内部数据,有外部数据。比如从外面通过授权得到的数据,比如去采购或者是去采集的一些数据。从这种数据的生产者的角度上讲,过去我们靠敲键盘,我们大家都是键盘侠做了很多数据。后来我们借助一些设备来采集数据,从现实世界里采集数据,无论是智能家居还是智能交通,还是智能的工业互联网,越来越多的设备在帮助我们采集数据。

有了AI之后,有了大数据和AI之后,实际上数据也在产生数据,尤其是一些大数据的挖掘过程中和AI的训练和推理过程中,都会有相当多的次生数据,这些数据加在一起就构成了我们手里的大数据。其实这些数据在我们的处理上也不一样,有的是要快,有的是要海量的批处理,有的是又要快又要海量的批处理,它的处理形态也不一样。这些对我们的一个挑战是什么?就意味着我们在存储的角度,管的数据更多了、更宽了、更复杂了,这是一个新数据形态。

第二,我们看到新的部署环境,我们之前只做关键计算,现在又有了智慧计算、科学计算、网格计算,现在又有了智能的计算、边缘计算。我们用各种各样的计算手段,而且现在我们用新的一些基础设施的手段,来部署我们数据处理的一些环境。比如说现在我们从公有云,公有云发展了十几年,现在公有云又要进入企业云。我们自己的数据中心怎么去真正的变成云化,我们自己真正的数据中心的云化,我们还没有云化完的时候,新的又来了。那我们就会发现,我们想把一些低延迟、高频的,甚至是一些逻辑回路比较短的应用,我们会想放到Edge上,我们把数据量不大的,容易远程上云的放到公有云上,或者短期没有那么多设备,一个短周期的,一个高计算力需求的应用我们放到云上去。

一个高计算率需求的应用放到云上去,或者把一些数据备份,有一些容灾的东西放到云上去,但是最终在我们自己手里边,我们的数据型的、效率型的和安全性的应用,其实还是在我们自己的数据中心里,也就是数字化转型,其实是以我为本的,以我们自己的数据中心为本的数字化的转型,这是第二个变化。

第三个变化,我们看应用模式的变化,其实数字化转型最核心的一个目标是无,最主要的一个手段是去,我们想通过数字化转型,用我们智能的手段,智慧化的应用,比如在我们政府办公里面变成无接触的处理,坐在家里在手机上就可以把所有的政务处理解决完,或者可以无纸化的办公,或者现在咱们的铁路也在准备无纸化的,没有票,包括我们的工厂的无人值守和汽车的无人驾驶,这些都是一些新的应用模式,这些新的应用模式对我们的变化是我们需要更多的数据,我们需要好的形态和好的工具来处理,来支撑我们的新的应用模式。

第四个方面的变化,新的价值的需求,我们一些智能化的应用,我们通过收集数据和大数据智能的应用来处理和加工,得到一个非常有价值的结果,帮助我们来做预测,帮助我们来做决策,帮助我们来提升生活水平,帮助我们来提升我们的政府的管理水平,这里还有一个所谓的价值需求,我们一定要有价值的数据,我们的有价值的数据从哪里来?我们会千方百计绞尽脑汁的找数据,其实我们这些数据就在我们的身边和我们实际的企业的运营过程里,就我们在每天用我们数字化的设备和手段处理的过程里,也就是我们的过程的数据,其实我们在手机上和电脑上,我们在哪里处理的?这些过程的数据我们过去认为不太重要,归档都不会,档案都不会有,现在我们可能会有了档案,有些档案我们可能会放一两年,就把数据丢弃了。

当我们今天智能化的应用普及的时候,我们会发现过程的数据非常重要,比如我们有一个所谓的英语学习软件,为了打造一个适应咱们中国人的AI的英语教师,他在有定向的收集我们整个通过手机传输到网上的英语的发音,他收集了4500万人,大约10亿分钟的英语语音,通过智能的手段去训练,去识别,最后训练出一个最适合国人的AI英语教师,可能会比教师教得更好,因为会理解背后的语境文化和逻辑思维,而不是英语语言的东西,这是过程数据的价值。

电商过程数据的价值,和所有的过程数据价值对我们来说都非常重要,所以在数字化应用的第四个变化是,我们要追求有价值的数据,我们有价值的数据就在我们身边,是有价值的过程数据。

这四个数据变化,新数据形态和新的部署环境,我们新的智能化的应用模式,和新的价值需求,尤其要挖掘我们的过程数据的价值的需求,组成了我们在我们看来所谓新的数据时代,它真的和过去我们处理数据不一样了,我们的数据可能对于每个人来讲,照片用的时候才会找,但是对于一个企业和组织来讲是无时无刻不需要数据的,我们的数据的种类会更多,我们的数据部署环境更复杂,我们的应用模式更加的智能。

在这种情况下,我们存储会有什么样的挑战?这四个变化对应我们现在常用的IT的技术手段,主要的就是三个,我们认为是大数据、AI、云,从这上来看数据处理需要解决什么,我们总结了7个V,比如Value等等。实际上今天我们云有新的挑战和压力,怎么支撑更大规模的数据中心和更彻底的虚拟化和云化?在大数据方面,我们怎么能够有更有价值的数据到达我们的手里,进入我们的应用,比如我们在数据精度上的追求,数据速率上的追求和数据生命周期时长的追求和要求,都会是我们的挑战,AI上最大的挑战是会不会帮助我们,AI的预测是不是真的准确,AI的决策是不是真的会对我们最有用的决策,这是我们在存储上碰到的挑战。

有数据统计现在70%的服务器在超大数据中心和企业的中大型数据中心里,而且在未来三五年还会更多,越来越多,我们企业的数据中心会从几十台几百台的服务器变得越来越多,越来越大的数据中心的规模,在这样一个数据中心里,我们的数据接入集群和数据处理和应用的集群规模都非常大,我们会用虚拟化的手段跑各种各样的应用,毕竟我们需要敏捷的处理,在这样的虚拟化情况下,时间样的存储可以支撑上万台的虚拟机的物理化和十万台虚拟机的运行,这是我们碰到的挑战。

第二个挑战是大数据,我们需要精度,比如我们在无人驾驶导航上,我们还是米级的导航,我们一个无人驾驶汽车在开的时候,安全肯定保证不了,因为汽车每秒钟就会跑上三到五十米,精度要到厘米级。

在宏观领域,科学研究上,在勘探、侦测、检测上,其实我们在微观的领域,我们是到了纳米级,对人脑的研究要到纳米级,第二,速率上,设备和仪器有无线电、光学和其他的,比如光学设备上,过去的视频监控常说1秒钟15祯,现在一些光学设备1秒钟30祯,在时长上,现在在医院里为了让大家的生命更健康,为了让我们每个人的寿命更长,我们的医院会把我们的病例数据和各种的过去治疗的数据存十五年以上,而现在为了一些安全的需要,过去30天的数据现在拉长到60天和90天,这些精度的速率的和数据生命周期上的要求,会把我们手里的数据放大至少一个数量级,过去可能我们觉得是几十个PB,但是未来我们可以预见的是我们的一些大型数据中心里面的数据很容易到EB级,现在一些用户在两地三中心的追求下,需要在每一个数据中心里至少支撑一百个PB的数据,很容易到EB级,这是我们存储的第二个挑战。

存储的第三个挑战,是AI,其实AI我们要拿到很多原始的数据进行标记,进行处理,处理成小文件,从视频里拿出数据,从图片里拿出数据,语音里拿出数据,文本里拿出来,我们会拿出很多小文件,现在一个大型的AI,真正预测能力非常准确的,高预测率准确的,有可能它的小文件会达到万亿的级别,现在我们AI的算法和算例,我们的模型其实现在并不是那么的优化,我们需要短时间足够的训练,才能训练出好的模型。

今年浪潮我们通常会用集群的方式搭建一个AI的集群,比如浪潮今年发布的16个节GPU节点的服务器,我们可能需要16台搭一个256节点,每个GPU需要五个容器,每秒钟每个容器要三千到五千个OPS,给一个GPU输送数据,算下来,我们一个16个节点的GPU服务器,我们就会有384万台OPS,也就是性能上我们会有一个非常大的挑战。这样的一些挑战,在存储上怎么解决,企事业就是过去的SCIE或者集群存储等传统的架构已经不能解决问题,我们应该向互联网学习,面向未来,去看我们这种分布式和我们这种超大规模分布式架构下我们怎么实现一个超大规模的存储,在这个超大规模的存储上,我们支持上万台的物理机和三段式的架构,我们支持云、大数据、人工智能的应用。

在容量上,性能上我们可以做到EB级,EGLPS,以及管理上可以做到AIOPS,现在数据中心越来越需要AIOPS来解决问题,谷歌数据中心用了AI的手段以后,能耗可以降低40%,这是新的存储解决之道。

浪潮基于我们服务器的硬件平台,我们在服务器的硬件平台上用一套分布式的存储的软件来提供文件对接大数据,听上去没有太多的变化,但这确实是我们为未来的超大规模数据中心在打造的一套超大规模的分布式存储系统,我们的单节点的能力,刚才刘钢也讲了PB级的容量,10GB的带宽甚至10万的LPS,最大的扩容性可以做到5200个节点,通过超大规模的扩展来最终提供我们需要的容量和最终提供我们的性能,在这里面,比如小文件上,我们可以达到一千亿的处理能力,而且我们在AI大数据上我们需要数据的流动,我们真的需要数据的流动吗?我们真的要复制和迁移数据吗?我相信大家都不想做这个事情,TB级就够难受了,PB就不用说了,到了EB级我们认为还是在那里吧,这个时候我们就需要一些文件的0拷贝技术,在原数据上,我们怎么做一些工作,能够让我们的数据通过不同的NF形式或者Hudp为不同的应用共享同一份数据而免去数据迁移和拷贝,以及openstack,我们怎么有更好的能力支持它,支持国内的用户,国内的用户没有国外得那么幸福,国内的用户我们更多得用openstack做云化中心和支持能力。

我认为浪潮有一点最独特,就是场景化的定制,我们提倡一个观点,研发就是服务,通过给我们的用户面向未来整个数字化的转型,云化数据中心的建设,对EB级数据的处理来定向开发定制开发战略合作,这是我们浪潮的新存储之道。

浪潮新存储有了一些实践,有一个高清图片,有一个用户选择了大于350个节点,在他的数据中心里用了65个节点做所有虚拟机的镜像化文件,用250个节点70个BP存储他高清的图片,用了30个节点在内部的协同办公来用对象做了他的网盘,通过这样的一个超大规模分布式存储的架构,我们的这个用户当然在这种对比传统存储降低了50%的采购成本,对于他的整个数据的作业,他有十个作业段,他降低了60%的作业时间,然后他在用户的规模扩大一百倍情况下,用户的服务的时间SLA从分钟级降到了秒级,这是我们给超大规模的用户所创造的一个价值,当然在这里面我们一套的架构和小文件上的优化,我们在数据的免迁移和免拷贝上所做得一些特性,确实帮到了他最终整个超大规模的应用。

我们另一个超大规模的应用,是在融合媒体领域,我们的融合媒体用户也要在全国建两地三中心,把他全部的应用,无论是关键的还是不关键的全部上云,在他的每个数据中心里现在都是千级服务器,一千台以上的服务器,来支撑他大约接近100个业务应用,最终这个用户选择了我们大约一百多个节点,10PB空间,其中我们有40个节点,已经在支撑他的500台物理机虚拟化,每台物理机上跑了五个虚拟机,最终每个数据中心至少要一千台物理机,每个物理机上十个虚拟机,一万个虚拟机的规模。这样通过超大规模的分布式存储,我们这位用户可以在他所有的全国数据中心里用一套的工具和一套的知识管理云化数据中心基础设施中存储的一部分,从他的运维上都得到了很高的价值,这是我们又一个新存储的实践。

这是我跟各位汇报的所有的内容,占用了大家稍微多的一点时间,也非常感谢大家聆听我的分享,希望在未来能够跟中国存储的产业界所有的同行能够一起合作,能够跟所有的用户一起合作,能够为浪潮的新存储面向未来,为所有的中国用户云化数据中心提供更多的价值,带来更多的帮助,让我们充分享受我们的AI,充分享受我们的5G和智能化的未来,谢谢各位。

关键字:存储时代数据

本文摘自:DOIT

x 新数据时代,新存储之道 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

新数据时代,新存储之道

责任编辑:zsheng |来源:企业网D1Net  2018-12-11 20:15:37 本文摘自:DOIT

AI和5G技术加速了数字化转型,随着“新”数据形态、“新”部署环境、“新”应用模式及“新”价值需求的涌现,对数据存储带来了新的挑战,也就意味着存储需要管理的数据更多了、更宽了、更复杂了。在2018中国存储与数据峰会中,浪潮存储研发总监李辉带来了《新数据时代,新存储之道》的主题演讲。

李辉认为,大数据、AI、云是应对以上四个变化常用的技术手段,他总结为7个“V”,分别是:“Virtualization、Value、Variety、Veracity、Velocity、Volume和Visibility。

实际上今天的云有了新的挑战和压力,如何去支撑更大规模的数据中心和更彻底的虚拟化和云化;在大数据方面,如何获取更有价值的数据;AI预测是不是真的准确等等。

对此,浪潮给出的解决方案是采用集群的方式搭建一个AI集群,基于浪潮服务器硬件平台,用一套分布式存储的软件来提供文件对接大数据。为未来超大规模数据中心打造一套超大规模的分布式存储系统。

同时,李辉表示,浪潮的场景化定制是较为独特的服务理念,浪潮提供一个观点,即研发就是服务,通过给客户面向未来整个数字化的转型,云化数据中心的建设,对EB级数据的处理来定向开发定制战略合作,这是浪潮的新存储之道。

以下为演讲全文:

各位尊敬的来宾,我是来自浪潮的李辉,跟郑信武先生也认识了很多年,参加这个会也参加了很多年,但今天是第一次登台演讲,在主会场来跟大家作交流和分享。也非常感谢DOIT和郑信武先生的邀请,来参加这次盛会,也预祝这次大会能够圆满的成功。也非常希望像郑信武先生讲的,在未来数据产业和存储产业上,DOIT能够组织更多的交流平台,来促进咱们中国存储产业超越式的发展。

说起浪潮,大家可能都了解浪潮的服务器,浪潮的服务器现在是全球第三,国内一直是第一。但现在浪潮是一家基于云+数,为广大政府用户和企业用户提供云服务的公司。同时浪潮也是为我们的用户提供全面的云化基础设施,不仅有服务器,还有存储、网络、云平台等产品。

所以今天跟大家交流和分享的内容是浪潮在存储这方面创新,因为今天的主题是2018中国存储和数据峰会,其实我今天的内容也是这两个基本点,一个是存储,一个是数据,只不过是这两个点的顺序反了过来。想先跟大家交流一下数据的情况,然后再跟大家交流浪潮如何应对新技术带来的变化,怎么运用新的存储解决之道帮助用户应对这些新的挑战,充分释放这些数据的价值。

刚才李博士从应用的角度讲了工业互联网,我们今天讲的这些是存储系统层面的内容。首先我们想看一下,其实现在大家都在讲一个事情就是数字化转型,这是一个非常热的话题,无论是我们现在的各种各样的应用,我们一些非常好听的名字,比如说智慧地球、智慧城市、智慧企业、智慧教育、智慧医疗、城市大脑、工业大脑、企业大脑,事实上都是数字化转型。

其实我们在数字化转型过程中,一个基本的架构、基本的原理是说我们想从这个物理世界里得到更多的数据,拿到我们所谓的数字世界里,通过这个数字世界的加工和处理,再回到这个物理世界,能够给这个物理世界带来更好的结果、更好的产品,使之更好的服务。

比如说DOIT做易会实际上也是这样,所有参会的人信息在DOIT,通过这样的一些信息和数据来组织更好的会务服务,其实这也是数字化转型。在数字化转型当中,一个很核心的是我们要有更多的数据进入到我们的数字世界,在未来我们会看到有两个核心的技术,一个是5G,一个是AI,将会加速数字化的转型。5G理论上的性能会比4G提高1000倍,实际的一些POC测试的性能提高了10倍,将会把更多的IOT设备推到了网络上,来帮助我们采集数据。而AI现在刚才大家都在提AI非常热,AI会让我们有更强的能力来去做更多的、更深入的一些数据的或者是一些智慧的应用,这两个技术会加速数字化的转型。

那这两个技术加速数字化的转型会带给我们什么?会在数据方面产生一些什么样的变化?主要是有四个方面的变化,第一个,数据会具备新的形态。我们老说海量数据、大数据,可能今天我们才真正体会到我们现在面对的是海量的数据,我们面对的是大数据。因为今天我们看我们的数据来源,有内部数据,有外部数据。比如从外面通过授权得到的数据,比如去采购或者是去采集的一些数据。从这种数据的生产者的角度上讲,过去我们靠敲键盘,我们大家都是键盘侠做了很多数据。后来我们借助一些设备来采集数据,从现实世界里采集数据,无论是智能家居还是智能交通,还是智能的工业互联网,越来越多的设备在帮助我们采集数据。

有了AI之后,有了大数据和AI之后,实际上数据也在产生数据,尤其是一些大数据的挖掘过程中和AI的训练和推理过程中,都会有相当多的次生数据,这些数据加在一起就构成了我们手里的大数据。其实这些数据在我们的处理上也不一样,有的是要快,有的是要海量的批处理,有的是又要快又要海量的批处理,它的处理形态也不一样。这些对我们的一个挑战是什么?就意味着我们在存储的角度,管的数据更多了、更宽了、更复杂了,这是一个新数据形态。

第二,我们看到新的部署环境,我们之前只做关键计算,现在又有了智慧计算、科学计算、网格计算,现在又有了智能的计算、边缘计算。我们用各种各样的计算手段,而且现在我们用新的一些基础设施的手段,来部署我们数据处理的一些环境。比如说现在我们从公有云,公有云发展了十几年,现在公有云又要进入企业云。我们自己的数据中心怎么去真正的变成云化,我们自己真正的数据中心的云化,我们还没有云化完的时候,新的又来了。那我们就会发现,我们想把一些低延迟、高频的,甚至是一些逻辑回路比较短的应用,我们会想放到Edge上,我们把数据量不大的,容易远程上云的放到公有云上,或者短期没有那么多设备,一个短周期的,一个高计算力需求的应用我们放到云上去。

一个高计算率需求的应用放到云上去,或者把一些数据备份,有一些容灾的东西放到云上去,但是最终在我们自己手里边,我们的数据型的、效率型的和安全性的应用,其实还是在我们自己的数据中心里,也就是数字化转型,其实是以我为本的,以我们自己的数据中心为本的数字化的转型,这是第二个变化。

第三个变化,我们看应用模式的变化,其实数字化转型最核心的一个目标是无,最主要的一个手段是去,我们想通过数字化转型,用我们智能的手段,智慧化的应用,比如在我们政府办公里面变成无接触的处理,坐在家里在手机上就可以把所有的政务处理解决完,或者可以无纸化的办公,或者现在咱们的铁路也在准备无纸化的,没有票,包括我们的工厂的无人值守和汽车的无人驾驶,这些都是一些新的应用模式,这些新的应用模式对我们的变化是我们需要更多的数据,我们需要好的形态和好的工具来处理,来支撑我们的新的应用模式。

第四个方面的变化,新的价值的需求,我们一些智能化的应用,我们通过收集数据和大数据智能的应用来处理和加工,得到一个非常有价值的结果,帮助我们来做预测,帮助我们来做决策,帮助我们来提升生活水平,帮助我们来提升我们的政府的管理水平,这里还有一个所谓的价值需求,我们一定要有价值的数据,我们的有价值的数据从哪里来?我们会千方百计绞尽脑汁的找数据,其实我们这些数据就在我们的身边和我们实际的企业的运营过程里,就我们在每天用我们数字化的设备和手段处理的过程里,也就是我们的过程的数据,其实我们在手机上和电脑上,我们在哪里处理的?这些过程的数据我们过去认为不太重要,归档都不会,档案都不会有,现在我们可能会有了档案,有些档案我们可能会放一两年,就把数据丢弃了。

当我们今天智能化的应用普及的时候,我们会发现过程的数据非常重要,比如我们有一个所谓的英语学习软件,为了打造一个适应咱们中国人的AI的英语教师,他在有定向的收集我们整个通过手机传输到网上的英语的发音,他收集了4500万人,大约10亿分钟的英语语音,通过智能的手段去训练,去识别,最后训练出一个最适合国人的AI英语教师,可能会比教师教得更好,因为会理解背后的语境文化和逻辑思维,而不是英语语言的东西,这是过程数据的价值。

电商过程数据的价值,和所有的过程数据价值对我们来说都非常重要,所以在数字化应用的第四个变化是,我们要追求有价值的数据,我们有价值的数据就在我们身边,是有价值的过程数据。

这四个数据变化,新数据形态和新的部署环境,我们新的智能化的应用模式,和新的价值需求,尤其要挖掘我们的过程数据的价值的需求,组成了我们在我们看来所谓新的数据时代,它真的和过去我们处理数据不一样了,我们的数据可能对于每个人来讲,照片用的时候才会找,但是对于一个企业和组织来讲是无时无刻不需要数据的,我们的数据的种类会更多,我们的数据部署环境更复杂,我们的应用模式更加的智能。

在这种情况下,我们存储会有什么样的挑战?这四个变化对应我们现在常用的IT的技术手段,主要的就是三个,我们认为是大数据、AI、云,从这上来看数据处理需要解决什么,我们总结了7个V,比如Value等等。实际上今天我们云有新的挑战和压力,怎么支撑更大规模的数据中心和更彻底的虚拟化和云化?在大数据方面,我们怎么能够有更有价值的数据到达我们的手里,进入我们的应用,比如我们在数据精度上的追求,数据速率上的追求和数据生命周期时长的追求和要求,都会是我们的挑战,AI上最大的挑战是会不会帮助我们,AI的预测是不是真的准确,AI的决策是不是真的会对我们最有用的决策,这是我们在存储上碰到的挑战。

有数据统计现在70%的服务器在超大数据中心和企业的中大型数据中心里,而且在未来三五年还会更多,越来越多,我们企业的数据中心会从几十台几百台的服务器变得越来越多,越来越大的数据中心的规模,在这样一个数据中心里,我们的数据接入集群和数据处理和应用的集群规模都非常大,我们会用虚拟化的手段跑各种各样的应用,毕竟我们需要敏捷的处理,在这样的虚拟化情况下,时间样的存储可以支撑上万台的虚拟机的物理化和十万台虚拟机的运行,这是我们碰到的挑战。

第二个挑战是大数据,我们需要精度,比如我们在无人驾驶导航上,我们还是米级的导航,我们一个无人驾驶汽车在开的时候,安全肯定保证不了,因为汽车每秒钟就会跑上三到五十米,精度要到厘米级。

在宏观领域,科学研究上,在勘探、侦测、检测上,其实我们在微观的领域,我们是到了纳米级,对人脑的研究要到纳米级,第二,速率上,设备和仪器有无线电、光学和其他的,比如光学设备上,过去的视频监控常说1秒钟15祯,现在一些光学设备1秒钟30祯,在时长上,现在在医院里为了让大家的生命更健康,为了让我们每个人的寿命更长,我们的医院会把我们的病例数据和各种的过去治疗的数据存十五年以上,而现在为了一些安全的需要,过去30天的数据现在拉长到60天和90天,这些精度的速率的和数据生命周期上的要求,会把我们手里的数据放大至少一个数量级,过去可能我们觉得是几十个PB,但是未来我们可以预见的是我们的一些大型数据中心里面的数据很容易到EB级,现在一些用户在两地三中心的追求下,需要在每一个数据中心里至少支撑一百个PB的数据,很容易到EB级,这是我们存储的第二个挑战。

存储的第三个挑战,是AI,其实AI我们要拿到很多原始的数据进行标记,进行处理,处理成小文件,从视频里拿出数据,从图片里拿出数据,语音里拿出数据,文本里拿出来,我们会拿出很多小文件,现在一个大型的AI,真正预测能力非常准确的,高预测率准确的,有可能它的小文件会达到万亿的级别,现在我们AI的算法和算例,我们的模型其实现在并不是那么的优化,我们需要短时间足够的训练,才能训练出好的模型。

今年浪潮我们通常会用集群的方式搭建一个AI的集群,比如浪潮今年发布的16个节GPU节点的服务器,我们可能需要16台搭一个256节点,每个GPU需要五个容器,每秒钟每个容器要三千到五千个OPS,给一个GPU输送数据,算下来,我们一个16个节点的GPU服务器,我们就会有384万台OPS,也就是性能上我们会有一个非常大的挑战。这样的一些挑战,在存储上怎么解决,企事业就是过去的SCIE或者集群存储等传统的架构已经不能解决问题,我们应该向互联网学习,面向未来,去看我们这种分布式和我们这种超大规模分布式架构下我们怎么实现一个超大规模的存储,在这个超大规模的存储上,我们支持上万台的物理机和三段式的架构,我们支持云、大数据、人工智能的应用。

在容量上,性能上我们可以做到EB级,EGLPS,以及管理上可以做到AIOPS,现在数据中心越来越需要AIOPS来解决问题,谷歌数据中心用了AI的手段以后,能耗可以降低40%,这是新的存储解决之道。

浪潮基于我们服务器的硬件平台,我们在服务器的硬件平台上用一套分布式的存储的软件来提供文件对接大数据,听上去没有太多的变化,但这确实是我们为未来的超大规模数据中心在打造的一套超大规模的分布式存储系统,我们的单节点的能力,刚才刘钢也讲了PB级的容量,10GB的带宽甚至10万的LPS,最大的扩容性可以做到5200个节点,通过超大规模的扩展来最终提供我们需要的容量和最终提供我们的性能,在这里面,比如小文件上,我们可以达到一千亿的处理能力,而且我们在AI大数据上我们需要数据的流动,我们真的需要数据的流动吗?我们真的要复制和迁移数据吗?我相信大家都不想做这个事情,TB级就够难受了,PB就不用说了,到了EB级我们认为还是在那里吧,这个时候我们就需要一些文件的0拷贝技术,在原数据上,我们怎么做一些工作,能够让我们的数据通过不同的NF形式或者Hudp为不同的应用共享同一份数据而免去数据迁移和拷贝,以及openstack,我们怎么有更好的能力支持它,支持国内的用户,国内的用户没有国外得那么幸福,国内的用户我们更多得用openstack做云化中心和支持能力。

我认为浪潮有一点最独特,就是场景化的定制,我们提倡一个观点,研发就是服务,通过给我们的用户面向未来整个数字化的转型,云化数据中心的建设,对EB级数据的处理来定向开发定制开发战略合作,这是我们浪潮的新存储之道。

浪潮新存储有了一些实践,有一个高清图片,有一个用户选择了大于350个节点,在他的数据中心里用了65个节点做所有虚拟机的镜像化文件,用250个节点70个BP存储他高清的图片,用了30个节点在内部的协同办公来用对象做了他的网盘,通过这样的一个超大规模分布式存储的架构,我们的这个用户当然在这种对比传统存储降低了50%的采购成本,对于他的整个数据的作业,他有十个作业段,他降低了60%的作业时间,然后他在用户的规模扩大一百倍情况下,用户的服务的时间SLA从分钟级降到了秒级,这是我们给超大规模的用户所创造的一个价值,当然在这里面我们一套的架构和小文件上的优化,我们在数据的免迁移和免拷贝上所做得一些特性,确实帮到了他最终整个超大规模的应用。

我们另一个超大规模的应用,是在融合媒体领域,我们的融合媒体用户也要在全国建两地三中心,把他全部的应用,无论是关键的还是不关键的全部上云,在他的每个数据中心里现在都是千级服务器,一千台以上的服务器,来支撑他大约接近100个业务应用,最终这个用户选择了我们大约一百多个节点,10PB空间,其中我们有40个节点,已经在支撑他的500台物理机虚拟化,每台物理机上跑了五个虚拟机,最终每个数据中心至少要一千台物理机,每个物理机上十个虚拟机,一万个虚拟机的规模。这样通过超大规模的分布式存储,我们这位用户可以在他所有的全国数据中心里用一套的工具和一套的知识管理云化数据中心基础设施中存储的一部分,从他的运维上都得到了很高的价值,这是我们又一个新存储的实践。

这是我跟各位汇报的所有的内容,占用了大家稍微多的一点时间,也非常感谢大家聆听我的分享,希望在未来能够跟中国存储的产业界所有的同行能够一起合作,能够跟所有的用户一起合作,能够为浪潮的新存储面向未来,为所有的中国用户云化数据中心提供更多的价值,带来更多的帮助,让我们充分享受我们的AI,充分享受我们的5G和智能化的未来,谢谢各位。

关键字:存储时代数据

本文摘自:DOIT

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^