当前位置:存储技术专区 → 正文

Dell PowerScale:AI工作负载的架构骨干

责任编辑:shjiaz |来源:企业网D1Net  2024-07-10 09:21:00 本文摘自:戴尔科技

想要踏上人工智能(AI)与非结构化数据的开创性融合之旅,企业需要一个能够适应复杂性并可伴随创新伸缩自如的强大存储架构。深受信赖的领先存储解决方案PowerScale旨在简化IT环境,以前所未有的速度、简易性和成本优势加快AI模型的交付。

揭秘PowerScale架构

PowerScale的核心是一个由OneFS软件驱动的AI架构,专用于管理分布式环境中的非结构化数据。具体来说,包含以下三个基础层。

客户端访问层:网络文件系统的这一关键组成部分可确保从各种客户端和工作负载对非结构化数据的无缝访问。客户端访问层使用高速以太网连接并支持多种协议,例如网络文件系统(NFS)、服务器消息块(SMB)和Hadoop分布式文件系统(HDFS),简化并统一了不同工作负载的文件访问。该层采用NVIDIA GPUDirect Storage、远程直接内存访问(RDMA)等前沿技术,为AI应用在GPU内存与存储设备之间直接数据传输提供了便利。它还通过智能负载均衡策略优化性能和可用性,同时利用多租户控制确保安全性和量身定制的服务级别。

OneFS文件呈现层:该层统一了整个集群的数据访问,让用户不再为数据的物理位置而烦恼。OneFS无缝集成了卷管理、数据保护和分层功能,简化了各类存储的大型数据卷管理。凭借高可用性且可连续无中断运行的特点,该层助力用户轻松实现升级、扩展和迁移,为其提供一个可适配各种需求的智能、高效文件系统。

PowerScale计算和存储集群层:作为骨干层,该层提供节点和节点间的网络元素,实现可扩展且高可用性的文件集群。从处理基础容量和计算任务的经济型小型集群,到可容纳PB级数据的大型配置,PowerScale都能在不增加任何管理负担的情况下,轻松扩展和自动平衡集群。节点专为方便生命周期管理而设计,因此不再需要中断集群运行便可实现升级、迁移和技术更新。

以上三层构成了AI部署的基础,为高性能的数据获取、处理和分析提供了灵活、永不间断的助力。

PowerScale的核心功能

在PowerScale全闪存技术和OneFS软件最新创新成果的加持下,开发人员可加速从数据准备到模型推理的整个AI生命周期。由Dell PowerEdge服务器驱动的PowerScale具有更强大的性能,可加快高级AI模型的流式读写速度。与高性能、高密度的节点相结合,这些核心功能以非凡的速度与精度为实现数据驱动的智能决策铺平道路。

GPUDirect实现超高性能:PowerScale利用GPUDirect存储技术在GPU内存和存储之间建立直接路径,从而减少延迟并提高带宽。由于支持采用GPUDirect的服务器以及NFS Over RDMA技术,PowerScale能够提高吞吐量并降低CPU的利用率,可将带宽和吞吐量提高至多8倍。

支持高吞吐量以太网的客户端驱动程序:可选的客户端驱动程序允许使用多个TCP同时连接到不同的PowerScale节点,提高了NFS客户端在高速以太网网络上的性能。这种分布式架构能够增加I/O操作的吞吐量,通过提高单个NFS挂载性能并平衡网络流量防止出现瓶颈。

伸缩自如的横向扩展:无论是小型集群还是具有多个PB级容量数据的环境,PowerScale都能凭借自身的无缝扩展性,满足AI不断发展的需求。通过轻松添加和升级节点,PowerScale即使在不同的节点类型和配置中也能确保一致且可预测的性能。

灵活支持存储层:PowerScale提供全闪存、混合和归档节点,可满足不同的存储需求和预算。智能负载均衡策略可优化资源利用率,在线数据缩减可删除重复或冗余数据,降低有效存储成本。

现在开始使用PowerScale交付AI成果

在AI领域,架构的选择至关重要。作为加速AI流程并优化成果的绝佳解决方案,PowerScale凭借GPU直接通信、高速数据处理、无缝扩展等独树一帜的功能,为AI工作流程开辟出一条前所未有的创新之路。

关键字:PowerScaleAI戴尔存储

本文摘自:戴尔科技

x Dell PowerScale:AI工作负载的架构骨干 扫一扫
分享本文到朋友圈
当前位置:存储技术专区 → 正文

Dell PowerScale:AI工作负载的架构骨干

责任编辑:shjiaz |来源:企业网D1Net  2024-07-10 09:21:00 本文摘自:戴尔科技

想要踏上人工智能(AI)与非结构化数据的开创性融合之旅,企业需要一个能够适应复杂性并可伴随创新伸缩自如的强大存储架构。深受信赖的领先存储解决方案PowerScale旨在简化IT环境,以前所未有的速度、简易性和成本优势加快AI模型的交付。

揭秘PowerScale架构

PowerScale的核心是一个由OneFS软件驱动的AI架构,专用于管理分布式环境中的非结构化数据。具体来说,包含以下三个基础层。

客户端访问层:网络文件系统的这一关键组成部分可确保从各种客户端和工作负载对非结构化数据的无缝访问。客户端访问层使用高速以太网连接并支持多种协议,例如网络文件系统(NFS)、服务器消息块(SMB)和Hadoop分布式文件系统(HDFS),简化并统一了不同工作负载的文件访问。该层采用NVIDIA GPUDirect Storage、远程直接内存访问(RDMA)等前沿技术,为AI应用在GPU内存与存储设备之间直接数据传输提供了便利。它还通过智能负载均衡策略优化性能和可用性,同时利用多租户控制确保安全性和量身定制的服务级别。

OneFS文件呈现层:该层统一了整个集群的数据访问,让用户不再为数据的物理位置而烦恼。OneFS无缝集成了卷管理、数据保护和分层功能,简化了各类存储的大型数据卷管理。凭借高可用性且可连续无中断运行的特点,该层助力用户轻松实现升级、扩展和迁移,为其提供一个可适配各种需求的智能、高效文件系统。

PowerScale计算和存储集群层:作为骨干层,该层提供节点和节点间的网络元素,实现可扩展且高可用性的文件集群。从处理基础容量和计算任务的经济型小型集群,到可容纳PB级数据的大型配置,PowerScale都能在不增加任何管理负担的情况下,轻松扩展和自动平衡集群。节点专为方便生命周期管理而设计,因此不再需要中断集群运行便可实现升级、迁移和技术更新。

以上三层构成了AI部署的基础,为高性能的数据获取、处理和分析提供了灵活、永不间断的助力。

PowerScale的核心功能

在PowerScale全闪存技术和OneFS软件最新创新成果的加持下,开发人员可加速从数据准备到模型推理的整个AI生命周期。由Dell PowerEdge服务器驱动的PowerScale具有更强大的性能,可加快高级AI模型的流式读写速度。与高性能、高密度的节点相结合,这些核心功能以非凡的速度与精度为实现数据驱动的智能决策铺平道路。

GPUDirect实现超高性能:PowerScale利用GPUDirect存储技术在GPU内存和存储之间建立直接路径,从而减少延迟并提高带宽。由于支持采用GPUDirect的服务器以及NFS Over RDMA技术,PowerScale能够提高吞吐量并降低CPU的利用率,可将带宽和吞吐量提高至多8倍。

支持高吞吐量以太网的客户端驱动程序:可选的客户端驱动程序允许使用多个TCP同时连接到不同的PowerScale节点,提高了NFS客户端在高速以太网网络上的性能。这种分布式架构能够增加I/O操作的吞吐量,通过提高单个NFS挂载性能并平衡网络流量防止出现瓶颈。

伸缩自如的横向扩展:无论是小型集群还是具有多个PB级容量数据的环境,PowerScale都能凭借自身的无缝扩展性,满足AI不断发展的需求。通过轻松添加和升级节点,PowerScale即使在不同的节点类型和配置中也能确保一致且可预测的性能。

灵活支持存储层:PowerScale提供全闪存、混合和归档节点,可满足不同的存储需求和预算。智能负载均衡策略可优化资源利用率,在线数据缩减可删除重复或冗余数据,降低有效存储成本。

现在开始使用PowerScale交付AI成果

在AI领域,架构的选择至关重要。作为加速AI流程并优化成果的绝佳解决方案,PowerScale凭借GPU直接通信、高速数据处理、无缝扩展等独树一帜的功能,为AI工作流程开辟出一条前所未有的创新之路。

关键字:PowerScaleAI戴尔存储

本文摘自:戴尔科技

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^