当前位置:服务器行业动态 → 正文

AI巨兽的能源贪婪,一次训练要跑死3000辆特斯拉

责任编辑:cres |来源:企业网D1Net  2023-06-12 10:05:00 本文摘自:戴尔企业级解决方案

如果开个玩笑
 
问ChatGPT最大的贡献是什么
 
我觉得它对全球变暖是有一定贡献的。
 
 
知名自然语言处理专家、计算机科学家吴军在4月接受某媒体采访时如是说。
 
随着ChatGPT引爆AIGC,国内外巨头纷纷推出自己的AI大模型,大家为人工智能所描绘的盛世图景欢呼时,也应留意到盘踞在其上方的阴影——电力成本。

 
根据斯坦福人工智能研究所(HAI)发布的《2023年人工智能指数报告》,OpenAI的GPT-3单次训练耗电量高达1287兆瓦时(1兆瓦时=1000千瓦时)。
 
这是什么概念呢?对此吴军打了个形象的比方:
 
“ChatGPT训练一次要耗多少电?大概是3000辆特斯拉电动汽车,每辆跑到20万英里,把它跑死,这么大的耗电量,才够训练一次,这是非常花钱的一件事。”
 
据美国国家环保署评定,特斯拉Model Y每百英里(161公里)耗电28千瓦时,1278兆瓦时相当于3000辆特斯拉,每辆跑满20万英里(32.2万公里)。而根据一般的经验法则,大多数司机认为20万英里大关是汽车寿命上限。
 
OpenAI曾发布报告指出,自2012年以来,AI训练应用的电力需求每3个月到4个月就会翻一倍。大规模AI训练和推理通常需要庞大的数据中心算力提供支持,其背后有大量电力供应和冷却系统昼夜运转,由此导致能源成本和温室气体排放增加。

 
考虑到IT部门的高能耗胃口,为了消除工作负载、硬件和数据足迹中的低效率,最大限度地节约能源和资金,企业需要将数据中心置于IT运营的核心地位,从整体视角重新评估运营各个方面,从而推进可持续发展、优化能源效率。降低能耗的整体方法可能包括以下策略:
 
01
 
使用高效节能的设备
 
企业需要对所有 IT 设备进行全面评估,识别出能耗较高的设备,用更节能的产品替换它们。作为全球领先的数字化解决方案供应商,戴尔科技集团将可持续发展置于一切工作的核心,不断提高数据中心基础设施解决方案的标准,帮助客户实现可持续发展目标。
 
◆服务器
 
全球AI大模型军备竞赛背景下,人工智能工作负载对算力的需求暴增,服务器作为底层算力源泉,其本身是否绿色节能对于数据中心能源管理至关重要。
 
全新一代Dell PowerEdge作为戴尔科技迄今为止最具可持续性的服务器产品,从服务器设计到散热方案都有所革新,助力企业打造现代化绿色数据中心。

 
新一代Dell PowerEdge服务器采用Smart Flow设计,与上一代服务器相比,戴尔智能冷却技术套件可提升气流,并将风扇的功耗降低52%。Smart Flow 设计可支持更高的服务器性能,降低冷却系统的功耗,从而使数据中心更加高效。
 
冷却方面,PowerEdge采用多矢量冷却3.0技术,提供风冷,液冷,边缘环境冷却等多种智能创新服务器散热冷却技术和解决方案,智能热控最大程度提高散热效能,戴尔C系列支持浸没式液冷,超低功耗最高可将能耗降低90%。

 
◆存储
 
数据爆炸时代,存储阵列也是能源消耗大户,但它们本不必如此。数据可以卸载到冷存储中,并通过缩减技术降低占用空间。很多时候,软件团队在没有使用重复数据删除程序的情况下数据激增,这导致了过多的存储和能耗需求。
 
戴尔PowerStore中端存储可实现4:1的数据缩减率,高效整合数据中包含的冗余,降低存储开销,提升存储效率。由于PowerStore采用专用的压缩处理器,不会额外占用控制器的CPU资源,因此用户不必担心开启缩减功能是否会导致存储性能急剧下降,让您的数据缩减功能“始终可用”。

 
PowerStore采用英特尔®至强®可扩展处理器,该处理器可以优化工作负载,可靠性强,还有高计算力、高稳定性和高效敏捷性,帮助企业为数字化变革做好准备。
 
02
 
智能能源管理和监控
 
根据戴尔创新指数调查,39%的受访者正在转向技术以获得对碳影响更高的可见度。机器遥测数据可以为高能效、高性能机器的最佳组合提供微调的见解,从而使设备只在需要时使用电力。戴尔PowerEdge家族智能运维工具可助力企业实现碳排放能源洞察,提高可持续性:

 
◆OpenManage Enterprise
 
易于使用的一对多集中系统管理控制台,旨在消除IT基础架构管理的复杂性,提供了戴尔全系列企业级设备的全面视图,可帮助用户有效地监控并管理服务器功耗,确定在哪些方面提高效率、降低成本。
 
◆OpenManage Enterprise Power Manager 3.0
 
可集中监视和管理服务器的能耗和散热,支持非戴尔服务器功耗报告和GPU功耗监控与功耗报告,具有工作负载功耗优化功能的自动机架级功率计量。
 
●通过策略自动化来放置电源阈值,从而降低非高峰时段的功耗;
 
●识别单个服务器或机架上的问题,并在问题造成SLA影响之前解决;
 
●通过自动化电源和散热管理获得终极控制,通过详细的历史报告让用户了解谁在耗电。

 
03
 
按需使用服务
 
仅在需要时使用数据和能源服务,有助于削减所有系统始终以最大负荷运行的开销。企业通过即服务选项来消除过度配置造成的浪费,而且无需操心生命周期管理,从而节省了在停用和报废硬件上花费的时间。
 
越来越多的企业开始认识到“即服务”的价值,在戴尔创新指数调查中,42%的企业正在尝试将能源使用作为一种服务来管理能源消耗。
 
2021年,戴尔推出了APEX FOD(Flex on Demand)即服务解决方案,客户使用戴尔的服务器、存储、超融合、数据保护产品时,可以选择FOD按需付费模式,按照产品的使用量和时间以及容量进行付费。

 
FOD模式让企业同时拥有私有云的安全和公有云的灵活,可以极大降低运营成本,减少资源过度配置,从而推进可持续发展。
 
大多数与IT投资相关的决策,都是基于安全性、性能和成本。在评估数据中心的能源效率时,考虑环境、社会和治理(ESG)标准也很重要。
 
日益突出的能源成本迫使企业重新审视其对能源效率的看法,他们正在意识到绿色可持续不仅有助于保护环境,而且还能节省成本。在整体推进可持续发展时,企业需要全力以赴,而不是简单地修修补补。对IT来说,现在是拥抱可持续发展的最佳时机,也是更加必要的时机。

关键字:服务器AI

本文摘自:戴尔企业级解决方案

x AI巨兽的能源贪婪,一次训练要跑死3000辆特斯拉 扫一扫
分享本文到朋友圈
当前位置:服务器行业动态 → 正文

AI巨兽的能源贪婪,一次训练要跑死3000辆特斯拉

责任编辑:cres |来源:企业网D1Net  2023-06-12 10:05:00 本文摘自:戴尔企业级解决方案

如果开个玩笑
 
问ChatGPT最大的贡献是什么
 
我觉得它对全球变暖是有一定贡献的。
 
 
知名自然语言处理专家、计算机科学家吴军在4月接受某媒体采访时如是说。
 
随着ChatGPT引爆AIGC,国内外巨头纷纷推出自己的AI大模型,大家为人工智能所描绘的盛世图景欢呼时,也应留意到盘踞在其上方的阴影——电力成本。

 
根据斯坦福人工智能研究所(HAI)发布的《2023年人工智能指数报告》,OpenAI的GPT-3单次训练耗电量高达1287兆瓦时(1兆瓦时=1000千瓦时)。
 
这是什么概念呢?对此吴军打了个形象的比方:
 
“ChatGPT训练一次要耗多少电?大概是3000辆特斯拉电动汽车,每辆跑到20万英里,把它跑死,这么大的耗电量,才够训练一次,这是非常花钱的一件事。”
 
据美国国家环保署评定,特斯拉Model Y每百英里(161公里)耗电28千瓦时,1278兆瓦时相当于3000辆特斯拉,每辆跑满20万英里(32.2万公里)。而根据一般的经验法则,大多数司机认为20万英里大关是汽车寿命上限。
 
OpenAI曾发布报告指出,自2012年以来,AI训练应用的电力需求每3个月到4个月就会翻一倍。大规模AI训练和推理通常需要庞大的数据中心算力提供支持,其背后有大量电力供应和冷却系统昼夜运转,由此导致能源成本和温室气体排放增加。

 
考虑到IT部门的高能耗胃口,为了消除工作负载、硬件和数据足迹中的低效率,最大限度地节约能源和资金,企业需要将数据中心置于IT运营的核心地位,从整体视角重新评估运营各个方面,从而推进可持续发展、优化能源效率。降低能耗的整体方法可能包括以下策略:
 
01
 
使用高效节能的设备
 
企业需要对所有 IT 设备进行全面评估,识别出能耗较高的设备,用更节能的产品替换它们。作为全球领先的数字化解决方案供应商,戴尔科技集团将可持续发展置于一切工作的核心,不断提高数据中心基础设施解决方案的标准,帮助客户实现可持续发展目标。
 
◆服务器
 
全球AI大模型军备竞赛背景下,人工智能工作负载对算力的需求暴增,服务器作为底层算力源泉,其本身是否绿色节能对于数据中心能源管理至关重要。
 
全新一代Dell PowerEdge作为戴尔科技迄今为止最具可持续性的服务器产品,从服务器设计到散热方案都有所革新,助力企业打造现代化绿色数据中心。

 
新一代Dell PowerEdge服务器采用Smart Flow设计,与上一代服务器相比,戴尔智能冷却技术套件可提升气流,并将风扇的功耗降低52%。Smart Flow 设计可支持更高的服务器性能,降低冷却系统的功耗,从而使数据中心更加高效。
 
冷却方面,PowerEdge采用多矢量冷却3.0技术,提供风冷,液冷,边缘环境冷却等多种智能创新服务器散热冷却技术和解决方案,智能热控最大程度提高散热效能,戴尔C系列支持浸没式液冷,超低功耗最高可将能耗降低90%。

 
◆存储
 
数据爆炸时代,存储阵列也是能源消耗大户,但它们本不必如此。数据可以卸载到冷存储中,并通过缩减技术降低占用空间。很多时候,软件团队在没有使用重复数据删除程序的情况下数据激增,这导致了过多的存储和能耗需求。
 
戴尔PowerStore中端存储可实现4:1的数据缩减率,高效整合数据中包含的冗余,降低存储开销,提升存储效率。由于PowerStore采用专用的压缩处理器,不会额外占用控制器的CPU资源,因此用户不必担心开启缩减功能是否会导致存储性能急剧下降,让您的数据缩减功能“始终可用”。

 
PowerStore采用英特尔®至强®可扩展处理器,该处理器可以优化工作负载,可靠性强,还有高计算力、高稳定性和高效敏捷性,帮助企业为数字化变革做好准备。
 
02
 
智能能源管理和监控
 
根据戴尔创新指数调查,39%的受访者正在转向技术以获得对碳影响更高的可见度。机器遥测数据可以为高能效、高性能机器的最佳组合提供微调的见解,从而使设备只在需要时使用电力。戴尔PowerEdge家族智能运维工具可助力企业实现碳排放能源洞察,提高可持续性:

 
◆OpenManage Enterprise
 
易于使用的一对多集中系统管理控制台,旨在消除IT基础架构管理的复杂性,提供了戴尔全系列企业级设备的全面视图,可帮助用户有效地监控并管理服务器功耗,确定在哪些方面提高效率、降低成本。
 
◆OpenManage Enterprise Power Manager 3.0
 
可集中监视和管理服务器的能耗和散热,支持非戴尔服务器功耗报告和GPU功耗监控与功耗报告,具有工作负载功耗优化功能的自动机架级功率计量。
 
●通过策略自动化来放置电源阈值,从而降低非高峰时段的功耗;
 
●识别单个服务器或机架上的问题,并在问题造成SLA影响之前解决;
 
●通过自动化电源和散热管理获得终极控制,通过详细的历史报告让用户了解谁在耗电。

 
03
 
按需使用服务
 
仅在需要时使用数据和能源服务,有助于削减所有系统始终以最大负荷运行的开销。企业通过即服务选项来消除过度配置造成的浪费,而且无需操心生命周期管理,从而节省了在停用和报废硬件上花费的时间。
 
越来越多的企业开始认识到“即服务”的价值,在戴尔创新指数调查中,42%的企业正在尝试将能源使用作为一种服务来管理能源消耗。
 
2021年,戴尔推出了APEX FOD(Flex on Demand)即服务解决方案,客户使用戴尔的服务器、存储、超融合、数据保护产品时,可以选择FOD按需付费模式,按照产品的使用量和时间以及容量进行付费。

 
FOD模式让企业同时拥有私有云的安全和公有云的灵活,可以极大降低运营成本,减少资源过度配置,从而推进可持续发展。
 
大多数与IT投资相关的决策,都是基于安全性、性能和成本。在评估数据中心的能源效率时,考虑环境、社会和治理(ESG)标准也很重要。
 
日益突出的能源成本迫使企业重新审视其对能源效率的看法,他们正在意识到绿色可持续不仅有助于保护环境,而且还能节省成本。在整体推进可持续发展时,企业需要全力以赴,而不是简单地修修补补。对IT来说,现在是拥抱可持续发展的最佳时机,也是更加必要的时机。

关键字:服务器AI

本文摘自:戴尔企业级解决方案

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^