当前位置:数据中心散热制冷 → 正文

数据中心内部冷却方法(下)

责任编辑:editor004 作者:litao984lt编译 |来源:企业网D1Net  2017-03-07 10:23:32 本文摘自:机房360

摘要:在本文中,业界专家们将为您介绍关于如何通过利用精心设计的数据中心冷却系统,大幅节省成本,从而防止严重故障。

使用风侧方法实现数据中心的自然免费冷却

有两种形式的自然免费冷却,通常称为风侧(air-side)和水侧(water-side)。水侧(或更一般地被称为液体侧)仍然是更常见的冷却散热形式,并且使用循环水(或在冷冻气候条件下才用水/乙二醇的混合物)将热量带到室外冷却塔。

当水流从冷却塔流下时,大型的风扇使空气穿过水,使得即使外部空气温度相对较高,热量也可以散逸到空气中——但是风扇的运转需要消耗能量。当空气温度较低时,几乎不需要消耗风扇功率,但是仍然需要消耗少量的能量,主要用于使水通过管道循环的泵。

风侧自然冷却只移动空气而没有液体中间物。无需耗电以通过管道泵送液体,所以这应该是最终的“绿色环保”节能器。但是,与其它诸多方案一样,这需要取决数据中心的具体情况而定。

许多人仍然认为采用风侧冷却方法只需要在墙上打开一个洞或将管道延伸到屋顶外,以便在夜间或冬天吸入冷空气即可。这可真没那么简单。当传热时,水的效率要比每单位体积的空气效率高出数倍。因此,冷却数据中心所需的空气量要比所需的水量要多得多。每分钟需要近40,000立方英尺(cfm)的空气来冷却250kW的数据中心。对于一处1兆瓦(MW)的数据中心而言,其所需的空气量将超过150,000 cfm。这样的话,您的数据中心就需要一个相当大的洞或一个非常大的管道。

上述数字是以2,500线性英尺/分钟(FPM)的气流速率计算的,其为28mph。 这是轻而易举的事! 在该速度下,40,000cfm需要至少16平方英尺的管道,其可以是2乘8英尺,可行,但是仍然很大。 但是2,500英尺/分的速度太快了,所以必须减速。

对于150,000cfm的空气量,更好的速度将是1500FPM,需要100平方英尺或类似4×25英尺的孔或管道。即使这些空气在进入机柜之前需要进一步减速。总之,采用空气冷却需要相当大的管道。

在大型数据中心中,通过管道直接从外部输送和过滤这么多的空气量通常是不切实际的。如此多的空气通过这么大的洞,或将带来大量的污染物,所以需要同样大的过滤器来过滤污染颗粒。这还需要大型风扇带动如此多的空气通过过滤器,增加了很多空气阻力,这会进一步的消耗能量。然后还会涉及到过滤器的更换成本,如果空气中有很多灰尘或花粉的话,甚至需要每月更换或甚至更多次的更换。

解决风侧冷却方法的挑战

控制湿度也很重要。如果湿度过高,冷却盘管可用于将湿气冷凝出空气,或者如果温度和湿度太低,需要添加湿气,则可以使用加热盘管。这将再次涉及到能源的消耗了。

使用吸湿化学品的干燥剂,除湿器本身不会消耗能量,但是它们仍然会对空气产生一些阻力,这再次需要风扇耗能来克服。这些因素可以快速抵消掉能源成本的节省。我们甚至没有解决可能毁坏硬件的气态污染物,并且难以从空气中提取这些气态污染物。

在充分冷却、空气清洁的气候条件下,风侧自然冷却可能是一个合理的选择。而在中等气候条件下,包括夏威夷等地,您可能不会期望采用这种方法,但其仍然不失为一项备选考虑方案。在炎热的气候条件下,特别是高湿度或有灰尘或污染物的地方,采用该方案是不值得的。

即使使用扩展的ASHRAE所推荐的操作温度范围,部分是为了在更多的地区实现更久时长的自然冷却,也会存在局限。在实施任何新的技术之前,必须始终进行成本效益分析。

无论使用哪种方法,散热都是将能量从一种介质传递到另一种介质,并最终传递到外部的过程。机械制冷至少进行两次热转换。我们使用不想要的热量将液体制冷剂变成气体,然后使用机械系统将其变回液体,以便其可以通过转化过程返回并再次吸收热量。根据数据中心所使用的确切系统,制冷剂可以循环到将热量传递到外部空气的冷凝器,或者可以将热量交换到循环到外部冷却塔的水。而如上所述,这两种方法都需要消耗能量。

水侧自然冷却方法在原理上很简单,但在现实中却很棘手。基本上增加了旁通机械制冷系统的阀门,当其足够冷却时,通过仅仅使液体循环来就可带走热量。实际上,该系统的设计和构建比其听起来更具挑战性,而控制系统可能会有点棘手。

使用风侧冷却,我们可以通过使用空气到空气的热交换器避免污染和湿度问题。其目的是将热量直接将操作机房内的热空气传递到房间外部的较冷空气,实现最小的内部空气损失或新的外部空气的渗入。当然,因为空气比用于传递热量的水的效率要低得多,已经添加了特殊风扇的装置能够更有效地从蜂窝排出空气,并且它们也会消耗能量,但是该涡轮仍然被仅使用8%—25%的等效机械制冷功率。现在,已经被充分证明的这样的一个单元便是京都转轮技术(Kyoto wheel)。

替代数据中心冷却设备和方法

京都转轮是一个大型的、缓慢旋转的铝蜂窝——几十年前的热轮技术的现代版本,专门针对数据中心。它仅以3至10rpm的速度旋转,并且需要消耗最少的能量以保持转动。

添加专门的风扇以更有效地从蜂窝排出空气,并且它们也会消耗能量,但是该涡轮仍然被认为仅使用等效机械制冷的8%至25%的功率。 在外部和内部之间还有小于1%的空气交换,并且表面被涂覆以防止污垢累积和腐蚀,这将降低热传递效率。

但涡轮很大,直径大约为20英尺,并将消耗600千瓦到850千瓦的热量,而且其位于屋顶或建筑物旁边,占据大约1,000平方英尺的空间。 但涡轮可以在达拉斯等地保持全年的47%的时间提供100%的免费自然冷却,而在加利福尼亚州的圣何塞等地实现在全年81%的时间段提供最大的涡轮容量。

另一种方法是蒸发冷却。这使得来自数据中心的热返回空气能够通过金属管,该金属管通过喷水来保持润湿,进而通过喷水的蒸发来保持管道的冷却。冷却管又冷却穿过它的空气。该系统在最干燥的气候条件下工作性能最佳,蒸发量最大,但仍然需要风扇功率来传输空气。

然而,由于蒸发过程可以将空气冷却到低于室外温度,所以该系统在一年内所使用的天数可以比京都轮更多,理想情况下,其可以比采用风扇消耗功率实现更多的能量节约。这种方法的一个复杂的例子是APC公司相对较新的EcoBreeze间接蒸发冷却器。

风侧方法的最大缺点是,在许多气候条件下,自然冷却不能在100%的时间内冷却数据中心。最新的ASHRAE热指南可能会改变,但不会升级当前大多数的计算硬件。

虽然使用自然冷却时可以节省大量的电力,但是当自然冷却无效时仍然需要采用机械空调。

利用水侧冷却,冷却设备唯一实际增加的是阀门和控制。使用风侧冷却,您企业仍然会有机械制冷系统的资本成本,以及风侧冷却设备的成本。而使用风侧冷却,您企业仍然有机械制冷系统的资本成本,以及空气侧冷却设备的成本。

全面的投资回报(ROI)分析可以帮助确定采用自然冷却解决方案是否真的值得,但即将推出的节能法规可能要求经济性,不管其是否具有成本效益。真正的决定可能是在风侧和水侧设计之间。

无论货币的投资回报率如何,免费自然制冷是绝对值得的,而现在可用的新设备使得采用外部空气来实现冷却比以往任何时候都更为现实。计算流体动力学有助于降低冷却成本

随着数据中心服务器密度的增长,无疑需要更好的冷却。而这就是计算流体动力学发挥作用的地方了。

第一处安装了大型的、令人难以置信的低能源效率的大型商业服务器的数据中心释放了巨大的热量。并因此设计了冷却、维持机器完整性的各种方法。在大多数情况下,使用水冷却,但如果发生泄漏,就会是一个不幸的选择,因为计算机、电和水不能混合。

随着分布式计算机架构的出现,该问题变得容易。每台服务器都在自己的塔式机箱中,可以将风扇安置在内部,以便在关键部件(主要是CPU和存储设备)上吹风,并且热空气可以排放到外部。

当这些服务器再次被投入数据中心时,需要提供更冷的输入空气,从而导致需要使用计算机机房空调(CRAC)单元和高架地板来泵送空气。不同的形状因素,例如朝着刀片和“比萨盒”服务器方向的发展,消除了对大轴向风扇的需要,其将大量空气转移到体积更小的径向风扇。

与此同时,能源价格飞涨并成为日渐人们关注的焦点。将数据中心所有设施的总的能耗量与IT设备的能耗量进行比较所得出的电力使用效率(PUE)显示了一般数据中心的设施消耗多于1瓦特的能量用于冷却,而其他外围系统使用1瓦特用于纯IT用途。

设备密度和经济方面的驱动因素

虽然IT设备的能源效率快速提高,但设备密度的大幅增长使得更加难以确保系统的成本经济的运行。

当然,有许多方法可以实现数据中心的整体冷却需求,例如使用热通道和冷通道,在较高的总体温度下运行设施并使用自然空气冷却。但问题仍然存在。较高密度的设备在设备内会产生难以有效冷却的热点。隐藏在暗处一直是工程师使用了很多年的方法。计算流体动力学(CFD)是一种可视化环境热图的方法,然后通过假设情景以优化系统。在涡轮机和锅炉设计等领域,CFD是一种经过验证且有用的方法,但它很少应用于数据中心。

要理解其中的原因,我们必须了解CFD和数据中心已经触及的领域。设施团队在确保数据中心不会遭遇物理灾难方面非常有兴趣。

因此,在设施中使用红外和温度传感器可以在相关问题恶化严重成主要问题之前突出问题。CFD系统可以通过获得整个数据中心的正常的视图,并产生可接受的热点日志来最小化误报。

到目前为止,IT团队没有看到这些数据。设施管理团队很少与IT团队共享这些信息的有用性,因为使用这些数据的传感器和系统往往是用于诸如建筑信息建模/管理(BIM)系统的设施系统。

但是,诸如Eaton、Nlyte Software、Romonet、英特尔、施耐德电气等数据中心基础设施管理(DCIM)系统来自伊顿,Nlyte软件,Romonet,英特尔,施耐德电气等供应商均已经看到了计算流体动力学在预测IT设备的特定布局方面的有效性了。

但是当前,仍然主要数据中心的设施管理团队负责采购DCIM。现在,IT团队已经知道DCIM可以为他们做什么,并也在积极的寻找有意义的产品。

IT团队如何使用CFD

首先,IT团队在现有数据中心中找到显示需要冷却的基线。识别热点允许他们能够有针对性的实施冷却,而不是漫无目标的将数据中心的平均温度控制在特定限度内。

许多企业对于仅仅通过瞄准冷却,并且不再关注在推荐的操作温度范围内没有采用任何冷却就运行良好的组件就能够带来大量的成本节省感到惊讶。

接下来,他们会发现优化环境的技术诀窍。例如,可能超出现有系统的能力以有效地冷却具有旋转盘的特定机架。然而,在两个机架上分割磁盘,加上在清除的空间中安置低能耗的网络设备,可以使冷却过程处理热负载,而不会产生额外费用。

之后,IT团队将考虑引入新设备。管理员们可以在虚拟环境中探索现有冷却是否可以处理100台新服务器的添加或解决新的存储系统的问题。他们必须在设备达到现场之前选择最便宜,最有效的解决方案。

最后,也许最重要的是处理新的架构。数据中心的设施如何处理从构建自己的机架到模块化计算平台(如Dell vStart、IBM PureFlex或思科系统公司的统一计算系统)的这一转变?如果网络被用来充分利用一种架构方法,冷却方案将如何改变?而且,如果现有的CRAC被自然空气冷却或其他低成本的系统所取代呢?冷却方案需要集中在哪些领域,以确保数据中心仍然能够提供持续的高可用性?

CFD是一项隐藏的技术,IT和设施团队都应该更频繁地考虑使用该技术。CFD这一话题应该比其当下更火。

关键字:数据中心冷却方案

本文摘自:机房360

x 数据中心内部冷却方法(下) 扫一扫
分享本文到朋友圈
当前位置:数据中心散热制冷 → 正文

数据中心内部冷却方法(下)

责任编辑:editor004 作者:litao984lt编译 |来源:企业网D1Net  2017-03-07 10:23:32 本文摘自:机房360

摘要:在本文中,业界专家们将为您介绍关于如何通过利用精心设计的数据中心冷却系统,大幅节省成本,从而防止严重故障。

使用风侧方法实现数据中心的自然免费冷却

有两种形式的自然免费冷却,通常称为风侧(air-side)和水侧(water-side)。水侧(或更一般地被称为液体侧)仍然是更常见的冷却散热形式,并且使用循环水(或在冷冻气候条件下才用水/乙二醇的混合物)将热量带到室外冷却塔。

当水流从冷却塔流下时,大型的风扇使空气穿过水,使得即使外部空气温度相对较高,热量也可以散逸到空气中——但是风扇的运转需要消耗能量。当空气温度较低时,几乎不需要消耗风扇功率,但是仍然需要消耗少量的能量,主要用于使水通过管道循环的泵。

风侧自然冷却只移动空气而没有液体中间物。无需耗电以通过管道泵送液体,所以这应该是最终的“绿色环保”节能器。但是,与其它诸多方案一样,这需要取决数据中心的具体情况而定。

许多人仍然认为采用风侧冷却方法只需要在墙上打开一个洞或将管道延伸到屋顶外,以便在夜间或冬天吸入冷空气即可。这可真没那么简单。当传热时,水的效率要比每单位体积的空气效率高出数倍。因此,冷却数据中心所需的空气量要比所需的水量要多得多。每分钟需要近40,000立方英尺(cfm)的空气来冷却250kW的数据中心。对于一处1兆瓦(MW)的数据中心而言,其所需的空气量将超过150,000 cfm。这样的话,您的数据中心就需要一个相当大的洞或一个非常大的管道。

上述数字是以2,500线性英尺/分钟(FPM)的气流速率计算的,其为28mph。 这是轻而易举的事! 在该速度下,40,000cfm需要至少16平方英尺的管道,其可以是2乘8英尺,可行,但是仍然很大。 但是2,500英尺/分的速度太快了,所以必须减速。

对于150,000cfm的空气量,更好的速度将是1500FPM,需要100平方英尺或类似4×25英尺的孔或管道。即使这些空气在进入机柜之前需要进一步减速。总之,采用空气冷却需要相当大的管道。

在大型数据中心中,通过管道直接从外部输送和过滤这么多的空气量通常是不切实际的。如此多的空气通过这么大的洞,或将带来大量的污染物,所以需要同样大的过滤器来过滤污染颗粒。这还需要大型风扇带动如此多的空气通过过滤器,增加了很多空气阻力,这会进一步的消耗能量。然后还会涉及到过滤器的更换成本,如果空气中有很多灰尘或花粉的话,甚至需要每月更换或甚至更多次的更换。

解决风侧冷却方法的挑战

控制湿度也很重要。如果湿度过高,冷却盘管可用于将湿气冷凝出空气,或者如果温度和湿度太低,需要添加湿气,则可以使用加热盘管。这将再次涉及到能源的消耗了。

使用吸湿化学品的干燥剂,除湿器本身不会消耗能量,但是它们仍然会对空气产生一些阻力,这再次需要风扇耗能来克服。这些因素可以快速抵消掉能源成本的节省。我们甚至没有解决可能毁坏硬件的气态污染物,并且难以从空气中提取这些气态污染物。

在充分冷却、空气清洁的气候条件下,风侧自然冷却可能是一个合理的选择。而在中等气候条件下,包括夏威夷等地,您可能不会期望采用这种方法,但其仍然不失为一项备选考虑方案。在炎热的气候条件下,特别是高湿度或有灰尘或污染物的地方,采用该方案是不值得的。

即使使用扩展的ASHRAE所推荐的操作温度范围,部分是为了在更多的地区实现更久时长的自然冷却,也会存在局限。在实施任何新的技术之前,必须始终进行成本效益分析。

无论使用哪种方法,散热都是将能量从一种介质传递到另一种介质,并最终传递到外部的过程。机械制冷至少进行两次热转换。我们使用不想要的热量将液体制冷剂变成气体,然后使用机械系统将其变回液体,以便其可以通过转化过程返回并再次吸收热量。根据数据中心所使用的确切系统,制冷剂可以循环到将热量传递到外部空气的冷凝器,或者可以将热量交换到循环到外部冷却塔的水。而如上所述,这两种方法都需要消耗能量。

水侧自然冷却方法在原理上很简单,但在现实中却很棘手。基本上增加了旁通机械制冷系统的阀门,当其足够冷却时,通过仅仅使液体循环来就可带走热量。实际上,该系统的设计和构建比其听起来更具挑战性,而控制系统可能会有点棘手。

使用风侧冷却,我们可以通过使用空气到空气的热交换器避免污染和湿度问题。其目的是将热量直接将操作机房内的热空气传递到房间外部的较冷空气,实现最小的内部空气损失或新的外部空气的渗入。当然,因为空气比用于传递热量的水的效率要低得多,已经添加了特殊风扇的装置能够更有效地从蜂窝排出空气,并且它们也会消耗能量,但是该涡轮仍然被仅使用8%—25%的等效机械制冷功率。现在,已经被充分证明的这样的一个单元便是京都转轮技术(Kyoto wheel)。

替代数据中心冷却设备和方法

京都转轮是一个大型的、缓慢旋转的铝蜂窝——几十年前的热轮技术的现代版本,专门针对数据中心。它仅以3至10rpm的速度旋转,并且需要消耗最少的能量以保持转动。

添加专门的风扇以更有效地从蜂窝排出空气,并且它们也会消耗能量,但是该涡轮仍然被认为仅使用等效机械制冷的8%至25%的功率。 在外部和内部之间还有小于1%的空气交换,并且表面被涂覆以防止污垢累积和腐蚀,这将降低热传递效率。

但涡轮很大,直径大约为20英尺,并将消耗600千瓦到850千瓦的热量,而且其位于屋顶或建筑物旁边,占据大约1,000平方英尺的空间。 但涡轮可以在达拉斯等地保持全年的47%的时间提供100%的免费自然冷却,而在加利福尼亚州的圣何塞等地实现在全年81%的时间段提供最大的涡轮容量。

另一种方法是蒸发冷却。这使得来自数据中心的热返回空气能够通过金属管,该金属管通过喷水来保持润湿,进而通过喷水的蒸发来保持管道的冷却。冷却管又冷却穿过它的空气。该系统在最干燥的气候条件下工作性能最佳,蒸发量最大,但仍然需要风扇功率来传输空气。

然而,由于蒸发过程可以将空气冷却到低于室外温度,所以该系统在一年内所使用的天数可以比京都轮更多,理想情况下,其可以比采用风扇消耗功率实现更多的能量节约。这种方法的一个复杂的例子是APC公司相对较新的EcoBreeze间接蒸发冷却器。

风侧方法的最大缺点是,在许多气候条件下,自然冷却不能在100%的时间内冷却数据中心。最新的ASHRAE热指南可能会改变,但不会升级当前大多数的计算硬件。

虽然使用自然冷却时可以节省大量的电力,但是当自然冷却无效时仍然需要采用机械空调。

利用水侧冷却,冷却设备唯一实际增加的是阀门和控制。使用风侧冷却,您企业仍然会有机械制冷系统的资本成本,以及风侧冷却设备的成本。而使用风侧冷却,您企业仍然有机械制冷系统的资本成本,以及空气侧冷却设备的成本。

全面的投资回报(ROI)分析可以帮助确定采用自然冷却解决方案是否真的值得,但即将推出的节能法规可能要求经济性,不管其是否具有成本效益。真正的决定可能是在风侧和水侧设计之间。

无论货币的投资回报率如何,免费自然制冷是绝对值得的,而现在可用的新设备使得采用外部空气来实现冷却比以往任何时候都更为现实。计算流体动力学有助于降低冷却成本

随着数据中心服务器密度的增长,无疑需要更好的冷却。而这就是计算流体动力学发挥作用的地方了。

第一处安装了大型的、令人难以置信的低能源效率的大型商业服务器的数据中心释放了巨大的热量。并因此设计了冷却、维持机器完整性的各种方法。在大多数情况下,使用水冷却,但如果发生泄漏,就会是一个不幸的选择,因为计算机、电和水不能混合。

随着分布式计算机架构的出现,该问题变得容易。每台服务器都在自己的塔式机箱中,可以将风扇安置在内部,以便在关键部件(主要是CPU和存储设备)上吹风,并且热空气可以排放到外部。

当这些服务器再次被投入数据中心时,需要提供更冷的输入空气,从而导致需要使用计算机机房空调(CRAC)单元和高架地板来泵送空气。不同的形状因素,例如朝着刀片和“比萨盒”服务器方向的发展,消除了对大轴向风扇的需要,其将大量空气转移到体积更小的径向风扇。

与此同时,能源价格飞涨并成为日渐人们关注的焦点。将数据中心所有设施的总的能耗量与IT设备的能耗量进行比较所得出的电力使用效率(PUE)显示了一般数据中心的设施消耗多于1瓦特的能量用于冷却,而其他外围系统使用1瓦特用于纯IT用途。

设备密度和经济方面的驱动因素

虽然IT设备的能源效率快速提高,但设备密度的大幅增长使得更加难以确保系统的成本经济的运行。

当然,有许多方法可以实现数据中心的整体冷却需求,例如使用热通道和冷通道,在较高的总体温度下运行设施并使用自然空气冷却。但问题仍然存在。较高密度的设备在设备内会产生难以有效冷却的热点。隐藏在暗处一直是工程师使用了很多年的方法。计算流体动力学(CFD)是一种可视化环境热图的方法,然后通过假设情景以优化系统。在涡轮机和锅炉设计等领域,CFD是一种经过验证且有用的方法,但它很少应用于数据中心。

要理解其中的原因,我们必须了解CFD和数据中心已经触及的领域。设施团队在确保数据中心不会遭遇物理灾难方面非常有兴趣。

因此,在设施中使用红外和温度传感器可以在相关问题恶化严重成主要问题之前突出问题。CFD系统可以通过获得整个数据中心的正常的视图,并产生可接受的热点日志来最小化误报。

到目前为止,IT团队没有看到这些数据。设施管理团队很少与IT团队共享这些信息的有用性,因为使用这些数据的传感器和系统往往是用于诸如建筑信息建模/管理(BIM)系统的设施系统。

但是,诸如Eaton、Nlyte Software、Romonet、英特尔、施耐德电气等数据中心基础设施管理(DCIM)系统来自伊顿,Nlyte软件,Romonet,英特尔,施耐德电气等供应商均已经看到了计算流体动力学在预测IT设备的特定布局方面的有效性了。

但是当前,仍然主要数据中心的设施管理团队负责采购DCIM。现在,IT团队已经知道DCIM可以为他们做什么,并也在积极的寻找有意义的产品。

IT团队如何使用CFD

首先,IT团队在现有数据中心中找到显示需要冷却的基线。识别热点允许他们能够有针对性的实施冷却,而不是漫无目标的将数据中心的平均温度控制在特定限度内。

许多企业对于仅仅通过瞄准冷却,并且不再关注在推荐的操作温度范围内没有采用任何冷却就运行良好的组件就能够带来大量的成本节省感到惊讶。

接下来,他们会发现优化环境的技术诀窍。例如,可能超出现有系统的能力以有效地冷却具有旋转盘的特定机架。然而,在两个机架上分割磁盘,加上在清除的空间中安置低能耗的网络设备,可以使冷却过程处理热负载,而不会产生额外费用。

之后,IT团队将考虑引入新设备。管理员们可以在虚拟环境中探索现有冷却是否可以处理100台新服务器的添加或解决新的存储系统的问题。他们必须在设备达到现场之前选择最便宜,最有效的解决方案。

最后,也许最重要的是处理新的架构。数据中心的设施如何处理从构建自己的机架到模块化计算平台(如Dell vStart、IBM PureFlex或思科系统公司的统一计算系统)的这一转变?如果网络被用来充分利用一种架构方法,冷却方案将如何改变?而且,如果现有的CRAC被自然空气冷却或其他低成本的系统所取代呢?冷却方案需要集中在哪些领域,以确保数据中心仍然能够提供持续的高可用性?

CFD是一项隐藏的技术,IT和设施团队都应该更频繁地考虑使用该技术。CFD这一话题应该比其当下更火。

关键字:数据中心冷却方案

本文摘自:机房360

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^