液冷新时代 智算大有为 浩云长盛液冷数据中心最佳实践

2023-08-21 11:56:50 来源: 中关村在线


(资料图片)

浩云长盛广州二号云计算基地,是华南区首家大型商用液冷数据中心,采用冷板式液冷技术,助力AI算力业务降本增效:提升算力性能10%,降低GPU芯片维护成本50%,节省IB线缆投资30%。

低碳与数字双驱动,未来GPU资源持续火热

数据中心是国家信息化战略的重要基础设施底座,发展的好坏快慢直接影响战略落地。政策、经济、社会、技术都在为数据中心行业高质量发展提供新动能。《“十四五”规划》明确指出,到2025年,数字经济核心产业增加值占GDP比重达到10%,同时到2025年单位GDP能耗下降13.5%,从发展规划中一叶知秋,中国数字经济既要快速发展,更要高质量发展。

2023年3月,Open AI的ChatGPT 4.0大模型发布,将人工智能的应用推向了新的高度,该模型在许多专业测试中的表现“超出了人类水平”,“比以往任何时候都更具创造性和协作性”,“可以更准确地解决难题”,ChatGPT单月访问量突破10亿次。与此同时,各个行业都在积极探索人工智能与行业结合之路,如微软将ChatGPT接入Office 365,工作效率成倍增加。

这一股AI浪潮也冲击了算力基础设施底座。人工智能深度神经网络算法(DNL)需要处理大量且并行的卷积运算,而GPU显卡则能很好地匹配这种特性。基于业务侧的带动,加上A100的禁售,用于大模型训练的GPU一卡难求,价格变化更是按天衡量,8卡H100服务器从60万到150万只用了3个月的时间。未来,GPU短缺的趋势可能会维持,OpenAI的ChatGPT GPT 4.0在大约10000-25000张A100上进行了训练,而GPT 5.0将可能需要30000-50000个H100。

低碳高密 风退液进

这一系列宏观环境的变化,对数据中心行业发展方向产生了诸多影响,风冷末端到底能不能适应这一变化?在我们看来,风冷不能很好匹配业务需求的变化。

首先,风冷不能很好应对PUE挑战,目前各省对数据中心PUE已经有明确的指导,以广东省为例,广东省工业和信息化厅印发了广东省5G基站和数据中心(IDC)总体布局规划(2021-2025)的通知,新建数据中心PUE不高于1.3,这对于广东地区来说,是非常具备挑战性要求。

其次,风冷的散热效率和制冷精度不够高。GPU芯片的功耗一定是趋向高密的,英伟达GPU A100/H100 单卡功率接近400W,芯片热流密度 50W/平方厘米,4U整机服务器功率接近 5.5kW/台,英伟达主推的下一代算力卡,A800/H800算力是上一代的3倍,价格只有原来的2倍,功耗接近2倍,单卡功率接近700W,热流密度87.5W/平方厘米,4U整机接近9kW,算力硬件功率越来越高,芯片热流密度越来越大,传统风冷难匹配:

1. 风冷制冷效率低,不适合高功率机柜。风冷密闭通道支持的合理功率区间4~6kW,但单个4U的H800整机已经接近9kW,此时风冷制冷对于如此高密设备的散热有点力不从心,少量服务器场景下,能采用隔机柜部署方式应急,这种非集约化部署模式在规模化的算力场景下,散热效果并不佳,个别客户会把GPU服务器外壳打开,增加散热面积。这种部署方式没有经过专业的CFD仿真验证,既不安全,又会造成机柜资源浪费。

2. 风冷制冷对于热源(GPU)的制冷不够精准。纯气流组织散热支持的芯片热流密度极限约10W/平方厘米,达不到H800对散热效率的要求。芯片长期工作在高温状态,会导致性能降低,英伟达同样性能服务器,液冷版本和风冷版本性能差距在10%;同时,根据“十度法则”,从室温起,电子元器件每增加十度,失效率增加一倍,寿命也会降低,GPU备件失效率增加,继而导致整个生命周下期算力成本增加。

实践中常常会有通道温度低,但是芯片温度高的情况发生,长时间高温运行,GPU的寿命短和性能低,导致经济成本和时间成本都增加,由此可见在算力场景,风冷并不是最合适的。液冷是通过高比热容的冷液直接带走热量,这种高效的散热方式逐渐进入大家的视野。

液冷解决方案,是GPU算力的最优解

浩云长盛广州二号云计算基地,位于广东省广州市番禺区,大湾区的中心和智能汽车产业中心(双中心),本项目按照国标CQC A级标准设计,定位为智能制造AI算力基地,是华南区首家大规模商用液冷数据中心,支持功率密度8~19KW以上,单系统PUE 1.1以下,为华南区智能制造、AI超算高质量发展提供可靠数字基础设施底座。

冷板式液冷基本原理

液冷基本原理是采用液体作为传热工质在冷板内部流道流动,通过热传递对热源实现冷却的非接触液体冷却技术。在冷板式液冷系统中,需要专用的液冷服务器,服务器芯片等发热器件不直接接触液体,而是通过装配在需要冷却的电子元器件上的冷板进行散热,达到精确制冷的目的,让GPU运行温度更低。

二次侧采用25%乙二醇加去离子水的混合液,保障换热高效的同时兼顾安全稳定。进水温度35-45℃范围之间,出水温度在45-55℃左右,进出水温高,系统通过自然冷却为芯片降温,降低系统PUE。一次侧和二次侧通过板换实现热交换,二次侧的水泵将热量从板换中带出到冷却塔散掉。

整个系统来看,跟传统的制冷方式是有区别的:

1. 换热次数少,传统冷机系统5次换热,冷板液冷3次,更少的冷量损耗;

2. 精准散热,冷板式液冷能够针对GPU芯片单点降温,且冷液的比热容是空气的4倍,换热效率更高,对GPU更友好;

3. 无压缩机,风扇等部件,系统PUE更低,设备噪音更小。

冷板式液冷对比传统气流交换方式,在综合性能上有质的飞跃,更贴合算力业务的特点,液冷系统单柜功率密度支持19kW以上,能提高散热效率,降低GPU工作温度达20℃以上。

当然,浩云长盛认为目前最佳的方案,应该是风液结合的方案,通道散热风液结合,液冷协助GPU散热,风冷作为辅助散热,带走其余部件的热量;液冷机柜和风冷机柜混合部署,客户的普通机柜和算力机柜能够就近协作,提升配合效率,且方便维护。

液冷是算力业务的刚需

过去,对于最终用户来说,用什么样的制冷方式并不重要,风冷,水冷,间接蒸发,只要能达到功率需求都可以接受,但是在算力时代,思维方式可能要做一些改变了,因为算力资产越来越难获取,也越来越昂贵,而制冷方式的匹配与否,直接影响到业务上线速度和投资成本。

第一,相对风冷制冷环境,液冷能够提升GPU性能10%。根据设定,GPU长期高温运行性能会降低,液冷能提供高效的热散能力,提升GPU使用性能,根据OPPO算力团队在IDCC论坛上表示,通过验证,同样的算力配置,服务器在液冷方式下运行比风冷效率提升约10%,意味着同样的算力,液冷的学习周期比风冷短10%,业务能更早抢占市场。

第二,液冷能够降低IB线缆部署成本30%以上。单台H800服务器4U即达9kW,采用传统的风冷制冷,单柜仅能放置1台,且需隔机柜部署,如果采用冷板式液冷方式,单柜可直接布置2台H800服务器,无需隔机柜部署。以单排微模块15个机柜为例, 7台H800服务器需要14个机柜位,线缆总长度49A(A为相邻两个机柜间的平均线缆连接距离),如果每柜可以放2台,则只需要4个机柜位置(如下图),线缆总长度16A,IB线缆长度节省超50%以上,而IB线缆每根价格在万元级别,长度越长价格越贵。考虑到价格与长度的关系非线性,且与场景有关,项目节省线缆金额在30%以上。

风冷部署与液冷部署线缆使用长度对比

我们相信,传输距离变短也会有利于算力模块之间的数据共享速率提升。有客户明确要求,服务器到IB交换机柜的走线距离小于30米。

第三,液冷能够降低GPU维护成本50%,提升投资收益。液冷冷板针对GPU精准、高效的散热,降低GPU使用温度可达20℃,根据“十度法则”,GPU故障率减少至少50%(在风冷故障率基础之上),继而减少GPU备件购买量,未来GPU市场的不确定性,也会导致GPU的采购难度会加大,采购成本增加,因此维持较低的GPU故障率能够节省投资成本和时间成本,更不会因为GPU卡紧缺,而影响业务连续性。

综上,对于最终客户来说,随着未来技术的迭代,GPU功耗增加,液冷已经不再是改善需求,而是智能算力的刚需。

标签:

液冷新时代 智算大有为 浩云长盛液冷数据中心最佳实践

浩云长盛广州二号云计算基地,是华南区首家大型商用液冷数据中心,采用

08-21 11:56:50

福龄养老院环境怎么样?院内实景图片

实景图片养老院简介福龄养老院位于四川成都新都区军屯镇郭家村,交通便

08-21 11:24:05

确认死亡!刚刚,死因查明!

8月18日凌晨上海市长宁区虹古路虹霞小区一居民家中突发火灾造成一名女

08-21 10:51:49

8月21日数据中心板块涨幅达2%

8月21日10点21分,数据中心板块指数报点,涨幅达2%,成交亿元,换手率%

08-21 10:21:28

一觉醒来10岁男孩脖子“瘫”了!医生:暑期已接诊多例,最小仅3岁

“这可怎么办好,他才10岁,脖子不会就这么废了吧?!”男孩小杰的妈妈

08-21 10:01:40

“830新规”出台即将两年 相关报告称 未成年人沉迷游戏现象已有所缓解

本报记者孙天骄2021年8月30日,国家新闻出版署下发《关于进一步严格管

08-21 09:37:45

两市融资余额减少47.01亿元

券中社8月21日讯,截至8月18日,上交所融资余额报7794 89亿元,较前一

08-21 08:28:42

葫芦丝薄饼(关于葫芦丝薄饼简述)

,你们好,今天0471房产来聊聊一篇芦丝薄饼,芦丝薄饼简述的文章,网友

08-21 07:47:29

海南儋州:检察建议推动治理娱乐场所雇用接待未成年人问题

本报讯(记者李轩甫 通讯员冯程)近日,海南省儋州市检察院针对办案中发

08-21 07:54:31

暑期游火爆 重庆“单轨穿楼”景点吸引众多游客打卡

央视网消息:暑假期间,被网友称为“7D魔幻城市”的重庆持续火爆。其中

08-21 07:42:06

微信紧急声明!从未给用户寄过“惊喜盲盒”快递

近期,有人收到以“微信团队”名义寄出的“惊喜盲盒”快递,内含一张印

08-21 07:02:50

IDEAYA Biosciences(IDYA.US)宣布强效PKC抑制剂完成2期试验首位患者给药

智通财经APP获悉近日IDEAYABiosciencesIDYAUS宣布其发起的一项2期临床

08-21 06:55:01

陈牧驰烈日下为女演员遮阳 一举一动尽显绅士风范

搜狐娱乐讯8月18日,有网友晒出一段陈牧驰活动视频,视频中陈牧驰示意

08-21 06:48:59

百度地图率先获准全国高级辅助驾驶地图

近日,百度地图134个城市的高级辅助驾驶地图获国家自然资源部地图技术

08-21 06:38:54

石家庄饭店被部队砸(石家庄饭店)

1、四星级标准。2、全季酒店选址在中国一、二线城市的商业中心,让客人

08-21 06:46:12

张伟丽本周日迎来金腰带卫冕战,36岁的对手曾兼职摩托车司机日入15美元

张伟丽本周日迎来金腰带卫冕战,36岁的对手曾兼职摩托车司机日入15美元

08-21 05:40:46

开辟氢能产业发展新赛道 为构建现代化产业体系培育新动能

本网讯(通讯员宗禾记者朱胜利)8月19日,省委书记韩俊在六安市调研氢

08-21 04:53:02

风范股份:中标1.35亿元项目

风范股份:中标1 35亿元项目,角钢,风范股份,特变电工,成交通知书

08-21 04:23:15

入秋后总是"咳咳不休" 与秋天气候特点和个人体质有关

厦门网讯(厦门晚报记者兰云丝通讯员倪晶莹漫画 小牛)秋天是咳嗽高发

08-21 04:05:27

属虎女人戴什么首饰好,适合属虎人长期佩戴的吉祥物

(1)想挡灾:朱砂如果想要辟邪挡灾,给自己请一道护身符防身的话,千

08-21 04:04:46

科力远与相关方签订协议 持续强化锂资源控制能力

中证网讯(记者段芳媛)8月16日,记者从科力远获悉,公司8月15日与宜春市

08-21 03:38:16

青海省市场监管局圆满完成2023年“青海湖”音乐节食品安全保障工作

为做好2023年“青海湖”音乐节食品安全保障工作,预防食物中毒和食源性

08-21 03:35:24

休假期间海中救人!给这位陕西网警点赞!

近日,山东烟台高新区辛安河特大桥附近海域发生女童坠海事件,咱们正在

08-21 03:25:58

落水狗(关于落水狗简述)

,你们好,今天0471房产来聊聊一篇水狗,水狗简述的文章,网友们对这件

08-21 03:19:36

葆真(关于葆真简述)

,你们好,今天0471房产来聊聊一篇真,真简述的文章,网友们对这件事情

08-21 02:18:41

bj40全新官图发布:硬派越野车

近日,北京BJ40的全新官方图片正式发布。新车采用了全新的设计风格,预

08-21 01:52:06

宁夏移动:率先实现“算力+语料+模型+训练”一体化服务能力

8月18日,2023中国算力大会在宁夏银川开幕。8月19日下午,中国移动受邀

08-21 01:46:29

季娇(关于季娇简述)

,你们好,今天0471房产来聊聊一篇娇,娇简述的文章,网友们对这件事情

08-21 01:01:03

嘉兴嘉善县拟于出让1宗3.3万平米宅地 起始价约2.9亿元

观点网讯:8月18日获悉,浙江嘉兴嘉善县挂牌1宗宅地,预计9月8日出让。

08-21 00:48:20

我省推进使用正版软件业务培训班在沈阳举办

本报讯记者关艳玲报道为进一步推进全省软件正版化工作,加强软件正版化

08-21 00:29:57

书展·现场|与读者“初见”,“茅奖”作家孙甘露带你读不一样的《千里江山图》

昨天,孙甘露带着自己刚获得茅盾文学奖的长篇小说《千里江山图》亮相上

08-20 23:54:49

阿根廷国脚世界杯后冠军榜:小蜘蛛4冠居首,梅西2冠并列次席

直播吧8月20日讯梅西带领迈阿密国际斩获北美联盟杯冠军,ESPN统计了阿

08-20 23:55:29

皇马vs阿尔梅里亚首发:贝林厄姆先发,凯帕替补,巴西双星出战

皇马vs阿尔梅里亚首发:贝林厄姆先发,凯帕替补,巴西双星出战,巴西,西

08-20 23:05:22

秦钰恒:黄金连续止盈两周,下周黄金空头加大力度。

黄金 本周抄底的朋友,现在过周末估计是非常难受,价格本周虽没有大跌

08-20 22:35:54

年化收益怎么算(年化收益率怎么算)

年化收益怎么算,年化收益率怎么算这个很多人还不知道,现在让我们一起

08-20 22:05:22

兰州七中一本上线率(兰州七中)

1、兰州七中的初中很不错的!高中很一般。本文到此讲解完毕了,希望对

08-20 22:10:40

时隔39年,“桂林妹子”为广西再夺摔跤世界冠军

李彦蓉夺冠后高举五星红旗庆祝。(自治区重竞技运动发展中心供图)当地

08-20 21:54:39

四千年前我国已有陶瓷排水系统

科普时报讯(记者吴桐)施普林格·自然旗下专业学术期刊《自然·水》日

08-20 21:36:25

科普:健康饮食、阅读和运动可增强儿童推理能力

推理能力是学习和解决日常问题的关键能力。《斯堪的纳维亚运动医学与科

08-20 21:15:33

莫干山攻略(游玩莫干山)

干山攻略,游玩莫干山很多人还不知道,现在让我们一起来看看吧!1、莫

08-20 20:02:35

绿佳电动车外壳配件(绿佳电动车怎么样)

来为大家解答以上的问题。绿佳电动车外壳配件,绿佳电动车怎么样这个很

08-20 20:00:31

未来2天,四大生肖运势攀升,财运大旺,财运回升

生肖鸡的人财运翻倍,身边有无数的贵人,财路大开,对世界上发生的一切

08-20 19:47:39

多名劫匪闯入阿尔及利亚华侨企业,洗劫大量现金并抢走汽车!中使馆严正交涉

据中国驻阿尔及利亚使馆官微,近日,阿尔及利亚布迈德斯省发生一起针对

08-20 19:33:37

未满十八岁的监护人怎么认定

一、未满十八岁的监护人怎么认定未满十八岁的监护人是父母,未成年人的

08-20 18:44:36

在赤水河上“养鱼”,他们是认真的

8月15日,正值首个全国生态日,长江上游珍稀特有鱼类司法保护与科学研

08-20 18:48:53

网购套路多 一些商品未标注规格到手后严重缩水

“商家只谈商品数量不谈净含量,算不算耍流氓?”天津蓟州的吴先生前不

08-20 18:39:14

汤普森单节37分 汤普森单节37分回放中文解说

NBA历史上的10次单节30+克莱居首,科比两度上榜克莱汤普森:单节37分凯

08-20 18:15:47

纽威数控:8月18日融资买入308.13万元,融资融券余额6446.46万元

8月18日,纽威数控(688697)融资买入308 13万元,融资偿还364 32万元

08-20 17:55:19

渔获“游”进八市 不少海鲜量多价跌

美食博主黑明现场教市民选购海鲜。重达10斤的鲈鱼引人注目。连日来,不

08-20 17:57:08

重庆市房价走势,重庆房价2023年房价走势

1、宏观经济 当前国内的宏观经济仍处于较好的发展状态,目前货币政策和

08-20 17:26:43

福龄养老院环境怎么样?院内实景图片
确认死亡!刚刚,死因查明!
8月21日数据中心板块涨幅达2%
一觉醒来10岁男孩脖子“瘫”了!医生:暑期已接诊多例,最小仅3岁
“830新规”出台即将两年 相关报告称 未成年人沉迷游戏现象已有所缓解
两市融资余额减少47.01亿元
葫芦丝薄饼(关于葫芦丝薄饼简述)
海南儋州:检察建议推动治理娱乐场所雇用接待未成年人问题
暑期游火爆 重庆“单轨穿楼”景点吸引众多游客打卡
微信紧急声明!从未给用户寄过“惊喜盲盒”快递
IDEAYA Biosciences(IDYA.US)宣布强效PKC抑制剂完成2期试验首位患者给药
陈牧驰烈日下为女演员遮阳 一举一动尽显绅士风范
百度地图率先获准全国高级辅助驾驶地图
石家庄饭店被部队砸(石家庄饭店)
张伟丽本周日迎来金腰带卫冕战,36岁的对手曾兼职摩托车司机日入15美元
开辟氢能产业发展新赛道 为构建现代化产业体系培育新动能
风范股份:中标1.35亿元项目
入秋后总是"咳咳不休" 与秋天气候特点和个人体质有关
属虎女人戴什么首饰好,适合属虎人长期佩戴的吉祥物
科力远与相关方签订协议 持续强化锂资源控制能力
青海省市场监管局圆满完成2023年“青海湖”音乐节食品安全保障工作
休假期间海中救人!给这位陕西网警点赞!
落水狗(关于落水狗简述)
葆真(关于葆真简述)
bj40全新官图发布:硬派越野车
宁夏移动:率先实现“算力+语料+模型+训练”一体化服务能力
季娇(关于季娇简述)
嘉兴嘉善县拟于出让1宗3.3万平米宅地 起始价约2.9亿元
我省推进使用正版软件业务培训班在沈阳举办
书展·现场|与读者“初见”,“茅奖”作家孙甘露带你读不一样的《千里江山图》
阿根廷国脚世界杯后冠军榜:小蜘蛛4冠居首,梅西2冠并列次席
皇马vs阿尔梅里亚首发:贝林厄姆先发,凯帕替补,巴西双星出战
秦钰恒:黄金连续止盈两周,下周黄金空头加大力度。
年化收益怎么算(年化收益率怎么算)
兰州七中一本上线率(兰州七中)
时隔39年,“桂林妹子”为广西再夺摔跤世界冠军
四千年前我国已有陶瓷排水系统
科普:健康饮食、阅读和运动可增强儿童推理能力
莫干山攻略(游玩莫干山)
绿佳电动车外壳配件(绿佳电动车怎么样)
未来2天,四大生肖运势攀升,财运大旺,财运回升
多名劫匪闯入阿尔及利亚华侨企业,洗劫大量现金并抢走汽车!中使馆严正交涉
未满十八岁的监护人怎么认定
在赤水河上“养鱼”,他们是认真的
网购套路多 一些商品未标注规格到手后严重缩水
汤普森单节37分 汤普森单节37分回放中文解说
纽威数控:8月18日融资买入308.13万元,融资融券余额6446.46万元
渔获“游”进八市 不少海鲜量多价跌
重庆市房价走势,重庆房价2023年房价走势
孟通联足球俱乐部(关于孟通联足球俱乐部简述)
X 广告
资讯
X 广告

Copyright ©  2015-2022 亚洲畜牧网版权所有  备案号:京ICP备2021034106号-51   联系邮箱:5 516 538 @qq.com