冷板液冷标准化及技术优化白皮书_第1页
冷板液冷标准化及技术优化白皮书_第2页
冷板液冷标准化及技术优化白皮书_第3页
冷板液冷标准化及技术优化白皮书_第4页
冷板液冷标准化及技术优化白皮书_第5页
已阅读5页,还剩113页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

[编号ODCC-2023-02004]

冷板液冷标准化及技术优化白皮书

开放数据中心委员会

2023-019发布

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

前言

本规范由开放数据中心标准推进委员会发布。

2015年,OpenAI成立,通过GPT(GenerativePre-trained

Transformer)算法,在2018年6月推出了GPT-1(1.2亿参数),

在2019年11月增加了训练的数据量后推出了GPT-2(15亿参数),

在2020年6月推出了GPT-3(1750亿参数)。随着数据参数的加大

发现差异很小,后加入人工反馈强化学习来提升对话质量,在2022

年3月推出了GPT-3.5;对话优化后,在2022年11月就推出了

ChatGPT。月活人数突破1亿仅用时两个月。2023年2月7日微软

将ChatGPT引入到搜索引擎Bing正式发布。除了微软,谷歌、Meta、

百度、腾讯、阿里巴巴纷纷入局进军生成式AI。生成式AI模型需

求的暴涨,使得对芯片的需求从CPU+加速器转变为以GPU主导的大

规模并行计算。未来,在单芯片性能之上,智算中心能够通过算力

的生产-调度-聚合-释放,支持AI产业化发展。现阶段,单CPU热

设计功耗为150~200W,最高可达350W;单GPU热设计功耗为

300~400W,最高可达700W。与此同时,服务器功耗从传统服务器

的1kW增加到AI服务器的6.5~10kW。空气冷却解决成本和难度大

幅上升,英伟达、英特尔等芯片公司已经开始将冷却的方式转向液

冷。

液冷是指通过液体代替空气冷却芯片,根据液体与芯片是否接

触可以分为直接液冷和间接液冷。直接液冷包括浸没液冷和喷淋液

冷,浸没液冷又分为单相浸没和两相浸没。而间接液冷主要是冷板

液冷。早在20世纪60年代,IBM就推出了用冷板液冷冷却的计算

IV

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

机产品。直到21世纪初,美国GRC(GreenRevolutionCooling)

公司推出了单相浸没冷却解决方案。2017年,广东合一推出了喷淋

式液冷。2019年曙光完成全球首个大规模刀片式浸没两相液冷商业

应用项目。2021年,微软发布了箱体式两相浸没液冷方案。而冷板

液冷作为历史最悠久,技术最为成熟,生态系统最为丰富的液冷解

决方案,它的爆发已经到来!

本白皮书倾注了作者大量的时间和精力,其成文也仰仗各参编

老师撰写并参与讨论,其次,本文得到程军先生、王锋先生、何智

强先生和袁达人先生提供的产品资料,在此对上人员做出的贡献表

示由衷的感谢。此外,本文很多化工类专有名词的解释均得益于

ChatGPT,令人充分感受到科技的便利和AI的潜力。最后,作者尽

量用实物照片为读者生动呈现相关技术和产品,希望通过本白皮书

促进冷板液冷技术快速迭代优化,为读者在冷板液冷的实践和决策

提供有价值的信息和建议。

由于时间仓促,水平所限,错误和不足之处在所难免,欢迎各

位读者批评指正。如有意见或建议请联系dceco@。

V

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

目录

版权声明..............................................................................................................................................I

编写组.................................................................................................................................................II

前言.................................................................................................................................................IV

冷板液冷标准化及技术优化白皮书................................................................................................1

一、概述...........................................................................................................................................1

二、术语、定义和缩略语..............................................................................................................1

三、冷板液冷介绍..........................................................................................................................8

(一)冷板液冷技术介绍......................................................................................................8

1.冷板液冷发展历程......................................................................................................8

2.冷板液冷技术原理....................................................................................................10

3.冷板液冷技术特点....................................................................................................12

4.冷板液冷关键技术....................................................................................................15

(二)常用产品器件介绍....................................................................................................16

1.冷板组件....................................................................................................................17

2.快速接头QDC.............................................................................................................20

3.软管............................................................................................................................24

4.机柜工艺冷媒供回歧管RCM.....................................................................................25

5.冷量分配单元CDU.....................................................................................................26

6.环路工艺冷媒供回歧管LCM.....................................................................................29

7.冷源............................................................................................................................30

8.工艺冷媒....................................................................................................................34

(三)冷板液冷发展面临的主要挑战................................................................................40

VI

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

1.水质............................................................................................................................40

2.泄漏............................................................................................................................42

3.冗余路由....................................................................................................................44

4.高成本........................................................................................................................44

5.建设周期长................................................................................................................45

6.能耗问题....................................................................................................................45

7.冷源水耗....................................................................................................................46

四、工程标准化及设计要求........................................................................................................46

(一)标准化现状及需求....................................................................................................46

1.标准化现状................................................................................................................46

2.标准化需求................................................................................................................48

(二)工程标准化设计要求................................................................................................50

1.二次侧管路................................................................................................................50

2.功能要求....................................................................................................................54

(三)典型案例介绍............................................................................................................55

1.江苏某大数据产业园项目........................................................................................55

2.厦门某智算中心........................................................................................................57

3.山西某大规模冷板液冷数据中心............................................................................58

4.广州科云数据中心....................................................................................................59

五、接液材料研究........................................................................................................................60

(一)传统材料....................................................................................................................61

(二)国外推荐材料............................................................................................................61

1.金属与金属合金类....................................................................................................61

2.合成橡胶、塑料和其它材料类................................................................................63

VII

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

(三)国内常用非金属材料................................................................................................65

1.管路及接头材料........................................................................................................65

2.密封件材料................................................................................................................69

(四)新材料管路设计制造及测试方法............................................................................72

1.设计原则....................................................................................................................72

2.管路制造....................................................................................................................74

3.测试............................................................................................................................74

(五)其它行业领域冷板液冷新材料应用........................................................................76

1.直流输电领域............................................................................................................76

2.静止无功补偿装置SVC冷却领域............................................................................77

3.储能领域....................................................................................................................78

(六)数据中心新材料应用案例........................................................................................81

1.国内数据中心案例....................................................................................................81

2.国外数据中心案例....................................................................................................83

六、冷板液冷新技术展望............................................................................................................89

(一)负压冷板液冷技术....................................................................................................89

1.技术背景介绍............................................................................................................89

2.负压CDU技术原理....................................................................................................89

3.负压液冷系统方案技术亮点....................................................................................92

4.应用案例....................................................................................................................94

(二)相变冷板冷却技术....................................................................................................97

1.重力热管方案............................................................................................................97

2.动力热管方案............................................................................................................98

(三)冷板液冷气-液混合技术..........................................................................................98

VIII

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

1.风冷CDU.....................................................................................................................99

2.气-液组合末端........................................................................................................102

3.气-液同源冷源........................................................................................................102

参考文献........................................................................................................................................105

IX

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

冷板液冷标准化及技术优化白皮书

一、概述

随着AI时代的到来,冷板液冷技术作为一种解决高算力发热的

冷却方式,已经成为行业最热门的话题之一,得到越来越广泛的关

注。本文将分四个部分进行展开:

第一部分:对冷板液冷技术进行介绍,从发展历程、技术特点、

关键技术、器件组成等方面逐一介绍,并指出其发展面临的主要挑

战。

第二部分:对冷板液冷的工程标准化进行分析,从标准化的现

状,到标准化的需求,并指出设计和功能要求,最后分享一些典型

数据中心案例。

第三部分:通过接液材料的详细描述,为读者呈现除传统材料

外,其他行业领域和国内外数据中心对新材料的应用情况分享。

第四部分:对近几年冷板液冷出现的新技术进行介绍和展望。

二、术语、定义和缩略语

AsahiGlassFluoroelastomer的简写。它是由日本旭硝子株式

会社(AsahiGlassCo.,Ltd.)开发的一种特殊的氟橡胶材

AFLAS

料,学名是聚四氟乙烯-聚丙烯共聚物,它具有优异的耐化学

性、耐高温性、耐油性和耐候性,常用于制造密封件。

CDA铜发展协会(CopperDevelopmentAssociation)。

CDU冷量分配单元(CoolantDistributionUnit)用于实现液冷系

统的二次侧冷却环路驱动、稳压和自动配流,同时实现一二次

1

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

侧循环系统热量交换、物理隔离等功能的单元。

制冷负载系数(CoolingLoadFactor),一般定义为数据中心

CLF制冷设备耗电与IT设备耗电的比值。本文提到的冷板液冷CLF指

的是冷板液冷系统的耗电与对应液冷部分IT设备耗电的比值。

中央处理器(CentralProcessingUnit),它是服务器的核心

CPU

组件之一。

氯化聚氯乙烯(ChlorinatedPolyvinylChloride),是一种

特殊的塑料材料,是PVC经过氯化处理而制成的。它具有出色的

CPVC

阻燃性能和耐化学腐蚀性能,广泛应用于管道系统、化工设

备、火灾喷淋系统、电力线路绝缘和建筑材料等领域。

计算机房空调器(ComputerRoomAirConditioner),其主要

CRAC是指带压缩机的蒸汽压缩制冷循环系统,通过制冷剂蒸发将机

房空气热量带到室外的空调。

计算机房空气处理器(ComputerRoomAirHandler),其主要

CRAH

是指通过冷冻水将机房空气热量带走的冷冻水末端空调。

氯磺化聚乙烯(ChlorosulfonatedPolyethylene),也被称为

海普隆Hypalon®。它是一种通过将聚乙烯与氯和硫进行反应而

CSPE

制得的合成橡胶,其特性包括耐候性、耐辐射、抗化学腐蚀和

电绝缘性能。

直接接触式液体冷却(DirectContactLiquidCooling),

DCLCDCLCTM被CoolIT公司注册,特指冷板液冷的间接式液冷,直接接

触指的是冷板(而非工艺冷媒)与CPU等发热源的直接接触。

三元乙丙橡胶(EthylenePropyleneDieneMonomer),是一

EPDM

种合成橡胶。

乙烯丙烯橡胶(EthylenePropyleneRubber),是一种合成橡

EPR

胶。

它是由乙烯(Ethylene)、四氟乙烯(Tetrafluoroethylene)

和丙烯(Propylene)通过共聚反应制得的共聚物,ETP型氟橡

ETP

胶是一种高性能的氟橡胶材料,具有出色的化学稳定性、耐热

性和耐油性。

FEP聚全氟乙丙烯(FluorinatedEthylenePropylene),是一种

热塑性聚合物,由四氟乙烯和含氟单体(如四氟乙烯醚)共聚

2

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

而成。它具有类似于PTFE的出色耐化学腐蚀性、低摩擦系数和

优异的耐高温性能。相比于PTFE,FEP具有更低的熔融温度,更

容易地加工成各种形状。

含氟弹性橡胶(Fluoroelastomer),也称氟碳橡胶

FKM(FluorocarbonRubber),是一种特殊的橡胶材料,具有出色

的耐化学腐蚀性能和高温稳定性。

设施水系统(FacilitiesWaterSystem),冷源与CDU之间的水

FWS

系统,即一次侧冷冻或冷却水系统。

GF型氟橡胶是由氟化碳单体聚合而成,添加了玻璃纤维(Glass

GFFiber)增强剂的氟橡胶材料,玻璃纤维的添加可以增强氟橡胶

的强度和刚度,提高其耐磨损性和耐冲击性。

图形处理器(GraphicsProcessingUnit),是一种专门用于

GPU处理图形和图像的处理器。与CPU相比,GPU在图形处理方面有

着更强大的计算和并行处理能力。

高密度聚乙烯(HighDensityPolyethylene),是一种常见的

HDPE

塑料材料。

氢化丁晴橡胶(HydrogenatedNitrileButadieneRubber),

是一种耐油性较高的橡胶材料,通过氢化处理增加了耐热性和

HNBR

抗臭氧性能,被广泛应用于涉及高温、高压和化学腐蚀环境下

的密封和橡胶制品。

环路工艺冷媒供回歧管(LoopCoolantManifold)用于向环路

LCM

内各支路分配工艺冷媒的装置。

熔融指数(MeltFlowIndex),指热塑性塑料在一定温度和压

MFI力下,熔体在10分钟时间内通过测试器的小孔所流出的熔料重

量,单位是以克/10分钟表示。

熔体质量流动速率(Melt-massFlowRate),指热塑性树脂材料

MFR

分子平均尺寸和流动性能的一项指标。

丁晴橡胶(NitrileButadieneRubber),是一种常见的合成

NBR

橡胶材料。

开放计算项目(OpenComputerProject),它是由Facebook

OCP(更名为Meta)在2011年发起的,旨在通过共享设计和创新

来构建高效、节能的数据中心设备和硬件基础架构。目前,OCP

3

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

同ODCC、OPEN19并称为全球三大开放计算组织。

聚酰胺塑料(Polyamide),具有良好的综合性能,包括力学性

PA能、耐热性、耐磨损性、耐化学药品性和自润滑性,且摩擦系

数低,有一定的阻燃性,易于加工。

PE聚乙烯(Polyethylene),是一种常见的塑料材料。

聚醚醚酮(PolyetherEtherKetone),是一种高性能工程塑

PEEK

料,具有极高的热稳定性、耐化学腐蚀性和机械强度。

交联聚乙烯(Cross-LinkedPolyethylene),由聚乙烯分子经

PEX过交联处理生成,交联可以提高材料的强度、耐热性和耐化学

腐蚀性,是一种常用的供水管道材料。

聚全氟丙烯(PerfluoroAlkoxy),是一种氟塑料,属于全氟

聚合物的一种类型。它具有出色的化学稳定性、高温耐性、电

PFA绝缘性和耐腐蚀性。它具有与PTFE类似的特性,但其可加工性

更好,通过热塑性加工方法(如注塑或挤出)加工成管材、薄

膜、块材和各种形状的制品。

全氟聚醚(Perfluoropolyether),是一种特殊的氟化合物材

PFPE

料,具有出色的化学稳定性、热稳定性和润滑性能。

全氟甲基乙烯基醚(Perfluoromethylvinylether),是一种全

PMVE氟聚合物,具有出色的化学稳定性、高温稳定性和电气绝缘性

能。

PP聚丙烯(Polypropylene),是一种常见的热塑性聚合物。

均聚聚丙烯(PolypropyleneHomopolymer),相比PPR,具有

PPH

更高的刚性和强度,广泛用于各种工业和建筑材料。

聚苯氧化物(PolyphenyleneOxide),是一种高性能工程塑

PPO料。它具有优异的耐热性、电绝缘性、机械性能和化学稳定

性。

无规共聚聚丙烯(PolypropyleneRandom),相比PVC,具有

PPR

更高的耐热性和耐化学腐蚀性能,广泛用于家庭水管系统。

聚苯硫醚(PolyphenyleneSulfide),是一种高性能工程塑

PPS料。它具有优异的耐热性、耐化学腐蚀性、机械强度和电绝缘

性能。

4

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

聚苯砜(Polyphenylsulfone),一种无定形的热塑性工程塑料,

具有高度透明性、高水解稳定性,是所有高性能热塑性塑胶中

PPSU最牢固的材料之一。该材料兼具强大的机械特性与耐热和耐化

学性,因此非常适于通常负载较高和需接触化学品的各种要求

严苛的应用。

聚砜(Polysulfone),是一种特定的高性能工程塑料,它具有

PSU高温稳定性、机械强度、耐化学腐蚀性、电绝缘性和耐磨性等

特殊性能。

聚四氟乙烯(Polytetrafluoroethylene),也称为特氟龙

TeflonTM,具有强抗腐蚀性,可以耐受包括王水在内的强酸强碱

PTFE

溶液;低摩擦系数,可用于轴承、垫片和密封环等高摩擦部

件;电绝缘性,可作为电缆绝缘材料。

能源利用效率(PowerUsageEffectiveness),是数据中心最

PUE重要的评价指标之一,定义为数据中心总耗电与IT设备耗电之

比。

聚氯乙烯(PolyvinylChloride),是一种普遍使用的塑料,可

PVC以用于管道、电缆、地板、窗框等,但其耐高温性能较差,会

释放出挥发性化合物危害人类健康。

聚偏二氟乙烯(PolyvinylideneFluoride),相比PTEF,其

PVDF刚性、硬度、电绝缘性、抗蠕变性能尤为突出,是最强韧的氟

材料。

快速接头(QuickDisconnectCoupling),包括自锁式快速接

QDC

头(手插和盲插)、球阀式快速接头。

机柜工艺冷媒供回歧管(RackCoolantManifold)用于向机柜

RCM

内各液冷冷板分配工艺冷媒的装置。

二次侧流体管路(SecondaryFluidNetworks),加拿大液冷

SFN

厂商CoolIT的命名方式,同LCM。

SUS是日本JIS(日本工业标准)中使用的不锈钢材料标准的简

SUS称。在过去,日本的不锈钢材料常常使用SUS作为牌号的前缀,

例如SUS304代表符合JISG4303标准的304不锈钢。

静止无功补偿装置(StaticVarCompensator),由电容器及

SVC各种电抗元件构成与系统并联并向系统供应或从系统吸收无功

功率的装置。

5

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

工艺冷媒系统(TechnolgyCoolingSystem),冷板组件与CDU

TCS

之间的系统,即二次侧系统。

热设计功率(ThermalDesignPower),是处理器或显卡等计

算机硬件热设计的一个主要参数。TDP是指处理器或其他硬件在

TDP满负荷工作情况下的最大热量产生值,代表了CPU或其他实际使

用时的预计功耗极限,是散热器的设计和选择的重要参考依

据。

四氟乙烯(Tetrafluoroethylene),是一种无色、无味且具有

TFE

高度稳定性的气体。

超高分子量聚乙烯(Ultra-HighMolecularWeight

Polyethylene),是一种特殊类型的聚乙烯,其分子量非常

UHMWPE高,通常达到数百万至数千万克/摩尔。它具有许多优异的性

能:高强度、高耐磨性、低摩擦系数、优异的耐化学性、良好

的电绝缘性和优异的高温性能。

统一编号系统(UnifiedNumberingSystem),它是一种用于

材料和金属标准化命名的编码系统。它由SAE(Societyof

AutomotiveEngineers)、ASTM(AmericanSocietyfor

TestingandMaterials)和ASME(AmericanSocietyof

UNSMechanicalEngineers)等多个工程组织共同制定和管理的,

不受国籍、材料种类、制造方式、化学成分等因素限制的开放

式系统,在全球广泛应用。它由一个字母和五个数字组成,字

母表示材料类型,数字表示材料化学成分、机械性能等相关参

数,便于跨国贸易。

用水效率(WaterUsageEffectiveness),是数据中心重要的

WUE评价指标之一,定义为数据中心总用水量与IT设备耗电量之

比,单位为L/kW·h。

AirCooling,与液冷相对应,以空气为冷却介质,通过CRAC或

空气冷却CRAH设备将机房内的空气降温至18~30℃左右的冷空气,将服

务器产生的热量转移的过程。业内常被称为“风冷”。

LiquidCooling或DirectLiquidCooling,液体冷却的简称,

以液体为冷却介质,通过CDU设备将进入服务器的工艺冷媒液体

降温至17~45℃左右,将服务器产生的热量全部或部分转移的

液冷

过程。根据工艺冷媒是否与服务器接触分为直接液冷和间接液

冷两大类。直接液冷的液体一般是不导电的油类或者氟化物;

间接液冷的液体一般是去离子水,醇类溶液,还有氟化物。

6

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

空气冷却和液体冷却混合布置的机房或者机柜,空气冷却和液

气液比冷功率(或发热量)的大致设计比例,一般指冷板液冷服务

器。业内常被称为“风液比”。

风冷冷却(AirCooled)或风冷冷凝(AirCooled

风冷Condensation)的简称,一般指冷却介质向空气尤其室外空气

转移热量的过程。

水冷冷凝(WaterCooledCondensation)的简称,一般指冷却

水冷

介质通过冷却水转移热量的过程。

PrimarySide,是指在间接热交换过程中,提供热量或冷量的

一次侧一侧。在液冷领域,以CDU的板式换热器为界限,冷源侧为一次

侧。

SecondarySide,是指在间接热交换过程中,热量或冷量传递

二次侧给待调节区域的一侧。在液冷领域,以CDU的板式换热器为界

限,服务器侧为二次侧。

TechnologyCoolingSystem,简称TCS,是指用于冷却和保持

工艺冷媒系统电子设备运行温度在可接受范围内的系统。该系统即为二次侧

所在系统,工艺冷媒即二次侧冷却液。

ApproachTemperature或MinimumDifferential

逼近温度

Temperature,是指二次侧供液温度与一次侧进水温度之差。

模块化数据中心的简称,ModularDataCenter(MDC),是指

完全按照模块化设计思路搭建的可快速部署的数据中心模型,

数据中心内部由多个完全相同的微模块(MicroModule)组

微模块

成;微模块则是以若干机架为基本单位,包含制冷模块、供配

电模块及网络、布线、监控在内的独立的运行单元,全部组件

可在工厂预制,并可灵活拆卸,快速组装。

接液材料是指其表面与工艺冷媒直接接触的材料,必须和工艺

接液材料冷媒具备兼容性,以将冷却回路中潜在的腐蚀风险和泄漏风险

降至最低。

7

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

三、冷板液冷介绍

(一)冷板液冷技术介绍

1.冷板液冷发展历程

虽然液冷这个技术名词是近代才出现的,但是液冷或者说用水

降温这种生活方式,却是与人类发展史紧密相伴的。用水降温是动

物与生俱来的本领,人类还进一步利用液冷原理建造自然水冷建筑

“含凉殿”。

液冷技术并非从数据中心行业发展应用起来的,其最初的应用

是在机械加工行业,也就是18世纪第一次工业革命发明的机械加工

设备,使用水和油作为金属加工液进行降温。之后,19世纪第二次

工业革命将人类社会带入电气时代,尼古拉·特斯拉首次将液冷应

用于变压器冷却。20世纪开始进入电子时代,随着科技的进步和制

作工艺的发展,高性能、高功率的电子元器件的冷却要求不断提高,

就需要选择效率更高的液冷技术,理论上沸腾的热水可以带走的极

限热量是2MW/cm2。1944年美国人高格勒提出热管换热器概念,它是

一种不附加任何动力,可以使冷凝的液体依靠吸液芯克服重力再回

到上方,达到热量从一个地点传动到另一个地点目的的传热器件。

经过热管技术的演进,闭合管路的冷板始于航天设备的应用,冷板

的叫法据说来自20世纪60年代的美国阿波罗登月计划,登月设备中

液冷已经广泛应用于高精度电子器件的冷却。[1]

8

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

液冷技术首次在计算机上得到正式使用是在1951年,人类历史

上第一台商用电子计算机UNIVACI采用了水冷装置。之后的几十年,

液冷技术的发展应用是曲折的,主要跟计算机性能需求和芯片技术

发展紧密相关。1966年,IBM推出了System360大型计算机,这款计

算机是当时运算速度最快、性能最强的机器,主要用于科学应用领

域的高速数据处理(比如太空探索、亚原子物理学、全球气候预测

等)。为确保该大型机在高速运算中不会发生过热宕机,IBM首度开

发了用水冷却的液冷系统。但在随后的几十年,由于在较低热负荷

时空气冷却成本更低、安装部署更为简单,液冷技术并未被重视。

直到20世纪80年代,计算机性能飞速提升,为了满足散热的需要,

空气冷却和液冷融合的气液混合系统开始出现,甚至有一段时间多

种芯片级液冷技术得到深度应用并走向成熟。20世纪90年代,晶体

管新技术的应用,推动着大型计算机和超级计算机芯片的功耗和热

量断崖式下跌,散热又重新回到空气冷却的模式。21世纪初,随着

数据中心应用规模的快速提升,液冷技术又一次步入发展的快车道。

2008年,IBM对外发布基于Power6处理器的液冷超级计算机节点

Power575,其在微处理器模块上使用了冷板液冷,使服务器工作温

度降低了至少20℃。Power575液冷系统通过采用模块化的设计和快

速连接接头的应用,尤其在系统侧和设备侧采用全流量互锁式快接,

可以实现快速简单的连接和断开。

国内随着信息技术赋能千行百业,数据中心能耗和芯片散热问

题也得到重视,国家和地方出台了一系列数据中心能效水平限值要

9

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

求,如国家工信部规定新建大型、超大型数据中心PUE不超过1.3。

液冷技术在国内有了迅速成长壮大的土壤,国内如曙光、华为、浪

潮、联想、新华三和中兴通讯等代表性厂商已经纷纷推出了系列液

冷产品。中科曙光最早于2015年推出国内首款标准化量产的冷板液

冷服务器,同年,中科院大气物理研究所的“地球数值模拟装置原

型系统”率先使用冷板液冷服务器,大大提高散热效率,也成为国

内液冷服务器大规模使用的第一个公开案例,该系统并于2017年上

榜当年全球高性能计算机(HPC)TOP500榜单。冷板液冷因对现有服

务器芯片组件及附属部件改动量较小,可操作性更强,成为目前国

内成熟度最高、应用最广泛的液冷散热方案。随着国内主流服务器

厂商纷纷推出冷板液冷服务器产品,液冷技术开始逐步走向成熟并

开始批量化、规模化使用。

2.冷板液冷技术原理

传统空气冷却方式以空气为介质进行散热,通过送入低温空气、

经与电子器件进行热交换后,将其热量带走。液冷方式则以液体为

介质进行散热,只需提供中温液体即可满足元器件散热需求,比空

气冷却方式散热效率更高,也更加节能(如图3-1所示)。

10

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

图3-1空气冷却及液冷工作原理

冷板液冷技术是目前最为成熟、应用最为广泛的液冷散热方式。

冷板液冷技术是指通过冷板(通常为铜、铝等导热金属构成的封闭

腔体)将发热器件的热量间接传递给在封闭的循环管路中的冷却液

体,通过冷却液体将热量带走的冷却形式[2]。冷板液冷技术利用工

艺冷媒作为中间热量传输的媒介,将热量由热区传递到远端后再进

行冷却。在该技术中,工艺冷媒与被冷却对象分离,工艺冷媒不与

电子器件直接接触,而是通过冷板等高效热传导部件将冷却对象的

热量传递到工艺冷媒中,因此冷板液冷技术又称为间接液冷技术。

冷板液冷技术相较于传统空气冷却技术,不需改变现有服务器

的形态,使用、维护等方面与现有服务器也较为接近。冷板液冷系

统工作原理如图3-2所示,冷板液冷是将服务器内的主要散热元器件

CPU、GPU、内存等产生的热量通过与冷板内的液体进行热交换并带

出服务器,这一部分的热量占服务器总热量的50%-80%,剩余少部分

的热量采用空气冷却,通过空气与服务器进行热交换。冷板液冷系

统中的二次侧的中高温液体带走服务器的热量,流经CDU,传递给一

11

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

次侧冷却水,并通过冷源设备将热量传递到室外空气,这一过程中

的主要动力装置为循环水泵以及冷源设备的风机。

图3-2冷板液冷系统原理示意图

3.冷板液冷技术特点

冷板液冷方案一般具备以下特点:

(1)高效散热:液体的体积比热容是空气的1000-3500倍,意

味着冷却液体可以吸收大量热量而不会显著升高温度;液体的对流

换热系数是空气的10-40倍,同等空间情况液冷的冷却能力远高于空

气;由液冷冷板套件替代CPU原散热套件,通过工艺冷媒在冷板中的

强制对流,有效地将热量从设备中快速地带走,散热效率得到大幅

提升。

(2)高TDP方案:当CPU芯片TDP超过350W时,冷板液冷成为少

数的解决方案(图3-3)。

12

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

图3-3TDP变化与冷却方式的演进[3]

(3)精确制冷:冷板套件直达服务器内部,实现更为高效的部

件级精确制冷,CPU核温低至65℃左右,使元器件在更稳定更合适的

温度下工作,可靠性更高。

(4)支持高功率部署:冷板液冷技术散热效率更高,可支持单

机柜功率高达60kW的部署需求,同时降低占地成本。

(5)兼容性优:在不改变目前服务器主板的情况下即可实现,

拆卸简单,安装方便。相比其他液冷技术,对机房的要求较低,与

现有机房的兼容性优。冷板液冷可实现液冷微模块的形式,可实现

与现有空气冷却服务器的兼容使用。在系统上,相比其他液冷技术,

空气冷却改造液冷更为方便,可参见本文第六章第(三)节第1小节。

(6)维护简便:服务器与机柜的连接采用快速接头,服务器上

下架可实现冷却系统在线插拔,不影响其他服务器正常运行。另外,

保留了原有服务器的形态及维护方式,不影响客户使用习惯。

(7)生态更成熟:冷板液冷是液冷技术中应用最早,也是最为

成熟的技术,同时,其产业链生态更成熟。

13

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

(8)支持定制:可根据特定的电子元件,考虑组件的尺寸、形

状和散热要求,可优化工艺冷媒通过冷板的流动路径、增加翅片等

手段以降低热阻(图3-4)。

图3-4某强化对流换热定制开发冷板CFD分析

(9)支持超频:由于服务器的运行温度更低,可允许服务器超

频运行,提升服务器算力挖潜。

(10)更加节能:整个冷却系统采用中高温水作为冷却介质,

不同于靠低温水或空气进行散热,从而大大降低了冷却系统能耗,

可充分利用自然冷源,冷板液冷CLF可低至0.1以下,比传统空气冷

却机房节能20%以上。

(11)支持余热回收:一次侧回水温度约为38℃-45℃,虽属于

低品位余热,但考虑到数据中心规模体量巨大,其产生的余热量可

观且稳定、持续。因此可依据余热利用场景灵活选择设置,如办公

及生活供暖、泳池加热、设施农业温室供热等方式就近消纳余热资

源。

(12)冷媒易获得:相比其它液冷技术,冷板液冷通常采用乙

二醇或丙二醇等水基溶液作为工艺冷媒,具有容易获取的优点。

14

冷板液冷标准化及技术优化白皮书ODCC-2023-02004

4.冷板液冷关键技术

冷板液冷技术的关键技术包括以下几点:

(1)冷板设计:冷板的设计对冷却系统至关重要。冷板必须与

电子元器件保持良好的热接触,这样热量才能快速有效地从元器件

传递到冷板。冷板流道通过机械加工、铲齿、挤压、锻压等工艺加

工,密封采用搅拌摩擦焊、真空钎焊、气体保护焊等工艺焊接,需

要具有良好的密封性。此外,冷板内通道流量大小、水阻和布局方

式对散热效果起着至关重要的作用。

(2)工艺冷媒的选择和水质管理:冷板液冷系统中使用的液体

冷却剂通常是去离子水、乙二醇或丙二醇等水基溶液。去离子水会

添加适当的药剂来抑制细菌滋生并减缓金属腐蚀。工艺冷媒须慎重

选择,以保证与接液材料的兼容性。工艺冷媒必须具有良好的比热

容、流动特性和低粘度,以确保有效的热传递。同时,需要对水基

的工艺冷媒进行定期的水质监测和分析。近两年,陆续出现了氟化

物代替水基溶液作为工艺冷媒进行冷却,详见本文6.2。除6.2外,

本文其它章节所涉及工艺冷媒均基于水基溶液进行设计和介绍,特

此说明。

(3)RC

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论