2024非水冷板式间接液冷数据中心设计规范

非水冷板式间接液冷数据中心设计规范目 次范围 1规范性引用文件 1术语和定义 1分级 3数据中心基础设施 3建筑 3结构 3消防 4非水液冷散热系统 5概述 5非水液冷子系统 5通风散热子系统 6液冷设备柜空间布局 7供排液系统 8供配电系统 8供配电系统基本要求 8高压直流系统供电要求 8交流不间断系统供电要求 8非水液冷散热系统供电 9防雷接地 9智能化系统 9线缆系统 10走线架要求 10电缆布放要求 10附录A（规范性附录） 非水冷板式间接液冷数据中心各级技术要求 12附录B（资料性附录） 非水液冷散热系统结构及原理 13附录C（资料性附录） 非水液冷散热系统典型应用案例 15附录D（资料性附录） 非水冷却工质的选择与使用要求 17附录E（资料性附录） 非水液冷散热系统试压及冷却工质充注操作要求 19参考文献 22I非水冷板式间接液冷数据中心设计规范范围规范性引用文件GB50016 建筑设计防火规范GB50045 高层民用建筑设计防火规范GB50052 供配电系统设计规范GB50116 火灾自动报警系统设计规范GB50174—2017 数据中心设计规范GB50189 公共建筑节能设计标准GB50222 建筑内部装修设计防火规范GB50314 智能建筑设计标准GB50348 安全防范工程技术标准GB50367 混凝土加固结构设计规范GB50370 气体灭火系统设计规范GB50464 视频显示系统工程技术规范GB50689 通信局（站）防雷与接地工程设计规范GB50736 民用建筑供暖通风与空气调节设计规范GB51251 建筑防烟排烟系统技术标准JGJ116 建筑抗震加固技术规程JGJ145 混凝土结构后锚固技术规程YD5059 电信设备安装抗震设计规范术语和定义下列术语和定义适用于本文件。液冷技术 LiquidCoolingTechnology采用液体作为热源直接散热的介质，带走设备热量的散热方式。注：根据冷却形式可分为冷板式、浸没式等，根据冷却介质可分为水冷和非水液冷。1非水液冷技术 Non-AqueousLiquidCoolingTechnology一种在负荷侧采用无毒、无害、无腐蚀的非水绝缘工质作为冷却媒介的液冷技术，该技术可避免液体发生泄漏时引起设备短路等故障风险。冷板 ColdPlate冷量分配单元 CoolantDistributionUnit（CDU）由热交换器、内循环液泵、定压装置、补液装置、控制系统等组成，其功能是驱动一次冷却环路，将设备的热量通过冷量分配单元（CDU）工质分配单元 Manifold位于机柜内的非水工质分流单元，介于CDU与冷板之间的装置，其功能是向各层单板均匀分配非水冷却工质，带走电子信息设备高热流密度元件发热量。

一次冷却环路 PrimaryCoolingLoopCDU与机柜连接的中间管路。注：该冷却环路主要由非水液冷设备、冷量分配单元（CDU）（靠近电子信息设备部分）冷却环路主要用于连接非水液冷设备和冷量分配单元CDU环路循环系统。二次冷却环路 SecondaryCoolingLoop二次冷却环路包括冷量分配单元（热交换器散热部分、用于散热的冷却水循环管路、水泵、冷却装注：二次冷却环路参考传统的冷却水循环系统，不需要特殊设计；其中冷却装置可以根据实际条件选用干冷器或者冷却塔等经济冷却装置。液体快速接头 LiquidQuickConnector一种包含公头和母头、且公头和母头都带流体截断功能的快速插拔接头。注：Manifold护。自然冷却单元 FreeCoolingUnit通过自然冷却的方式向外界环境释放热量的单元。注：常采用冷却塔、空冷器等设备实现。2电能利用效率 PowerUsageEffectiveness（PUE）分级数据中心设计应符合GB50174—2017的规定，根据使用性质、数据丢失或网络中断在经济或社会AB或CGB50174—2017的规定及本标准附录A执行。数据中心基础设施建筑数据中心的建筑平面和空间布局应具有灵活性。主体结构宜采用大空间及大跨度柱网，提高数据中心的液冷设备机柜安装效率。3.0m主机房和辅助区不应布置在用水区域的垂直投影下方，不应与振动和电磁干扰源为邻。采用非水液冷系统的主机房与用水区域相邻时，应采取防止数据中心进水的相关措施。数据中心外走道和数据中心门应考虑设备搬运方便，同一层地面标高不同的区域，应采用斜坡或部分斜坡过渡。数据中心内通道的宽度及门的尺寸应满足最大设备和材料的搬运要求。数据中心室内装修，应选用气密性好、不起尘、易清洁、符合环保要求、在温度和湿度变化作GB50222的有关规定。非水工质应根据国家规范及法规进行使用和管理，数据中心宜设置集液盘用于搜集泄漏的非水工质，非水工质不得直接排放，需进行回收处理。应根据各类管线布放方式采取相应的固定支撑措施。应做好地面防水、排水等土建工艺处理，且处理措施应能抵抗一般膨胀螺丝带来的地板损伤。结构GB50174—20171的规定，并参考YD5003《通信建筑工程设计规范》取值。3表1 荷载取值载荷类别载荷标准kN/m2备注主机房活荷载标准值组合值系数Ψe=0.98～12组合值系数Ψf=0.9准永久值系数Ψq=0.8应根据机柜的摆放密度确定荷载值主机房吊挂荷载不应小于1.2不间断电源系统室活荷载标准值宜为8～10电池室活荷载标准值蓄电池组4层摆放时，不应小于16总控中心活荷载标准值不应小于6改建的数据中心应根据荷载要求进行承重评估，应考虑液冷系统的重量，以及液冷系统运行时GB50367、JGJ116JGJ145的规定进消防GB50016、GB50045、GB50370、GB50174-2017和GB51251的规定。ABC级数据中心的主机房宜设置洁净气体灭火系统，也可设置高压细水雾灭火系统或预作用自动喷水灭火系统。GB50116的有关规定。采用非水液冷技术的数据中心主机房及其它使用或贮藏冷却液的区域，在消防的选择上应符合冷却液化学品安全说明书（MSDS）的要求。GB50174—2017所规定的二级。当数据中心位于其它建筑物内时,在数据中心与建筑内其它功能用房之间应采用耐火极限不低2.0h1.5h的楼板隔开，隔墙上开门应采用甲级防火门。（包括夹芯材料)B1级的装修材料。GB50140凡设置气体灭火系统的数据中心主机房，应配置专用空气呼吸器或氧气呼吸器。4非水液冷散热系统概述非水液冷散热系统包括为电子信息设备散热的非水液冷子系统和调节数据中心内环境参数并为非水液冷子系统提供补充散热的通风散热子系统，其中，通风散热子系统也可简称为风冷子系统。非水液冷子系统非水液冷子系统散热负荷非水液冷子系统环境要求1000m的数据中心，最高环境温度应按海拔高度每增加300m降低1非水液冷子系统配置要求非水液冷子系统的配置设计应满足下列要求：冷源应具有经济性和环保性，制冷量应满足非水液冷子系统24h不间断运行；散热单元、换热单元、动力循环设备等应按照N+X（X=1～N）冗余配置；A若采用开式冷却塔，补水箱（池）的容量宜按照不低于12h配置；同一数据中心内液体管路设计原则应相同；液泵、阀门等的设置应满足系统运行安全性及可维护性要求；g)冷量分配单元(CDU)配置要求冷量分配单元(CDU)配置应满足下列要求CDU应进行N+1冗余备份，同时支持电源双路不同源输入。CDU内泵等关键部件要支持在线维护，确保业务的连续性。CDU内部要有安全阀，防止系统压力过高导致事故。一次冷却环路及工质分配单元(manifold)要求一次冷却环路及工质分配单元(manifold)除应满足数据中心基本要求外，还应满足以下要求：工质分配单元(manifold)（manifold）顶部应设置排气阀；管路使用材料与工质要求具有良好的兼容性，宜使用304以上不锈钢管路；5一次冷却环路的管路末端支持便捷维护，维护不影响其他末端的运行，且末端插拔无泄漏；正常工作液压小于等于1MPa，管路承压能力不低于工作压力的1.5倍，最低不低于0.6Mpa；正常工作液压大于1MPa，管路承压能力则为工作压力加0.5Mpa；%。二次冷却环路要求二次冷却环路除应满足数据中心基本要求外，还应满足以下要求：二次冷却环路管路宜采用地板下走管方式，并做好相应防水（液）、漏水（液）和排水（液）措施，同时应具备相应告警功能；二次冷却环路主管宜采用双回路设计，互为备份；管路使用材料与工质要求具有良好的兼容性；设置有必要的阀门和监控设施。通风散热子系统通风散热子系统散热负荷热、照明装置散热、新风等；湿负荷主要包括人员散湿和新风湿负荷。通风散热子系统散热负荷按照GB50174-2017的要求进行计算。通风散热子系统环境参数要求通风散热子系统环境设计参数依据GB50174—2017GB50736表3 通风空调系统环境要求环境要求参数值备注冷通道或机柜进风区域的温度18℃～35℃冷通道或机柜进风区域的相对湿度和露点温度5.5℃～15℃，60%主机房环境温度和相对湿度（停机时）5℃～45℃，8%～80%，同时露点温度不宜大于27℃主机房和辅助区温度变化率5℃/h,20℃/h不得结露，机开机时：相对湿度18℃～28℃35%～75%立的除湿系统。停机时：辅助区温度5℃～35℃相对湿度20%～80%电力电池室环境温度20℃～30℃6气流组织电力电池室可采用精密空调风柜上送风、侧回风的气流组织形式。通风散热系统子系统配置要求通风散热子系统的配置应满足下列要求：冷源具有经济性和环保性，制冷量满足数据中心温湿度要求；风冷型、冷冻（却）水型行间空调均按N+X（X=1～N）冗余配置，行间空调以封闭通道为单元进行相应配置；当采用集中式冷冻水空调系统时，须考虑避免单点故障。冷水机组、水泵、冷却塔、自然冷却用板式换热器（如有）均须按N+X（X=1～N）冗余配置；空调水管道系统的供回水主管宜采用双回路设计，互为备份；当采用冷却塔，补水箱（池）时，其容量宜按照不低于12小时配置；对于A数据中心内冷液管宜采用地板下走管方式，并做好相应防水（液）、漏水（液）和排水（液）措施，同时应具备相应告警功能；数据中心加湿宜采用湿膜加湿方式，以降低加湿能耗；主机房应维持正压，新风量应按照人员、正压所需风量的最大值选取；设置有检测非水工质蒸汽浓度装置，满足人员安全要求。液冷设备柜空间布局液冷设备柜空间布局应符合以下要求：“”的排列方式。液冷设备柜宽度不宜小于600mm，如果有必要增加宽度，可以100mm为倍数单位增加。成行排列的液冷设备柜，其长度超过6m时，两端应设有出口通道；当两个出口通道之间的距离超过15m时，在两个出口通道之间还应增加出口通道；已安装的加固底座上方未安装机柜时，应采用不透风的不燃板材覆盖；数据中心投入运行时，应将机柜内未安装服务器的空间安装盲板，以防止无端漏风及气流混合，避免机柜出现热点，提高机柜冷却能力；设备柜安装设计应符合YD5059设备柜的液冷分配单元对外接口宜布置在液冷设备柜前部，宜支持上走管和下走管；一次冷却环路的管路下走管时，架空地板净高不宜小于600mm；上走管时，机柜顶部净高度空间不宜小于600mm；7CDU设备宜安装在室外，并应和主机房进行隔离，避免水进机房；若CDU安装在机房内，则需设置防水围堰；i) CDU前后维护空间不应小于800mm，主设备维护空间不应小于1000mm。供排液系统根据使用需求，为了便于快速向一次冷却环路内补充冷却液，可设置供液系统。储液罐的容量应12%。系统应设计排液及储液系统，用于机柜及系统定期维护或检修时排液。供液系统和排液系统可共享一套系统。为防止冷却液出现泄露，供液、排液系统和储液系统应并配置漏液检测系统。废弃的冷却液应予以妥善回收处理，严禁直接排放到下水道或室外。供配电系统供配电系统基本要求GB5002及GB507—201《数据中心设计规范》的要求执行。电子信息设备供电方式应根据运行或维护要求，选择交流不间断电源系统或通信高压直流供电系统，应根据数据中心布局和负荷大小等因素，采用集中式或分布式供电方式。TNTN-S系统。高压直流系统供电要求“一路市电直供+一路高压直流”的供电方式，提高供电效率。N+1N个为主用，N≤10时，1个备用；N>10时，每10个备用1个。高压直流系统应采用悬浮方式供电，并应符合下列规定：系统交流输入应与直流输出电气隔离；系统输出应与地、机架、外壳电气隔离；使用时，正、负极均不得接地，应采用悬浮方式供电；系统应有明显标识标明该系统输出不能接地；系统应具备绝缘监测功能。交流不间断系统供电要求AUPS2NN+1并联冗供电模式。UPSUPS50％。8非水液冷散热系统供电非水液冷散热系统设备用电负荷等级应按一级负荷供电。非水液冷散热系统用电与电子信息设备用电宜引自于不同的变压器；若引自同一变压器，则非水液冷散热通风系统配电回路宜采取相应电能质量处理措施。非水液冷散热系统设备的供电应由低压配电室配电柜引出双回路插接母线或电缆至数据中心内总箱（柜）自动切换，分单回路采用电缆至各散热系统设备附近的分配电箱。采用非水液冷散热系统的A级数据中心及重要通信设备机房的空调末端及控制系统应采用交流不间断电源系统供电。CDU应采用双路供电，其中一路电源采用不间断电源，确保连续供冷。防雷接地GB50689的相关规定。数据中心所在建筑物必须采用联合接地的方式。将建筑物基础和各类设备、装置的接地系统所数据中心应采用外部防雷装置、内部等电位连接和雷电电磁脉冲防护等综合防雷系统。各等电位连接网络均应与共用接地系统有直通大地的可靠连接，每个通信子系统的等电位连接系统，不宜再设单独的引下线接至总接地排，而宜将各个等电位连接系统用接地线引至本楼层接地排。非水液冷通道各处应分别做好等电位联接、可靠接地。数据中心内配电设备的正常不带电部分均应接地，严禁作接零保护。屋面的自然冷却单元及露天设备应采取避雷措施，设备外壳应与屋面避雷带或接地预留端子就近连通，室外避雷引下线应直接接到机楼地网。浪涌保护器智能化系统GB50314GB50348GB50116GB50464GB50174—2017的要求执行。（群控系统智能化系统应具备显示、记录、控制、报警、提示及趋势和能耗分析功能。非水液冷系统组网管理应符合下列规定：CDU可接受非水液冷设备管理，采用SNMP通信。CDU可选择兼容动环管理。支持modbus万能主从协议，同时至少支撑2种以上协议。CDU内部的泄漏及健康管理由CDU自行管理。CDU可自行管理，做好接口参数定义，通过开放协议上报数据中心。9（含散a)非水液冷散热系统供电系统监控供电系统各设备的运行状态，包含电压、电流、能耗、电能质量等实时信息。电子信息设备监控电子信息设备主要部件的运行状态，包含温度、负载率、功耗等实时信息。线缆系统走线架要求数据中心线缆布放宜采用上走线方式。走线架及各类金属构件必须接地，各段走线架之间必须采用电气连接。走线架位置应与管路错开布局。电缆布放要求4的规定：表4 走线架间距机柜容量kVA铜缆与电力电缆的敷设关系铜缆与配电母线槽的敷设关系最小间距mm≤5铜缆与电力电缆平行敷设—300有一方在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆与配电母线槽平行敷设150双方各自在金属线槽或铜管中敷设，或使用屏蔽铜缆铜缆在金属线槽或钢管中敷设，或使用屏蔽铜缆。80>5铜缆与电力电缆平行敷设—600有一方在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆与配电母线槽平行敷设300双方各自在金属线槽或钢管中敷设，或使用屏蔽铜缆铜缆在金属线槽或钢管中敷设，或使用屏蔽铜缆。1501011附 录 A（规范性附录）非水冷板式间接液冷数据中心各级技术要求非水冷板式间接液冷数据中心各级技术要求应符合表A.1的相关规定。表A.1 非水冷板式间接液冷数据中心各级技术要求项目技术要求备注A级B级C级空气调节主机房设置空气调节系统可不间断电源系统电池室设置空调降温系统宜可主机房保持正压应可一次冷却环路管网双供双回，环形布置单一路径循环泵、冷却设备、CDU、ManifoldN+X冗余（X=1～N）N+1冗余采用不间断电源系统供电的设备控制系统、循环泵控制系统不间断电源系统电池最小备用时间15min7min注/排液系统宜可二次冷却环路管网双供双回，环形布置单一路径循环泵、冷却设备N+X冗余（X=1～N）N+1冗余N采用不间断电源系统供电的设备控制系统、循环泵，风机控制系统-不间断电源系统电池最小备用时间15min7min根据实际需要确定蓄冷装置供冷时间不应小于不间断电源设备的供电时间-12附 录 B（资料性附录）非水液冷散热系统结构及原理非水液冷散热系统结构非水液冷子系统由一次冷却环路和二次冷却环路组成。一次冷却环路CDU与机柜连接的中间管路，该冷却环路主要由非水液冷设备、冷量分配单元CDU（靠近电子信息设备部分）、非水循环管路构成。该冷却环路主要用于连接非水液冷设备和冷量分配单元CDU，冷量分配单元CDU内含泵和热交换器，为非水工质提供循环动力，经由一次冷却环路向非水液冷设备输液冷分配单元CDU除了提供非水工质循环动力和散热功能外，还应具备如下功能及要求：通过温度控制，避免一次冷却环路的管路凝露；支持网络管理。网络管理协议SNMP或者RS485modbus；CDU切换至稳定运行时间不应大于30s。二次冷却环路（CDU系统原理图和非水液冷散热系统部署示意图见图B.1、B.2和B.3。图B.1 非水液冷子系统原理图13图B.2 CDU系统原理图图B.3 非水液冷散热系统部署示意图14附 录 C（资料性附录）非水液冷散热系统典型应用案例C.1 典型案例2323W16.5，散热设备总散热量CDU散热能力30kWCDU1+11+1备份、冷却水泵1+1备份一次冷却环路的管路采用环状管网设计，支持CDU和单机柜的维护。同时，支持机柜manifold的在线维护。22℃，液冷系统PUE约为1.24图C.1 非水液冷系统室内通风散热系统和液冷设备部分15图C.2 非水液冷散热系统一次冷却管网图C.3 非水液冷系统室外干冷器和冷却水泵16附 录 D（资料性附录）非水冷却工质的选择与使用要求非水冷却工质要求非水冷却工质宜满足以下规定应有良好的绝缘性能,可有效预防冷却工质泄漏后的短路风险；应有良好的载冷能力，密度和比热的乘积应很高；（包括金属和非金属应有良好的环保特性，低GWP和低ODP，满足当地环保法规；应有良好的低粘度性能，在工作温度10~45℃范围内，粘度<1mPa*s，且无闪点，不可燃，挥发性1；冷却工质应低毒；应选择不可燃材料作为冷却工质。非水冷却工质物性参数非水冷却工质物性参数可参考表D1，表中各项数据仅供参考。表D.1 非水工质物性物性参数数值备注密度>1.5kg/L此物性仅供参考，实际应用时会综合考虑各项指标比热容>900J/kg*K常压沸点>100℃此物性仅供参考，实际应用时会综合考虑各项指标凝固点<-40℃电阻率>3.3Mohmcm绝缘强度2121V，3mmgapGWP推荐采用低GWP工质，可参考当地法规要求推荐＜150ODP0注：该表冷却工质在水25℃下的物性17非水工质的贮藏与使用非水工质的贮藏与使用应符合以下规定：非水工质的贮藏与使用应遵循对应的化学品安全说明书MSDS的指导；非水工质质量指标应取样定期检测，非水工质首次注入系统，系统完成调试后应在3个月内进行首次检测，在用非水工质过程中至少每年取样检测1次。主要检测指标包括：外观、运动粘度、闪点、酸值、体积电阻率、含水量、固体颗粒物含量。非水工质的废弃与回收非水工质废弃与回收处理应符合以下规定：废弃非水工质的处理咨询非水工质生产厂商及当地的化学品废弃物处理企业。18附 录 E（资料性附录）非水液冷散热系统试压及冷却工质充注操作要求系统试压试压的目的旨在检验液冷一次冷却环路不同部件连接后，其连接接口的严密性。前提条件已完成一次冷却环路的安装连接，包括：CDU，管路，Manifold，液冷单板，以及相互之间的管路及接头对接。已完成液冷系统的分段试压：CDU，一次冷却环路的管路，Manifold。操作准备工具准备：空压机（或带减压阀的氮气瓶），数显压力表，打压管及接头。操作步骤试压前检查检查液冷一次冷却环路管路已安装到位，并且相互之间已连接完毕；检查一次冷却环路管路内部所有球阀均已处于打开状态；检查CDU、Manifold、一次冷却环路管路上的排气阀螺帽均已拧紧。试压通过管路两端U（或洁净的压缩空气待压力表读数显示为0.6Mpa关闭气源。压力稳定后，保压60min，并观察压力表读数。压降