2023浸没式液冷整机柜技术规范

浸没式液冷整机柜技术规范-2023I-2023I目录一、总则 1二、术语 1三、技术要求 2（一）环境条件 2（二）冷却循环子系统 2性能设计指标 2管路设计 2冷却液要求 3（三）液冷机柜系统 5液冷机柜概览 5机柜的总体尺寸及公差要求 6机柜布局 7机柜供电结构要求 8服务器的结构要求 10服务器在机柜中的定位和止位要求 12液冷机柜的液位要求 12液冷机柜的承重要求 13液冷机柜的进出液管路要求 13液冷机柜的气密性要求 14（四）节点子系统 14元器件选用 15散热设计 16机箱设计 16（五）供电子系统 17集中供电电源模块 17PowerShelf 18（六）管理子系统 19（七）运维子系统 22四、其它设计要求 23-2023I-2023IPAGEPAGE10一、总则5.0冷（单相）CDU方案。二、术语AOC：有源光缆Busbar：DCCDU:液冷分配单元Clip：取电夹子DAC:直接连接电缆PDU：电源分配单元Powershelf：电源框PSU:电源模块RMC：机柜管理单元RMMU：机柜SU:ScorpioRackUnit,天蝎UTank:浸没柜体三、技术要求本技术规范包括天蝎整机柜浸没式服务器的环境条件、冷却循环子系统、机柜子系统、节点子系统、供电子系统、管理子系统及运维子系统等七大部分的要求。（一）环境条件天蝎浸没式液冷整机柜服务器必须满足以下环境条件：1）工作温度：满足环境温度0~+50℃下正常工作2）贮存温度：-20℃～+70℃相对湿度：满足5~95相对湿度下正常工作海拔高度：小于1000米（海拔超出1000米时可考虑降额设计）（二）冷却循环子系统性能设计指标1)单柜总散热量：≥36kW2）二次侧溶液温度：支持最高供液温度≥40℃、进出液体温度差冷却液循环流量：≤200LPM流阻：≤20kPa（机柜内）过滤精度：≤100um管路设计一次CDU供液采用集中供液的方案，满足集中换热的同时，又可单独运维。二次侧供、回液管路与机柜之间采用法兰连接，管路上需设置手动阀门，确保机柜与一次侧管路之间可以拆卸维护。冷却液循环管路及接头应具有良好的密封性和兼容性，在系统使用寿命周期内不产生腐蚀、漏液等潜在风险。供回路采用双进双出的液冷管路设计机柜侧管路可采用高分子材料或无缝钢管等材质，并配备法兰（质与管路相同）1.5Mpa-5℃至80℃DN40，需设置手动阀门管道需经化学清洗和冷却液冲洗，无焊渣、防锈剂等各种杂质残留图1CUD集中供液冷却液要求冷却液应对人体无害，对环境友好，且具有良好的热力学性能及化学稳定性。a、冷却液应对人体的健康安全无危害。按照现行《GB30000和标签规范》系列国家标准及GHS“无需分类”的范畴，在吸入测试中的表现应归类为“实用无毒”物质;冷却MSDS，内容应符合国标《GB16483求，MSDS中应明确OEL、TWA、MAC、STEL、LC50等数值，并写明液体使用中的防护措施和紧急处理方法。b、冷却液应对陆地环境、大气环境、水生环境无危害。冷却液应不含环境保护标准和废弃排放及降解管控标准等国家政策标准中限制使用的物质;冷却液的ODP应为零，GWP应符合现行国家规范要求;应对水生环境无害，MSDS中应有TLM数值。c、冷却液应为惰性液体，不与强酸、强碱发生化学反应;在150℃以下应不易热分解。冷却液应具有较高的比热、导热系数、表面张力，较低的倾点、运动粘度冷却液不应影响信号的传输或者影响在容忍范围之内。d、所有浸没在冷却液中的物料、冷却液循环流经部位的物料、常用物料(金属、橡胶、塑料、陶瓷、硅等)，均应与冷却液长期兼容。天蝎浸没液冷服务器将采用工程液体氟化物,暂不考虑矿物油及各种合成油，基本特性要求如下：1)外观透明，无异臭、无毒性2)沸点≥110℃3)倾点<-40℃4）闪点＞200℃5)纯度≥99.5Wt非挥发性残留物≦10Wtppm；含水量≦50Wtppm酸度≦0.03mgKOH/g耐电压击穿初始≥20KV/2.5mm，饱和含水状态>10KV/2.5mm体积电阻率≥1×10^9Ω.cm（三）液冷机柜系统液冷机柜概览液冷机柜Tank各组成模块的介绍：图2液冷机柜Tank前透视图图3液冷机柜Tank后透视图表1液冷机柜Tank结构模块说明1Tank外部框架2Tank面板3上下盖密封锁4透明视窗5上盖把手6Tank上盖7上盖开启铰链8Tank内胆腔体9Tank移动把手10侧面板11滚轮地脚12进液孔（蓝色））13出液孔（红色）14传感器控制板出线孔15AC/DC出线孔16数据线缆进线孔17管理线缆进线孔18Powershelf19交换机20IT设备液冷机柜Tank由机架组件和内胆组件两部分组成，内胆采用不锈钢板/铝合金或其它金属焊接而成，应包括但不限于内胆腔体、供电铜排、服务器固定及支撑支架、流体通道&孔板、导向及止位结构等。机架组件应包括但不限于机架、上盖板、理线槽、侧门板组件、门锁、脚轮、支撑柱、紧固件等。机架组件可整体组焊而成，需考虑加强筋以保证盛液后不发生形变。上盖板通过合页或其它活动连接件与机柜内胆相连，可向上开启并固定在某一角度（≥90℃）。上盖板上应设有透明视窗便于观察机柜内设备的运行情况。机柜的总体尺寸及公差要求TanK52U机柜，Tank2500mm，850MM，1400mm(含滚轮)，详细数据参考如下表：表2机柜总体概述长度2500（±3mm）宽度850mm（±2mm）高度（含滚轮）1400mm（±2mm）1U高度46.5mm最小节点调节高度1SU图4机柜尺寸图机柜布局Tank机柜内部的常规布局如图五所示：右侧右侧23U为服务器2区域中间6U区域为Powershelf/交换机区域左侧23U为服务器1区域TankTank带上盖俯视图tank上盖开启俯视图tank上盖开启俯视图图5液冷机柜Tank内部布局图23U123U26UpowershelfPowershelfClipTank求进行灵活的调整。图6液冷机柜Tank内部尺寸机柜供电结构要求ClipBusbarpowershelfPowerclipBusbar54VDCBusBar供电Busbar模块在机柜中的位置tank上盖开启俯视图图7 铜排Busbar模寸T2镍处理。铜排具体尺寸如下：图8Busbar铜排剖面尺寸图Clip54VDCbusbarclipBusBarBusbar，贯穿整个机柜，2500mmBusBar供电铜排与机柜底部应预留一定的间隙（建议＞10mm）防止异物掉入导致短路风险。供电铜排先锁固在保护罩上，然后再固定在机柜Powerclip3PSU机柜内设有强电线槽和弱电线槽。强电线槽用于服务器电源线的布线，弱电线槽用于机柜内的网线布线。线槽分别位于机柜前后两侧。服务器的结构要求Tank52U：2440*536*920mm。1SU为920*536*44.5mm。图九右上角为服务器的理线空间：126*175mm，左上角为PDU图9液冷机柜剖面图图10液冷服务器尺寸图21英寸服务器节点安装。通用服务器若出线位置位于机箱底部，则需将电源及信号线缆从底部接出来，机柜设计需考虑在不改变通用服务器形态的前提下满足运维要求。服务器在机柜中的定位和止位要求止位PINpinpinpinpinpinpin止位PIN定位PIN定位孔止位槽导向孔导向PIN图11服务器定位图液冷机柜的液位要求Tank920mm，TankI/O1134mm1164mm30mm，40mm。图12液冷机柜液位液冷机柜的承重要求图13液冷机柜Tank滚轮地脚柜体系统需配置脚轮及固定底座或支架，方便移动及固定，机柜滚轮和地脚数量分别为8个，每个滚轮地脚的承重为≥600kg,满足带液满载服务器下的机柜承重要求（≥3800kg）。同时柜体设计需要能满足整机柜运输要求。液冷机柜的进出液管路要求图14液冷机柜Tank进出液口位置液冷机柜的进出液为两进两出的设计，蓝色为进液口，红色为出液口。管路接口的位置位于机柜的背面，具体位置参考图十四，阀门距离机柜背面距离为200mm。机柜系统应设计有排液口和补液口，同时还应设计专用的运维工装（比如排液装置、补液装置、运维天车等）。液冷机柜的气密性要求A、液冷机柜设计需要考虑气密性，包括上下盖密封胶圈，外接线缆（DAC/AOC/电源线等）需要设计密封圈。B、液冷机柜内部蒸汽压要求≤3KPC、液冷机柜上盖设计需要考虑排气阀门，避免内部压力过大（四）节点子系统浸没式液冷节点形态及硬件配置沿用风冷设计方案，但氟化液与某些材质可能不相容，故系统设计及元器件选用时需加以特殊评估。元器件选用避免使用以下材质:A、含锂、钠、钾、铷、铯、钫、铍、镁、钙、锶、钡、镭等金属物质的物料B、槽体密封垫片：饱和脂肪族烃、芳香族C、PCB:饱和脂肪族烃、芳香族、领苯二甲酸二辛酯（DOP）、聚乙烯氧化物、硅树脂D、PSU：饱和脂肪族烃、芳香族、领苯二甲酸二辛酯（DOP）、聚乙烯氧化物、硅树脂、脂肪族脂类E、橡胶：氟橡胶、聚氨酯、软质PVCF、塑料：聚氯代三氟乙烯、聚碳酸酯、聚四氟乙烯、软质PVC常见服务器元器件中以下物料需重点进行兼容性评估a、标签：胶水、沾合剂和油墨可溶解，可考虑使用丙烯酸蚀刻标签b、电容：EPDM密封会与溶液反应，EPDM膨胀圈膨胀，造成端子导线弯曲，禁用含EPDM电容c、连接器、插座或密封剂：与溶液不兼容会导致压降、接触不良等，需采用兼容材质物料d、CMOS电池：需采用兼容材质的电池e、电源继电器：需采用密封或兼容继电器f、热熔胶：替换为兼容材质的热熔胶g、线缆：禁用增塑剂、及含氯、硫等物质的护套h、导热膏：建议采用铟箔或移除导热膏i、硬盘：禁用非密封机械盘，建议为密封氦气盘或SSDj、光模块：光模块密封或采用与冷却液兼容的电口模块服务器系统内各零部件要满足浸没式液冷材料的兼容性要求，同时系统内的高速链路设计要满足浸没式液冷的设计要求。散热设计A、基于液冷流动特性，应设计并优化低流阻、高性能的散热器B、取消风扇的使用C、不耐温元器件尽量布局在冷却液流体上游，避免线缆阻挡液体流动，优化流场和温度场，避免局部热点D、前后窗在保证强度的前提下尽量开大尺寸圆孔3．机箱设计A、机箱需评估垂直安装情况下的结构强度，需确保在运输及工作状态下无变形或其它异常情况B、机箱前部需具有手柄及安装支持结构件，便于与机柜锁固及插拔节点C、机箱应具有导向及定、止位结构，止位结构需具有一定的强度，防止节点在插拔过程中出现变形的异常情况D、机箱内多余空间处需设计有填充物，填充物E、机箱供电连接器处需贴绝缘垫片，防止节点在插拔过程中受力过大导致机箱与供电铜排直接接触。F1SU可根据不同的环境弹性部署，自由切换。（五）供电子系统天蝎浸没式液冷整机柜服务器支持集中式供电方案和分布式PDU供电方案。集中式供电方案：由电源框和电源模块（PSU）12电源模块并联输出，电源框输出采用barclippowerclip48V-12V12V，为主板供电。PDUN+N，TankPDUPDU电源框、电源模块、二级电源板、服务器各板中的电源元器件及供电线缆均需遵循2.4.1中的选用要求。1．集中供电电源模块浸没式集中供电电源模块关键性能参数和规格如下：48V，54.5V，3300Wmax支持双输入供电，AC+AC、AC+DC、DC+DC，且支持切换交流输入范围：180Vac~264Vac，直流输入范围：190Vdc~300Vdc5）供电效率：>96，半载；>95，满载支持输入分时启动/切换功能无风扇设计2．PowerShelf135mm，660mm，920mm36kW配置：123300W+1RMC（电源框管理单元）所有连接器设计为前维护：A、3组共6个供电输入端子，支持AC+AC、AC+DC、DC+DC三种机房供电模式B、210socketfuse，5CRJ45CON1，BBURMMUDonlineoffline4）Handle图15集中供电电源Powershelfshelf48Vbarclip≥700A，峰值电流≥800A。图16供电电源Clip（六）管理子系统本章节所涉及内容仅限机柜级系统，不包括二次侧设备及机房动环系统。整体管理架构设计如下：图17液冷机柜管理架构图整体说明：硬件组成-RMC，RMMU，PSURMCCan-FDPSURMCRMMUPOWER ：RMMURST信号 ：RMMU复位信号PRS信号 ：RMMU单元在位信号STS信号 ：RMMU单元健康信号I2C_A ：RMCRMMUI2C_B ：RMCRMMU（备）RMMUPolling，RMCRMMUI2CslaveI2CRMMUA：红色温度传感器（8）：224Tank间，可根据实际测试需求进行调整。B：黄色液位传感器（2）：TankC：绿色流量传感器（2）：TankD：蓝色漏液传感器（2）：Tank18（七）运维子系统对冷却液体应该定期进行检验，确保各项指标符合要求（有机物含量），避免降低冷却效率及系统停机的风险。戴必要的个人防护装备，遵循冷却液化学品安全技术说明书中关于安全处置和个人防护装备的建议。收集和回收，禁止将其直接排放到环境中。具混用，液冷机房运维完成后工具