单相浸没式冷却系统及其AI-Cooling

单相浸没式冷却系统及其AI-Cooling1单相浸没式冷却系统及其AI-Cooling1版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位I单相浸没式冷却系统及其AI-Cooling编写组单相浸没式冷却系统及其AI-Cooling数据中心作为5G、人工智能、云计算等新一代信息通信技术的重要载体，已经成为数字经济时代的底座，具有空前重要的战略地位。随着数据中心承载的服务量巨大，芯片的功率持续增长，AI与大数据时代的到来，数据中心传统的制冷方式和运营方式也面临着严峻的挑战。此外，数据中心涉及到的云客户业务种类也比较多，一旦出现故障，它的影响深度和广度就会非常大，无法满足数据中基于上述背景，阿里云首创的单相浸没式液冷系统架构,不仅有效解决了高密度散热问题，而且让数据中心的制冷系统和冷机群控系统化繁为简，提高了换热效率，节省了大量的运维成本，据中心整体可用性等级接近T4（相当于国标A级）。单相浸没式液冷数据中心系统的核心是将基础设施、监控系统及AI-Cooling进行高效整合与融合，利用AI算法结合智能化监控实现单相浸没式液冷数据中心按需供冷的优化控制和智能化的管理及预测，推动大型数据中心由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各单相浸没式冷却系统及其AI-Cooling I II III 1 1 1 12 12 12 13 16 16 19 20 22（一）干冷器控制逻辑（一次侧室外散热系统 22 22 24 25 27 27 29单相浸没式冷却系统及其AI-Cooling 30 30 31 31 32 33 33 33 33 35 37 38 39V单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统的核心是将基础设施散热能力和服务器设备、网络设备及其监控进行高效整合与融合，实现了IT与冷却设施及监控系统的一体化部署的可靠、节能、绿色普惠的整体化的数据中心解决方案，0.04～0.06；在实际运行过程中，ICT设备的负载处于波动状态，如何构建监控系统并利用AI算法实现按需供冷是本白皮书重点阐述的内容。单相浸没式冷却系统是指将IT设备浸没在不导电的冷却液中，冷却液在负载中吸热后返回CDU装置，由装置内液泵提升压力，通过板式换热器与一次侧制冷剂进行换热，降温后的冷却液通过管路再进入负载，如此循环，从而带走负载内热量，保证负载在一个良好的环境下工作。单相浸没式冷却系统架构相对较简单，去掉了冷机系统和复杂的群控系统，运行更加稳定及可靠。单相浸没式冷却系统可分为一次侧和二次侧。一次侧为冷凝器+泵驱冷却系统；二次侧为CDU+TANK单相浸没系统，循环介质为电子氟化液。DistributionUnite）、Tank（液冷机柜）、室外散热设备(干冷器或冷却塔)及监控系统。单相浸没式液冷系统简化之后，换热次数从传统的41单相浸没式冷却系统及其AI-Cooling次以后的换热减少到2次（液冷只有二次侧和一次侧换热），换热效率得到较大的提升，避免了过多的换热次数引起的热损失。2单相浸没式冷却系统及其AI-Cooling3单相浸没式冷却系统及其AI-Cooling在单相浸没式冷却系统中，CDU（CoolantDistributionUnit）主要用于为浸没液冷系统提供冷却液分配，并保证液体按照特定的路线流动，确保整个系统正常工作。CDU系统组成：主要包含板式换热系统（钎焊式板换）、液体循环系统（液体循环泵）、过滤系统、传感器（温度、压力及电导率传感器）、阀门及附件。液冷CDU与Tank部分，进行分组控制，每组之间相互独立。CDU系统中各机电单元及传感器信号上传至控制系统，实现对液冷系统的监测及控制。每1台IT主Tank宜配置2台CDU（可根据项目实际情况设计左右对称布置（CDU区分左式与右式），1+1冗余，可在线维护与更换。正常两套CDU均低速运行，当其中一套系统故障时，剩余系统满负荷运4单相浸没式冷却系统及其AI-Cooling5单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统的室外散热设备可以是冷却塔或干冷器，是通过室外空气冷却管道内循环水的机组。冷却塔分为开式和闭式，主要包含变频风机、循环水泵、喷淋系统、液位计、电导率计、电伴热及阀门等。干冷器主要配置包括冷却盘管、EC风机、循环水泵、湿膜、喷淋、阀门、液位计、电导率计、电伴热等。单相浸没式液冷控制系统的冷源部分以每组冷却水系统为单元设置控制系统，每组控制系统互相独立。每套冷却水系统设置一套CPU热备冗余的PLC，主备PLC分别安装在不同控制柜内，该柜设置于为该套冷源服务的液冷包间内。冷源部分每台干冷器或冷却塔及与其对应的冷却水泵设置一套I/O子站，如3+1系统设置4组I/O子站，子站共用一个控制柜，控制柜应设置于为该套冷源服务的屋面集装箱内。冷源环路主备传感器监测设置2套I/O子站，子站与该冷却水系统的干冷器和水泵控制的子站共用控制柜。6单相浸没式冷却系统及其AI-Cooling7单相浸没式冷却系统及其AI-Cooling8单相浸没式冷却系统及其AI-CoolingTank机柜是用于安装服务器/交换机的浸没式箱体，通过Tank内的冷却介质的循环直接对交换机进行散热。Tan内部主要包括液位探测器及温度传感器，监测Tank内冷却液的高度及顶部与底部冷却液的温差，保障服务器运行时温度与环境的稳定性。Tank的控制系统与其对应的冷却水控制部分完全独立。每组Tank设置主备单机PLC控制柜，用于该组CDU的分组控制。监控系统包括监视与控制系统，监视系统设置传感器检测控制功能所需的系统运行参数，控制系统对监视数据进行汇总、运算、下发指令，控制系统安全与节能运行，AI控制可动态调整设定值，实现系统进一步节能，同时实现故障预测、运维建议等。9单相浸没式冷却系统及其AI-Cooling监控系统服务于单相浸没式冷却系统，系统组成：硬件、软件，软件升单相浸没式冷却系统及其AI-Cooling适用范围：用于风冷架构的冷源群控系统和二次泵系统、液冷架构冷源PLC应具有先进的硬件及软件环境，满足安全性和先进性要求。PLC屏幕大小不应低于12寸，分辨率不应低于1024x768。触摸屏应具有声音报警功能，且发生故障时可自动唤醒屏幕；触摸屏图形显示内容应根据现场运维需求进行商定和部署。PLC应硬件坚固耐用，软件成熟安全；PLC应具有硬I/O模块输入电路应具备电磁隔离或光电隔离等抗干扰措施。I/O模块各通道应有工作状态的LED指示。在正常工作温度范围内，模拟量输入输出CPU停止运行、IO子站掉线等异常情况下，数字量输出DO、模拟量输出AO除液冷CDU电控一体柜的IO模块不需预留备用通道外，其他所有系统单相浸没式冷却系统及其AI-Cooling个）。CPU的程序和数据存储空间必须满足实际存储需求，并预留不少于40%的存储空间，另外冗余CPU需可扩充“即插即载”的扩展内存，用于程控制器的平均无故障工作时间(MTBF)需大于100,000小时。控制器应开放控制逻辑下发及其他高级控制接口（形式不限动\静态链接库、协议文），触摸屏应选用与项目控制系统所相同的通讯协议。有本地手动单点控制和自控操作功能，可以监控本系统设备数据和状态等，并有三级密码权限设PLC控制电源要求：除CDU电控一体柜柜内PLC不需设置冗余电源外，行双电源切换后供电；如PLC采用DC24V供电，则需在每路AC220V电源下接DC24V开关电源，再并行输入给电源冗余模块，最终通过电源冗余模(1)应采用硬冗余系列PLC，冗余系统应有两套配置完全相同的独立CPU单元（即冗余CPU模块、冗余通讯接口模块等，分别安装在独立的背板机架上）通过CPU上的冗余端口组成的热备网络进行通讯，保持着设备状态控制数据以及各种内部数据的同步传输，完成无扰切换；背板机架上的所有模块单相浸没式冷却系统及其AI-Cooling均支持在线热插拔。冗余CPU的背板机架需分别独立配置，不允许把两套(2)两套CPU单元可分别安装在两个不同的PLC控制柜内，两套CPU单元之间的同步通讯线的长度需满足两套CPU单元分开布置的要求，建议同步通讯线长度不小于5米，具体长度根据项目实际情况选择，在深化设计中需(3)CPU单元除去与IO子站之间环网所占用的网口外，至少还需具备2与上位系统进行通讯，通讯速率不低于10Mbps。需保证PLC的管理层网络(4)CPU单元与IO子站之间的通讯，应采用以太网环网通讯，通讯速率(6)在CPU断电的情况下，其内部的程序不会丢失，并且在复电后程序会按照断电前一刻的状态继续运行。建议CPU无电池设计。如CPU为有电池(8)CPU的供电电源模块需单独设置，供电电源要求双电单相浸没式冷却系统及其AI-Cooling(2)模拟量输入（AI）：变量测量值，如电压、电阻、电流、压力信号等；U/I/热电偶/热电阻，分辨率不低于15位，如是热电阻模块，需支持三(3)模拟量输出（AO）：用于控制末端设施，输出电压、电阻、电流、压力信号等。模拟量输出可越控（手动），BMS随时监视越控（手动）的状态；，U/I，输出电压信号：0-10V、2-10V，输出电流信号：0-20mA、4-(4)数字量输入（DI）：用于监测干接点，如继电器信号、开关信号、(5)数字量输出（DO）：控制二位式设施，如设备启动器、执行器、继），(6)虚拟点位：不需中央工作站或服务器参与，控制盘（SCP）可独立完建议将通讯模块安装在IO子站上，保证每个CPU单元均可与通讯模块建立通讯连接，在CPU单元进行主备切换或单一CPU单元故障时保证与下端单相浸没式冷却系统及其AI-Cooling(1)柜体尺寸宜设置为2000mm（高）*800mm（宽）*600mm（深）；建议(2)柜门宜设计为前开方式，门应开启灵活，不能存在卡阻现象；进线方式宜为下进线；防护等级应≥IP20，如控制柜放置室外，防护等级应≥条文说明：柜体尺寸、颜色及进线方式可供参考，需根据项目实际情况(1)柜体内需包含所需的控制模块、触摸屏、继电器等电子元器件、STS或冗余直流电源（双开关电源+电源冗余模块）、排风扇、照明等。强弱电(2)柜子正面安装控制模块等设备和接线端子等，需合理布置控制模块单相浸没式冷却系统及其AI-Cooling(1)控制柜可为安装在它们内部的设备起到一定程度的环境保护作用，即能防尘、防滴水、防腐、防潮、防结露、防昆虫及啮齿动物，能耐指定的高、低温度以及支承结构的振动;控制柜需具有文件放置功能，文件夹不小(2)需保证控制柜有良好的通风散热性能，带有温度检测仪，须有进气口、散热风扇、过滤网，过滤网安装位置要方便维护，散热风扇的安装方向和位置需考虑现场实际安装环境并充分考虑柜内气流组织，以确保设备正常(3)控制柜应支持至少100根的穿线孔，穿孔需隔离外界恶劣环境，强弱电进线孔应分开设置。当柜子完成就位安装及接线后，需将进线孔进行封(1)控制柜内需安装一个即开即亮的照明灯;柜内照明、风扇都需独立配置MCB，不可共用。每个柜体内需安装一个导轨式的五孔万能插座(有漏电保(3)控制柜需做好足够的防雷及防短路保护，任何回路短路，只影响本单相浸没式冷却系统及其AI-Cooling(4)控制柜接地应使用铜接地接线片和铜排。多根接地线不应当连至一个接线端子，每一个接地线应当有独立的接线端子。接地的导体规格大小应满足等电位要求。柜内应设有独立的信号地和安全地。PE、N排上均开有充足的模数孔满足电缆的连接，并保证开孔不进行双电源切换后，再下挂AC24V变压器进行转换，输出给控制器及其它主要用电设备。控制器I/O站如为DC24V供电，则需在每路AC220V电源下挂DC24V开关电源进行转换，再并行输入给电源冗余模块，再输出给控(2)控制柜的设计应符合点表、系统架构和功能要求，并且控制柜应至(3)所有控制设备均由设备供应商按照BA点表组装上盘试；柜内所有供电回路、电气元器件均通电测试，保证供电正确率100％。柜内所有控制卡件输入输出模块回路输出到接线端子，保证测试并开通正确(4)DC24V电源至PLC控制器、HMI、I/O模块、每个电动阀、每个传感器都需配置独立的MCB或保险丝端子或熔断器，不可共用。DC24V电源模块的输入、输出端均需配置MCB或熔断器保护。每个AI点位都须增设保险。单相浸没式冷却系统及其AI-Cooling(2)端子排应无损坏，固定应牢固，绝缘应良好。接线端子采用直插式(3)不同功能端子间应加装隔板，一排端子结束应加装固定板；接线端(4)所有端子接线单孔最多只能接1根导线；接线端子及其它线缆端接处均应可靠连接，不得虚接、松动或脱落；接头处的温度不得超过规定的范(6)控制柜内布线总体要求横平竖直，整齐美观、导线绝缘良好。柜内接线尽量短、直，切忌迂回绕弯；柜内的导线不应有接头，芯线应无损伤；(7)多股软线与端子连接时，应压接相应规格的终端附件。单股芯线不应因弯曲半径过小而损坏线芯及绝缘；单股芯线弯圈接线时，其弯线方向应单相浸没式冷却系统及其AI-Cooling应尽可能使它们按90度角交叉；信号线、供电线缆不允许串接（即手拉手(13)柜内设备供电及信号线线径采用0.根据开关容量确定。控制线缆进柜后为避免干扰需采取一定措施，控制线缆交流：A相（U）：黄；B相（V）：绿；C相（W）红；中性线（N）：淡）：其他控制线：黑色或白色，模拟量信号线与数字(15)线槽及其附件表面应经静电喷塑处理，其规格、型号应符合设计要求，并有合格证；线槽内外光滑平整、无棱刺、无扭曲、翘边等变形现象。线槽施工及布线按图纸进行，水平或垂直偏差不超过2‰；线槽弯头、过度处必须采用标准件，不得切割、焊接，线槽必须具有20%的额外空间用于备(1)选用工业级交换机，用于控制柜内使用，通过CE、UL等权威机构认单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统及其AI-Cooling单相浸没式液冷控制系统软件逻辑的组成：单相浸没式液冷软件逻辑分为一次侧和二次侧。一次侧为室外散热系统（干冷器/冷塔）控制逻辑、二次侧为CDU+Tank系统控制逻辑。系统配置时应考虑软件控制系统的冗余，PLC通过通讯接入干冷器相关运行数据，并可设置干冷器出水温度设定值。干冷器供冷单元包含：干冷器、冷却水泵、干冷器旁通调节阀、喷淋水泵等。每套干冷器供冷单元内的干冷器和冷却水泵连锁运行，开机时先开干单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统及其AI-Cooling(1)干冷器风机通过MODBUS-RTU通讯协议/硬接线进行控制，每台风机(3)BA系统的控制器通过MODBUS协议/硬接线输出转速信号，当风机收单相浸没式冷却系统及其AI-Cooling到启动信号时按照此转速信号运行，并可设置最低转速，当收到的转速信号(1)每套干冷器供冷单元的冷却水泵均根据系统总环路供回水管到压力传感器反馈值之差控制水泵的变频调节。总管压差设定值为：0.16~0.18MPa（可调），当压差高于设定上限持续20分钟（可调）以上时降低冷却水泵的频率，当低于温度设定范围下限持续20分钟（可调）以上时增加冷却水），单相浸没式冷却系统及其AI-Cooling(2)每台水泵需具备运行状态信号DI（无源干接点信号）、故障状态信号DI（无源干接点信号）、就地/远程状态信号DI（无源干接点信号）、远(3)根据下列三个条件确定是否开启干冷器喷淋（同时满足）：风机转单相浸没式冷却系统及其AI-Cooling(1)干冷器供冷单元防冻优先采用轮循方式防冻：当任何干冷器供冷单元管道或设备内液体温度低于3℃（可调）时，对应干冷器单元的冷却水泵开启，关闭一台正在运行的干冷器供冷单元。冬季防冻时，当每套干冷器冷(2)所有室外管道均缠绕电伴热带，电伴热带温度传感器粘贴在管道外壁上，当温度传感器温度低于2℃（可调）时，电伴热开启，电伴热带温度(3)冬季室外温度低于0度时可以人工遮挡干冷器部分进风面来防止冬单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统及其AI-Cooling单相浸没式冷却系统及其AI-Cooling循环泵变频控制依据：频率根据TANK内高低区温差PID控制氟化液循一次侧电动阀控制：板换二次侧水温度控制一次侧电动阀的开度。以板换二次侧水温度控制一次侧动阀的开度。正常工作时阀门最小开度设定为10%，当Tank内高区温度低于下限设定值（用户可设定）时将一次侧阀门在每个换热器冷却液侧的管道出口处安装电导率传感器，当电导率超过单相浸没式冷却系统及其AI-CoolingCDU系统无故障时根据设置开启CDU过滤模式。过滤模式应设置为定时控制（时