2022浸没式液冷数据中心运维车技术

浸没式液冷数据中心运维车IVIV浸没式液冷数据中心运维车白皮书前言互联网行业的飞速发展，带动了一批相关产业的兴起与增长，其中就包含了作为底层基石的数据中心；数据中心，是为集中放置的电子信息设备提供运行环境的建筑场所，一般采用风冷精密空调或水冷精密空调对电子信息设备进行散热，保证其正常运行。而近年来，人工智能等行业的快速进步与迭代，使4.4kw8kw25kw、30kw甚至更高。现有风冷精密空调/水冷精密空调系统的解决方案已达瓶颈，逐渐无法满足电子信息设备的解热需求，因此液冷数据中心应运而生。液冷数据中心对系统和运维的要求较风冷数据中心更高，同时考虑到液冷服务器重量更大、吊装高度更高等问题，需采用相应配套工具，才能做好整个液冷服务器的运维。因此我们结合自身工程经验，就浸没式液冷数据中心的运维解决方案进行了一定的介绍，比对了不同解决方案之间的优劣势，推荐运维车作为首选方案并进行了相应分析，提供一定建议，期望对于未来浸没式液冷数据中心的运维能提供一定的帮助。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系\hwangronghuan@。VV浸没式液冷数据中心运维车白皮书目录版权明 II编制明 III前言 IV引言 1目的范围 1编制据 1编制则 1术语释 1浸没液背介绍 2液冷据心 2浸没液数中心 4浸没液数中运维 6浸没液数中服器运工具 8TANK内航吊 8机房维吊 9运维车 10浸没液运车决案 12运维服对协同 13浸没液运车术案 14浸没液运车作境 14浸没液运车能 15浸没液运车动化 16浸没式液冷数据中心运维车白皮书浸没液运车署案 17浸没液数中运方案想 19PAGEPAGE10引言目的和范围本白皮书简单介绍了液冷数据中心背景、浸没式液冷服务器运维等相关内容；通过对比与分析，阐明了浸没式液冷服务器运维与风冷服务器运维的差异性，从而对浸没式液冷服务器运维解决方案及其部署规模提出了建议。本白皮书适用于浸没式液冷数据中心的服务器运维方案选择。编制依据本白皮书以国家相关法律、法规以及数据中心行业相关规范为基础，结合了浸没式液冷数据中心后期服务器运维实践案例编制而成。主要参考的规范标准有：1、GB50174《数据中心设计规范》2、GB50462《数据中心基础设施施工及验收规范》编制原则本白皮书按照实用性原则编制，结合浸没式液冷数据中心的整体特点，对浸没式液冷服务器的运维解决方案选择提出了一定的建议，便于相关从业人员对浸没式液冷服务器的运维。术语解释1、数据中心DataCenter；DC为集中放置的电子信息设备提供运行环境的建筑场所，可以是一栋或几栋建筑2、浸没式液冷ImmersionLiquidCooling；ILC浸没式液冷是通过将电子信息设备浸入冷却液（非导电液体，如硅油、矿物油、氟化液等）中，由冷却液带走电子信息设备产生热量的一种散热形式。3、单相浸没式液冷技术Single-PhaseImmersionLiquidCoolingTechnology为解决数据中心电子信息设备内部元件高发热量问题，把发热电子元器件完全浸没于单相、绝缘冷却液中（冷却过程中冷却液不发生物理状态的改变），利用冷却液的良好热力学显热传热性能，对高热流密度的发热电子元器件进行散热的技术模式。4、冷却液Coolant用于冷却电子信息设备元件的液态工作介质。5、液冷机柜TANK承载数据中心电子信息设备和冷却液，实现电子信息设备冷却的容器。6、冷量分配单元CoolantDistributionUnit；CDU驱动一次冷却环路冷却液工质循环，将设备的热量通过CDU内置的热交换器传到冷却水环路，同时具备温度、流量、压力等控制的单元。7、浸没式液冷服务器LiquidCoolingServer浸没于冷却液中，通过冷热交换带走产生热量的一种服务器。8、浸没式液冷运维车TheOperationandmaintenancevehicleofImmersionCooling用于浸没式液冷服务器上架、下架、更换部件等操作的运维工具。9、浸没式液冷运维航吊ImmersionLiquidCoolingOperationandMaintenanceHanger用于浸没式液冷服务器上架、下架、更换部件等操作的吊架。浸没式液冷背景介绍液冷数据中心互联网行业的飞速发展，带动了数据中心产业的进步。在数据中心运行过程中，能耗是相关从业工作者最为关注的点之一，行业内通常采用功率密度来衡量单位模块数据中心的能耗大小，目前普遍接受程度最高的数据中心功率密度指标为单机架功率（单位：kW/机架）。传统数据中心由于单机架功率并不高，因此一般采用风冷精密空调或水冷精密空调作为电子信息设备的制冷系统便可满足其解热需求；而AI4.4kW/8kW/机架、25kW/机架、kW/UptimeInstitute2020统计，20112.4kW/机架,20175.620208.4kW/机架，功率的提升对数据中心解热系统提出了新的挑战。传统数据中心采用风冷精密空调或水冷精密空调对服务器进行解热，既先将空带走设备发热量,电子信息设备的发热量与空气物性参数之间的关系如下表达式所示：Q=ρCV△t式中，Q：电子信息设备的发热量，ρ空气的密度，C空气的比热容，V流量，△t空气的送回风温差。由此可知该系统的制冷效果受到冷却介质本身物理性质及送风量、送回风温差影响，标准大气压下空气的物性参数如表1所示：表1大气压力101325Pa下干空气的物性参数tρCpλ*102a*106μ*106℃”kg/m3kJ/（kg*K）W/(m*K)m2/sKg/(m*s)101.2471.0052.5120.017.6201.2051.0052.5921.418.1301.1651.0052.6722.918.6401.1281.0052.7624.319.11送风量也不能无限增大，否则会导致IT设备部件震动从而造成设备的损坏。以空气作为冷却介质的精密空调上限逐渐显露，因此业界开始探索采用液体替代空气作为冷却介质对电子信息设备进行解热，只需要找到密度和比热容较大且与电子信息设备兼容性较高的液体，辅以合适的解热方案，便可提升系统的解热功率密度：液冷技术应运而生。一般的液冷系统可以分为三种：冷板液冷、喷淋式液冷和浸没式液冷；冷板液冷方案中冷却液采用去离子水，且不与电子信息化设备进行直接接触，而喷淋式液冷与浸没式液冷方案中，冷却液通常采用非导电液体，与电子信息化设备进行直接接触换热。a)冷板液冷b)喷淋式液冷c)浸没式液冷图1液冷系统的3种不同形式备注：图片来源于互联网文主要讨论浸没式液冷数据中心相关运维场景及运维解决方案。浸没式液冷数据中心浸没式液冷是通过将电子信息设备浸入冷却液（非导电液体，如硅油、矿物油、氟化液等）中，由冷却液带走电子信息设备产生热量的一种散热形式。在换热过程中，靠冷却液相变潜热交换带走热量的形式称为两相浸没式液冷，靠冷却液显热交换带走热量的形式称为单相浸没式液冷。本文所述浸没式液冷均为单相浸没式液冷。浸没式液冷系统内部可分为冷却液换热循环与冷却水换热循环。冷却液在液冷TANKCDUCDU2图2液冷系统原理图浸没式液冷的主要设备为液冷服务器、TANK、CDU、冷却塔，如图3所示：a)浸没式液冷设备：TANK+CDU+液冷服务器b)浸没式液冷设备-TANKc)浸没式液冷设备-CDU图3浸没式液冷主要设备TANK：承载数据中心电子信息设备和冷却液，实现电子信息设备冷却的容器。冷却液输入/2NTANKTANK冷量分配单元（CoolantDistributionUnit，CDU）：驱动一次冷却环路冷却液工质循环，将设备的热量通过CDU内置的热交换器传导冷却水环路，同时具备温度、流量、压力等控制的单元。一般来说，CDU内部包含磁力泵、换热器、压力传感器、温度传感器、电导率传感器等元件。运行过程中，需保证TANK、CDU、液冷服务器的良好耦合以确保液冷服务器的安全、高效运行。浸没式液冷数据中心运维3TANK、CDUTANKCDU主要针对液冷服务器。常规风冷机柜及服务器设备机柜如图4所示，由于风冷机柜采用侧开门的模式，打开柜门后即可对服务器进行上架交付、下架维护等操作，操作难度较低。图4风冷机柜与风冷服务器上架方式与风冷机柜不同，液冷机柜为便于存储浸没式冷却液，柜门开口一般朝上。因此服务器上、下架需从上部进行取出和放入，如图5所示： 服务器上架 b)服务器下图5浸没式液冷服务器上、下架操作因此，总体来说，完成服务器上架交付、下架维护等操作，需满足以下条件：将服务器吊装入TANK（从TANK）TANK需要一个运输工具辅助完成液冷服务器的运输；若需要对液冷服务器内的硬盘等设备进行更换等运维操作，至少需要一个运维平台以便操作。50kg，100kg作时无法人工完成上述（吊装、运输、运维）维工具进行辅助，完成整体运维工作。浸没式液冷数据中心服务器运维工具服务器运维，一般包含交付上架、故障检测、下架维护等操作，本文中所讨论的运维仅包含交付上架、下架维护；在浸没式液冷数据中心的运维过程中，由于第二章所述服务器的放置方式及服务器的重量问题，运维人员需借助一定的工具才能完成服务器的交付上架、下架维护的运维操作，目前采用的运维工具一般分为如下几种：1、TANK内置航吊；2、机房运维航吊；3、运维车；每种解决方案都具有自身的优缺点，需要根据使用场景进行合理选择。TANKTANKTANK6图6TANK内置航吊使用场景示意图优点：TANKTANK的全密闭空间进行，减少了冷却液的挥发，更加节能环保；缺点：不能提供运维平台，需在液冷机房内单独提供一个液冷服务器运维平台；TANKTANK在机房内对服务器运输需要重新配置运输设备；机房运维航吊根据液冷机房室内布局，在建筑承重墙、承重柱、承重梁、天花板处进行机房运维航吊的安装，机房运维航吊安装后，通过控制航吊装置运行，从而对液冷数据中心中的服务器完成搬运、上架、下架等操作。KBK，KBK上可实现水平x、yzKBKKBK7图7传统KBK轨道系统备注：图片来源于互联网KBKTANKTANKKBK8图8运维航吊使用场景示意图优点：运维航吊架设于建筑墙、梁、柱及天花板上，不占用任何地面空间，无需对地面运维空间进行提前规划；缺点：不能提供运维平台，需在液冷机房内单独提供一个液冷服务器运维平台；运维吊架敷设需覆盖整个液冷机房，造价成本相对会较高；需要提前对上走线桥架及管路进行排布，对建筑相关结构部件承重提出一定的要求，保证运维航吊能完成安装；运维车运维车作为一种运维工具，可以为浸没式液冷数据中心提供优质的服务器运维运维车、AGVAGV导航等不同的方式。在液冷运维过程中，先将液冷运维车遥控至TANK旁，即可开始上下架操作，如图9所示：图9运维车使用场景示意图优点：运维车覆盖面积较广，考虑到液冷服务器运维频率较低，因此单台运维车可覆盖一定面积的液冷服务器，成本造价较低；运维车除对服务器运维工作外，还可以拓展到液冷机房巡检业务；运维车搬运服务器操作安全性较高，且就近提供运维平台，方便液冷服务器的运维；缺点：行驶地面需确保无大角度坡面或门槛；总结上述优缺点，如下表所示：方案TANK内置航吊机房运维航吊运维车便利性可实现全自动运行，无需手动操作，需配合机房内搬运设备对上架（下架）服务器进行搬运可实现全自动运行，无需手动操作，可在机房内有限空间进行运输；可实现全自动运行，无需手动操作，集成上下架运维及运输于一体，因此更具便利性；经济性部署成本较高，且部TANK部署规模会影响，当TANK必须对该运维设施进行扩建或新建部署成本较高，且部TANK部署规模会影响，当TANK必须对该运维设施进行扩建或新建成本较低，当液冷TANK集群增加，若不超出运维车运维能力，不必新增设备空间性对TANK上方竖直方向空间有要求；对机房整体竖直方向空间有要求；对机房整体水平方向空间及TANK上方竖直方向空间有要求；使用频率使用频率不可设计，设备老化较严重使用频率不可设计，设备老化较严重使用频率可设计，设备老化较轻综上所述，从便利性、经济性、空间性及使用频率上来说，运维车具有较大的优势，但运维车要求机房水平方向有足够的空间供其活动，因此在新建液冷数据中心的运维中，建议对机房的空间布置进行提前规划，并采用运维车的解决方案。浸没式液冷运维车解决方案3维，如下图所示为某种运维车外观的简单示意图：图10运维车示意图本章将基于运维车的部署及使用场景，做一定的功能需求及适配性介绍。运维车服务对象协同浸没式液冷运维车服务于浸没式液冷服务器，同时，浸没式液冷服务器在运行过程中大部分时刻都是被浸没于TANK进行协同才能方便使用。TANK浸没式液冷运维车在使用的过程中，与液冷TANK进行协同，需满足以下条件：TANKTANK浸没式液冷运维车需要完成上架及下架操作，则浸没式液冷运维车的起吊TANK200mm，既：吊装最高高度≥TANKTANK液冷服务器协同浸没式液冷运维车在使用的过程中，与液冷服务器进行耦合，必须满足以下条件：浸没式液冷运维车需要能承担液冷服务器的重量要求，同时在设计中应该留有一定的余量，防止运维车因过载而造成服务器损伤；浸没式液冷运维车需满足服务器的尺寸大小要求；浸没式液冷运维车技术方案浸没式液冷运维车工作环境要求运维车设备的设计、制造、安装、试验和调试，必须满足如下要求：1、地面适应性要求1X1)：<6mm;坡度：<10%;台阶高度：<10mm;沟槽宽度：<25mm；2、环境适应性要求0~45℃下正常工作；满足5%~95%相对湿度下正常工作，无结露；1500米；大气压力：86kPa~106kPa;空气质量：无粉尘和腐蚀性气体;振动频率范围：5Hz~55Hz；浸没式液冷运维车功能1、吊装功能TANK进行竖直吊装，否则将会触碰到其他服务器导致损伤；2、方向性浸没式液冷运维车在通道中通行，采用全向运动的底盘形式，通过电动驱动实现平面上全向移动，具有水平两个方向和旋转三个运动自由度；浸没式液冷运维车可进行直接向左、向右运动，无转弯半径最优；3、安全性运维车应有驻车功能，在驻车状态下能防止小车进行运动；为保证运维车的安全性，建议采用铅酸电池，防止电池对机房安全造成威胁；运维车吊装过程应有自锁功能，防止服务器直接坠地造成的一定损失；运维车吊装挂钩应采用闭合式挂钩，防止在运维操作的过程中服务器因为晃动或震动导致的滑落；具有吊装过载保护，能在吊装质量过载时对服务器进行保护；运维车旁边设置防撞护边，防止在行驶过程中与机房内设备发生碰撞造成设备或运维车损坏；4、容纳功能要求运维车具有一定的服务器容纳功能，考虑到液冷服务器故障率较低，因此运维频率也较低，要求运维车至少具有2台服务器的容纳空间，方便对服务器进行搬运；5、维修功能运维车需要具备服务器的维修功能，一般包含：能提供维修平台，方便对服务器进行硬盘等部件的更换；能为运维结束的服务器提供供配电接口，方便对服务器的运维结果进行核验；浸没式液冷运维车自动化根据液冷机房对于运维车的自动化程度要求不同，可将运维车分为以下几个类别：手动式运维车：运维车采用手推的方式进行运动，采用摇杆和滑轮结合的方式，通过手摇完成服务器的升降操作，成本较低，但自动化程度较低，安全性及功能性也较低；半手动式运维车：运维车采用手推的方式进行运动（可添加电动助力），吊装过程中加装电葫芦等电动吊装装置，成本、自动化程度及安全性相较于手动式运维车有所提高；电动运维车：运维车采用遥控的方式进行运动及服务器吊装操作，由于设备全部采用了电动遥控方式，因此成本、自动化程度及安全性都远高于手动式运维车和半手动式运维车；AGVAGV工作外，还可配合进行一些简单的无人巡检工作，AGV分为：二维码导航、电磁导航、激光导航等不同的导航方式。浸没式液冷运维车部署方案浸没式液冷运维车的部署需满服务器上下架、故障处理等需求，主要从以下几个方面进行考虑：服务器上架规模和交付时间要求上架（下架）一台服务器所需的时间长度（包含搬运）；液冷服务器在使用过程中的故障率；液冷服务器在使用过程中进行搬迁的频率；运维车备用设备配比及运维车的故障率；根据以上几方面的综合考虑结合自身数据中心的液冷TANK及液冷服务器的部署规模，即可确定浸没式液冷运维车的部署规模。41+1*10000KVA量。一层安装机电设备/11图11设备分布示意图服务器交付场景：假设：1、液冷最大PUE1.25，则IT可用功率16000KW，每层可安装服务器台数8000台。每层服务器按照2年上满，每季度集中交付，每层单次交付1000台；2、服务器在本楼层拆包，拆包区至服务器上架TANK平均距离60m，见下图示意。图12服务器运输示意图3、运维车每次运输两台服务器；运维车速度1m/s，每台服务器吊装时间1.5分钟，则平均每台服务器交付时间2.5分钟；48（422），则一台运维车每天交付服务器量为192台，1000台服务器需要5-6天完成交付；如果交付时间紧张，建议将服务器直接运输至安装位置，运维车只负责吊装，则一台一天能满足480台服务器安装需求。服务器维护交付场景：2CPU，1212，250部件DPPM单