智算中心液冷架构探讨

智算中心液冷架构探讨第133号白皮书能源管理研究中心RobertBungerVictorAvelar摘要摘要足够的热量，因此需要采用液冷进行冷却。这些为本白皮书评分★★★★★施耐德电气——能源管理研究中心第110号白皮书版本2表1用于人工智能训练和推理的服务器所使用的加速器和处理器具有很高的热设计功耗（TDP）1。考虑到散热器尺寸、服务器气流和能效等因素，通过风冷方式对这些芯片进行冷却变得越来越不切实际，因此不得不转而采用液冷进行冷却。液冷服务器具有诸多优势，包括能够提升加速器的可靠性和性能、提高能效、减少用水量和降低噪音。2AI服务器的液冷方式主要分为两类：冷板式液冷和浸没式液冷3。它们在本文我们将探讨的散热生态系统方面有些细微差异。对于在部署液冷服务器方面缺乏经验的数据中心运营商和IT经理，需要了解以下几个问题：•如何让冷水流入、热水流出？•什么是CDU？我是否需要CDU？•选择合适的液冷散热架构需要采取哪些步骤？液冷生态系统涉及三个要素（即服务器内部的热捕获、CDU类型和将热量排至室外环境的方法）。CDU是一种用于将IT流体回路与制冷系统其余部分隔离的系统，且必须具备五大功能（即温度控制、流量控制、压力控制、流体处理、热交换和隔离）。如表1所示，常见的液冷架构有六种，它们各有优缺点，以及适用的部署场景。散热方法CDU类型使用现有设施散热系统将热量排入IT机房的空气中使用机柜内安装式CDU使用落地式CDU将热量排至设施现有水系统使用机柜内安装式CDU使用落地式CDU构建专用的设施散热系统将热量排至独立的水系统使用机柜内安装式CDU使用落地式CDU冷却分配单元（CDU）是液冷架构中的重要组成部分。CDU用于将IT冷却液与制冷系统的其余部分隔离开来。图1为ASHRAE液冷架构的简化视图。图中显示的三个回路分别为技术冷却系统（TCS）、设施水系统（FWS）和冷却水系统FWS回路被称为一次回路，而TCS回路则被称为二次回路。以上简短的描述表明，在缺乏合理框架情况下，关于液冷架构的讨论将变得非常复杂。1有关该主题的更多信息，请参见第110号白皮书《人工智能带来的颠覆：数据中心设计的挑战及相关指南》。2有关液冷优势的更多信息，请参见第279号白皮书《采用液冷的五大原因》。3有关液冷方法的更多信息，请参见第265号白皮书《用于数据中心和边缘应用的液冷技术》。施耐德电气——能源管理研究中心第110号白皮书版本2和流程,第10页22冷机服务器311我们建议一种液冷架构从根本上应该通过以下三个要素进行描述：1.服务器内部的热捕获（不在本白皮书讨论范围之内）3.将热量排至室外环境的方法图1中标出了这三个要素，下文将对其进行简要介绍。1.服务器内部的热捕获利用液体从IT组件中捕获热量。这种液体可以是与元器件直接接触的绝缘液（通常是油），也可以是流经固定在发热元器件上冷板的制冷剂或水。虽然这是液冷架构的重要组成部分，但不在本白皮书讨论范围之内。如前所述，CDU是一种将IT流体回路（TCS）与制冷系统其余部分隔离的系统。CDU通常以单机柜形式存在，内部集成了所有部件。它们执行下文介绍的五大功能。在介绍CDU类型之前，了解这些功能非常重要。•温度控制—CDU精确控制TCS回路中的流体温度。TCS供液温度由IT供应商确定，通常取决于加速器和处理器的最高壳体温度，以及所使用的液冷解决方案。•流量控制—为了带走芯片所产生的热量，CDU必须能够通过机柜歧管（manifolds）、快接头和冷板为所支持的所有服务器和机柜供应足够的流量。浸没式液冷柜体也需要在服务器之间保持绝缘液的流动。•压力控制—CDU管理压力时需要考虑两个方面。首先是系统允许的最大压力，其次是提供所需流量的压差。TCS通常在正压下运行，但也有CDU可以通过吸施耐德电气——能源管理研究中心第110号白皮书版本2吮的方式（通常称为“负压”4）泵送流体，以消除TCS的漏液风险。这种功能通常被称为防漏系统（LPS）。•流体处理—与设施系统相比，TCS对流体的过滤和化学成分要求更为严格。对于水基TCS，丙二醇水溶液是一种常用的流体，用于防止微生物生长和保持水质。•热交换和隔离—将TCS中的热量传导出去是CDU的基本功能之一。此外，它还必须将TCS回路中的流体与制冷系统其余部分隔离开来5。CDU主要由泵、热交换器、过滤系统和用于执行这些功能的控制设备组成。在最终确定CDU（例如，控制器、过滤器类型等）时，会涉及到许多详细的属性。然而，在为设施选择合适的液冷架构时，并不需要确定所有这些属性。仅需通过确定CDU的关键属性，我们就可以简化这一过程。关键属性指的是，如果选择错误，这些属性会迫使您重新更改基本架构，从而浪费花在细节设计上的时间和精力。我们认为，CDU类型必须基于两个关键属性：•热交换类型（液体-空气、液体-液体等）•CDU的容量和外形尺寸（机柜内安装式、落地式）接下来我们将详细介绍每种属性。热交换类型液冷行业存在六种热交换类型：•液体-空气(L2A)—TCS流体回路热量被泵送到盘管（即散热器热量直接排入数据中•液体-液体(L2L)—TCS流体回路热量被排至设施水系统。•制冷剂-空气(R2A)—两相冷板式系统通过散热器将热量直接排入空气中。其工作原理类•制冷剂-液体(R2L)—两相冷板式系统将热量排至设施水系统。其工作原理类似于水冷冷•液体-制冷剂(L2R)—TCS流体回路将热量排至设施的氟泵系统。•制冷剂-制冷剂(R2R)—非典型类型。CDU的容量和外形尺寸泵的规格、热交换器尺寸和流体类型决定了CDU系统的总容量(kW)。CDU的容量范围广，具体取决于外形尺寸：4负压CDU的主要特点是防漏，但也具有简化TCS回路、机柜和服务器的连接和组件等优点，有助于降低总体成本。5DTC液冷式服务器对水温、流速和化学成分有着严格的要求。这意味着不能让设施系统（如冷机）中的水直接流经芯片的冷板。否则会腐蚀冷板内的金属微通道。施耐德电气——能源管理研究中心第110号白皮书版本2•机柜内安装式—CDU安装在机柜内，为单个机柜提供一个TCS回路，而且可以与服务器预集成。可以采用L2A或L2L热交换类型，其中CDU的容量分别为20-40kW和40-80kW。机柜内安装式制冷剂TCS回路的容量也在上述范围内。•落地式—CDU为多个机柜提供TCS回路。外形尺寸可能类似于IT机柜，也可能随着容量的增加而增大。这些CDU通常位于液冷IT机柜的附近或与之相邻，对于浸没式系统，可以集成到液槽中。落地式CDU可以采用L2A类型，功率可达约60kW。L2L型落地式CDU外形尺寸示例常见CDU类型在本白皮书中，我们重点讨论两种主要的热交换类型（L2A和L2L）。表2介绍了四种热交换类型CDU的容量和外形尺寸机柜内安装式（40-80kW）3.将热量排至室外环境的方法这是关于液冷架构描述的第三个要素，也是最后一个。一旦IT设备释放的热量被TCS回路捕获，问题就转化为，如何将这些热量传递到室外？答案就在图3所述的散热系统中。常见的方法有三种：•现有散热系统o通过液-气热交换，将TCS回路中的热量排出到IT机房的空气中（也称为“闭环式局部散热”）o通过液-液热交换，将TCS回路中的热量排到设施系统的水中（利用现•专用散热系统—为液冷方式设计新的独立散热系统。施耐德电气——能源管理研究中心第110号白皮书版本2表3和CDU类型。服务器内部室内热交换室外热传热流体传热流体传热流体空气空气水冷媒CRAC/CRAH空气空气水冷媒CRAC/CRAH绝缘液服务器绝缘液服务器空气水冷媒冷媒安装在IT安装在ITCDU与CRAC/CRAH元器件顶部或只有CDU或干冷器或冷却塔CRAC-机房精密空调CRAH-机房空气处理装置通过将最后两个架构要素（“CDU类型”和“将热量排至室外环境的方法”）组合，我们可以构建出业界常见的六种液冷架构。表3列出了这些组合。我们将在下一节介绍如何选择合适的液冷架构。散热方法CDU类型6在本节中，我们将从六种常见架构中选择最合适的架构，这个过程可以简化为两个步骤。•步骤1-选择散热方法•步骤2-选择CDU的容量和外形尺寸请注意，表3中“CDU类型”所列的热交换类型（如L2A）是由散热方法决定的。7而第二个CDU属性，即“CDU的容量和外形尺寸”，与散热决策无关。因此，您可以6R2A和R2L的决策过程与L2A和L2L相同，因此未列入表中。7例如，L2A热交换器的二次侧空气不能与设施水系统连接。施耐德电气——能源管理研究中心第110号白皮书版本2通过两个独立的步骤来确定合适的液冷架构。选择散热方法以及CDU的容量和外形尺寸取决于诸多因素，下面列出了其中的四个关键因素：•与现有制冷基础设施兼容性—现有制冷基础设施能否易于支持新的液冷服务器。•部署规模—液冷架构可支持的机柜数量。•部署速度—从设计、建造到首次运行，设施部门部署液冷架构所需的时间。•能效—整体液冷架构的相对效能。请注意，与等效的风冷式架构相比，所有液“将热量排出到IT机房您可能无法最大化所有这些因素，但可以根据您的工作重点在它们之间做出权衡。例如，与现有风冷式系统兼容性最好的液冷架构很难保证高效。这是因为与水相比，空气的热传递效率较低。以下章节通过详细描述每种架构的优点、缺点和适用的部署场景，来全面了解这些因素并做出明智选择。请注意，所有的散热系统图都以落地式CDU为例，但也可以替换为机柜内安装式CDU。现有散热系统—将热量排入IT机房的空气中液冷IT设备CDU通过这种架构，可以将TCS回路设计为IT机房内的独立系统。L2A型CDU可以采用机柜内安装式或落地式。在此架构中，现有风冷基础设施的一切保持不变（如图4所示）。这种架构也被称为闭环式局部散热。最后，IT液冷IT设备CDUCRAH风冷IT机柜CRAH风冷IT机柜风冷IT机柜!CRAH风冷IT机柜!CRAHCRAH-机房空气处理装置CDU-冷却分配单元优点•与大多数现有制冷基础设施兼容•无需对现有制冷基础设施进行改动•可预制，便于安装、标准化等•如果TCS回路出现问题，受影响的服务器/机柜较少施耐德电气——能源管理研究中心第110号白皮书版本2•与L2LCDU相比，由于存在更多的热交换和风扇，导致能效低•机柜内安装式和落地式L2ACDU会占用机柜或地板空间•大规模部署时成本较高•需要许多独立的回路来监测和保持水质•较难实现充分的并行可维护性或完全冗余性•小规模的基于水的TCS回路支持的散热时间较短，这意味着如果CDU风扇发生故障，与其他架构相比，制冷中断后回路中的水量无法提供足够冷量来支持负载。适用的部署场景•无法提供冷冻水或冷却水，或无法连接现有制冷基础设施时•风冷冷量充足，并且通过气流分析或计算流体动力学（CFD）验证机房能够承载高密度时•范围仅涉及单台服务器或数个机柜的小规模液冷服务器的部署时•部署速度是首要考虑因素时现有散热系统—将热量排入到设施水系统中在此架构中，TCS回路充分利用L2LCDU，形成一个独立的回路，并由冷冻水或冷却水回路供水。服务器的热量通过CDU的L2L热交换器从TCS回路输送至设施回路（如图5所示）。随后，热量被排出到室外或重新用于其他用途（例如，集中供热）。液冷服务器60%至90%的热量可以通过液体转移，具体取决于液冷组件的数量。剩余的热量通过风冷方式（例如，CRAC、CRAH8、冷门背板）进行散热。“将热量排入现有冷冻水回路”架构示意图CDU液冷IT机柜FWS(一次侧(一次侧)↓(二次侧)↓CRAH风冷IT机柜冷机CRAH-机房空气处理装置CDU-冷却分配单元8CRAC–机房精密空调，CRAH–机房空气处理装置施耐德电气——能源管理研究中心第110号白皮书版本2优点•利用现有散热系统，减少投资•与“将热量排入IT机房的空气”液-气架构相比，液冷的散热能力更高、能效更高、噪声更小（通过服务器的风速更低）。•对于改造项目而言，CDU可以重新利用之前由CRAH占用的空间•与L2ACDU相比，现场安装工作量更大，包括CDU与设施水系统的连接和TCS与机柜的管道连接等适用的部署场景•在配有冷机设备的数据中心部署中大规模液冷服务器时•当有水回路连接或“插接装置”时•当能效的优先级高于部署速度时（例如，L2A型CDU）专用散热系统—将热量排入到独立水系统中在此架构中，专门为液冷（通过L2LCDU实现）设计了专用的散热系统。这样就能以最高效的方式优化TCS和散热回路的温度和流量，而不受共用的风冷式散热系统的限制。图6提供了液冷和风冷专用散热系统的比较示例。为了实现液冷，采用带辅助功能压缩机的干冷器来提供较高的供水温度（40℃);而为了实现风冷，采用带自然冷却冷机来提供较低的冷冻水温度（20℃)。带压缩机辅助的冷却器TCSFWSTCS(一次侧)(一次侧)(二次侧)风冷IT机柜专用散热系统风冷IT机柜冷机冷机CRAH-机房空气处理装置CDU-冷却分配单元优点•由于增加了自然冷却的时长，因此能效更高（除最炎热的天气外，大多数情况下•可获得更高的回水温度，提供了重新用于空间供暖、工业加工用水预热等用途的可能性。•部署过程中不会影响现有制冷系统施耐德电气——能源管理研究中心第110号白皮书版本2•需要在设施层面设计额外管道系统•需要投资构建专用的散热系统•与其他架构相比，部署更耗时适用的部署场景•预计需要部署大规模液冷服务器时•高能效是首要考虑因素时机柜内安装式CDU专门服务于单个机柜，这意味着每个机柜都有独立的TCS回路。CDU通常安装在机柜底部，包括泵组、过滤和控制装置。热量通过风扇辅助后门热交换器(L2A)散热到数据中心的空气中，或者通过L2L热交换器排至到设施回路中。优点•可以在安装到数据中心之前与服务器进行预集成和测试。•将潜在故障模式限制在单个机柜内（例如，TCS泄漏或污染）•可以为每个机柜设置冗余（例如，1N泵与2N泵）。•适用于仅有少量液冷机柜的传统数据中心的简单解决方案•随着机柜数量的增加，每千瓦IT负载的成本高于落地式CDU•将最大机柜密度限制在约40kW（L2A)到80kW(L2L)•与大型落地式CDU相比，随着机柜数量的增加，总安装时间更长（即调试每个机柜上的CDU）•相较于单个较大的落地式CDU，随着机柜数量的增加，能效下降适用的部署场景•部署速度至关重要时（应用于数量较少的液冷机柜）•预计仅需要部署少量液冷机柜（1到10个机柜）时落地式此CDU为一排或多排机柜服务，这意味着它们共用一个TCS回路。CDU可以安装在一排机柜的末端，也可以安装在离AI集群较远的地方。热量通过风扇辅助热交换器（L2A）排至到数据中心的空气中，或通过L2L热交换器排至设施回路中。优点•与机柜内安装式CDU相比，大规模部署的每千瓦IT负载的成本更低施耐德电气——能源管理研究中心第110号白皮书版本2•在改造项目中，可以根据所替代CRAH的位置和容量选择CDU，以尽可能减少管道铺设工作•CDU不占用IT机柜空间•与机柜内安装式CDU相比，可以实现更高的机柜密度•与每个机柜都安装CDU相比，随着机柜数量的增加，安装时间可以大幅缩短•由于机柜内安装式CDU需要为每个机柜都配备循环泵，随着机柜数量的增加，落地式部署CDU效率也会提高•与机柜内安装式CDU相比，停电后的热容能力更强•集中在单个TCS回路中的所有机柜容易因为常见故障受影响（例如，TCS泄漏、•占用地面空间适用的部署场景•预计需要10个以上液冷机柜时•由单个CDU服务的所有机柜的工作负载（例如，AI训练集群）可以同时容忍常见故障（例如，流体中断）时•IT机柜中没有足够的垂直空间来部署机柜内安装式CDU时施耐德电气——能源管理研究中心第110号白皮书版本2越来越多的服务器需要液冷系统来支持人工智能工作负载。根据液冷服务器部署的规模，数据中心可以通过现有或专用散热系统进行冷却。本白皮书所讨论的术语、架构和选择时考虑的因素可帮助数据中心运营商初步了解液冷生态系统的构建。以下是我们针对数据中心运营商遇到的常见液冷问题提供的答案：•如何让冷水流入、热水流出？—涉及三个要素（即服务器内部的热捕获、CDU类型和将热量排出至室外的方法）。•什么是CDU？我是否需要CDU？—CDU是一种用于将IT流体回路与制冷系统