2024数据中心间接蒸发冷却解决方案

数据中心间接蒸发冷却解决方案目录前言 1术语 2数据中心制冷行业现状及挑战 3数据中心政策解读 3国家及行业标准解读 4数据中心传统制冷系统的现状及挑战 5传统制冷系统能耗大 5传统制冷系统部署周期长 5传统制冷系统复杂 5传统制冷系统运维费用高 5数据中心传统间接蒸发冷却系统的现状及挑战 6间接蒸发冷却系统需增强与建筑的匹配 6间接蒸发冷却系统需能满足在湿热地区的应用 6间接蒸发冷却系统需进一步简化运维 6间接蒸发冷却系统介绍 7系统原理及组成 7系统原理 7室外空气处理系统 8水处理系统 9安装场景及气流组织 10安装场景 10气流组织 10气候适应性 12间接蒸发冷却系统与传统冷冻水系统对比 13PUE和WUE对比 13分期部署能力对比 14部署周期对比 15颗粒度和可靠性对比 15TCO对比 15初始投资对比 15运行投资对比 16间接蒸发冷却技术应用及发展方向 18增强建筑物适配性 18延长湿热地区自然冷却时长 18增强寒冷地区应用可靠性 19简化运维 19空气处理系统归一化 20基于AI的新一代智能间接蒸发冷却解决方案 21用AI技术进行能效提升 21用AI技术进行故障预测 27间接蒸发冷却解决方案应用案例 28国内应用案例 28国外应用案例 30附录：全国部分城市的温度分布系数表 341.前言1.前言PAGEPAGE1PAGE2PAGE2白皮书收录于“DC计划”随着5G、云计算、数字化转型的快速发展，大数据中心成为新基建的热点。作为国家基础性战略资源，大数据中心成为国家竞争力的战略制高点之一，数据中心的建设规模和数量呈现快速增长。近年来，国家相关部委出台了关于绿色数据中心建设和建设布局的指导意见，北京市、上海市、广东省、深圳市等地方政府也出台了数据中心相关政策，对新建数据中心的PUE制定了详细的准入门槛和激励机制。数据中心能耗尤其是制冷系统能耗已成为业界普遍关注的焦点。提高制冷系统的能效，既响应国家节能减排的政策导向，也是降低数据中心运营费用的重要目标。数据中心传统冷冻水制冷系统存在能耗大、部署周期长、系统复杂、以及运维费用高等诸多挑战。间接蒸发冷却技术是充分利用自然冷源，降低数据中心制冷系统能耗的有效手段。同时间接蒸发冷却系统简单、安装适配性好、适用气候区域广泛；与传统冷冻水制冷系统相比，更省电省水，在分期部署、建设周期、可靠性、TCO方面更具优势，受到行业广泛的认可。同时，随着间接蒸发冷却技术的使用量快速增加，该技术又出现了新的发展趋势，比如空气处理系统归一化、用AI技术提升能效、以及用AI技术进行故障预测等。为了更好地推广间接蒸发冷却技术，特编写《》，谨为行业相关人士提供参考。术语数据中心datacenter为集中放置的电子信息设备运行提供运行环境的建筑场所，可以是一栋或几栋建筑物，也可以是一栋建筑物的一部分，包括主机房、辅助区、支持区和行政管理区等。间接蒸发冷却indirectevaporativecooling（下文简称IEC）间接蒸发冷却是指产出介质（空气或水）与工作介质（空气或水，工作介质发生直接蒸发冷却）间接接触，仅进行显热交换而不进行质交换，来获取冷风或冷水。间接蒸发冷却空气处理系统indirectevaporativeair-conditioningsystem一种采用间接蒸发冷却技术，工作介质为空气或水，产出介质为空气，提供空气循环、空气过滤、冷却、湿度控制和辅助冷源的空气调节机组。下文简称间接蒸发冷却系统。机械辅助制冷mechanicalauxiliarycooling机械辅助制冷是间接蒸发冷却系统无法完全采用自然冷却或间接蒸发冷却无法达到额定制冷量，而采用蒸汽压缩制冷方式补充制冷量的一种辅助制冷方式冗余redundancy重复配置系统的机组或部件，当部分机组或部件发生故障时，冗余配置的机组或部件介入并承担故障机组或部件的工作，由此延长系统的平均无故障间隔时间。电能利用效率（PUE）powerusageeffectiveness表征数据中心电能利用效率的参数，其数值为数据中心内所有用电设备消耗的总电能与所有电子信息设备消耗的总电能之比。水利用效率（WUE）waterusageeffectiveness表征数据中心水利用效率的参数，其数值为数据中心内所有用水设备消耗的总水量与所有电子信息设备消耗的总电能之比。人工智能（AI）artificialintelligence用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。PAGEPAGE11PAGE10PAGE10白皮书收录于“DC计划”数据中心制冷行业现状及挑战数据中心政策解读近年来，工业和信息化部、国家发展和改革委员会、国家机关事务管理局、国家能源局、国土资源部、国家电力监管委员会等部委相继出台了关于绿色数据中心建设和建设布局的指导意见，北京市、上海市、广东省、深圳市等地方政府也出台数据中心相关政策，对新建数据中心的PUE制定了详细的准入门槛和激励机制。在政策牵引下，新建数据中心必将更加重视节能，间接蒸发冷却解决方案等自然冷却方案将会得到更广泛的应用。表1国家和地方政府数据中心相关政策一览表适用区域发文名称发文时间发文机构主要内容全国《关于加强绿色数据中心建设的指导意见》2019年2月国家机关事务管理局、国家能源局2022年数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的电能使用效率值达到1.4以下，高能耗老旧设备基本淘汰。《关于数据中心建设布局的指导意见》2019年7月国家发展和改革委员会、国土资数据中心；1.5PUE降2.0的已建数据中心，在电力设施建设、供应及服务等方面给予重点支持。北京市《北京市新增产业的年版）》2018年9月北京市人民政府办公厅全市范围内，禁止新建和扩建互联网数据服务、信息处理和存储支持服务中的数据中心（PUE1.4数据中心除外）；中心城区（丰台区、石景山区）上海息基础设施建设三年行动计划（2018-2020）》2018年11月上海市经济和信息化委员会、上海市发展和改革委员会201812万个，存量改造数据中PUE1.4PUE1.3；2019-202014万、16万个，PUE要求不变。《上海市关于加强本市互联网数据中心统筹建设的指导意见》2019年1月上海市经济和信息化委员会、上海市发展和改革委员会20206万架以内；的功能性基础平台、全球数据港等枢纽型平台。适用区域发文名称发文时间发文机构主要内容1.选址布局：严禁在中环以内区域新建IDC，原则上选择在外环外符合配套条件的既有工业区内，并兼顾区域经济密度要求；《上海市互联网数据中心建设导则（2019版）》2019年6月上海市经济信息化委员会IDC专业运营商、IDC模数据中心运营经验；3000-5000个机架，平6kW，机架设计总功率不小于18000kW。PUE1.3；4.上海建设IDC关键指标要求：PUE（综合）第一年不高于1.4，第二年不高于1.3；5.WUE第一年不高于1.6，第二年不高于1.4。1.强化技术引导。PUE1.4以上的数据中心不享有支持；深圳《深圳市发展和改革委员会关于数据中心节能审查有关事项的通知》2019年4月深圳市发展和改革委员会2.PUE1.35-1.40（1.35）的数据中心，新增10%及以下的支持；对PUE1.30-1.35（1.30）的数据中心，可给予20PUE1.25-1.30（1.25）30%下的支持；PUE1.25的数据中心可享受新增能源40以上的支持。1.到2022年，PUE值不超过1.3；2.到2025年，PUE值不超过1.25；广东5G据中心总体布局规划（2021-2025年）》2020年6月广东省工业和信息化厅3.PUE≤1.25：优先支持新建和扩建；4.1.25＜PUE≤1.3：支持新建和扩建；5.1.3＜PUE≤1.5：严控改建，不支持新建、扩建；6.PUE＞1.5：禁止新建、扩建和改建。国家及行业标准解读IT18~27℃。《ASHRAETechnicalCommittee(TC)9.9200420~25201518~27℃。近年来，已有部分数据中心尝试进2732℃。数据中心内温度环境标准的放宽，为制冷系统的节能创造了条件，数据中心可考虑如何更多地使用自然冷源，减少机械制冷。间接蒸发冷却等在其他领域成熟的自然冷却方案开始进入数据中心制冷解决方案的舞台，且其应用区域范围越来越广。数据中心传统制冷系统的现状及挑战传统制冷系统能耗大随着数据中心规模不断加大，功率密度不断提高，数据中心已成为典型的耗能大户，以一个IT额定容量1MW，设计PUE为1.5的典型数据中心为例，从建设到投入运行10年的周期来看，电费占比高达总投资的60%以上，其中，制冷系统的能耗占总能耗的30%左右。因此，数据中心的制冷解决方案就很大程度上决定了其能耗上限，制冷系统节能已成为数据中心建设的首要诉求。传统制冷系统部署周期长数据中心的建设周期会影响到资金占用，业务快速上线，建设周期越短，收益越明显。一个采用冷冻水制冷系统的中等规模（IT额定容量1MW）数据中心，从建设到投入使用，一般需要10~12个月左右，实际考虑施工天气影响，可能会更长。在这个建设周期中，因制冷系统涉及安装、联调，其施工周期可能长达5~6个月。因此，数据中心面临制冷系统部署周期长的挑战。大型数据中心分期建设已常态化，其时间跨度可能会达到2~3年甚至更久，为了配合IT负载分期部署，需要制冷解决方案能方便快速的实现分期部署，每期的方案能快速复制，又能相互解耦。传统制冷系统复杂对照UptimeTier不同等级的要求，数据中心采用冷冻水方案实现TierⅣ可采用的方案为：N+RN+1。干管上的阀门、仪表等并无冗余备份，存在阀门失效，仪表失效、焊点泄露单点故障的可能性。连续制冷通过另外配置蓄冷罐实现。因此，数据中心面临制冷系统架构简化的挑战。传统制冷系统运维费用高运维是数据中心生命周期内重点关注的问题，以一个1500机柜、采用冷冻水制冷方案的数据中心为例，每个班次的运维人员需要3~4人，每天3个班次轮换，共需要运维人员9~12人，加上例行的机组、水泵、管路等检修，以10年运行周期计算，运维人工费用投入占数据中心总投入会达到10%左右，简化运维能减少运维成本。因此，如何简化运维工作、提升运维的智能化程度也是数据中心制冷系统面临的挑战。PAGEPAGE7PAGE6PAGE6白皮书收录于“DC计划”数据中心传统间接蒸发冷却系统的现状及挑战35%左右，充分利用自然冷源可进一步提高制冷系统的能效，减少制冷系统电耗。以中间接蒸发冷却系统也可利用水蒸发吸收空气中的热，给室外空气降温来冷却机房的空气，以满足机房的制冷需求。炎热天气情况下，间接蒸发冷却系统利用压缩机制冷系统来给数据中心散热，也解决了冷冻水制冷系统耗水大的问题。当然传统间接蒸发冷却系统在应用中也存在以下挑战。间接蒸发冷却系统需增强与建筑的匹配间接蒸发冷却系统在多层数据中心室内使用时，如何对建筑进行针对性的适配设计，如何考虑设备安装间、风管、维护通道、排风井的布置。需要结合机组的特征和建筑的经济性综合考虑。间接蒸发冷却系统需能满足在湿热地区的应用随着服务器耐温特性的提升，从节能角度考虑，为了更多的应用自然冷，机房温度将会越来越高，间接蒸发冷却机组适宜应用的分界线将会逐渐南移。后续随着机房送风温度提高，自然冷可应用时间会进一步增加。同时，间接蒸发冷却系统相比传统冷冻水制冷系统，更省水，故障域更小，更适合分期部署和扩容，间接蒸发冷却系统将会逐渐成为数据中心主流解决方案。但在湿热区域，存在部分时间段内环境干湿球温差较小，机组喷淋或喷雾冷却的效果有限，同时，喷淋还会产生额外的风阻，导致机组运行能效降低。如何延长间接蒸发冷却在湿热时间的应用，如何实现最优的运行，也是传统间接蒸发冷却系统面临的挑战。间接蒸发冷却系统需进一步简化运维间接蒸发冷却系统方案将自然冷却系统和直膨风冷系统集成在一个设备中，对后期运行维护耗材和维护相对传统冷间接蒸发冷却系统介绍系统原理整体式间接蒸发冷却系统在数据中心现场安装风管、水管及配电后即可投入使用，机组有三种运行模式，干模式：仅表2间接蒸发冷却系统的工作模式运行模式风机状态水泵状态压缩机状态干模式（风机）开启关闭关闭湿模式（风机+喷淋）开启开启关闭混合模式（风机+喷淋+压缩机制冷）开启开启开启干模式当室外环境低于一定温度时，机组采用干模式运行即可满足机房制冷需求，此时室内外侧风机运行。室外排风

室内回风室外新风室内送风图1间接蒸发冷却系统干模式运行状态示意图PAGEPAGE9PAGE8PAGE8白皮书收录于“DC计划”湿模式当室外环境温度高于湿模式启动温度时，机组采用湿模式运行，此时水泵启动运行。室外排风

室内回风室外新风室内送风图2间接蒸发冷却系统湿模式运行状态示意图混合模式当室外环境温度高于“湿模式+辅冷模式”启动温度时，机组采用混合模式运行，此时压缩机和水泵均开启。室外排风

室内回风室外新风室内送风图3间接蒸发冷却系统混合模式运行状态示意图室外空气处理系统间接蒸发冷却机组直接与室外空气接触，空气中的粉尘、杂质、柳絮等会在喷淋水作用下附着在芯体表面或沉积循环水箱内，影响水质，并对喷淋系统的可靠性造成影响。通过机组与建筑合理的布局，可以使室外空气在进入机组前，先进行转向、降速沉降，将空气中的大颗粒杂质先分离出来，不直接被机组吸入，从而避免堵塞过滤网。如下图布局所示，这种处理方式还可以很好地避免雨雪进入机组内。图4利用气流组织进行空气处理示意图建议在新风进口处配置不低于G3等级的过滤网，以彻底避免室外质量对机组的不利影响。建议进风表面设计风速应≤3m/s，以保证滤网能达到较好的过滤效果。在柳絮、杨絮飞飘季节，机组配置的过滤网很容易堵塞，人工清理存在工作量非常大，推荐配置全自动除絮装置，降低运维工作量。在非柳絮、杨絮飞飘季节，除絮装置自动收起或旁通，降低运行风阻，提升间接蒸发冷却系统能效比。水处理系统间接蒸发冷却机组在湿模式和混合模式运行时，喷淋水会直接接触换热芯体，在芯体表面蒸发，水中杂质会残留在芯一般来说，金属芯体对水的硬度和氯化物含量要求较高，需要采用反渗透水，高分子芯体防腐性能好，只对水的硬度有明确的要求，需要采用软化水。表3金属芯体与高分子芯体对水质的要求参数金属芯体水质要求非金属芯体水质要求过滤等级≥89μm≥89μmPH值5<PH值<85<PH值<8导电性<1300μS/cm<1300μS/cm总硬度<100mg/L<100mg/L总碱度<50mg/LCaCO3<200mg/LCaCO3氯化物<120mg/L<250mg/L二氧化硅<5mg/L<10mg/L有机质<3mg/L<3mg/L常用水处理系统基本处理流程如下：原水供水→粗效过滤→精密过滤→供水水箱→间接蒸发冷却机组→循环水供水→粗效过滤→精密过滤→紫外线杀菌装置→供水水箱PAGEPAGE11PAGE10PAGE10白皮书收录于“DC计划”间接蒸发冷却系统安装在机房外，通过架空地板或者弥漫式送风将冷风送至机房内，在机房内不需要额外配置末端设备，可使机房内有更多的空间布置机柜，提高机房安装出柜率。安装场景间接蒸发冷却机组应用之初主流场景为大平层或楼顶应用，随着间接蒸发冷却的应用逐渐推广，多层应用安装场景成为主流，目前应用占比大于60%。多层应用安装场景分为预制模块化数据中心、多层楼宇室内、多层楼宇室外三类。多层楼宇室内场景受建筑限制，对机组长、宽、高均有严格要求。表4间接蒸发冷却系统安装场景分类安装场景单层应用多层应用大平层楼顶预制模块化数据中心多层楼宇室内多层楼宇室外示意图特征大平层：机房同侧送回风，室外可直接向上排风楼顶：机房送回风不同侧，室外可直接向上排风全集装箱堆叠、全预制边沿排风井外钢架支撑排风井内循环回风管间接蒸发机房气流组织内循环回风管间接蒸发机房单层楼顶应用（（

图5间接蒸发冷却系统楼顶安装示意图单层机房侧面应用机房间接蒸发机房间接蒸发图6间接蒸发冷却系统室外侧面安装示意图多层机房侧面应用机房间接蒸发机房间接蒸发机房间接蒸发图7间接蒸发冷却系统多层机房侧面安装示意图PAGEPAGE13PAGE12PAGE12白皮书收录于“DC计划”间接蒸发冷却解决方案设计的核心思想在于更多的利用自然冷源，根据所使用地域的气象参数、空气质量等差异应用欧洲、南美、非洲等气温适宜的地域，都适合使用间接蒸发冷却机组。图8间接蒸发冷却技术应用地图（全球）哈尔滨乌鲁木齐长春沈阳哈尔滨乌鲁木齐长春沈阳呼和浩特北京石家庄天津西宁银川太原济南兰州西安 郑州南京拉萨成都武汉合肥上海杭州长沙南昌贵阳福州昆明南宁广州台北澳门香港海口热带气候温带气候干旱气候冰雪气候极地气候炎热/潮湿温暖/潮湿炎热/干燥寒冷/干燥极寒/干燥东南亚，中非，拉美北美国东部，中国中/南部，日本，西欧美国西部，中国西北，中东，澳洲西部美洲北部，加拿大、东北欧，俄罗斯冰岛，瑞典冷冻水、IEC冷冻水、IEC冷冻水、IECIECIEC具体评估可用推荐图9间接蒸发冷却技术应用地图（中国）具体评估可用推荐间接蒸发冷却系统与传统冷冻水系统对比间接蒸发冷却系统充分利用自然冷源，相比于传统冷冻水系统有明显的节电节水优势，特别是低负载下绝大多时间可以不用机械辅助制冷。下文针对夏热冬冷和夏热冬暖的两个地区的典型城市进行间接蒸发冷却系统和传统冷冻水系统的对pPUE指标和耗水量的WUE120001000个，单柜功率8kW/R0.75元/kWh8元/130%，逐年上升，510年总运行费用。间接蒸发冷却方案：n+1配置，50%机械辅助制冷；冷冻水方案：变频离心机，带自然冷却，供回水温度：20/27℃。具体数据见下表：6PUEWUE对比北京某数据中心单位冷冻水方案间接蒸发冷却方案机房负荷kW80008000PUE（供电及其他系统因子按0.1计算）/1.271.21WUE/1.840.937PUEWUE对比上海某数据中心单位冷冻水方案间接蒸发冷却方案机房负荷kW80008000PUE（供电及其他系统因子按0.1计算）/1.301.23WUE/1.870.898PUEWUE对比深圳某数据中心单位冷冻水方案间接蒸发冷却方案机房负荷kW80008000PUE（供电及其他系统因子按0.1计算）/1.321.25WUE/1.931.12PAGEPAGE15PAGE14PAGE14白皮书收录于“DC计划”冷冻水系统中水泵、水阀、仪表、管路、蓄冷罐及膨胀水箱的成本占整体系统投资约50%左右，现场施工的周期占整个制冷系统的60%以上。管路系统施工复杂，涉及到穿墙、焊接、保温、吊装等现场施工动作，对于分期投建的数据中心，通常在施工时会将整个制冷系统的管路一次性铺设完成。仅能实现主机、冷却塔及空调末端的分期布局，因此，冷冻水系统的分期建设通常是系统级的分期建设，无法真正满足分期部署所带来的节省初始投资，快速业务上线的特点。图10水冷冷冻水系统组成示意图整体式间接蒸发冷却系统内部集成机械辅助制冷，各台机组之间硬件独立。便于实现分期扩容，大大节省了客户初始投资，满足业务快速上线的诉求，实现了真正的分期部署。图11间接蒸发冷却系统分期部署示意图数据中心从最初的方案设计、图纸深化设计、器件采购生产、现场安装、调试到最后的验收交付使用，一般会耗时6~12个月，其中，制冷方案的施工、调试所占比重最大。以一个1500机柜的数据中心为例，采用传统冷冻水方案：冷水机组、冷却塔、末端、水泵、管路、蓄冷罐等部件从下单到货到现场、完成安装预计耗时4个月；各部件联调预计耗时1.5个月，总共耗时5.5个月。314个月，比传统冷冻水方案节约1.5个月。从建设周期来看，在大型数据中心采用间接蒸发冷却设备制冷方案，能大幅度缩短机房建设周期，有助于减少资金占用，保障业务快速上线。间接蒸发冷却系统以空气冷却和蒸发冷却为主，通过多台单独部署来满足数据中心散热需求，属于分布式冷源，颗粒颗粒度大，设备间关联度高，在出现故障时影响大、处理复杂，可靠性相对较低。初始投资对比数据中心的初始投资主要包含建筑建造费用、设备费用、安装调试费用几部分。其中建筑建造费用受制冷系统占地面积的影响，针对传统的冷冻水方案，冷水机组的制冷量体积密度高，占地较小，但由于整体方案由多个独立的设备组合而制冷量体积密度较小，占地较大，但其为整体式机组，可以集中布置，有利于建筑的整体布局优化，空间利用率高，且机房内无需布置末端，出柜率比冷冻水方案高。综合考虑，基于相同的机柜数，间接蒸发冷却设备解决方案的机房占地面积安装调试费用与系统组成的复杂度强相关，间接蒸发冷却设备为整体式机组，相比于由多个设备组成的传统冷冻水方案，在安装调试方面具有天然的优势，基于相同的机柜数，其安装调试费用低50%以上。综合设备费用考虑，由于蒸发冷却机组为新兴设备，设备本体集成度高，对设计、生产的要求较高，导致设备费用较15008kW/R10%~15%。PAGEPAGE17PAGE16PAGE16白皮书收录于“DC计划”运行投资对比数据中心的运行费用主要包括设备消耗的电费、水费、耗材费用、例行检修费用等，其中电费取决于数据中心运行PUE，例行检修费用取决于系统的复杂度。间接蒸发冷却设备全年大部分时间可以采用自然冷源，且经过设备冷却后的冷空气直接送入机房，而传统冷冻水系统，全年大部分时间采用压缩机制冷，少量时间采用自然冷却，且采用水作为载冷剂，在机房内通过末端中的冷水与空气换热，多一次传热损耗，在可用的相同地域、相同负载条件下，采用间接蒸发冷却解决方案相比传统冷冻水方案，其全年PUE0.1而间接蒸发冷却设备为整体式，更易实现协同寻优运行，降低能耗传统冷冻水解决方案系统复杂，所需巡检的设备、参数都数倍于间接蒸发冷却机组，在数据中心生命周期内，运维费用传统冷冻水方案会高于间接蒸发冷却方案。估算10年运行投资，间接蒸发冷却设备解决方案相对传统冷冻水方案低25%以上。120001000个，单柜功率密8kW/R0.75/kWh8/130%，逐年上升，510年总运行费用。间接蒸发冷却方案：n+1配置，50%机械辅助制冷；冷冻水方案：变频离心机，带自然冷却，供回水温：20/27℃。具体数据见下表：表9北京地区间接蒸发冷却系统和冷冻水系统的TCO对比北京某数据中心单位冷冻水方案间接蒸发冷却方案IT额定容量kW80008000建筑费用万元A0.63A制冷设备费用万元B0.9B安装费用万元C0.5C电费万元D0.61D水费万元E0.51E运维费用（含人工、备件等）万元F0.83FTCO（总成本10年）万元G0.71G10对比上海某数据中心单位冷冻水方案间接蒸发冷却方案IT额定容量kW80008000建筑费用万元A'0.63A'制冷设备费用万元B'0.9B'安装费用万元C'0.5C'电费万元D'0.67D'水费万元E'0.48E'运维费用（含人工、备件等）万元F'0.83F'TCO（总成本10年）万元G'0.78G'11对比深圳某数据中心单位冷冻水方案间接蒸发冷却方案IT额定容量kW80008000建筑费用万元A''0.63A''制冷设备费用万元B''0.9B''安装费用万元C''0.5C''电费万元D''0.68D''水费万元E''0.58E''运维费用（含人工、备件等）万元F''0.83F''TCO（总成本10年）万元G''0.77G''PAGEPAGE19PAGE18PAGE18白皮书收录于“DC计划”间接蒸发冷却技术应用及发展方向间接蒸发冷却机组应用之初主流场景为大平层或楼顶应用，但随着数据中心爆发式的增长，单层或两层的数据中心占地大的劣势会越来越明显，多层数据中心会成为主流；同时，机组室外布置会对日常运维带来诸多不便。对间接蒸发冷却机组而言，多层室内应用将会成为主流场景。间接蒸发冷却机组在多层数据中心室内使用时，需要建筑进行针对性的适配设计，设置单独的设备安装间，主要用于间接蒸发冷却机组、风管、维护通道、排风井的布置。结合机组的特征和建筑的经济性考虑，建议设备安装间的长度为7~9m（层数差异会影响排风井的尺寸）4.5m。不同楼层的机组室外排风通过排风竖井统一排放到建1~2在设计安装间内平移到对应的安装位置，因此，排放竖井需要设置在机组端部，不能设置在两台机组之间而导致机组无法平移，影响后续维护或扩容。从整体来看，单层建筑需包含机房、对应的配电间、及对应的管井、线井等，实现“一层一DC”，方便分期建设和后续按需扩容。随着服务器耐温特性的提升，从节能角度考虑，为了更多的应用自然冷，机房温度将会越来越高，间接蒸发冷却机组适宜应用的分界线将会逐渐南移。以广东省深圳、清远、惠州为例，全年气温25℃以下的时间有4500多小时，在机房25℃送风条件下，全年有一半以上的时间可以全部或部分应用自然冷。后续随着机房送风温度提高，自然冷可应用时间会进一步增加。同时，间接蒸发冷却机组相比传统冷冻水方案，更省水，故障域更小，更适合分期部署和扩容，间接蒸发冷却机组将会逐渐成为数据中心主流解决方案。干球温度35000深圳 清远 惠州图12深圳、清远、惠州的全年干球温度分布示意图湿球温度35000深圳 清远 惠州图13深圳、清远、惠州的全年湿球温度分布示意图但在湿热区域，存在部分时间段内环境干湿球温差较小，机组喷淋或喷雾冷却的效果有限，同时，喷淋还会产生额外的风阻，导致机组运行能效降低。在高湿时间段，需要间接蒸发冷却机组能自动根据气象参数判定喷淋的收益，实时调节喷淋的运行状态，实现最优的运行状态。间接蒸发冷却解决方案在寒冷地区的应用，需要考虑设备的冻结保护问题，保证制冷系统的连续稳定运行。冬季室外低温情况下，换热芯体表面温度低于0°C，一次侧空气遇冷析出的冷凝水会在芯体表面凝结成冰，严重时会造成换热芯体冻结堵塞，机组失去冷却功能。有效监控换热芯体的表面温度，实时调节一次侧和二次侧风量，同时有效控制一次侧空气湿度，是避免冻结问题的必要手段。为了实现快速部署，未来数据中心可能会由传统的土建式逐渐向预制模块化方案转变，将现场复杂的、繁琐的工序前移到工厂内预制，实现现场的快速交付，来应对新建大量数据中心的需求。传统的制冷系统，特别是大型数据中心的制冷方案，由于制冷设备数量种类多、管路复杂、难以整合成预制化模块。间接蒸发冷却系统方案将自然冷却系统和直膨风冷系统集成在一个模块化架构下，可配合预制模块化解决方案实现快速部署，较传统方案缩短交付周期接近50%。在运维方面，运维简化的间接蒸发冷却方案将更受欢迎。在设备本身，通过设备PAGEPAGE21PAGE20PAGE20白皮书收录于“DC计划”传统大型数据中心暖通整体解决方案除了制冷设备外，还需要额外配置加湿、除湿等功能。额外增加的这些设备不仅无统一协调，根据机房各不同区域检测到的参数差异，可能出现部分加湿设备和部分除湿设备同时运行的情况，影响机房PUE。根据间接蒸发冷却系统的气流组织构成特点，可将室外新风经过过滤后送入机房内，集成新风功能，保持机房换气需求和微正压。机组本体配置了压缩机补冷系统，通过对压缩机系统的运行状态精确控制，实现除湿功能。在春、夏、秋气温较高的季节，机组喷淋系统工作，可从喷淋水箱取水用于加湿；冬季喷淋不工作时，可收集芯体产生的冷凝水，用于机房加湿再利用。加湿型式推荐采用湿膜加湿，相对传统的电极加湿、红外加湿节能超过95%。基于机房防火分区，需在机房与间接蒸发冷却机组的回风管和送风管上安装防火阀，同时需要配置隔断阀，在机组停机或故障检修时关闭，避免对其它运行机组产生交叉影响。大型数据中心的废热利用将是后续发展的方向，目前主要是将废热用于加热园区的生活用水，后续除了园区使用外，还会实现热量的远距离调配。间接蒸发冷却机组集成热回收功能将会是未来的发展方向。为了产生更大的回收量，推荐回收二次侧排风处的废热。表12间接蒸发冷却技术采用热回收的两种方案对比方案一方案二（推荐）热回收位置一次侧（机房侧）回风处二次侧（室外侧）排风处热源温度冬季（室外-20℃）38℃30℃夏季（室外30℃）38℃45℃热源来源冬季机房IT机房IT夏季机房IT机房IT+机械辅助制冷压缩机热回收换热量冬季AA夏季B1.15B基于AI的新一代智能间接蒸发冷却解决方案AI、pPUE调优、故障收敛、根因定位、无人巡检等智能控制。未来随着服务器能承受的温度越来越高，数据中心会更多的利用自然冷源，自然冷却方案将会是未来数据中心制冷方案的首选。针对设备本身，其硬件的差距越来越小，硬件节能空间有限，因此借助软件智能算法，在设备之间的协同、各运行模式之间的寻优、内部器件之间的协调等方面发力，实现极致节能。间接蒸发冷却系统以自然冷却为主，机械制冷为辅。通过智能化控制，动态调节蒸发冷却系统运行状态，与负载实时联动，最大程度降低数据中心总能耗，实现最优PUE运行。间接蒸发冷却系统的智能控制包括以下几个方面：间接蒸发冷却系统最佳效率点是实时、动态的，与配置、环境扰动等强相关。通过与上层服务器之间联动控制，根据服务器芯片温度及风扇等信息，自动实时优化蒸发冷却系统运行状态，对于提升数据中心的整体节能运行效果明显。由于服务器芯片及风扇、室内外环境温湿度、蒸发冷却系统数量及分布等信息量非常庞大，依据有限的测试数据或推导模型，难以适应全部应用场景。借助AI工具，收集大量数据，并通过机器自学习，可以实现全场景自动寻优控制。间接蒸发冷却系统与上层服务器之间的联动控制策略是，打破蒸发冷却系统传统主流采用的送风温度控制模式，以服务器入口温度为目标按需分区调节制冷量，蒸发冷却系统直接提供精确匹配的冷量。引入服务器芯片温度、风扇、室内外环境温湿度、蒸发冷却系统数量及分布等信息，并通过AI大数据自学习。AI蒸发冷却系统”能耗模型，输出数据中心机房总能耗最低推理模型，PUE最优。IEC固定相同的送风温度，根据回风自动调节运行，机组之间没有协调也没有合作，会出现某些机组开的很大，而某些机组开的很小这样不健康不节能的情况出现。右侧例子代表联动控ITITIT与间接蒸发冷却机组的联动控制，每个区域内出风温度可设置不同，这样可以得到整个数据中心最优最节能的运行。I I I I微模块微模块微模块I 微模块微模块微模块I IE EC CI IE EC CI IE EC C微模块微模块微模块IIEEEEEECCCCCCPAGEPAGE23PAGE22PAGE22白皮书收录于“DC计划”群控功能定义：同一群组内，有一台机组为主机，其它为从机，主机执行群控系统需求计算并下发控制命令。传统群控传统群控功能一般由32台机组群控组网，多机之间协同工作，优化分配热负荷需求，降低设备能耗，群控功能主要包括：备机：备份自动切换功能，当群组中有机组发生故障时，备份机组自动投入运行，提高系统的可靠性。轮巡：备机定时轮换为运行机组，群组内各台机组轮流作为备份机组，各机组运行时间相当，提高平均寿命。层叠：根据机房内热负荷的变化，自动控制群组中机组的运行数量，及时响应需求，消除热点。（达到整体节能的目的。自主群控：若群控组内有一处通信线缆断开，可自动形成两个群控网络，并自动推举新主机继续群控。AI智能群控传统群控的主要功能是提升数据中心机房可靠性，对于多台蒸发冷却系统间的联动节能控制作用有限。实际运行过程中，室外环境温湿度及服务器负载率等实时变化，如何调度群组内所有蒸发冷却系统运行在总体最节能状态，提出了新的挑战。AI智能群控根据室外环境温湿度及服务器负载率等变化，在确保机房内温湿度控制在设定范围的前提下，动态调外部环境变量室外干球温度室外相对湿度室外湿球温度控制变量/频率风机频率观察变量送风温度送回风温差制冷量图15间接蒸发冷却机组进行AI智能群控示意图具体实施步骤为：IEC系统本身运行参数，数据机房内部冷热通道温度参数，机柜进风参数等；IECIEC这些原始数据上报给网管系统；网管系统将实时采集的原始数据做数据清洗后和处理后，保存到数据库中；能耗模型在评估通过后下发到网管系统的推理服务中；,IECIEC,最终达成综合能耗降低的目的。详细实现流程如下图所示：算法架构算法架构特征工程模型训练数据探索评估验证推理决策数据集策略下发制冷能耗的拟合图16间接蒸发冷却机组AI智能群控的控制策略示意图数据采集：IEC机组运行参数，例如风机转速，压缩机转速，送风温度等，IT负载，机房内部冷热通道温度及室外环境的相xxx700+xx个月的干模式，湿模式及混合模式三种制冷模式下的多样化运行数据。数据治理：利用自动化数据治理工具，对采集的运行数据进行识别、降维、降噪、清洗等处理，生成高质量的训练数据。华为强大的云平台服务，一亿条原始数据可以一个小时内完成治理，30分钟数据秒级清洗，为后续的模型训练提供高质量数据：PAGEPAGE25PAGE24PAGE24白皮书收录于“DC计划”表13AI技术的数据治理含义解读数据含义解读数据质量提升基于通用质量评估算法，制冷设备的物理属性沉淀的约束规则和领域专家经验进行数据质量评估，生成DC节能领域质量评估模型，快速识别数据问题，缩短数据反馈流程，提升数据准备效率。数据处理自动化结合业务理解，生成清洗规则并通过云平台数据湖沉淀，一站式生成训练数据集并支持不同数据中心的快速复用。特征工程：数据和特征决定了AI算法的上限。利用特征构建，对同类设备的特征进行横向/纵向处理，生成间接蒸发冷却系统特征。PUE强相关的关键特征参数，从70020IEC系统的风机转速，送风温度设定值，环境参数，IT负载等等；利用精准的特征选取来降低对模型复杂度的要求，减少超参寻优难度，提升模型的效果，执行的效率及模型的可解释性。算法架构：单机优化模型寻优目标：IEC能耗单机优化模型寻优目标：IEC能耗Min(IEC)衍生变量控制变量环境变量制冷模式室内送风温度制冷负载进风进风干球相对温度湿度室外排风温度室内回风温度室内风量室内风机频率群组优化模型寻优目标：Min(IEC+服务器)总制冷能耗Action targetEnv样例说明服务器进风温度服务器纯IT负载模式）)服务器工作模式服务器工作模状态(高性能 状态（节能低噪音)服务器出风温度服务器风扇能耗总制冷输出冷通道温度热通道温度新风温度IT负载总制冷输出冷通道温度热通道温度新风温度IT负载送风温度IEC制冷量环境变量控制变量模型训练：分别采用小粒度超参寻优（31万种组合）及快速寻优（1.2万种组合）两种模式。使用深度神经网络，完成特征归一化及能耗模型的创建并对该模型进行反复训练，避免非凸神经网络优化容易出现的局部参数最优的问题。采用不同的训练数据及测试数据的划分方式，对模型进行交叉验证，保证模型的泛化能力。筛选变化不大或与当前工况差异较大的历史数据，提升模型对最新工况的预测精度。训练过程中，通过算法筛选不理想的模型，提升模型的整体预测能力。推理决策：1500万种原始制冷策略中寻找出最符合IT负载、室外环境，并且满足业务保障的控制参数组合，将预测以及优化决策模型发布到网管系统中，可实时在线计算出当前状态下最佳控制参数。寻优模式：寻优模式分为稳态寻优和非稳态寻优，制冷系统在调节参数后达到稳态需要较长的时间，稳态寻优的在线推理模型受限于系统达到稳态的时长，效率低；强化学习为非稳态寻优，在系统尚未达到稳态时即可进行下一轮迭代，缩短系统收敛时间。节能效果评估AI（负载方案二：通过对比AI参数下发后系统中真实的制冷能耗，与基于模型及群控参数预测的相同工况下运行传统群控参数的制冷能耗，评估节能效果。以某数据中心机房为例（如下图所示），共有8台蒸发冷却机组，N+1配置，当服务器负载率在50%时，运行6台蒸发冷却机组时（每台机组制冷输出40%），此时整体PUE最优。

PUE-运行台数0 2 4 6 8 1050%IT负载率 75%IT负载率图18间接蒸发冷却机组AI智能群控的节能效果评估示意图PAGEPAGE27PAGE26PAGE26白皮书收录于“DC计划”单台间接蒸发冷却机组在不同室外环境温湿度、不同制冷量输出时，为实现能耗最低，存在运行模式的最佳切换点。以某IEC（如下图所示1050功耗干模式 湿模式 混合模式图19间接蒸发冷却机组在10℃、50%负载时的功耗对比示意图与此同时，在混合模式下，在保证当前的冷量输出不变，送风温度不变时，为实现单台机组能耗最低，存在机组内部器件的最佳匹配工作状态。实际运行时，可根据内置AI模型，推理计算在当前冷量下的最优内部器件运行状态组合，实现能耗最低，能效最优。以某IEC为例（如下图所示），当室外温度为20℃时，当负载率在75%时，运行在混合模式，室外风机转速80%情况下，运行状态2的功耗最小，能效最优。180%100%1900rpm25℃；280%80%2700rpm25℃；380%60%3600rpm25℃；4035302520151050运行状态1

功耗运行状态2 运行状态3图20不同状态组合实现相同制冷量输出的功耗对比示意图异常正常声音识别判定为正常人工二次判断异常提醒无操作异常正常声音识别判定为正常人工二次判断异常提醒无操作间接蒸发冷却系统的智能运维包括以下几个方面：间接蒸发冷却系统所包含器件多，正常人工巡检工作量巨大，且需要的专业性很高，因此会造成很高的巡检费用。上述的智能运维，是借助智能传感器，例如摄像头，拾音器，振动传感器等，匹配智能算法，针对间接蒸发冷却系统进行全自动巡检，识别异常，定期输出巡检报告。具体数据采集，数据上传处理，模型训练，策略下发，与上以一章节提升能效类似。间接蒸发冷却系统当前所包括的巡检项目众多，例如：针对风机，进行异响检测，判断风机运行有误干涉和异物，确定风机是否抖动，风机电流是否正常等；针对水泵，进行水泵异响检测，判读水泵接口是否松动，管路是否漏水等；针对喷淋系统，判断喷嘴是否脏堵，水盘是否有异物；针对其他器件，判断其外观是否破损，各个功能器件功能是否正常，过滤网等是否脏堵，内部是否漏水等。上述巡检项目，需要大量专业人员，花费大量时间进行巡检，效率低。因此可采用智能巡检进行，在间接蒸发冷却系异常正常图像识别提醒维护异常正常图像识别提醒维护无操作无操作判定为异常维护图21间接蒸发冷却机组用AI技术进行故障预测示意图维护PAGEPAGE29PAGE28PAGE28白皮书收录于“DC计划”间接蒸发冷却解决方案应用案例间接蒸发冷却机组应用之初主流场景为大平层或楼顶应用，但随着数据中心爆发式的增长，单层或两层的数据中心占地大的劣势会越来越明显，多层数据中心会成为主流；同时，机组室外布置会对日常运维带来诸多不便。对间接蒸发冷却机组而言，多层室内应用将会成为主流场景。间接蒸发冷却机组在多层数据中心室内使用时，需要建筑进行针对性的适配设计，设置单独的设备安装间，主要用于间接蒸发冷却机组、风管、维护通道、排风井的布置。结合机组的特征和建筑的经济性考虑，建议设备安装间的长度为7~9m（层数差异会影响排风井的尺寸）4.5m。不同楼层的机组室外排风通过排风竖井统一排放到建1~2在设计安装间内平移到对应的安装位置，因此，排放竖井需要设置在机组端部，不能设置在两台机组之间而导致机组无法平移，影响后续维护或扩容。从整体来看，单层建筑需包含机房、对应的配电间、及对应的管井、线井等，实现“一层一DC”，方便分期建设和后续按需扩容。乌兰察布某数据中心该项目一期8MW，共1056个机柜。由5层共368个预制模块箱体堆叠，其中2~5层应用间接蒸发冷却解决方案制冷，下送风至机房内，模块内采用密闭热通道方案，通过吊顶回风，温度设计在37℃。每层采用14套华为FusionCol8000-E220间接蒸发冷却产品，共计56套，15天所有设备就位，4个月完成全部安装，缩短建设周期TTM50%+。图22乌兰察布某数据中心应用间接蒸发冷却技术案例2019550%PUE1.1512.2%。数据中心应用491kW•h2215tce/a,4724吨二氧化碳。乌兰察布的全年气象数据如下：表14乌兰察布气象数据临沂某数据中心3004kW/8kW/10FusionCol800