高效能数据中心在能源行业发展与实践

1、高效能数据中心在能源行业发展与实践技术创新，变革未来高效能数据中心的发展与实践行业政策分析和技术问题1能源行业实践应用2行业未来展望32根据“十三五”国家信息化规划2018年新建大型数据中心PUE不高于1.5，北京 市人民政府公布的北京市新增产业的禁止和限制目录中，提到全市范围内禁止新 建和扩建互联网数据服务中的数据中心(PUE值在1.4以下的云计算数据中心除外)。能源行业在2017年承担了国家科技部重点研发计划“高效能云计算数据中心关键 技术与装备”专项任务。重点从理论与技术、软件与装备、示范应用等方面开展研究 工作。随着国家对数据中心行业相关标准的更新、安全生产要求的提高、能耗优化转型的内

2、 在驱动、以模块化机房为代表的新趋势逐渐成熟。因此，能源行业明确高效能数据中心的标准，以安全适用、技术先进、经济合理、 节能环保为目标，为国网公司信息系统提供安全、高效、可靠的基础运行环境。3高效能数据中心行业发展趋势分析和应用数据中心计算 资源利用率低数据中心资源 管理粗放L1/L2层联合感知基于热模型的数据 增强与热场预测基于AI的能耗评估 与预测基于云业务SLA 的精确控制策略CPU统一控制与 跨层联合管控模块精确能 源管理 软件数据中心典 型应用能效 比提升数据中 心调度 软件间歇性应用休眠技术峰谷负载的业务 迁移-缩放技术间歇性且间隔时间短业务 功率限制国网各省公司信息机房运营问题分

3、析当前数据中心存在设备利用率低的问题，L1/L2层设备无法协调联动问题，L3层业务应用无 法联动控制设备功耗问题4传统服务器冗余部件多， 能耗高需要精简设计1、研制高密ARM服务器低功耗CPU，SoC设计，精 简部件降低服务器功耗，提升能 效比2、大容量SSD盘满足容量日益增长的需求， 消除存储性能瓶颈，提升服务器 能效比3、超高密端口交换机提升单服务器到100GE带宽， 满足大二层万级节点无阻塞组网， 简化SDN拓扑,消除东西流量瓶颈4、全液冷机柜解决3050KW+ 的单柜功耗的 转换到机房外部，充分利用自然冷 源，减少机械制冷装置装备能效比 提升数据中心空间利用率低机械制冷和风冷效率低数据

4、量增长快，需要性 能分级的存储服务集群云数据中心东西流量高 于南北流量，传统网络， 拓扑复杂，带宽不足降低PUE数据数据中心存在空间利用率低、机械制冷和风冷效率低、传统服务器冗余部件多等 导致PUE高国网各省公司信息机房运营问题分析5解决高密器件 布局和降低散 热能耗的复杂 平衡问题提出问题整机柜数据中心单元计算和存 储能力：128CPU，6144core12PB存储容量高密度整机柜高密服务器采用14层主板和 高开孔率背板组合优化设计 高密器件布局和高速信号布 线大容量，小尺寸SSD盘采用3D QLC 128层堆叠颗粒提高100GE TOR 交换机端 口密度1倍，满足单柜128个 100GE端

5、口。单机柜设备功耗达到不高于30KW+整机柜高密布局设计采用主流的低成本，可推广的 板式液冷技术，提高制冷效率， 降低PUE0.2首次提出双管路，全封闭液冷 机柜 ，采用专利设计的柜内自 循环风液换热器。降低PUE 0.08采用新型冷板提高液冷系统散 热效率。降低PUE 0.03支持45度温水冷却，可大幅提 高利用自然冷源时间。降低 PUE 0.08以上总PUE可降低约0.39降低制冷PUE的方法采用低功耗ARMCPU，相同 性能能耗比Xeon低20%采用SSD存储，比主流SATA 提高存储能效比4倍以上。高密服务器，共享电源，风 扇等节能8-10%提升整机柜装备能效比1.2倍最佳实践6国网各

6、省公司信息机房运营问题分析6技术分析7制冷技术AHU：air handling unit去除降低限 制蒸发冷却选址：常年环境 温度低，干燥8-10KW冷板式液冷（半液冷）选址：无限制10-40KW混合液冷（全液冷）选址：无限制12-60KWGoogle 比利时，PUE 1.13新风冷却选址：常年环境温 度低，空气清洁， 8-10KWGoogle 爱尔兰，PUE 1.09海水冷却选址：靠近冰冷水 源8-12KWGoogle 芬兰，PUE 1.09北大HPC，温水冷却 PUE 低于1.2，冷水冷 却，PUE 1.4温水冷却，PUE 低于1.2浸没式（相变液）选址：机房承重高， 相变液价格高，不利

7、于环保和维护。20- 100KW曙光HPC，阿里张北PUE 1.051.08数据中心成熟技术比较78供电技术转换 次数机房侧是 否定制服务器侧 是否定制应用情况4否否All3是否Tecent、中国电 信、中国移动(作为备电规模商 用)2是是ETSI标准、中国移 动、中国联通（无规模商用）2可选可选Facebook、 Google、 Microsoft、 Tecent、baidu、 Alibaba93%95%95.5%PDU和线损 99.5%PDU和线损 99.4%PDU和线损 99.5%PDU和线损 99.5%=92.5%=94.4%=95.0%=99.5%数据中心成熟技术比较8技术分析输入

8、配电柜UPS网 络存 储制冷系统辅助负载L1层降低制冷系统Pb的功耗：双管路全封闭液冷机柜，液冷占比从70%提升至95%，可 大幅降低机房空调的需求。主要部件（CPU和内存）采用45温水制冷，可长时间利 用自然冷源，降低冷水机组和水泵制冷需求。新型冷板，提高液冷制冷效率， PUE 0.05高密度数据中心机柜单元， 综合装备能效比1.2倍单柜支持128CPU、6144核、12PB存储L1 制冷资源可与L2 IT负载变化联动，降低低负载率下的制 冷能耗12PUE =数据中心机房输入总能耗=Pa+Pb + PcIT设备的总能耗PdPbPc1L2层(Pd)2 服务器冷却塔水 泵 冷水机组 机房空调 照

9、 明监 控Pa33降低供电系统的损耗Pa：主用一路市电，电源转换效率99%，供电PUE 0.01备用一路UPS，电源转换效率93%，供电PUE 0.07服务器PSU供电效率优化，支持市电主用IT配电最佳实践分析9高效能数据中心PUE计算9行业政策分析和技术问题1能源行业实践应用2行业未来展望3高效能数据中心的发展与实践1011综合规划数据中心各层架构配置，设计 同等条件下PUE值达到领先水平高效能云计算数据中心示范应用落地于亦庄 国网北京数据中心二期三层，面积220采用部署高效能微模块（单模块配置16个高 密机柜和1024台服务器）、单机柜达到： 128CPU、6144核、12PB高性能存储、

10、整 个示范机房达到：1024个计算节点、2048 个CPU、21.6PB ，支持云计算数据中心计 算、存储、节点高密装备采用64口100GE TOR 接入交换机、400GE 核心交换机、支持1024节点，3.45EB 数据 无阻塞交换，理论上支持万点互联国网北京数据中心L1: 基础设施温水液冷系统：大幅减少对空调的依赖，有效降低制冷耗电，大幅降低PUE微模块布局优化：优化气流组织、提高制冷效率供电系统优化：优质市电直供+高效率UPS，减少供电损耗2-3%L2 :计算与网络高密液冷服务器：高性能低能耗，能将比提升1.2倍高速交换机和SDN集群：提升网络能效比L3: 应用层L1/L2协调优化：研发

11、能耗评估与预测工具和L1/L2协调软件，根据 L2负荷调整L1能耗参数，确保IDC资源按最优方式运行，实现高效能 目标国网离线大数据100PB场景：IT负载率80%，提升IT能效技术路线兼顾供电效率和安全可靠：亦庄园区是3路市电，无油机，示范机房采用市电直供+模块化UPS备用的双路供电国网江苏数据中心能效比提升示范验证基于国网云业务场景例： 根据不同业务特征，系统采用自动的控制手段选择和设定参数。即便同一业务，在不同时刻也会采用不同控制手段。无负载(1)收缩休眠 (2)低功耗模式(C-State)中低负载高负载动态调频（P-State） power capping具体手段来源于AI预测，基于设

12、备缓存池、安全频 率保护、业务SLA实时反馈等关键技术间歇型周期型混合型典型业务特征1212国网江苏数据中心上海数据中心站示范利用变电站站址资源，进行扩容和改造，建设高效能数据中心站和储能站。储能站作为高效能数据中心的后备电源，同时参与削峰填谷，提升电网运行稳定性和能效。结合多站融合运行需求，充分发挥高效能数据中心综合运行效果，构建多站融合数据中心站融合运行调度大脑高效 能云数据中心调度与精确能源管理软件，实现本地多数据中心调度，提升能效比。国网上海数据中心1313高效能数据中心发展与实践行业政策分析和技术问题1能源行业实践应用2行业未来展望314科研创新能力进-一-步-提-升-创-新-科-研-能-力-，加强前沿探索与瓶颈突破，