中美数据中心能效合作计划

1、数据中心能效最正确实践Best Prac*ces for Data Center Energy Eciencyy1 |中美数据中心能效计划US/China Data Center Efficiency Initiative(Version: 5/4/14)中美数据中心能效合作计划US/China Data Center Eciency Ini*a*ve第1页世界数据中心电耗World Data Center Electricity UseSource: Koomey Source: Koomey 2 |中美数据中心能效计划US/China Data Center Efficiency Init

2、iative年能耗 耗 电 量十 亿 千 瓦 时（/）世界总量 0.5%世界总量 1%IT负荷制冷+电力 输送基础设施通信信息存放 存高端服务器中端服务器初级服务器第2页1520亿度电是多少？ How much is 152B kWh?050100150200250终端电力消耗（十亿千瓦时）Final Electricity Consump*on (Billion kWh)20数据起源：国际能源署，世界能源平衡表（）Source for country data in 2005: Interna*onal Energy Agency, World Energy Balances (2007 e

3、di*on)3 |中美数据中心能效计划US/China Data Center Efficiency Initiative意大利Italy南非 South Africa墨西哥 Mexico世界数据中心World Data Centers伊朗Iran瑞典 Sweden土耳其 Turkey300第3页 经典节能量：20%-40% 20-40% savings typical 更主动策略和办法能够实现超出 50%节能量Aggressive strategies can yield 50+% savings 延长基础设施使用寿命和容量Extend life and capacity of infras

4、tructures数据中心提升能效好处Potential Benefits of Data Center Energy Efficiency4 |中美数据中心能效计划US/China Data Center Efficiency Initiative第4页经过对标改进能效Benchmarking for Energy Performance Improvement:能效对标能够让企业与同行进行对比， 从而帮助他们找到能够提升能效最正确 实践Energy benchmarking can allow comparison to peers and help idenBfy best pracBc

5、esLBNL对超出30家数据中心进行了研究：LBNL conducted studies of over 30 data centers:发觉各数据中心能效表现有很大 差距Found wide variaBon in performance寻找数据中心节能最正确实践IdenBed best pracBces5 |中美数据中心能效计划US/China Data Center Efficiency Initiative第5页数据中心用能情况各有不一样Your Mileage Will VaryData Center Server Load 51%数据中心 服务器负 荷51%Data Center

6、CRAC Units 25%Electrical Room Cooling4%Cooling Tower Plant4%Office SpaceConditioning 1%照明 2%Lighting2%Other 13%Computer Loads 67%HVAC - AirMovement 7%Lighting 2%照明 2%6 |中美数据中心能效计划US/China Data Center Efficiency InitiativeHVAC -Chiller and Pumps 24%用于进行计算能耗百分比在不一样数 据中心中有很大区分The rela*ve percentages of

7、 the energy actually doing compu*ng varied considerably.计算运行 负荷 67%暖通 制冷机和 水泵 24%暖通空气流动7%数据中心 机房空调 25%其它 13%办公区域空调1%电气室制 冷4%冷却塔 4%第6页LBNL取得对标结果 Benchmarks obtained by LBNL综合指标：电能利用效率（PUE）= 总电耗/IT 电耗High Level Metric: Power UBlizaBon EecBveness (PUE) = Total Power/IT Power平均PUE= 1.83Average PUE = 1.8

8、3数 据 中 心 总 电 耗电 耗7 |中美数据中心能效计划US/China Data Center Efficiency Initiative/ITLBNL数据库中数据中心号码第7页瓦计算量正在逐步提升，不过计算量需求增长速度更高，造成整体能耗上升。周期电气成本将超出IT设备成本。Computations per Watt is improving, but computation demand is increasing even faster so overall energy is increasing. Lifetime electrical cost will soon excee

9、d cost of IT equipment.整合 Consolidation服务器效率 Server efficiency每瓦浮点运算次数 Flops per watt有效供电量 Efficient power supplies软件效率提升（虚拟化、MAID等）Software efficiency (Virtualization, MAID, etc.)电力管理 Power management低电模式 Low power modes重新考虑冗余电源 Reconsider redundant power supplies降低IT负荷能够带来倍数效应：Reducing IT load has

10、 a multiplier effect等于在设施中实现节能量Equivalent savings +/- in infrastructure8 |中美数据中心能效计划US/China Data Center Efficiency InitiativeIT 设备负荷是能够控制：IT equipment load can be controlled:第8页No Load平都有效功率（瓦） 60% of full Load总负荷60%IT 能耗模式：服务器IT Energy Use Pa_erns: Servers服务器使用Server Utilization9 |中美数据中心能效计划US/Chi

11、na Data Center Efficiency Initiative闲置服务器最高能消耗全负荷电量50-60%，如SpecPower 对标值所表示。 Idle servers consume as much as 50-60% of power full load as shown in SpecPower Benchmarks.性能电量性能和电力百分比性能和电力百分比目 标 负 荷第9页关闭/淘汰低能效或不在使用中系统PHYSICALLY RETIRE AN INEFFICIENT OR UNUSED SYSTEMUp*me Ins*tute报道，有15-30%服务器没有使用 Up*me

12、 Ins*tute reported 15-30% of servers are on but not being used停运目标包含Decommissioning goals include: 定时存点和监测Regularly inventory and monitor 整合/沟汰未合理利用硬件Consolidate/reBre poorly uBlized hardware10 |中美数据中心能效计划US/China Data Center Efficiency Initiative让不用服务器停运Decommission Unused Servers第10页虚拟化和整合化Virtual

13、ize and Consolidate11 |中美数据中心能效计划US/China Data Center Efficiency Initiative在一台“物理”机器上运行 许多“虚拟”机器Run many “virtual” machines on a single “physical” machine整合未充分利用物理机器， 提升利用率Consolidate underuBlized physical machines, increasing uBlizaBon关闭未充分利用机器，节约 能源Energy saved by shugng down underuBlized machines

14、第11页云计算Cloud Compu*ng虚拟化云计算能够提供 Virtualized cloud compu*ng can provide 在互联网上动态可扩展资源Dynamically scalable resources over the internet 可用于内部或外部使用Can be internal or external 可用于平衡不一样应用峰值负荷Can balance dierent applicaBon peak loads 通常实现高利用率Typically achieves high uBlizaBon rates12 |中美数据中心能效计划US/China Data

15、 Center Efficiency Initiative第12页LBNL/EPRI 测量电源供给效率LBNL/EPRI measured power supply eciencyTypical op测era量*on服务器电源供给效率13 |中美数据中心能效计划US/China Data Center Efficiency Initiative利用高效电源供给Use Ecient Power Supplies额定电力输出百分比（%）非PFC电源供给PFC电源供给第13页IT系统效率总结IT System Eciency Summary 开启电源管理能 力！Enable power manage

16、ment capabili0es! 采取“能源之 星”服务器Use EnergyStar Servers存放设备Storage Devices 将多出数据下线Take superuous data oine 利用精简装置技术 Use thin provisioning technology服务器Servers重新考虑冗余 Reconsider RedundancySpec 80 PLUS 或气 候节能产品Spec 80 PLUS or Climate Savers products整合ConsolidaBon利用虚拟化Use virtualizaBon考虑云服务 Consider cloud

17、services电源供给 Power Supplies14 |中美数据中心能效计划US/China Data Center Efficiency Initiative第14页利用IT来管理IT能耗Use IT to Manage IT Energy15 |中美数据中心能效计划US/China Data Center Efficiency Initiative利用IT实现节能：Using IT to Save Energy:大多数运行人员缺乏对数据中心环境“能见度”Most operators lack “visibility” into their data center environmen

18、t运行人员不能管理他们没有测量东西An operator cant manage what they dont measure第15页目标Goals:为监测IT环境提供一样程度监测和虚拟化物理空间Provide the same level of monitoring and visualizaBon of the physical space that exists for monitoring the IT environment测量并跟踪性能指标Measure and track performance metrics在出现以下问题前就发觉问题：Spot problems before

19、they result in:高能源成本High energy cost停机时间Down Bme利用IT来管理IT能耗Use IT to Manage IT Energy16 |中美数据中心能效计划US/China Data Center Efficiency Initiative第16页LBNL安装了800多个点传感网络 LBNL installed 800+ point sensor network.用于测量 Measures:温度 Temperature湿度 Humidity压力（地板下）Pressure (under oor)电功率 Electrical power提供实时反馈和历史追

20、踪 Presents real-Bme feedback and historic tracking基于经验数据，而不是直觉， 进行优化OpBmize based on empirical data, not intuiBonLBNL无线传感装置LBNL Wireless sensor installa*on17 |中美数据中心能效计划US/China Data Center Efficiency InitiativeImage: SynapSense第17页可视化技术日益成熟Visualization getting much betterSynapSense18 |中美数据中心能效计划US

21、/China Data Center Efficiency Initiative第18页Environmental Condi*ons暖通空调能耗主要驱动力是什么？What are the main HVAC Energy Drivers?19 |中美数据中心能效计划US/China Data Center Efficiency InitiativeIT负荷气候IT Load Climate房间温度和湿度Room temperature and humidity 大多数数据中心过分冷却，并有湿度控制问题Most data centers overcooled and have humidity

22、 control issues 人体舒适度不应该成为驱动原因Human comfort should not be a driver环境条件第19页环境条件Environmental Conditions使用美国采暖制冷与空调工 程师学会（ASHRAE）推 荐温度和湿度允许范围Use ASHRAERecommended andAllowable ranges of temperature and humidity20 |中美数据中心能效计划US/China Data Center Efficiency Initiative第20页 ASHRAE 热力指南 ASHRAE Thermal Guid

23、elines数据处理环境热力指南扩大数据中心等级和利用指南。 ASHRAE 技术委员会TC9.9编写白皮书。 Thermal Guidelines for Data Processing Environments Expanded Data Center Classes and Usage Guidance.White paper prepared by ASHRAE Technical Commi_ee TC 9.921 |中美数据中心能效计划US/China Data Center Efficiency Initiative可允许提议设备环境规范第21页经典情况下，空气流动多于所需 Typ

24、ically, more air circulated than required空气混合和“气流短路”造成：Air mixing and short circuiBng leads to:低供给温度Low supply temperature低 Delta T Low Delta T利用热通道和冷通道Use hot and cold aisles改进热通道和冷通道阻断Improve isolaBon of hot and cold aisles降低风机能耗Reduce fan energy改进空调效率Improve air-condiBoning eciency提升制冷容量Increase

25、cooling capacity热通道/冷通道配置降低了进气 口和排气口混合度，提升了能 效Hot aisle / cold aisle conguraBon decreases mixing of intake & exhaust air, promoBng eciency.空气管理Air Management22 |中美数据中心能效计划US/China Data Center Efficiency Initiative第22页空气管理： LBNL早期Air Management: The Early Days at LBNL利用风扇来改变空气方向Fans were used to redi

26、rect air23 |中美数据中心能效计划US/China Data Center Efficiency Initiative大空隙铺砖增加空气流动但降低了空气压力High ow *les reduced air pressure很冷，不过处处都有热区域It was cold but hot spots were everywhere第23页管理挡板Results: Blanking Panels设备机柜Equip. RackOne 12” blanking panel added Temperature dropped 20出口Outlet气流再循环Air RecirculaBon24 |

27、中美数据中心能效计划US/China Data Center Efficiency Initiative入口Inlet入口Inlet出口Outlet机柜顶端 top of rack机柜中部 middle of rackSynapSenseSynapSenseMaintain server blanking and side panels.增加一块12英寸挡板， 使温度降低了约20度管理服务器挡板和侧板是非常主要。Managing server blanking and side panels is very important.通道之间任何开口都将降低热空气和冷空气分离程度Any openin

28、g between the aisles will degrade the separaBon of hot and cold air. 对服务器挡板和侧板进行维护第24页结果：调整地砖Results: Tune Floor Tiles太多地砖都有渗透性Too many permeable floor tiles假如优化气流 if airflow is optimized地板下面压力增加under-floor pressure 机架顶方温度降低rack-top temperatures 数据中心容量提升data center capacity increases测量和虚拟化能够帮助调整地砖过程

29、 Measurement and visualization assisted tuning process地板下面压力under-floor pressures25 |中美数据中心能效计划US/China Data Center Efficiency Initiative机架顶方温度rack-top temperaturesSynapSenseSynapSense第25页回风室Return Air Plenum 高架送风被转化 为热风回流 Overhead plenum converted to hot- air return 机房空调进风口 延长到高架 CRAC intakes exten

30、ded to overhead 将存放器放置到 热通道中Return registers placed over hot aisle26 |中美数据中心能效计划US/China Data Center Efficiency Initiative改进前Before改进后After第26页对热冷绝缘添加空气帘Adding Air Curtains for Hot/Cold Isolation27 |中美数据中心能效计划US/China Data Center Efficiency Initiative第27页分开冷热通道Isolate Cold and Hot Aisles28 |中美数据中心能效

31、计划US/China Data Center Efficiency Initiative35-41C vs. 16-21C21-27C vs. 7-13C回风天花板间空隙气密层空气屏壁层(塑料板材)气密层 (三聚氢氨板)气密层空气屏壁层热通道冷通道热通道空气补给空气处理单元地板架高天花板板砖开口第28页采取无偿冷却：Use Free Cooling:不用压缩机制冷Cooling without Compressors:外部空气节能器Outside-Air Economizers水侧节能器Water-side Economizers 咱们拆掉数据中心冷却器吧Lets get rid of chi

32、llers in data centers冷却平均能耗 (Avg. Power for Cooling)29 |中美数据中心能效计划US/China Data Center Efficiency Initiative总计 全部使用节能器31%(TOTAL31%)(Using 100% Economizer)节能量：23 / 31=74% (Energy Savings = 23 / 31= 74%)暖通空调制冷23%(HVAC Cooling23% )暖通空调风机8%(HVAC Fans8%)第29页LBNL 实例：后门制冷LBNL Example: Rear Door Cooling取代机房

33、空调单元Used instead of adding CRAC units仅限塔式后门水制冷 (或接连使用中央冷却 厂)Rear door water cooling with tower-only (or central chiller plant in series).30 |中美数据中心能效计划US/China Data Center Efficiency Initiative第30页“第二回冷却”评定 “Chill-o 2” evalua*on数据中心冷却设备相对性能31 |中美数据中心能效计划US/China Data Center Efficiency Initiative测试编码

34、 测试参数有DX机房 空调单元使用冷却水 空气处理单元机架冷却机In-Row 冷却机后门热交换 机(被动)触控式冷却第31页消除偶然除湿Eliminate inadvertent dehumidification计算机负荷是敏感Computer load is sensible only使用美国采暖制冷与空调工程师学会推荐湿温相对度(RH)和温度Use ASHRAE allowable RH and temperature许多制造商允许更大湿度范围Many manufacturers allow even wider humidity range消除设备不协调性Eliminate equipm

35、ent fighting协调控制Coordinate controls32 |中美数据中心能效计划US/China Data Center Efficiency Initiative改进对湿度控制Improve Humidity Control:第32页68.843.545.5无须要湿度所带来成本The Cost of Unnecessary Humidica*on湿度下降3% Humidity down 3%机房空调电耗下降28% CRAC power down 28%33 |中美数据中心能效计划US/China Data Center Efficiency InitiativeVisali

36、a ProbeCRAC Unit Panel 机房空调单元面板TempRHTdpTempRHTdpModeAC 00584.027.547.07632.044.1Cooling 制冷制冷&除湿AC 00681.828.546.15551.037.2Cooling & DehumidificationAC 00772.838.546.17047.048.9Cooling 制冷制冷&除湿AC 00880.031.547.27443.050.2Cooling & HumidificationAC 01077.532.846.16845.045.9Cooling 制冷AC 01178.931.446.

37、17043.046.6Cooling & Humidification制冷&除湿Min72.827.546.155.032.037.2Max84.038.547.276.051.050.2Avg79.231.746.4第33页高压配电能效较高，成本也较低(导体体积较小) DistribuBng higher voltage is more ecient and saves capital cost (conductor size is smaller)供电、不间断供电(UPS)、变压器与机架电源分配单元(PDU)能效各有不一样要慎重选择Power supplies, UninterrupBbl

38、e power supply (UPS), transformer, and PDU eciencies vary carefully select降低配电过程能量损失，也能降低制冷所需用电负荷Lowering distribuBon losses also lowers cooling loads34 |中美数据中心能效计划US/China Data Center Efficiency Initiative电力配送Electrical Distribu*on第34页冗余操作 Redundant Opera*on35 |中美数据中心能效计划US/China Data Center Effici

39、ency Initiative测量到不间断电源系统效率Measured UPS eciency不间断电源系统效率效率(%)负荷系数(%)第35页冗余36 |中美数据中心能效计划US/China Data Center Efficiency InitiativeRedundancy了解什么是冗余成本是否值得？Understand what redundancy costs is it worth it?各种操作是否都要相同电功率?Does everything need the same level of?不一样策略会带来不一样能效损失（如，2N vs. N+1)Dierent strategi

40、es have dierent energy penalBes(e.g. 2N vs. N+1)电力分配中冗余将降低能效Redundancy in electrical distribuBon puts you down the eciency curve第36页联邦层面数据中心信息资源Federal Data Center Resources 最正确实践指南Best Prac*ces Guide 对标指南Benchmarking Guide 数据中心编程指南Data Center Programming Guide 技术案例研究辑录Technology Case Study Bulle*ns

41、 采购规范Procurement Specica*ons 汇报模板Report Templates 工艺流程手册Process Manuals 快速使用指南Quick-Start Guide37 |中美数据中心能效计划US/China Data Center Efficiency Initiative第37页1.能耗测量和对标Measure and Benchmark Energy Use38 |中美数据中心能效计划US/China Data Center Efficiency Initiative2.找出IT节能机会IdenBfy IT OpportuniBes经过IT来控制IT设备能耗Us

42、e IT to Control IT管理气流Manage Airow优化环境条件OpBmize Environmental CondiBons评定制冷方法Evaluate Cooling OpBons提升电力能效Improve Electrical Eciency3.4.5.6.7.数据中心最正确实践摘要Data Center Best Prac*ces Summary第38页1. 能耗测量和对标Measure and Benchmark Energy Use使用多项指标来测量能效Use metrics to measure eciency将能效表现进行对标Benchmark performa

43、nce建立连续改进目标Establish conBnual improvement goals39 |中美数据中心能效计划US/China Data Center Efficiency Initiative数据中心最正确实践Data Center Best Prac*ces第39页2. 找出IT节能机会IdenBfy IT OpportuniBes详细说明高能效服务器规格(含电源供给) Specify ecient servers (incl. power supplies)虚拟化Virtualize更新IT设备并淘汰没有采取设备Refresh IT equipment, and decomm

44、ission unused equipment.40 |中美数据中心能效计划US/China Data Center Efficiency Initiative数据中心最正确实践Data Center Best Prac*ces第40页数据中心最正确实践Data Center Best Prac*ces3. 使用IT来控制IT设备能耗 Use IT to Control IT Energy评定监测系统表现，以强化实时管理并提升 能效Evaluate monitoring systems to enhance real-Bme management and eciency.使用虚拟化工具(如，热力图)Use visualizaBon tools (e.g. thermal maps).使用展示盘以管理能效及保持节能效果Install dashboards to manag