IDC机房的思考

1、从通信电源到网络能源从通信电源到网络能源 主讲人主讲人 丁涛丁涛 2008.8 2008.8对对计算中心机房的若干思考机房的若干思考1.1历史的回顾l上世纪三十年代旋转制交换设备电源采用交流马达带直流发电机l1976年后大量纵横制交换设备电源采用DZ-603/DZY-02 相控整流器l1986年开始安装程控,此后开关电源盛行l2006年NGN进网,IDC机房大量涌现,IP化网络将取代现有的固话移动网1.2现状l电源设备更迭专业人员不变(因市电.空调.应急电不变)l通信主机改变专业人员亦改变l机房发展的两大特点要有相应对策:l大的大 如计算中心大型机房l小的小 如基站,FTTx终端电源1.3结论

2、l网络能源-基础设施 变配电 UPS 蓄电池 专用空调 柴油发电机组或燃汽轮发电机组将是网络时代计算中心近期的主打产品l通信电源-设备装机容量最大化: 2.1.最佳工作面积的理论估算机房设置示意图:l设设: P=走道(含架间走道) D=架宽; H=架厚l l B=机架排数;A=每排机架数; N=机架总数=A*Bl l 机房总宽=A*D+2P; 机房总长=B(H+P)+Pl工作面积: S=(N/B*D+2P)* B(H+P)+Pl令dS/dB=0,使S最小,并得B最佳和A最佳, B最佳=lA最佳= N/B最佳=N/l lS最佳=2(H+P1) 2 PHND2PHND2PPHND2 推论推论: a

3、.上式表示: 当机架和走道尺寸给定时,机架数量与最佳工作面积的关系,而且可认为 2(X+Y)2,由于正方形面积最大则: S最佳=2个正方形.b.专用空调最佳下送风距离为16米.(标准机架宽度为0.6米,厚度为1.2米).约装25个机架.c.计算中心18*36米=648米2为一个基本装机单元. 2.2我们可以通过如下的数据实例证明上述结论的正确性：假设IDC区域总面积约为650 m2、H=1m、D=0.6m、P=1.2m、空调厚度为1m的条件下，在不同的长和宽的条件下其可容机架的数量为：（1） 当S=18m*36m=648m2：A=25、B=16、N=400；（2） 当S=26m*26m=676

4、m2：A=34、B=11、N=374；（3） 当S=14m*46m=644m2：A=17、B=20、N=340；2.3排机架数A与排数B的最佳比例q 的研究l设定q=A/B。 在实际中如果利用B最佳最佳和和A最佳最佳的公式并以通用式求出的公式并以通用式求出q最佳最佳而该值并不决定于所安装的设备数量而该值并不决定于所安装的设备数量N，而取决于设备的尺寸和通道的大小。 因此因此, 在工程中走道在工程中走道P值要合理值要合理, 不能随意放宽不能随意放宽, 机机房机架成排设置和扩容房机架成排设置和扩容, 这样所占用的走道最少这样所占用的走道最少, 而而且专用空调无论上下送风对着走道方向输送冷风且专用空

5、调无论上下送风对着走道方向输送冷风, 气流组织可达到最佳状态。气流组织可达到最佳状态。过道尺寸过道尺寸P不同时机房最小面积与机架数不同时机房最小面积与机架数量量N之间的关系曲线之间的关系曲线2.4 结论：结论：lA. 新建机房时，选择长度是宽度2倍的房间，可达到最佳布局的房间形式，考虑维护需求长36m和宽18m的房间是建设IDC机房的最佳单元；其配套的UPS等电力系统区域约为机房区域的1/2，故IDC机房的最佳建设单元面积约为1000m2。l B.因占过道最少,沿垂直房间长边方向成排布置机架，是最合理的；空调向架间走道方向组织冷风通道是最佳路由。 2.5推荐平面:当机房宽18米时空调可单边设置

6、3.1数据中心空调工艺: 空调能耗最小化A.计算中心机房显热量大应采用专用空调: 专用空调显热比为0.95压缩机能效比3.3 普通空调显热比为0.65压缩机能效比2.9 以CM20A专用空调为例:总冷量19.1KW则显冷量18.2KW; 普通空调要产生18.2KW的显冷量 则:18.2KW/0.65=28KW 两种空调的年耗电计算:专用空调(19.1/3.3)*24*365=50702KWH 普通空调:(28/2.9)*24*365=84579KWH普通空调比专用空调年耗电量大: 84579/50702=1.67倍. B.专用空调的大风量小焓差,使具有热岛效应的IDC机房不产生结露现象C.专用

7、空调可连续工作,具有来电自复功能,温湿度控制精度高D.普通空调间歇工作,设计寿命短,无湿度控制功能,空气过滤能力差3.2数据中心采用下送风上走线3.3数据中心对上送风的改造3.4.下送风的两种形式:a. IDC机架工艺(冷风架内循环)IDC标准机架工艺标准机架工艺(冷风架外循环)冷风架外循环理想状态:架外冷风循环不理想状态:两种气流组织方式比较两种气流组织方式比较 机架内机架内 机架外机架外1.风阻风阻 小小 大大2.先冷却机架内先冷却机架内 是是 否否3.先冷却环境先冷却环境 否否 是是4.影响机架上部冷却影响机架上部冷却 否否 是是IDC机房小型机冷却方式机架实测:某数据中心单个机架发热量

8、：2.8kW送风方式：下送风上走线实际测试：送风平均温度为18，机架出风温度为30小结:采用冷风架内循环采用冷风架内循环(小于小于4KW/架架)时时:l*假地板高度0.5米,机架顶应加装强制风 冷电机.l假地板高度0.5米,功耗2KW/架左右可不架左右可不 加装强制风冷电机.l*假地板高度大于1米时,机架可自然冷却.l在冷量足够时,要确保冷风路由不短路,不扩散,不紊流,这才是空调节能的保证!3.5计算中心机架工艺:现状机架现状一个刀片是一个卡一个刀片是一个卡式服务器式服务器, ,上面装有上面装有处理处理, ,记忆单元记忆单元, ,硬硬盘盘, ,整合的以太网整合的以太网 NICs,NICs,可选

9、的光纤可选的光纤HBAsHBAs通道，硬件方通道，硬件方案管理及其他案管理及其他 I/O I/O 技术。技术。 kW/m2 kW/Rack IBMlEach BladeCenter chassis occupies “7U” 每個刀片机箱占“7U” lMax 6 BladeCenters in standard “42U” rack 每個机架可裝6個机箱共“42U”lMax heat output per BladeCenter: 4kW 每個机箱最大發熱量每個机箱最大發熱量4KWlMax heat output per rack: 24kW 每個机架最大發熱量每個机架最大發熱量24KWlNo

10、minal cooling airflow: 6 x 850 = 5100 m3/h 額定散熱風量 6 x 850 = 5100 m3/h Dell10 PowerEdge 1855 Blades occupy “7U” 10 個PowerEdge 1855刀片 占“7U”Max 60 PowerEdge 1855 Blades in standard “42U” rack 每個机架可裝60個PowerEdge 1855刀片共“42U”Max heat output per 10 Blades: 4.17kW 10個刀片最大發熱量個刀片最大發熱量4.17KWMax heat output pe

11、r rack: 25kW 每個每個机架最大發熱量机架最大發熱量: 25KWNominal cooling airflow: 6 x 680 = 4080 m3/h 額定散熱風量： 6 x 680 = 4080 m3/h 刀片服务器是插入一个供应共刀片服务器是插入一个供应共用框架，如电源，制冷，服务用框架，如电源，制冷，服务器管理，器管理，KVMKVM开关的机箱开关的机箱每个机箱是每个机箱是7 7U,U,每个机架是每个机架是4242U,U,也就是每个机架可装也就是每个机架可装6 6个机箱个机箱目前刀片服务器在数据中心一般目前刀片服务器在数据中心一般都分散装在几个机架上都分散装在几个机架上重量也是

12、问题重量也是问题- -满载机架大约可满载机架大约可达到达到900公斤公斤 由于在同一个机架上的刀片服务器不可能同时满载，实际上的热负荷小于估计值(IBM和Siemens只为他们的设备提供最大15KW的制冷量)气流组织要适应高功率密度机架lA、约束气流和自由气流l气流的流动有2种基本形式，一种是约束流，即在有限空间内被强制按照人为规定的路径流动，例如风管内的气流, 机架内的风道；另一种是自由气流，例如上送风系统中的射流。在计算中心机房中，约束流的计算方便，气流利用率高（不容易形成呆滞区），在冷却设备时应首先考虑此种方式。自由气流对环境冷却中可以应用，由于其有较好的弥漫性，对控制环境有很好的作用。

13、lB、气流短路和送风扩散l气流短路主要是存在短路路径，例如空调出风口和回风口太近且无物理阻隔，就会造成空调气流短路，又如在机架中，进风的前腔和排风的后腔的水平空间中没有隔板，也会造成冷气不经过服务器而直接短路到排风。气流短路还可能发生在前后没有良好隔绝的服务器进风和排风口。短路的气流是有害的，没有按照规定的路径带走热量，只是空循环。l在实践中，我们对送风扩散做过测试，选择前面板开孔的机架，测量进风速度、排风速度和机架内参考点温度，然后将面板封闭，在其他工况完全的情况下，数据有明显差异。l 上表说明, 在面板开孔情况下, 由于送风无效扩散, 风速大风量大能耗增大,而冷却效果下降设定参数：l：热交

14、换系数取；lS架：机架截面积m2；lS入：每机架的有效进风口面积（m2）；l：电热转换效率；lV1：机架进风口气流速率（m/min）；lV2：机架内气流速率（m/min，l不计重力和摩擦，l自架底而顶设其流速恒定）；l 热 交 换 平 衡 公 式 ： n Q C J ( T2-T1)=P860kcal4.2kJ/kcal；Q：机架容积为m3； C：空气的密度kg/m3； J：空气的比 kJ/kg；P:机架功耗（KW）； T1：平均机架下进风温度 T2：机架出风口温度； n：机架热交换次数（次/h）； 热交换平衡公式：热交换平衡公式：n n Q Q C C J J (T(T2_2_- -T T1

15、 1) ) = = P P 860kcal860kcal 4.2kJ/kcal4.2kJ/kcal机架功耗机架功耗P、出风口截面、气流速率的函数曲线图出风口截面、气流速率的函数曲线图3.6对策:A.低功率密度(小于4KW/架)l下送风架内循环 效率高已采用B.中功率密度l下送风冷池 己有部分机房在试用C.高功率密度(大于10 KW/架)l下送风冷池+活化地板+吊顶 修改目前规范A.低功率密度(小于4KW/架)下送风架内循环: 效率高已采用B.中功率密度下送风+冷池: 己有部分机房在试用C.高功率密度(大于10KW/架)下送风冷池+活化地板+吊顶: 修改目前规范CCACdown flowBlad

16、e ServerRackModulator活化地板系統活化地板系統:EC 風機風機,独特的控制軟件控制出風溫度独特的控制軟件控制出風溫度External BMSMaster ControlExternal BMSMaster Control10kW / Rack整合系統整合系統EC 風機風機独特的控制軟件独特的控制軟件控制出風溫度控制出風溫度Active Floor System 活化地板系統活化地板系統lOracle Austin Data Centerl 130,000 sq ft buildingl Total data floor sq ft 82,000约8000平方米l Redun

17、dant medium voltage (12.47 kV) utility feedsl UPS capacity 7.8 MW parallel redundant (15.6 MW total).约800KWUPS20台l Generator capacity is 14 MW (N+1)约10台1400KW油机l Electrical system is designed to have multiple diverse paths andlcross over paths from utility to PDUs and serversl Chiller capacity is 36

18、00 tons (N+1)约30台3万多大卡专用空调l 22,500 operational serversl 4.5 petabytes (4,500 terabytes) of disk storagel 355 servers on average installed each monthl Largest Dell/Linux and NetApp installation多种对策在一个机房的应用:Hot aisleHot aisleCold AirBlade ServerRackBlade ServerRackAB1B2AA=B1+B2 10 kW / Rack一般情况下，在满足最大

19、风量的前提下，结合上述分析过程，我们可在保证最大风量需求的基础上，根据机架的出风开口面积与风量需求设定合适的出风压力（即气流的静压流速）。3.7架空地板出风口的风量调试:l参考值:刀片服务器满机架 在18-22C時風量由4000-5000m3/h(24kw) 要做到合适的地板壓力的秘決是： 地板空間足夠深 良好的密封性 空調能夠產生足夠的壓力(机房换气次数) 選擇正确的地板出風百葉(风速相近) 地板出風百葉可調風量(根据實際需求調節風量=风口面积*风速） 符合熱負荷的正确的出風百葉 架空地坂下各测试点静压相等 4.1.UPS供电系统越来越复杂B.与直流供电系统相比UPS的问题突出表现: *增加

20、逆变环节 *增加市电频率跟踪 *增加对相位同步 *增加交直流转换状态 C.除UPS主机外,供电系统还要求增加: *谐波滤波器 *隔离变压器 *交流稳压器 *静态开关 *机外旁路开关 D.UPS系统又出现: *模块式供电 *双总线供电 *双独立UPS系统供电 *n+1冗余供电(同时又出现1+1,2+1,3+1 系统哪个好的争论)4.2机架配电:双回路供电l严禁同一母排容量相差悬殊的开关紧密安装。l交流开关要保障品牌、保证容量、时延整定等符合要求。lUPS分路配电柜全部分路开关的总容量和输入总开关的容量为2比1或者2.5比1.l同一支路中,下级与上级开关的配置差为2个系列.l开关运行电流为额走值的

21、0.8倍,如考虑多个开关并列紧凑装置,则必须降容使用.lUPS运行电流为额定电流的0.8倍.4.3应急电源:燃汽轮机与柴油机 国产燃汽轮机 柴油机组1.稳态频率调整率 = 1% = 5%2.瞬态频率调整率 4% 10%3.频率稳定时间 = 2秒 = 7秒4.频率波动率 = 0.5% = 1%5.稳态电压调整率 1% 4% 6.瞬态电压调整率 12% 20%7.电压稳定时间 =1.5秒 = 2.4秒8.线电压正弦畸变率 =3% = 5% YD/T5040-2005条文说明中: 燃燃汽轮发电机组因其重量轻汽轮发电机组因其重量轻,发电质量好可以作为大型局发电质量好可以作为大型局(站站)固定固定 使用

22、的发电电源使用的发电电源.4.4采用柴油机应考虑UPS的匹配lA.选择发电机内阻小(降容)或者永磁发电机l THDu 发电机容量取UPS容量的倍数l 15% 1.5-2.5l 8% 3-5l 5% 6以上lB.发电机带整流性UPS负载的比率:l发电机输出THDu 12脉冲 6脉冲 l 5% 78% 42% l 10% 100% 69%l 15% 100% 96%l3、采用输入市电频率宽、输入功率缓启动，在油机输入时能限制充电功率的双变换UPS 。l4、采用谐波抑制电路，将谐波电流含量降低到5%10%以上时,柴油发电机组的容量可按UPS容量的1.51.8倍选择。(比增加油机容量合算)l5 5、启

23、动油机后，先上部分阻性负载后上UPS负载,专用空调和其它负载最后上，可以改善UPS输入谐波和无功电流对发电机组稳定性的影响。(适合带综合性负载的油机)4.5计算中心机房安全评估l高低压部分l 1.市电标准 等 级 AA A B C 市电电源 一类 一类 二类及以上二类及以上 1)一类市电供电： 从两个稳定可靠的独立电源各自引入一路供电线。 该两路不应同时出现检修停电，平均每月停电次数不应 大于1次，平均每次故障时间不应大于0.5h。 2)二类市电供电： 由两个以上独立电源构成稳定可靠的环形网上引入一 路供电线，或由一个稳定可靠的独立电源(输电线路)上引 入一路供电线。允许有计划检修停电，平均每月停电次 数不应大于3.5次，平均每次故障时间不大于6h。计算中心机房安全评估l 2.电容柜有无抑制浪涌等措施l 3.市电联锁可靠否l 4.配电系统开关保护(如:容量.整定.变压器温度显示等) l 5.油机配置(如:容量.风量.谐波影响等) 等级 AA A B C自备发电机组 N台主用 一类市电：N台主用 二类市电:N+1冗余 6.其它(如:三线交叉) 1)双回路配电的两回路线路