数据中心机房基础设施建设

数据中心机房基础设施建设范娟2011年4月数据中心机房基础设施建设全文共55页，当前为第1页。1曙光公司介绍2曙光云座系统介绍3曙光机房解决方案介绍4部分成功案例数据中心机房基础设施建设全文共55页，当前为第2页。IT数据中心制冷问题传统机房的散热方案目前，大多数的数据中心都采用架空地板＋精密空调的方式来为设备提供冷却数据中心机房基础设施建设全文共55页，当前为第3页。热岛的出现制冷不均匀造成了系统MTBF的降低最大制冷能力:1,100–1,500W/m²=3-5kW/rack数据中心机房基础设施建设全文共55页，当前为第4页。（CFD）模拟测试结果机房内部不同区域温度场差异很大不同的水平高度温度场差异很大局部出现过热，造成系统局部散热不良而影响系统总体可靠性空调机占用了25%的机房面积配备CRAC(风冷精密空调)的机房上、中、下部CFD模拟结果数据中心机房基础设施建设全文共55页，当前为第5页。摩尔定律：密度越来越高、散热量提升、总功耗提升单机柜功耗逐年提升（单位：KW）20002004200820105102030面临的主要问题数据中心机房基础设施建设全文共55页，当前为第6页。传统冷却方式的不足传统的机房制冷方式已经越来越不能适应今天IT系统发展的需要，必须改变局部过热能效低难以管理占空间由于空间大，无法进行精密的气流设计，造成局部的热岛机柜内部也出现温度不均匀的情况热岛的出现降低了系统的可靠性制冷能耗利用率只有60%传输过程造成大量能量损失整个机房制冷耗能严重空调与IT系统无法协调工作，故障和应急处理困难空调需要专业人员的维护空调设备和管道占用了大量宝贵的机房空间风道设计要求机房的地板和天花板留出大量空间数据中心机房基础设施建设全文共55页，当前为第7页。解决方案更高的计算密度造成更高的功率密度空调系统占用了宝贵的机房空间机房冷却系统的能耗巨大，而能效却很低新一代的信息系统面临许多挑战，提高系统使用效能是关键。而能效又是影响系统使用成本的关键因素新的制冷解决方案数据中心机房基础设施建设全文共55页，当前为第8页。解决方案一

曙光CA1000系统型号CA1000F（氟利昂型）显冷量：35KW风量：7000m3/h送风方式：柜门通道封闭式密闭气流的水平送风模式最高机柜密度10KW数据中心机房基础设施建设全文共55页，当前为第9页。解决方案一

曙光CA1000系统一体化系统设计，包括空调、机柜排级配电、机柜、一体化线槽、除湿除尘机。数据中心机房基础设施建设全文共55页，当前为第10页。曙光C1000系统空调冷热通道分离，气流组织有序；就近精确送风，循环风阻小、风量大；不同高度进风温度均衡；制冷效率高、系统噪音低；可以解决最高单机柜10KW的散热需求。随着机柜密度的不断提升水平送风结合气流分离的散热方式将是未来高性能计算的主流散热解决方案解决方案一

曙光CA1000系统数据中心机房基础设施建设全文共55页，当前为第11页。空调类型曙光C1000空调下送风精密空调舒适性空调制冷量38KW33KW28KW设备尺寸（宽*深）600*1200850*8751200*400占地面积0.720.743750.48显热比高高低风量7000m3/h10000m3/h4000m3/h气流组织有序无冷热气流短路有部分冷热气流短路混乱能够解决的单机柜密度10KW5KW2KW机柜温度梯度不存在存在存在设计寿命10年10年3年控制精度±1℃±1℃±3～5℃是否支持低温启动是是否是否支持来电自启是是否与集群系统的统一性统一不统一不统一解决方案一

曙光CA1000系统数据中心机房基础设施建设全文共55页，当前为第12页。解决方案二曙光CA2000系统型号CA2000（冷冻水型）显冷量：20KW风量：4000m3/h送风方式机柜一体封闭式机柜密度：<20KW数据中心机房基础设施建设全文共55页，当前为第13页。前门热交换模块风扇后门侧门冷风出口水冷机柜的结构解决方案二曙光CA2000系统数据中心机房基础设施建设全文共55页，当前为第14页。水冷机柜系统原理+水冷机柜系统：以水作为冷媒，将外部水冷机组提供的冷却水经由管道输送到室内设备，解决服务器设备散热。解决方案二曙光CA2000系统数据中心机房基础设施建设全文共55页，当前为第15页。曙光水冷机柜系统指标柜内换热器7U/19”标准部件，42U柜内有效空间35U单机柜最大制冷功率20KW气密性封闭柜体，无尘设计，降噪设计，保证系统噪声低于50dB采用国际标准通用冷水机组和水泵，完善的机组配置方案，支持N+1冗余双冗余管路和水泵设计，可靠性更高机柜内部温度自动监测和控制后门自动转速控制的热插拔3+1冗余风扇每台机柜独立的监控系统模组，百兆以太网构成监控管理网络集成一体化的高可靠控制系统，独立的监控主机，与GRIDVIEW的软件接口，实现与服务器的一体化管理。智能卡控制自动柜门开启阀门、水泵、水温和流速监测系统，漏水监测系统，冷凝水排除系统内部自动火灾监测和自动惰性气体灭火装置高X宽X深：2000mmX600mmX1300mm重量：230kg，冷却水重9kg解决方案二曙光CA2000系统数据中心机房基础设施建设全文共55页，当前为第16页。节能实例以曙光5000A为例，计算“刀片+水冷”系统与“机架+精密空调”系统在能耗、空间占用的对比：机架+精密空调系统项目数量发热量一、设备功耗：计算节点机柜（每机柜24台双路1U服务器）1258.5KW/rack胖节点机柜（每机柜5台8路服务器）177.5KW/rack网络机柜105KW/rack小计：设备总功耗=1062.5+127.5+50=1240KW二、冷却设备功耗：60KW精密空调（制冷效率以60%计算）3522KW/pcs小计：冷却设备总功耗=35*22=770KW机架+精密空调系统总能耗：总能耗=（1240+770）*24*365=17,607,600千瓦时刀片+水冷系统项目数量发热量一、设备功耗：刀片用水冷机柜3025KW/rack胖节点用水冷机柜1212KW/rack水冷机柜421.8KW/rack网络机柜105KW/rack小计：设备总功耗=750+114+75.6+50=989.6KW二、冷却设备功耗：水冷相关设备：

水泵212.5KW/pcs热交换器101KW/pcs612.4KW室外水冷机组2127KW/pcs60KW精密空调（制冷效率以60%计算）422KW/pcs小计：冷却设备总功耗=25+10+254+88=377KW刀片+水冷系统总能耗：总能耗=（989.6+25+10+88）*24*365+254*24*280=11,971,416千瓦时数据中心机房基础设施建设全文共55页，当前为第17页。刀片+水冷系统项目数量占地面积占用空间水冷机柜421.04㎡3㎡网络机柜100.72㎡2.5㎡60KW精密空调42.2㎡4.7㎡总占用空间（精密空调在机房内）=42*3+10*2.5+4*4.7=169.8㎡总占用空间（精密空调在机房外）=42*3+10*2.5=151㎡占用空间对比：机架+精密空调系统项目数量占地面积占用空间计算节点机柜1250.72㎡2.5㎡胖节点机柜170.72㎡2.5㎡网络机柜100.72㎡2.5㎡60KW精密空调352.2㎡4.7㎡总占用空间（精密空调在机房内）=（125+17+10）*2.5+35*4.7=544.5㎡总占用空间（精密空调在机房外）=（125+17+10）*2.5=380㎡数据中心机房基础设施建设全文共55页，当前为第18页。解决方案三曙光CA3000系统型号CA3000F（氟利昂型）CA3000W（冷冻水型）显冷量：30KW风量：6000m3/h送风方式：机柜一体封闭式机柜密度：<30KW数据中心机房基础设施建设全文共55页，当前为第19页。1曙光公司介绍2曙光云座系统介绍3

曙光机房解决方案介绍4部分成功案例数据中心机房基础设施建设全文共55页，当前为第20页。数据中心机房子系统供配电防雷主设备空调机柜监控布线消防门禁装饰装修数据中心机房基础设施建设全文共55页，当前为第21页。

一、机房选址原则根据GB50174-2008《电子信息系统机房设计规范》要求，机房位置选择应符合以下要求：水源充足，电力比较稳定可靠，交通通信方便，自然环境清洁；远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易爆物品的工厂、仓库、堆场等；远离水灾和火灾隐患区域；远离强振源和强噪声源；避开强电磁场干扰。数据中心机房基础设施建设全文共55页，当前为第22页。

一、机房选址原则由于机房的特殊需求，室内需要铺设活动地板，吊顶下部还需要留出吊装线槽、消防附件、新风设备的空间，因此机房选址房间的层高要求大于4米。机房所在建筑顶层或周边应具备冷水机组安装平台，平台尽量靠近主机房楼层。建筑的抗震设防等级不应低于乙级。主机房楼板活动载荷不应低于12KN/m2，电池间楼板活动载荷不应低于16KN/m2。主机房外墙不宜设置外窗。数据中心机房基础设施建设全文共55页，当前为第23页。

二、机房布局分区机房由主机房、支持区、辅助区三部分构成。

主机房用于摆放服务器机柜、网络机柜、专用空调设备、列头配电设备，实现机房的数据处理、存储及传输设备运行。支持区包括UPS配电间、储水罐间、监控室和钢瓶间，用于布置机房辅助基础设施。辅助区包括前厅、值班室、更衣间、休息间等，供工作人员接待、缓冲区使用。数据中心机房基础设施建设全文共55页，当前为第24页。

三、机房布局分区及装修设计数据中心机房基础设施建设全文共55页，当前为第25页。

三、装修设计机房装修工程通常包括地板、吊顶和墙面。数据中心机房基础设施建设全文共55页，当前为第26页。

三、装修设计吊顶主机房采用国产600mm×600mm×0.7mm铝合金条形板吊顶；在吊顶以上到顶棚的空间，可用来布置通风管道，安装照明灯具及走线，安装各类风口，安装自动火灾探测器及防止灰尘下落。数据中心机房基础设施建设全文共55页，当前为第27页。

三、装修设计墙面、柱面主机房区内墙面、柱面采用0.8mm厚轻钢龙骨，9mm厚中密度板作底，选用彩钢板作面层，10mm宽的配套压条压板缝。

地面主机房和监控室内地面均铺设防静电活动地板。活动地板规格600*600mm，铺设高度400mm。

数据中心机房基础设施建设全文共55页，当前为第28页。双电路供应计算机设备电源A电源BUPS设备A一号空调配电列头柜A二号空调配电箱双电力供应系统（UPSN+1并机）其它UPS设备BUPS设备C配电列头柜B四、电气系统设计电力供应1备用发电机1或电力供应2自动转换开关数据中心机房基础设施建设全文共55页，当前为第29页。双电路供应计算机设备电源A电源BUPS设备A市电电力供应一号空调配电列头柜A二号空调配电箱单电力供应系统（无油机N+1并机）其它UPS设备BUPS设备C配电列头柜B四、电气系统设计数据中心机房基础设施建设全文共55页，当前为第30页。配电箱1-1双电路供应计算机设备电源A电源BUPS设备A配电箱2-1电力供应1一号空调配电箱3-1备用UPSB旁路配电箱1-2配电箱2-2配电箱3-3备用UPSA旁路双电力供应系统（无油机2N双总线）二号空调UPS设备B电力供应2四、电气系统设计数据中心机房基础设施建设全文共55页，当前为第31页。

四、电气系统设计机房的配电系统设计为“双路市电互投切换＋UPS并机冗余＋输出双回路”的高可靠性的供电方式。由大楼配电系统提供双路电源，并沿电井引至本机房市电进线柜，保证机房的一级供电。两路电源通过ATS进行互投切换后输出，供给UPS及动力配电柜，经UPS稳频稳压后双回路输出给计算机设备供电。在两路市电断电的过程中，UPS通过其后备电池给计算机设备供电，确保计算机设备无瞬间断电。数据中心机房基础设施建设全文共55页，当前为第32页。

四、电气系统设计机房辅助动力设备包括机房空调系统，机房新风系统、照明、辅助用电等，均由机房动力配电柜供给。动力配电柜输入由双路市电切换供给，一路市电断电时，另一路市电可以保证正常供电。强电线缆采用活动地板下铺设镀锌线槽布线。配电与消防报警系统联动。数据中心机房基础设施建设全文共55页，当前为第33页。

四、电气系统设计数据中心机房基础设施建设全文共55页，当前为第34页。

四、电气系统设计机房区域采用分区列头模块化配电。

UPS输出配电柜输出两路至主机房各排机柜的两台列头配电模块PDM，用于UPS输出电量分配，PDM通过IEC309工业连接器与机柜PDU可靠连接，机柜的供电线缆通过工业连接器安全可靠的给机柜内电源插排供电。每排机柜的两台PDM均放置在列头配电机柜中，其它每个机柜后部配电通道分别挂接两条PDU，两条PDU分别引自两台PDM输出。数据中心机房基础设施建设全文共55页，当前为第35页。

四、电气系统设计模块化配电数据中心机房基础设施建设全文共55页，当前为第36页。

四、电气系统设计等电位供电线路外露可导电部分建筑物的金属构件可导电装饰材料各类接地系统防雷装置电子设备信息系统等电位处理数据中心机房基础设施建设全文共55页，当前为第37页。

五、空调与通风系统设计室外机安装位置数据中心机房基础设施建设全文共55页，当前为第38页。

五、空调与通风系统设计——通风新风作用保证机房内的正压、洁净度及工作人员工作环境。新风量按照1.5次/h换气次数计算，风量立方米/小时。数据中心机房基础设施建设全文共55页，当前为第39页。

五、空调与通风系统设计——通风排风由于机房、设备间采用气体灭火，需配置消防排气系统。消防排气通常按空间换气5次/小时计算。

数据中心机房基础设施建设全文共55页，当前为第40页。

六、布线系统设计网络构架为两层设置：核心层和接入层。核心层的交换机负责连接运营商进线或单位内部网络；接入层的交换机上连接核心层交换机，下连接机房内的服务器等设备。布线采用列头弱电配线机柜方式方便布线管理。即机房每排机柜设置一个机柜为列头配线柜，负责端接从电信运营商来的线缆，分配并连接至各服务器机柜。综合布线采用机柜上走线方式，吊装开放式线槽，弱电系统内铜缆部分采用六类非屏蔽线缆，光纤采用千兆光纤。数据中心机房基础设施建设全文共55页，当前为第41页。

六、布线系统设计开放式桥架铜缆数据中心机房基础设施建设全文共55页，当前为第42页。

七、安防门禁及监控系统设计——门禁门禁根据机房功能分区的需求，员工所持的卡被授予不同的权限，而只能进出规定区域的门。在机房区的门口安装门磁开关、电控锁和读卡机、出门按钮、感应式读卡器等出入口门禁控制设备。门禁系统设计具有消防联动功能，当火灾发生时控制系统将所有的门打开，以便人员疏散。数据中心机房基础设施建设全文共55页，当前为第43页。

七、安防门禁及监控系统设计——安防安防在机房区域的主要出入口、机柜之间的通道、设备之间的通道等位置安装摄像机，将图像传送到大楼监控中心。系统构架为：摄像、传输、控制、显示和记录等四个部分组成。主要设备有彩色定焦半球摄像机、数字硬盘录像机、液晶显示器。数据中心机房基础设施建设全文共55页，当前为第44页。

七、安防门禁及监控系统设计——动力环境监控机房动力环境监控主要设备监测内容配电监控子系统，监测用户机房市电的参数，及机房内多路重要的开关的状态，重要回路的电流参数监测；

UPS检测子系统，监测机房内UPS房的UPS的实时运行状态；空调监测子系统监控精密空调、加湿机、除尘机的状态及参数，并可实现空调部分参数的设定及开关功能；数据中心机房基础设施建设全文共55页，当前为第45页。

七、安防门禁及监控系统设计——动力环境监控机房动力环境监控环境监测内容设置温湿度传感器检测机房内实际的温湿度情况，可指导用户对机房的温度进行调节；为防止机房的漏水的隐患，采用绳式传感器监测机房的空调及水管周围，可精确定位漏水位置；消防子系统，通过机房消防系统提供的接点信号，与本系统实现联动报警。数据中心机房基础设施建设全文共55页，当前