数据中心机房基础设施建设.ppt

数据中心机房基础设施建设 范娟 2011年4月 1 1 曙光公司介绍 2 2 曙光云座系统介绍 3 3 曙光机房解决方案介绍 4 4 部分成功案例 IT数据中心制冷问题 传统机房的散热方案 目前，大多数的数据中心都采用架空地板精密空调的方式来为设备提供冷却 热岛的出现 制冷不均匀造成了系统MTBF的降低 最大制冷能力 : 1,100 1,500 W/m = 3 - 5 kW / rack （CFD）模拟测试结果 1.机房内部不同区域温度场差异很大 2.不同的水平高度温度场差异很大 3.局部出现过热，造成系统局部散热 不良而影响系统总体可靠性 4.空调机占用了25%的机房面积 配备CRAC(风冷精密空调)的机房上 、中、下部CFD模拟结果 摩尔定律：密度越来越高、散热量提 升、总功耗提升 单机柜功耗逐年提升（单位：KW） 2000200420082010 5 10 20 30 面临的主要问题 传统冷却方式的不足 传统的机房制冷方式已经越来越不能适应今天IT 系统发展的需要，必须改变 局部过 热 能效低 难以管 理 占空间 1.由于空间大，无 法进行精密的气流 设计，造成局部的 热岛 2.机柜内部也出现 温度不均匀的情况 3.热岛的出现降低 了系统的可靠性 1.制冷能耗利用率 只有60% 2.传输过程造成大 量能量损失 3.整个机房制冷耗 能严重 1.空调与IT系统 无法协调工作， 故障和应急处理 困难 2.空调需要专业 人员的维护 1.空调设备和管道 占用了大量宝贵的 机房空间 2.风道设计要求机 房的地板和天花板 留出大量空间 解决方案 更高的计算密度 造成更高的功率 密度 空调系统占用了 宝贵的机房空间 机房冷却系统的 能耗巨大，而能 效却很低 新一代的信息系统面 临许多挑战，提高系 统使用效能是关键。 而能效又是影响系统 使用成本的关键因素 新的制冷解 决方案 解决方案一 曙光CA1000系统 型号 CA1000F（氟利昂型） 显冷量：35KW 风量：7000m3/h 送风方式： 柜门通道封闭式 密闭气流的水平送风模式 最高机柜密度10KW 解决方案一 曙光CA1000系统 一体化系统设计，包括空调、机柜排级配电、机柜、一体化线槽 、除湿除尘机。 曙光C1000系统空调 -冷热通道分离，气流组 织有序 ； -就近精确送风，循环风 阻小、风量大 ； -不同高度进风温度均衡 ； -制冷效率高、系统噪音 低； -可以解决最高单机柜 10KW的散热需求 。 随着机柜密度的不断提升 水平送风结合气流分离的散热方式将是未来高性能计算的主流散热解决方案 解决方案一 曙光CA1000系统 空调类型曙光C1000空调下送风精密空调舒适性空调 制冷量38KW33KW28KW 设备尺寸（宽*深）600*1200850*8751200*400 占地面积0.720.743750.48 显热比高高低 风量7000m3/h10000m3/h4000m3/h 气流组织 有序 无冷热气流短路 有部分冷热气流短 路 混乱 能够解决的单机柜密度10KW5KW2KW 机柜温度梯度不存在存在存在 设计寿命10年10年3年 控制精度1135 是否支持低温启动是是否 是否支持来电自启是是否 与集群系统的统一性统一不统一不统一 解决方案一 曙光CA1000系统 解决方案二 曙光CA2000系统 型号 CA2000（冷冻水型） 显冷量：20KW 风量：4000m3/h 送风方式 机柜一体封闭式 机柜密度：20KW 1.前门 2.热交换模 块 3.风扇后门 4.侧门 5.冷风出口 水冷机柜的结构 解决方案二 曙光CA2000系统 水冷机柜系统原理 + 水冷机柜系统：以水 作为冷媒，将外部水 冷机组提供的冷却水 经由管道输送到室内 设备，解决服务器设 备散热。 解决方案二 曙光CA2000系统 曙光水冷机柜系统指标 柜内换热器 7U/19”标准部件，42U柜内有效空间35U 单机柜最大制冷功率20KW 气密性封闭柜体，无尘设计，降噪设计，保证系统噪声低于50dB 采用国际标准通用冷水机组和水泵，完善的机组配置方案，支持N+1冗余 双冗余管路和水泵设计，可靠性更高 机柜内部温度自动监测和控制 后门自动转速控制的热插拔3+1冗余风扇 每台机柜独立的监控系统模组，百兆以太网构成监控管理网络 集成一体化的高可靠控制系统，独立的监控主机，与GRIDVIEW的软件接口， 实现与服务器的一体化管理。 智能卡控制自动柜门开启 阀门、水泵、水温和流速监测系统，漏水监测系统，冷凝水排除系统 内部自动火灾监测和自动惰性气体灭火装置 高X宽X深：2000mmX600mmX1300mm 重量：230kg，冷却水重9kg 解决方案二 曙光CA2000系统 节能实例 以曙光5000A为例，计算“刀片+水冷”系统与“机架+精密空调”系统在能耗、空间占用的 对比： 机架+精密空调系统 项项目数量发热发热 量 一、设备设备 功耗： 计算节点机柜（每机柜24台双路1U服务器 ） 1258.5 KW/rack 胖节点机柜（每机柜5台8路服务器）177.5 KW/rack 网络络机柜105 KW/rack 小计：设备总功耗=1062.5+127.5+50=1240KW 二、冷却设备设备 功耗： 60KW精密空调（制冷效率以60%计算）3522 KW/pcs 小计：冷却设备总功耗=35*22=770KW 机架+精密空调系统总能耗： 总能耗=（1240+770）*24*365=17,607,600千瓦时 刀片+水冷系统 项项目数量发热发热 量 一、设备设备 功耗： 刀片用水冷机柜3025 KW/rack 胖节节点用水冷机柜1212 KW/rack 水冷机柜421.8 KW/rack 网络络机柜105 KW/rack 小计：设备总功耗=750+114+75.6+50=989.6KW 二、冷却设备设备 功耗： 水冷相关设备设备 ： 水泵泵212.5 KW/pcs 热热交换换器101 KW/pcs 612.4KW室外水冷机组2127 KW/pcs 60KW精密空调（制冷效率以 60%计算） 422 KW/pcs 小计：冷却设备总功耗=25+10+254+88=377KW 刀片+水冷系统总能耗： 总能耗=（989.6+25+10+88） *24*365+254*24*280=11,971,416千瓦时 刀片+水冷系统 项项目数量占地面积积占用空间间 水冷机柜421.043 网络络机柜100.722.5 60KW精密空调42.24.7 总占用空间（精密空调在机房内） =42*3+10*2.5+4*4.7=169.8 总占用空间（精密空调在机房外）=42*3+10*2.5=151 占用空间对比： 机架+精密空调系统 项项目数量占地面积积占用空间间 计计算节节点机柜1250.722.5 胖节节点机柜170.722.5 网络络机柜100.722.5 60KW精密空调352.24.7 总占用空间（精密空调在机房内）=（125+17+10） *2.5+35*4.7=544.5 总占用空间（精密空调在机房外）=（125+17+10）*2.5=380 解决方案三 曙光CA3000系统 型号 CA3000F（氟利昂型） CA3000W（冷冻水型） 显冷量：30KW 风量：6000m3/h 送风方式： 机柜一体封闭式 机柜密度：30KW 1 1 曙光公司介绍 2 2 曙光云座系统介绍 3 3 曙光机房解决方案介绍 4 4 部分成功案例 数据中心机房子系统 供配电 防雷 主设备 空调 机柜 监控 布线 消防门禁 装饰装修 一、机房选址原则 根据GB50174-2008电子信息系统机房设计规范要求，机房位置选择 应符合以下要求： l 水源充足，电力比较稳定可靠，交通通信方便，自然环境清洁； l 远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易 爆物品的工厂、仓库、堆场等； l 远离水灾和火灾隐患区域； l 远离强振源和强噪声源； l 避开强电磁场干扰。 一、机房选址原则 l 由于机房的特殊需求，室内需要铺设活动地板，吊顶下部还需要留出吊 装线槽、消防附件、新风设备的空间，因此机房选址房间的层高要求大于4 米。 l 机房所在建筑顶层或周边应具备冷水机组安装平台，平台尽量靠近主机 房楼层。 l 建筑的抗震设防等级不应低于乙级。 l 主机房楼板活动载荷不应低于12KN/m2，电池间楼板活动载荷不应低于 16KN/m2。 l 主机房外墙不宜设置外窗。 二、机房布局分区 机房由主机房、支持区、辅助区三部分构成。 主机房 用于摆放服务器机柜、网络机柜、专用空调设备、列头配电设备， 实现机房的数据处理、存储及传输设备运行。 支持区 包括UPS配电间、储水罐间、监控室和钢瓶间，用于布置机房辅助 基础设施。 辅助区 包括前厅、值班室、更衣间、休息间等，供工作人员接待、缓冲区 使用。 三、机房布局分区及装修设计 三、装修设计 机房装修工程通常包括地板、吊顶和墙面。 三、装修设计 吊顶 l 主机房采用国产600mm600mm0.7mm铝合金条形板吊顶； l 在吊顶以上到顶棚的空间，可用来布置通风管道，安装照明灯具及走线 ，安装各类风口，安装自动火灾探测器及防止灰尘下落。 三、装修设计 墙面、柱面 l 主机房区内墙面、柱面采用0.8mm厚轻钢龙骨，9mm厚中密度板作底， 选用彩钢板作面层，10mm宽的配套压条压板缝。 地面 l 主机房和监控室内地面均铺设防静电活动地板。 l 活动地板规格600*600mm，铺设高度400mm。 双电路供应计算机设备 电源 A电源 B UPS 设备 A一号空调 配电列头柜 A 二号空调 配电箱 双电力供应系统（UPS N+1并机） 其它UPS 设备B UPS 设备C 配电列头柜 B 四、电气系统设计 电力供应 1备用发电机 1 或电力供应2 自动转换开关 双电路供应计算机设备 电源 A电源 B UPS 设备 A 市电电力供应 一号空调 配电列头柜 A 二号空调 配电箱 单电力供应系统（无油机 N+1并机） 其它UPS 设备B UPS 设备C 配电列头柜 B 四、电气系统设计 配电箱 1-1 双电路供应计算机设备 电源 A电源 B UPS 设备 A 配电箱 2-1 电力供应 1 一号空调 配电箱 3-1 备用 UPS B 旁路 配电箱 1-2 配电箱 2-2 配电箱 3-3 备用 UPS A 旁路 双电力供应系统（无油机 2N双总线） 二号空调UPS 设备 B 电力供应 2 四、电气系统设计 四、电气系统设计 机房的配电系统设计为“双路市电互投切换UPS并机冗余输出双回路”的 高可靠性的供电方式。 由大楼配电系统提供双路电源，并沿电井引至本机房市电进线柜，保证机 房的一级供电。两路电源通过ATS进行互投切换后输出，供给UPS及动力配 电柜，经UPS稳频稳压后双回路输出给计算机设备供电。在两路市电断电 的过程中，UPS通过其后备电池给计算机设备供电，确保计算机设备无瞬 间断电。 四、电气系统设计 机房辅助动力设备包括机房空调系统，机房新风系统、照明、辅助用电等 ，均由机房动力配电柜供给。动力配电柜输入由双路市电切换供给，一路 市电断电时，另一路市电可以保证正常供电。 强电线缆采用活动地板下铺设镀锌线槽布线。 配电与消防报警系统联动。 四、电气系统设计 四、电气系统设计 机房区域采用分区列头模块化配电。 l UPS输出配电柜输出两路至主机房各排机柜的两台列头配电模块PDM， 用于UPS输出电量分配，PDM通过IEC309工业连接器与机柜PDU可靠连接 ，机柜的供电线缆通过工业连接器安全可靠的给机柜内电源插排供电。 l 每排机柜的两台PDM均放置在列头配电机柜中，其它每个机柜后部配电 通道分别挂接两条PDU，两条PDU分别引自两台PDM输出。 四、电气系统设计 模块化配电 四、电气系统设计 等电位 供电线路外露可导电部分建筑物的金属构件 可导电装饰材料 各类接地系统 防雷装置 电子设备信息系统 等电位处理 五、空调与通风系统设计 室外机安装位置 五、空调与通风系统设计通风 新风 l 作用保证机房内的正压、洁净度及工作人员工作环境 。 l 新风量按照1.5次/h换气次数计算 ，风量立方米/小时。 五、空调与通风系统设计通风 排风 l 由于机房、设备间采用气体灭火，需配置消防排气系统。 l 消防排气通常按空间换气5次/小时计算。 六、布线系统设计 l 网络构架为两层设置：核心层和接入层。核心层的交换机负责连接运营 商进线或单位内部网络；接入层的交换机上连接核心层交换机，下连接机 房内的服务器等设备。 l 布线采用列头弱电配线机柜方式方便布线管理。即机房每排机柜设置一 个机柜为列头配线柜，负责端接从电信运营商来的线缆，分配并连接至各 服务器机柜。 l 综合布线采用机柜上走线方式，吊装开放式线槽，弱电系统内铜缆部分 采用六类非屏蔽线缆，光纤采用千兆光纤。 六、布线系统设计 开放式桥架 铜缆 七、安防门禁及监控系统设计门禁 门禁 l 根据机房功能分区的需求，员工所持的卡被授予不同的权限，而只能进 出规定区域的门。在机房区的门口安装门磁开关、电控锁和读卡机、出门 按钮、感应式读卡器等出入口门禁控制设备。 l 门禁系统设计具有消防联动功能，当火灾发生时控制系统将所有的门打 开，以便人员疏散。 七、安防门禁及监控系统设计安防 安防 l 在机房区域的主要出入口、机柜之间的通道、设备之间的通道等位置安 装摄像机，将图像传送到大楼监控中心。 l 系统构架为：摄像、传输、控制、显示和记录等四个部分组成。主要设 备有彩色定焦半球摄像机、数字硬盘录像机、液晶显示器。 七、安防门禁及监控系统设计动力环境监控 机房动力环境监控 主要设备监测内容 l 配电监控子系统，监测用户机房市电的参数，及机房内多路重要的开关 的状态，重要回路的电流参数监测； l UPS检测子系统，监测机房内UPS房的UPS的实时运行状态； l 空调监测子系统监控精密空调、加湿机、除尘机的状态及参数，并可实 现空调部分参数的设定及开关功能； 七、安防门禁及监控系统设计动力环境监控 机房动力环境监控 环境监测内容 l 设置温湿度传感器检测机房内实际的温湿度情况，可指导用户对机房的