浪潮模块化数据中心方案v20第二版1

浪潮模块化数据中心 v2.0 方案2013-8-12浪潮集团互联网行业部浪潮集团互联网行业部1目 录一 项目背景： .21. 模块化数据中心 22. 网易、上海数据港、浪潮三方角色 23. 项目预期 2二 方案介绍： .31. 模块布局 32. 气流遏制子系统 43. 供配电子系统 94. 制冷子系统 125. 机柜及布线子系统 176. 监控子系统 20三 项目管理 211. 关系人及各方职责 212. 项目范围 .213. 项目周期及里程碑计划 224. 沟通机制及工作方法 235. 变更管理 .236. 项目交付物 237. 验收及结束标志 24四 附件 24浪潮集团互联网行业部2一 项目背景：1. 模块化数据中心随着互联网行业规模的迅速扩大，传统机房部署方式导致的空间浪费和高昂的运营成本已经成为互联网数据中心和互联网企业的发展瓶颈。为实现冷热气流互不侵扰，互联网数据中心率先尝试了封闭冷通道、烟囱式机柜等方式，实现了相比传统数据中心 PUE 值的大幅降低。模块化数据中心在封闭冷热通道的基础上，结合了水冷列间空调的近热源设计，以及模块化装配、模块化扩展的设计思想，成为下一代数据中心部署方式的典型代表。 模块化数据中心包含了冷热通道模块、供配电系统、制冷系统、机柜及布线系统和监控系统，不仅实现了 PUE 值的进一步降低，还通过对数据中心所有末端设备的整合，使其成为数据中心的独立部署颗粒，根据业务发展随需部署，实现了数据中心初期投资的降低。2. 网易、上海数据港、浪潮三方角色 网易 作为国内一线互联网企业，希望尝试模块化这种新型的数据中心部署方式，以期降低不断高企的数据中心运营费用，负责模块化数据中心的方向性设计以及运行数据的分析； 上海数据港 作为具有丰富经验的国内知名 IDC 企业，负责模块化数据中心的运维，保障试验性模块的安全运行； 浪潮 作为网易在服务器领域的长期合作伙伴，提供模块的设计、制造、实施及售后服务支持； 此项目是三方在新型数据中心上的一次探索，也是在数据中心建设中一种全新的商业合作模式。 3. 项目预期本项目目的在于根据三方的设计要求完成模块化数据中心的设计、制造、交付实施，实现模块化数据中心上线运行。意义在于通过长期测试获取平均 pPUE、列间空调制冷效率等关键数据，在实践中验证设计方案，并利用实际运行中的数据，分析评估模块化数据中心大规模部署的可行性。浪潮集团互联网行业部3二 方案介绍：1. 模块布局I T 机 柜浪潮I T 机 柜A P CI T 机 柜浪潮I T 机 柜配 电 柜浪潮模块化数据中心结构上包括冷通道模块、热通道模块、机柜组模块、机房适应性组件和顶部线槽，运行系统上包括气流遏制子系统、供配电子系统、制冷子系统、机柜及布线子系统和监控子系统。本版模块化数据中心采用单排机柜设计，部署 IT 机柜 4 个，两个浪潮水冷模组、一个APC 水冷模组和一个智能精密配电柜，在机柜组前后部署冷、热通道模块作为气流遏制组件，通道顶部设计为消防掉落窗，此外为适合机房地面环境设计适应性组件，顶部强、弱电线槽各一个。浪潮集团互联网行业部42. 气流遏制子系统模块组件规格冷、热通道框架使用铝合金材质，保证功能性的前提下尽量降低自重，利用并柜件与机柜组连接，全部重量传递到机柜组；图中黑色侧板采用钢材，与机柜侧板保持一致，铝合金框架采取加固措施。由于 APC 配电柜高度和深度与机柜组不一致，所以在配电柜一侧利用横梁和侧板将冷、热通道连接，保证模块外观一致性。模块平面图浪潮集团互联网行业部5模块剖面图APC 空调安装底轮和底脚，高出冷、热通道处用可拆卸结构件封堵。冷热通道高出机柜 80mm，通道顶梁底面距机柜顶面 20mm，便于水冷空调进出维护，在机柜顶部设置连接冷、热通道的梁，用来支撑强、弱电线槽。模块整体尺寸：4260mm（宽） X 2100mm（深） X 2185mm（高）冷通道规格：4200mm（宽） X 600mm（深） X 2060mm（高）热通道规格：4200mm（宽） X 300mm（深） X 2060mm（高）机柜组规格：4200mm（宽） X 1200mm（深） X 2000mm（高）环境适应件规格：4200mm（宽） X 1200mm（深） X 55mm（高）线槽规格：4200mm（宽） X 300mm（深） X 100mm（高）组件并柜方案本方案中利用四台 IT 机柜作为支撑主体，机柜与水冷模组、配电柜之间使用直型、L型并柜件连接。浪潮集团互联网行业部6机柜与冷、热通道之间顶部使用加长 L 型并柜件连接，兼顾密封需要，两侧使用直型并柜件连接。浪潮集团互联网行业部7冷热通道门帘方案模块冷、热通道采用柔性门帘作为通道封闭组件，每通道采用三块 2mm 厚塑料门帘，每两块门帘之间 150mm 的重叠，门帘顶部利用结构件固定，两侧及底边利用软磁条密封，局部使用强力磁块加强。在数据中心采用塑料材质的门帘，具有结构简单、成本低、易运维的优点，但同时也存在一些可预见的风险点：1、 选取的材料标称可在 80 摄氏度以下的环境工作，但在热通道高温环境下的老化速度和使用寿命目前没有可靠数据；2、 塑料材质不防火且在门帘中部易产生静电；3、 模块采用了一台直吹的 APC 空调，经利用两台浪潮空调对置模拟 APC 空调的试验可知，1.5mm 的门帘会在 APC 空调正前方门帘会产生局部 30mm 左右的起鼓变形，更换为 2mm 厚的门帘后预计变形幅度为 20mm，但如长期使用可能会导致永久性变形；浪潮集团互联网行业部8机房环境适应件方案由于机柜组底部钢梁顶面相比静电地板低 500mm，为不影响服务器上架及水冷空调进出维护，设计 55mm 高环境适应件，保证机柜底与静电地板持平，水冷空调处设计盖板，便于进出维护。密封方案可能存在缝隙的地方包括：门帘之间：每两个门帘设计 150mm 的重叠，在重叠处门帘接触面的反面设计两道软磁条作为主要吸附件，由于软磁条磁力较小，再利用强力磁块局部加强。当模块工作时，冷、热通道内会产生正压，空气的压力和塑料材质的特性会使门帘重叠处压紧，进一步避免冷量流失；门帘与立柱、底框：在门帘两侧立柱和底框内部通长固定软磁条及局部加强磁块，使门帘关闭时可吸附在立柱和底框上；冷、热通道与机柜组之间：在冷、热通道与机柜组连接位置，首先会利用螺栓将结构件连起来，在结构件接触面上利用泡棉密封； APC 水冷空调与冷、热通道底部：利用可拆卸结构件封堵；浪潮集团互联网行业部93. 供配电子系统概述供 配 电 子系 统智 能 精 密配 电 柜IT机 柜 供电水 冷 模 组供 电 监 控 供 电 照 明 供 电智能精密配电柜配电柜采用 APC 智能精密配电柜，包括各配电功能器件和系统软件，柜体采用标准服务器机柜结构，整体外观一致，安全整齐的母线铜排，高精度传感器，智能触摸屏。规格参数表厂商 APC外观 整体颜色为黑色外形尺寸 mm 600X1070X1991容量 40KVA连接方式 3L+N+PE进线方式 下进线输入 380V/400V，50Hz输出 220V/380V，50Hz显示界面 5.7 英寸高清大屏幕触摸屏中文显示，界面友好操作方便。触摸屏显示主路信息实时检测输入电流，电压，频率，有功，无功及视在功率，功率因数，THDi，THDu ，频率，有功，无功及视在电能，电流和电压不平衡度。并可对高达 31 次谐波进行分析触摸屏显示支路信息 实时监测各分路状态，电流，电能，电压负载百分比及功率因数。防雷装置 消除雷电和浪涌干扰，保证人身和设备安全。通讯方式及通讯协议 RS485 接口，标准 MODBUS 通讯协议。重量 255KG配电柜后端顶部预留出线孔，输出部分从柜体前部输出空开处引到后端的端子上，出线端子位于柜子后部左右两侧的上方；柜子前门为玻璃网孔门，上面安装一台人机界面浪潮集团互联网行业部10（触摸屏），其余设备均固定安装在内部器材挡板上，保证内门打开时可以检修、拆卸有关原器材，关上内门露出有关操作手柄，便于人工操作；配电原理图IT 机柜供电每机柜后部部署两组 PDU，通过工业连接器与从精密配电柜引出的 5*2.5MM2 电缆相连，一组连接市电，一组连接 UPS，为机柜内的 IT 设备提供可靠的双路供电。PDU 插位包括 12 位 C19,和 6 位万用，其中每 4 个 C19 和 2 个万用为一组，平均分配到 A、B、C 三相，且划分清晰易于辨识。每插位有独立微型断路器控制。浪潮集团互联网行业部11PDU 规格表品牌 TOP 突破外壳颜色 黑色尺寸规格 长 x 宽 x 高 = 1400mm x 48mm x 96 mm输出单元 6 个 10A 万用孔位（每个单元带 10A/1P 施耐德空开） 、12 个 IEC C19孔位（每个单元带 16A/1P 施耐德空开）本体额定值 16A/380V内连线 主线为 4MM2，连线为 1.54MM2制冷供电为方便采集制冷系统总用电量，配电柜设置有独立的水冷模组输出回路，其中 APC ACRC502 为三相供电，使用 5*2.5mm2 电缆，浪潮 ISC-WME301-30 为单相供电，使用3*2.5 mm2 电缆，电缆通过工业连接器与水冷模组连接，两组水冷模组均采用高可靠的双路供电。监控供电监控系统用电设备包括一台 1U 监控服务器和监控交换机，水浸系统的开关电源、温湿度传感器和监控采集器。由于监控用电端为单路供电，为保证在市电中断的情况下仍可正常工作，在供电线路上增加 STS 在两路供电间切换。照明供电浪潮模块化数据中心在冷、热通道内各部署一根 LED 灯带，颜色为蓝色，安装位置为通道左右上三边，靠近开门一侧，避免灯光直射人眼。照明供电 220v，压接在配电柜市电照明输出端子上， 在冷、热通道外部各设置一个手动开关。浪潮集团互联网行业部124. 制冷子系统气流组织I T 机 柜水冷空调I T 机 柜水 冷 空 调I T 机 柜水冷空调I T 机 柜配 电 柜风量计算模块总风量需求（m3/h）=4*3600（KJ/H）*7.5 （KW ）/1.25（KG/M3）/1.01 （KJ/KG/）/15（）=5700m3/h浪潮水冷模组最大风量=5200 m3/hAPC 水冷模组最大风量=11700m3/h两台浪潮水冷模组加一台 APC 水冷模组的总风量为 22100m3/h，可以保证足够的风量冗余。浪潮 ISC-WME301-30 设备描述In Row RC Chilled Water, 90-264V 单相交流供电，47-63Hz, IEC 309-10，行级制冷，水平侧送风模式，EC 变频风机，额定制冷量 22-27KW（进水温度12 ），冷冻水工作模式，标配 LCD 显示器、IPMI 2.0 接口协议等，标准半宽服务器机柜外观。常规技术冷冻方式 : 冷冻水 送风方式 : 水平 回风方式 : 后置返回 风量 : 5200m3/h系统总水压降 :30.0-80.0 kPa浪潮集团互联网行业部13输入工作电压额定输入电压 : 220V 输入功率 : 1700W(2+2 冗余)输入频率 : 50 Hz 设备安装有效高度 : 42U 输入端子类型 : IEC 309 10A 1P+N+PE电源输入：支持双电源通讯与管理控制面板 : 多功能液晶显示器状态管理控制台。 有声报警 : 1.实现系统故障报警功能2.实现机柜开门报警功能3.实现水浸报警功能浪潮集团互联网行业部14APC ACRC 502 设备描述In Row RC Chilled Water, 380-415V 50Hz, IEC 309-16，行级制冷，水平送风模式，EC 变频风机，额定制冷量 24.7-39.1KW（进水温度 12），冷冻水工作模式，标配 LCD 显示器、通讯网卡、 RS485 串口等，标准机架服务器柜外观。常规技术冷冻方式 : 冷冻水 送风方式 : 水平 回风方式 : 后置返回 风量 : 11700m3/h冷凝泵容量 : 0.53l/min 的速度将冷凝水抽吸 18 米，最大吸升高度 3.5 米；最低进水温度 : 12.0C 系统总水压降 :33.0-75.0 kPa 输入工作电压额定输入电压 : 380V 输入功率 : 3000W输入频率 : 50 Hz 设备安装有效高度 : 42U 输入端子类型 : IEC 309 16A 3P+N+PE电源输入：支持双电源通讯与管理控制面板 : 多功能液晶显示器状态管理控制台。 有声报警 : Audible and visible alarms prioritized by浪潮集团互联网行业部15ACRC500 外部组件ACRC500 内部组件（前部） ACRC500 内部组件（后部）浪潮集团互联网行业部16管路方案本项目空调水系统管道采用同程管设计，以确保具备良好的水力平衡性。系统冷源处设有过滤装置，每台列间空调供水口不再单独增设 Y 型过滤器。由于浪潮水冷模组机组供水管、回水管设计为 DN40（盘管本身冷量设计较大） ，APC 制冷机组进出水管管径设计也是 DN40，故系统支管设计管径均为 DN40。浪潮水冷模组的流量可通过供水管口球阀控制。浪潮机组与系统管道的连接采用不锈钢软管连接。软管两端均有球阀设计（支管端口与软管处、盘管供水口与软管处） 。有效保障接管出的管道更换及泄露。浪潮水冷模组盘管最底部设计泄水阀。机组更换时，可把机组进出水口阀门关闭，通过泄水阀将机组内冷冻水放出，通过水盘及排水管排出。水系统管路流程图如下：除冷凝水管外的所有管路使用保温棉，可防止管道上冷凝水产生，冷凝水管采用 PVC管材，从水冷模组底部接水盘引出，利用高差将冷凝水排出至空调室。浪潮集团互联网行业部175. 机柜及布线子系统机柜本方案采用 42U 标准机柜，物理规格如下：净重 ：150 KG 高 ：2000.00 mm 宽 ：600.00 mm 深 ：1200.00 mm 运输重量 ：175 KG 运输高度 ：2250.00 mm 运输宽度 ：800.00 mm 运输长度 ：1350.00 mm 载荷能力（静态负载）： 1100 KG 载荷能力（动态负载）： 1000 KG 最大机架安装深度 ：900.00 mm 设备安装有效高度 ：42U 颜色 ：黑色 适用标准 ：EIA-310-E理线架理线架为网易与浪潮联合设计，尺寸为：178mm*18mm*55mm，安装后最厚处不超过机柜方孔条，避免与部分超长服务器的结构冲突。强电布线1. 模块进线浪潮模块化数据中心支持双路三相五线供电，根据模块设计容量至少需要 25mm2 以上的线缆规格，线缆利用模块顶部强电线槽进入配电柜，电缆压接至配电柜输入端子。浪潮集团互联网行业部182. 机柜及水冷模组配电柜与 IT 机柜 PDU 及水冷模组全部在模块上方桥架内通过工业连接器连接。3. 监控监控供电线缆从配电柜两路输出端子通过 STS 输出到一只小型 PDU，监控服务器、浪潮集团互联网行业部19交换机直接从 PDU 上取电，四只监控采集器从配电柜监控输出端子引出供电电缆通过工业连接器给四只监控采集器供电。4. 照明照明 LED 灯带在冷、热通道各部署一根，供电线缆从配电柜市电照明输出端子引出后行至模块顶部线槽，穿入冷、热通道顶部框架，通过空心框架行至 LED 灯带供电位置及各开关。弱电布线1 监控信号线缆水浸、温湿度传感器的 485 信号线通过机柜顶部的转换器输出 TCP/IP 协议，通过前部弱电线槽连接至监控交换机；2 网络线缆模块内相邻两个机柜共用一个 TOR 交换机，机柜之间在理线架上方开孔，供跨柜走线。上行光纤通过顶部弱电线槽向上级联。浪潮集团互联网行业部206. 监控子系统浪潮 SmartCloud MDC 采用的监控系统为纯网络型、分布式结构，特点如下：（1） 底层采集数据通过网络上传，带宽是 10M-100M（RS485 总线的带宽通常在100K 以下） ，因而数据上传速度大大提高。（2） 底层数据传输遵守 Lonworks 或 C-bus 协议，数据主动上传，不需要主机轮询，大大提高了传输效率。同时 C-bus 有校验功能，保证数据的准确性。（3） 系统数据采集的丢包率低于 1%。网络化结构可以充分利用现有网络资源，节约布线成本及施工时间。模块化数据中心监控子系统独立于机房主监控，提供 web 界面供机房运维工程师和网易远程监控。 水冷空调水冷空调水冷空调配电柜水浸温湿度传感器温湿度传感器温湿度传感器温湿度传感器监控交换机监控服务器串口转换器监控拓补图浪潮集团互联网行业部21三 项目管理1. 关系人及各方职责浪潮项目经理：袁泉，负责项目整体协调及商务推进项目组成员：赵吉志，研发项目负责人，负责研发端资源协调、进度管理、人员管理熊鑫，负责项目需求确认、方案设计、资源协调、生命周期管理肖波，负责项目方案设计、供电系统设计、监控系统设计谷俊杰，负责供电系统设计任玉迎/刘广志，负责项目制冷系统设计迟秀/牛占林，负责项目结构设计孙磊，负责采购相关工作王琛，负责实施、售后工作浪潮负责本项目产品的设计、制造、测试、运输、实施、交付网易项目代表：王洪涛，负责项目产品设计确认，测试上海数据港项目代表：徐力朝，负责项目产品设计确认、下单、APC 产品议价、配合测试及实施、运维2. 项目范围阶段 起止时间 工作描述 输出成果技术参数确认 2013-7-292013-8-30在三方充分沟通的基础上，浪潮提出模块的设计方案，包括模块布局、并柜方式、空调配置、模块尺寸、监控系统设计以及开门形式等，上海数据港提供水冷空调的具体型号，通过浪潮、网易、上海数据港三方的共同确认，实现三方认可的最终经三方确认的浪潮模块化数据中心 v2.0方案浪潮模块化数据中心技术规格书浪潮模块化数据中心部件级 BOM浪潮集团互联网行业部22方案商务合同签订 2013-8-102013-8-31浪潮和上海数据港共同确认模块化产品的维保协议并在技术参数达成一致的前提下签订采购合同采购合同模块化数据中心售后服务协议 （或可体现在采购合同中）结构设计 2013-8-132013-9-15机柜、空调、配电柜并柜设计，冷、热通道结构设计，与网易、上海数据港进行确认模块化数据中心结构设计文件部件采购 2013-8-302013-10-20柜体并柜件、冷热通道组件制造，APC 空调采购，相关组件齐套；监控系统开发；模块化数据中心结构搭建完成监控系统开发完成监控系统开发及联调2013-8-252013-10-30监控系统调试完成交付 2013-11-12013-11-10模块化数据中心运输、实施、验收测试模块化数据中心验收报告3. 项目周期及里程碑计划本项目预计周期为三个月2 0 1 3 年 7 月 2 9 日 2 0 1 3 年 1 1 月 1 0 日2 0 1 3 年 8 月 4 日2 0 1 3 年 8 月 1 1 日2 0 1 3 年 8 月 1 8 日2 0 1 3 年 8 月 2 5 日2 0 1 3 年 9 月 1 日2 0 1 3 年 9 月 8 日2 0 1 3 年 9 月 1 5 日2 0 1 3 年 9 月 2 2 日2 0 1 3 年 9 月 2 9 日2 0 1 3 年 1 0 月 6 日2 0 1 3 年 1 0 月 1 3 日2 0 1 3 年 1 0 月 2 0 日2 0 1 3 年 1 0 月 2 7 日2 0 1 3 年 1 1 月 3 日2 0 1 3 年 7 月 2 9 日项目启动2 0 1 3 年 1 1 月 1 0 日验收完成2 0 1 3 年 1 1 月 3 日模块进场2 0 1 3 年 1 0 月 3 0 日模块调试完