年数据中心建设与方案

1、数据中心建设与方案Agenda初步技术方案数据中心建设流程初步技术方案-基础架构分解自动报警，分区气体灭火，分区水喷淋安防，环控，综合布线，KVM，智能管理UPS，照明，PDU，防雷，接地，柴发专用空调，辅助空调，通风系统，空气净化机房区，办公区，总监控区，动力区电气工程弱电工程空调工程装修工程消防工程 数据中心建设技术方案主要包括：总体建设原则规划、空间设计、安全性设计、建筑工程规划、电气系统设计、空调新风系统设计、消防系统设计。综合布线系统设计、环境监控系统设计、总控中心设计等。数据中心基础架构的分解（如上图所示），集成将包含上述子系统工程。初步技术方案-数据中心总体建设原则 数据中心总体

2、建设原则需要关注：安全性、可靠性、可管理性、灵活性、实用性及先进性，只有将全生命周期都纳入战略规划中，数据中心的运营才能发挥最大效用。建立安全等级按照安全等级建立安全分区按照目的和人数建立交通动线按照安全分区选择安全功能1 安全性选择适当的地点，以规避灾难的发生采纳较高的规范，以避免二次灾难建立高规格的结构建筑建立足够的电源和空调设备，并考虑备份市电的供给需不间断并有备份双回路的供给，包括电源、管线及通讯线路等标准化的设备系统2 可靠性考虑维修动线采用市场标准设备预先考虑设备更换以及维修所需的空间和备份3 可管理性考虑模块化设计采用移动式办公设计采用高嘉地板方式装修采用容易更换及扩充的设备4

3、灵活性创造舒适的空间建立24小时皆适用的设备功能建立方便的人机界面采用先进的技术和方法论兼顾当前需求与业务发展5 实用性及先进性初步技术方案-数据中心建设标准和依据数据中心建设应合理引用标准和吸收前瞻性技术，主流数据中心标准体系有：2015年将发布国标GB50174-2015更新版（已通过审核）；美国数据中心标准TIA-942；ASHRAE TC9.9-2011 Thermal Guidelines for Data Center Processing Environments。标准名称级别具体内容国家机房分级标准A按容错系统配置，不应因操作失误，设备故障，外电源中断，维护和检修而导致电子信息

4、系统运行中断B按冗余要求配置，在冗余能力范围内，不应因设备故障而导致电子信息系统运行中断C按基本需求配置，在场地设施正常运行情况下，应保证电子信息系统运行不中断ANSI TIA-942 数据中心通信网络基础设施标准The Uptime Institute 数据中心场地设施等级定义Tier I “单路”单路电源和制冷，无冗余，可用指标为99.671%Tier II “冗余”单路电源和制冷，冗余部件，可用指标为99.749%Tier III “并行”多路电源和制冷，平时只使用一路，可切换备用，可用指标为99.982%Tier IV “容错”多路电源和制冷，“双主用”全冗余，多路同时使用，支持容错，

5、消除单点故障，支持在线维护。理论上，可用指标为99.995%数据中心最佳实践白皮书设计参考标准Uptime InstituteASHRAE TC 9.9TIA- 942-AGB50174-2015初步技术方案-数据中心项目范围和建筑概况柴油发电机楼柴油发电机楼机房楼数据中心主要建筑设计指标：建筑类别：多层建筑设计使用年限：50年（以主体结构确定）建筑耐火等级：一级抗震设防烈度：8度结构类型：框架结构面积数据指标：A1区，地上建筑面积42,474mA2和A3区，地上建筑面积7,167mA区，地下建筑面积3,7844mA区总共建筑面积：87,500m机房净使用面积：约 19,000mA-1A-3A

6、-2数据中心主要结构设计指标：地上设3个楼层，结构层高为5.7m；地下设2个楼层，结构层高一般为7.0m；个别区域视情况抬高或降低；总控中心地上二层和三层的中央部位（监控大厅）挑空；结构荷载：机房区不小于10kN，机电设备区不小于16kN。地上三层地下二层初步技术方案-数据中心功能区规划园区总体平面布局图地上1层平面图数据中心面积表A-1A-3A-2地下1层平面图地上3层平面图地上2层平面图区域机房净面积建筑面积得房率备注A区数据中心B2F 17,912m23.4%B1F4,732m 20,108m564612m, 共8个模块1F4,732m 14,321m564612m, 共8个模块2F4,

7、732m 14,330m564612m, 共8个模块3F4,732m 14,330m564612m, 共8个模块合计18,928 m 81,001m总共32个模块剖面图电气设备用房机房区空调设备用房操作及ECC有人区一期投产建筑北侧16个机房模块数据中心总共32个机房模块，分布在B1F3F四个楼层，UPS就近集中供电初步技术方案-数据中心分层平面规划示例发电机房发电机房预留生产机房预留生产机房变配电及UPS间监控大厅开放平台生产机房开放平台生产机房变配电及UPS间电池间电池间指挥室钢瓶间钢瓶间接待区初步技术方案-总控中心平面规划示例工作区共享空间休息区动线区主要流线次要流线备份作业区37648

8、总控中心40032设备区/通讯130会议室60视屏会议室60休息区134面积 人数区域初步技术方案-机架部署规划和建模数据中心机架部署规划和建模仿真：主机房区域的部署规划合理性，将对数据中心的全生命周期产生重大影响通过数据中心最佳实践指导部署规划设计，结合IT设备与基础设施的关键参数通过CFD建模仿真，360度无盲点验证部署的科学性和合理性（机架部署规划-立体示例图）初步技术方案-3D建模示例列头PDU机柜精密空调2N配置架空地板结构立柱、梁回风格栅初步技术方案-机房和总控中心设计特点空间整体性强空间利用率高空间导向性强人性化科技感用材环保利用周边环境去营造高效节能的室内空间简洁，明朗空间利用

9、率高科技感环保节能照明、选材上可以体现一体化安全性强材质和颜色和谐功能性初步技术方案-数据中心一层主门厅效果图初步技术方案-数据中心一层主门厅效果图初步技术方案-数据中心货运门厅效果图初步技术方案-数据中心机房内部效果图初步技术方案-数据中心IT人员走道效果图初步技术方案-总控中心一层走道效果图初步技术方案-总控中心大厅效果图初步技术方案-总控中心应急指挥中心效果图初步技术方案-数据中心电气系统设计电气系统 参照主流IDC设计标准，系统采用“双主用、全冗余”的设计，系统可用性达到99.995%生产机房采用2N系统架构， 针对不同负荷类型，采用模块化的UPS架构。输电线路从进线到末端设备全程采取

10、双路物理分隔，独立路由的设计，提高系统容错和防灾能力。UPS系统直接上到楼层，贴近末端负载，提高效率。机房模块内采用强电下走线、弱电上走线的布局，做到强弱电隔离，减少干扰。 Tier IV 高可用性Tier IV级容错系统架构（可抵御一次故障） 支持灵活用电密度，灵活适用业务需求，支持云架构，亦可满足长期业务增长需求 采用高压发电机，实现超大容量并机扩展。 无单点故障地上1层干线图初步技术方案-机房IT负荷计算指标 单个机房模块面积为：580610m。 C类机房：负荷指标：2.0kW/m，单机柜平均负荷约6.0kW，重要一级负荷。每1个机房模块采用1组2000kVA的UPS，共4套2000kV

11、A的 UPS机组。N+1 UPS架构，无发电机后备。 A类机房： 一期负荷指标：1.0kW/m，单机柜平均负荷约3.0kW，特别重要一级负荷。每2个机房模块采用1组2000kVA的UPS，共12套2000kVA的 UPS机组。2N UPS架构， N+1发电机后备。二期负荷指标：1.5 kW/m，单机柜平均负荷约4.5kW，特别重要一级负荷。每2个机房模块采用1组2500kVA的UPS，共12套2500kVA的 UPS机组。2N UPS架构， N+1发电机后备。Tier Tier Tier 初步技术方案-数据中心机电系统总体架构UPS数据机房PDU APDU B网络通讯B网络通讯A风冷冷水机组N

12、蓄电池15分钟 Server空调室内机架空地板不间断电源AUPS发电机N+1后备储油72小时水冷冷水机组N屋顶冷却塔蓄水池蓄电池15分钟 不间断电源B蓄冷罐15分钟蓄冷罐15分钟市电A市电B初步技术方案-数据中心电气系统架构IT设备的电气系统架构图动力设备的电气系统架构图数据中心电气系统设计依据：参照Uptime Institute Tier IV 标准（根据实际情况和机房重要程度评估），电气系统采用“双主用，双冗余”的设计，系统可用性达到99.995%生产机房采用2N系统架构，针对不同负荷类型，采用模块化（或直流或高频）UPS输电线路全程采用双路物理分隔，独立路由设计，提高系统容错和防灾能力

13、UPS系统贴近末端负载，提高效率机房内采用强弱电隔离（或分别上下走线），减少干扰初步技术方案-数据中心空调系统设计依据和原则夏季暖通计算值极限值冬季暖通计算值极限值空调干球温度34.841.4空调干球温度-9.3-17.8空调湿球温度27.131.0空调相对湿度52%通风温度30.8通风温度-6.7通风相对湿度59%采暖温度-7.0平均风速1.4m/s平均风速15m/s大气压力1002.5hPa大气压力1028.3hPa室外计算气象参数：示例根据北京地区气象资料进行计算设计，具体参考秦皇岛地区气象数据。初步技术方案-数据中心空调系统设计依据和原则室内设计参数：根据GB50174-2008和AS

14、HRAE TC9.9-2011进行室内空调参数设计。环境要求主机房温度（开机时）2311828不得结露主机房相对湿度（开机时）40%55%35%75%主机房温度（停机时）535主机房相对湿度（停机时）40%70%20%80%主机房和辅助区温度变化率（开、停机时）5/h10/h辅助区温度、相对湿度（开机时）1828、35%75%辅助区温度、相对湿度（停机时）535、20%80%不间断电源系统电池室温度1525-摘自GB50174-2008-摘自ASHRAE TC9.9-2011初步技术方案-数据中心空调冷源设计根据负荷特点，将本工程冷热源分为两大部分：其一，IT及配套设施冷源，由于湿负荷极少，可

15、以采用较高温度的供回水温度，减少除湿供冷。此部分为常年供冷需求，在冬季及过渡季有条件采用自然冷却方式（冷却塔）供冷。其二，新风及办公部分为夏季冷负荷冬季热负荷。需考虑除湿要求，冷水采用常规的供回水温度，冬季回收IT热负荷，承担建筑物所需的供热量。负荷计算参数：IT设备负荷密度：一期地上12个模块：1.0 kW/m；一期地下4个模块：2.0 kW/m；二期16个模块：1.5 kW/m。新风系统：机房按正压送风，ECC按最大工位数。机房冷源系统设计：集中冷源：通过冷冻水管网集中为IT设备提供冷源，克服分散冷源系统在大型数据中心中应用效率极其低下的缺点；2N架构：生产机房根据Tier IV机房标准，

16、自冷源起、经管网直至末端CRAH，采用2N系统架构，高于国标A级机房标准；灾备水蓄冷：针对冷源系统设置蓄冷罐，使得万一当市政停电导致冷水机组停机时，有足够时间重新恢复至正常供冷能力，蓄冷时间与UPS后备时间一致，为15分钟；自然冷却：在冬季或部分过渡季节，采用板式换热器作为冷水机组的旁通模式，直接由冷却塔带走机房内的热量；二次泵：冷冻水循环采用一次泵定流量、二次泵变流量系统，根据负荷率（IT设备装载情况）灵活调节供冷量满足制冷需求；一一对应：冷水机组与冷却塔、板式换热器、冷却水循环泵、冷冻水循环泵等采用一一对应的设置方式，便于简化运行逻辑设定。水源热泵：采用热泵机组回收机房余热，解决冬季ECC

17、及新风供暖需求，有效节约能耗。初步技术方案-数据中心空调系统架构示意图冷冻水泵二次泵精密空调精密空调冷却塔水冷机组冷冻水泵一次泵冷却水泵冷却塔水冷机组冷却水泵室外屋顶地下二层地下二层室外屋顶风冷机组冷冻水泵一次泵风冷机组数据机房室外屋顶室外屋顶精密空调一期16个机房模块二期水冷一期风冷二期风冷一期水冷冷冻水泵二次泵冷冻水泵一次泵冷冻水泵一次泵冷冻水泵二次泵冷冻水泵二次泵精密空调数据机房二期16个机房模块冷冻水泵二次泵初步技术方案-水冷系统架构示意图CLTCLTCLTCONDEVAPCONDEVAPCONDEVAP自来水补水水冷型冷水机组CHL板式换热器HEX开式冷却塔CLT闭式蓄冷罐TES水冷

18、型精密空调CRAH37冷却水32冷却水12冷冻水18冷冻水二次泵变流量一次泵定流量冷水机组一期：2台2300RT + 1台1500RT二期：2台2300RT + 1台1500RT冷却塔一期：2台1700m3/h + 1台1100m3/h二期：2台1700m3/h + 1台1100m3/h初步技术方案-风冷系统架构示意图风冷型冷水机组CHL板式换热器HEX开式冷却塔CLT闭式蓄冷罐TES水冷型精密空调CRAH12冷冻水18冷冻水二次泵变流量一次泵定流量CONDEVAPCONDEVAPCONDEVAPCONDEVAPCONDEVAPCONDEVAP冷水机组一期：15台375RT二期：15台375R

19、T初步技术方案-绿色节能措施/自然冷源（Free-Cooling）xx银行北京数据中心能源使用效率设计指标 PUE=1.61.8(PUE每下降0.1，年均节省2400万元)自然冷却：设置板式冷水交换器，在过渡季及冬季，当室外气温较低时利用天然冷源实现部分或完全自然冷却。提高冷冻水供回水温度：12/18 ，水冷机组COP值提高。封闭冷/热通道，提高冷空气利用率，提高送风温度至20 节能降耗。绿色数据中心水源热泵预留机柜级水冷冷/热通道封闭水冷系统xx数据中心采用的提高能效解决方案 自然冷却高压柴油机高效UPS变频技术EC风机智能照明控制采用热泵机组，利用机房热负荷承担冬季新风热负荷及办公区热负荷

20、。 自然冷却 热回收 高压冷机 变频水泵冷却塔初步技术方案-绿色节能措施/自然冷源（Free-Cooling）设备安装现场图冷水机组/干冷器/环形管网封闭冷通道模块化预留机柜级水冷冷/热通道封闭水冷xx数据中心采用的提高能效解决方案 自然冷却高压柴油机高效UPS变频技术EC风机智能照明控制冷冻水机组架构初步技术方案-机房内部气流组织设计初步技术方案-机房内部气流组织设计末端送风装置封闭热通道机房环境舒适度较高视觉美观、参观效果明显机房需要吊顶冷风利用效率降低对综合布线有影响封闭冷通道机房环境温度较高视觉比较压抑消防问题较难解决机房无需吊顶，适合上走线冷风利用效率高，节能降耗IT机房采用架空地板

21、下送风、吊顶上部回风方式UPS设备室采用下送风、顶部回风方式高低压配电室采用上送风侧回风方式初步技术方案-机房内部CFD分析（普通开放式）z=1.8m 温度分布场z=0.6m 温度分布场横断面机柜中间温度分布场空气流动初步技术方案-机房内部CFD分析（封闭冷通道）z=1.8m 温度分布场z=0.6m 温度分布场横断面机柜中间温度分布场空气流动初步技术方案-机房内部CFD分析（封闭热通道）z=1.8m 温度分布场z=0.6m 温度分布场横断面机柜中间温度分布场空气流动初步技术方案-新风空气净化处理机房内空气污染物监测和处理方案（示例）：腐蚀传感器高效风机过滤系统数据中心专用化学空气净化设备空气腐

22、蚀监测系统数据中心气体污染物等级标准：ANSI/ISA-71.04-1985 安全级别 G1即满足以下条件：1. 铜反应率低于 300C/月，2. 银反应率低于 200C/月。 Particulate and Gaseous Contamination in Datacom Environments初步技术方案-功能区域划分生产机房区：涉密机房、生产机房、网络机房及进入机房前的缓冲通道（需要根据区域功能等级细分）。机电设施保障区：为大楼内各个功能区的正常运行提供电力、空调、通讯等基础设施条件，如：变配电室、UPS及电池间、空调机房、消防气体灭火钢瓶间等；细分运营商接入机房、资料室安全等级高于其

23、他机电设备保障区。走廊：用于IT运维或机电设施运维的人员通道。A1楼首层人员办公活动区：ECC中用于日常生产监控、技术支持、应急指挥，会议室、VIP接待、展览展示，集中位于机房楼二层；安防值班室、后备办公区集中位于机房楼首层；一层东西侧各有一处进入机房内部区域的安检缓冲区。建筑外围及等待区：东西两侧机房楼入口等待区及建筑周边外围区域。初步技术方案-人员流线规划电梯停靠楼层F1、F2、F3混合人员流线ECC、技术支持区人员流线IT运维人员流线基础设施运维人员流线电梯停靠楼层B2、B1、F1、F2、F3电梯停靠楼层B1、F1、F2、F3F2F1B1B2初步技术方案-入口安检金属检测门X光检测仪入口

24、闸机A1东侧入口大厅，共2套安检设备； 进场人员经安保监督，检查携带物品检查后，经入口闸机进入机房区域；入口闸机进出均使用读卡器方式进行认证。初步技术方案-防尾随通道和机房门旋转门式防尾随门，单一人员，经过二次认证进入；出门经读卡器一次认证；防尾随门旁设置快速通道，用于领导参观和消防逃生，外侧无法进入，内侧设读卡器认证开门。进门出门进门出门进门出门初步技术方案-不同区域设备选择和布点等级布控区域选用摄像机类型布点密度5机房楼外区域室外抢机或快球设计院设计范围内机房楼入口等待区室内枪机+室内快球枪机正对出入口，快球覆盖整片区域4机房楼一层缓冲区室内枪机或室内半球区域覆盖3ECC及技术支持区消防值

25、班室备份办公区域室内枪机、室内半球、室内快球所有出入口有正对摄像机监控；区域整体覆盖；面积大的区域(ECC、入口大厅)有室内快球覆盖2机电设施保障区室内枪机或室内半球区域覆盖，重点设备可监控到人员操作1生产机房区室内枪机或室内半球无死角覆盖，重点设备处可监控到人员操作初步技术方案-结构化网络布线架构服务器区的设计原则：高可用性高扩展性高安全性业务分类和流量控制的策略在接入层部署FCoE，目的是实现服务器I/O整合，简化服务器网络接入层的线缆设施。增加了网络灵活性，降低其复杂性和电力能源等成本。数据中心布线架构方案示例图初步技术方案-机架和IT设备的部署数据中心机架和IT设备部署：建立完善的机架和IT设备部署方案机架级多维度管理，充分利用空间和能源冗余科学规划和部署，避免热点出现从根本上降低数据中心的总拥有成本从根本上提高数据中心的扩展性初步技术方案-数据中心智慧管理平台数据中心智慧管理平台（DCiM）：基础设施全面智能监控机架级温度感知，实时CFD温度云图展示机架级能源管理，实时PUE监测和分析机架级容量管理和资产管理交互式运营项目管理丰富的数据分析和报表初步技术方案-总控中心物理设计内容