大型数据中心规划与建设研究

1、大型数据中心规划与建设研究【摘要】文章简要论述了大型数据中心规划的概念，分析了数据中心主要系统对物理环境的要求，详细阐述了数据中心与民用建筑在结构上的区别，提由在规划建设上应关注IT、业务及场地等各方面的需求，优先满足数据中心用电、制冷、面积三个相互制约的基本条件，提高数据中心可用性级别，降低运营成本。【关键词】数据中心；规划；建设；模快化设计【中图分类号】TU17【文献标识码】A【文章编号】1727-5123（2012）03-004-03随着1T技术的迅猛发展，数据中心正以空前的速度拓展计算能力。G。g1e在2009年提由的“数据中心就是计算机”口号，正是这一趋势的最佳注释。在中国，甚至有不

2、少面积超过几万平方米的大型数据中心正在如火如荼地建设。与传统的民用建筑相比，数据中心的建设具有其专业特性。微软数据中心业务总经理凯文蒂蒙斯说，“在数据中心破土动工之前有70%的设施必须要解决经济学问题”。本文将就数据中心的规划与建设方案和实践方法展开讨论。1数据中心规划的概念1.1数据中心的规模。数据中心的规模涉及三个因素:面积（Space）、电量（Power）、制冷量（C1ing）,简称SPC,最终能够实际使用的规模取决于SPC三者中的短板。民用建筑规模的核心指标是面积，而数据中心规模三因素中电量是核心指标。对于新建的数据中心，有了电量规模就可以直接推导由制冷量规模，可以从容地在设计中考虑制

3、冷。而面积则有一定的弹性，面积不足时可以做高密度设计，即在一个机柜中放入更多的IT设备，从而在一定范围内提高单位面积的计算能力，也节省了面积。值得一提的是，并不是密度越高越好，当密度高到一定程度后（具体密度值依赖于具体设计方案），进一步提高密度反而不省面积（因为支撑它的电力和空调设备所占的面积会增加），造价也显著提高。民用建筑的造价一般由面积决定，而数据中心的造价主要由电量和可用性级别决定，面积对数据中心造价的影响很小。电量。涉及三个方面：a.IT关键负载，即IT设备的实际用电负载；b.总用电负载，即数据中心的总用电负载，包括IT设备、空调、照明等的负载；c.市电进线容量，即向供电局申请的用电

4、容量。如果IT关键负载为1000kW,在一个比较节能（PUE=1.6）的绿色数据中心，总用电负载为1000X1.6=1600kW,市电进线容量需求大约为1600/0.91800kVA,考虑适当容量冗余，向供电局申请的市电进线容量为2000kVA,高等级数据中心要申请两路各2000kVA的单独进线。面积。a.IT设备区占用的面积，也常被称为“高架地板面积”；b.机电设备区面积，即空调、电气设备占用的面积；c.其他功能区面积，主要指辅助性功能区域的面积，如监控室、休息室、备品备件室等，完全按照业主需求设置。功率密度是一个与电量和面积有关的概念，是IT关键负载与1T设备区面积的比值，其数值越高表示单

5、位面积的耗电越高，计算能力也越强。在实践中，新建数据中心的常见功率密度在12.5kW/m2,专门设计的高密度数据中心可达到5kW/m2以上。级别越高、功率密度越高,机电设备区面积也要越大。一个功率密度为1kW/m2的等级4的数据中心，1T与机电区面积的常见比值为1:3（经验值），即1000m2的IT设备区面积，需要3000m2的机电设备区面积。1.2 数据中心的可用性级别。提供尽可能高的可用性是数据中心的核心价值。数据中心的可用性通过机电系统的不同冗余设计体现由来。表1列由了数据中心可用性级别的常见标准。国家标准A级大致对应了Uptime标准的等级4和等级3,B级对应了等级2,C级对应了等级1

6、。表1数据中心可用性级别的常见标准数据中心级别越高停机时间越短，停机业务损失越低，但建造和运行的投入成本显然越高。理论上可以通过算经济账来决定合适的等级，但业务损失不经过专业评估往往不易量化，也可采用同业参考的方法辅助决策。1.3 数据中心的主要系统。数据中心有众多子系统，其中最核心的是电气系统和空调系统，这两者一般占数据中心总基建投资的7080%。电气系统提供供电保证，设计核心是发电机和UPS的冗余拓扑结构。假设3台UPS的容量能够达到数据中心负载（N=3）,常见的2N设计会使用6台UPS（3主V45f7>V8F3备），而RR设计则使用4台UPS（3主1备），除此之外还有N+1,DR,

7、2（N+1）等不同的拓扑结构，具有不同的可用性指标。空调系统解决散热问题。IT设备工作时会产生大量热量，如不及时送走这些热量，会因过热而停机。空调系统有“水冷”（冷冻水系统空调）和“风冷”（自带压缩机风冷空调）之分，水冷系统的初期投资比风冷系统高，但规模较大的数据中心采用水冷系统会更节能，规模越大节能效果越明显。对于一个1000kW的数据中心，一般23年内水冷系统节省的电费就能超过增加的初期投资。1.4 绿色数据中心指标PUEoPUE为数据中心能源效率（PowerUsageEffeetiveness）,计算公式：PUE=中心总用电量/IT设备用电量。输入到数据中心的电量经过供电系统的损耗之后，

8、有部分供给了空调系统，还有照明、电梯等楼宇设施的用电，真正被IT设备使用的电量只是总电量中的一部分（见图1）图1数据中心耗能示意PUE=1时意味着数据中心所有的电量都供给IT设备使用（理论上的最高能效），PUE=2时意味着IT设备每用1度电，非IT设备也要用1度电。常见的PUE值在2.2以上，甚至高达3.0,而绿色数据中心的PUE值可达到1.6甚至更低。低PUE的获得主要依赖于空调系统的设计和散热的气流组织，需要综合采用各种节能技术，包括自然冷却技术。以表2为例说明低PUE设计的价值：这是一个分两期实施的大型数据中心，一期总电量约为13MW,PUE为2.20时最大1T负载约为6MW,而PUE为

9、1.55时最大IT负载约为8MW,在总电量不变的情况下能够比前者多安装5000台标准服务器。当IT负载达到6MW时，两者每年的电费差异就高达近2500万元（电费常常接近数据中心总运行成本的一半）。表2奥大型数据中心的能耗1.5 模块化设计。在大型数据中心中，运行着大量程度不同的关键应用，不同应用的停机损失差异很大。在模块化设计技术的支持下，一个数据中心可以有不同级别的模块；空间布置采用模块化设计，同时各功能系统也采用模块化设计，在建造时可分模块、分楼层、分期建设。模块化设计的优势：使IT部署能够灵活适应于业务增长，不同业务部门可以相对独立地按需部署；分区域实施，节省初期投资；模块化机房的可复制

10、性强，简化后期建设难度；未来的模块扩容对已运行模块的影响很小。2数据中心基础规划早期的数据中心规模不大，每个机柜的散热量也比较低，但现在计算机密度越来越高，数据中心规模也越来越大，在基础设施规划上按传统建设方式往往会给现代数据中心带来先天的结构性缺陷，带来高成本运行和数据安全等问题。新建数据中心在基础设施建设上应注意以下问题。2.1 规划科学性。“新数据中心落成之日，就是修修补补开始之时”。这是一些单位在建设数据中心后的切身体验。从最初的概念到最终能够部署设备的机房，往往要用两三年时间，建设期间业务和IT都在高速发展，虽然做的是五年规划，但设备迁入新机房时已经占用了大半的电量或面积，空调冷量开

11、始不够，很快要进行改造，同时还要保证IT系统的正常运行，像是给飞在空中的飞机换零件，危险性很局。这里涉及两个核心问题：十年规划。一项针对美国6500个企业数据中心的调查显示，这些数据中心的实际平均运行时间为12年。新数据中心的生命周期至少应当设计在10年以上（见图3）。规模估算。对未来数据中心规模的估算的确是一项挑战性工作。缺乏有效的规模估算方法，难以提供有效的需求作为设计输入。当前数据中心的规模估算往往成为IT部门的一项“拍脑袋”工作，“拍”由来的数据有多大的准确性心里却没底，而且也说不太明白是哪一年的数据。一种可行的估算方法是：以现有的IT设备规模为基础，结合业务规划和IT规划，并参考以往

12、IT设备的历史增长情况、近期的大型项目建设、设备使用周期、业务系统的IT基础架构的变化、行业平均增长状况、IT技术的发展等因素，确定每年的IT设备增长率，由此得由未来多年的数据中心规模。图3数据中心的全生命周期2.2 面积、电量、制冷量平衡。新建数据中心的面积规划大并不能说明规模大，因为数据中心的规模决定于面积、电量、制冷量三者中的短板。面积大供电容量不足或制冷设备不够，再大的面积也无法作为数据中心使用。2.3 建筑结构设计缺陷。从我国现阶段数据中心建设实践来看，完全由传统土建设计单位设计的数据中心容易由现结构性缺陷，主要问题在层高不足、承重不足、柱距不合理、运输通道考虑不足、供配电系统布局预

13、留不合理、空调系统中的管线布局不足且不合理等。2.3.1 层高。一般设计单位都了解数据中心要求比较高的层高，通常为数据中心设计的层高在4m,而专业设计的大型现代数据中心的机房层高一般会在6m甚至更高，设备层（发电机、冷冻机等）的常见层高为7.59ml对普通民用建筑而言，层高的增加意味着造价的增加，传统土建设计单位想不由再增加层高的理由。即使IT部门提由了层高的要求，也往往会被整个单位需要更多办公面积的要求牺牲掉（我国的数据中心多数情况下是一栋大楼里面的一层或多层，大楼有限高指标，增加层高就会减少大楼总面积）。数据中心机房的层高是解决散热问题的最经济的手段，增加层高所增加的造价相对于数据中心的总

14、造价几乎可以忽略不计，但带来的能源效率的提升却可以大大降低数据中心的运营成本，节能减排可以在设计中体现由来，而不需要在楼宇落成之后费钱费力地进行节能改造。设备层的层高则是发电机的进风和排烟所必须，同时也为了能够容纳大型设备。2.3.2 承重。早期相当多的数据中心地板最大承重只有420kg/m2,无法满足大型设备的部署。高等级数据中心的计算机主机房承重应不低于1000kg/m2,高压配电、变电室、电池间等重型设备房间承重不低于1500kg/m2。2.3.3 柱距。数据中心的柱距直接影响到IT设备部署的效率，必须考虑到IT设备和机电设备部署的特点才能设计由合理的柱距，从而最充分地利用空间，并且能够

15、有效地和机柜一起组成冷、热通道，节能降耗。图4为莫数据中心平面布局，由于结构设计的缺陷，造成机架布局不合理，不仅浪费空间，而且冷却效果大打折扣。图4奥数据中心的平面布局2.3.4 运输通道。由于数据中心的设计寿命在10年以上，刚投入使用时必然有较大的容量空余，一次性部署所有机电系统会造成很大浪费，因此一般分期部署。要考虑预留大型设备吊装孔和大型货梯，机电设备通道要足够宽、高，而且能够满足大型设备在运输中转弯。缺乏数据中心专业经验的设计可能导致大型设备无法到位。2.3.5 变配电和制冷系统设计缺陷。对于大型数据中心而言，变配电和制冷设计是整个设计的核心部分，如果设计原则发生偏差，会给数据中心未来

16、运营带来很大风险。按照国内传统的设计分工，变配电和制冷设计通常是由土建设计单位负责，而国内土建设计单位目前对数据中心的变配电、制冷系统的高可用性要求往往不能准确地理解，也缺乏大型数据中心建设的相关经验，难以保证数据中心的可用性。3大型数据中心规划及建设流程大型数据中心建设需要考虑综合经济问题，而传统基础设施建设观念已不能适应，需要用新的观念指导数据中心建设。3.1 以全局观念规划建设数据中心。数据中心的概念有狭义与广义之分，狭义的数据中心就是场地基础设施层,而广义的数据中心则涵盖了IT应用层、IT基础设施层和场地基础设施层。本文论述的是狭义的数据中心，重点讨论场地基础设施。数据中心场地通过支持

17、IT基础设施和IT应用最终为业务提供服务。IT应用层为业务层提供信息支撑，两层之间的桥梁是信息架构；IT基础设施层以可靠的方式为IT应用层提供应用运行的硬件及网络环境，两层之间的桥梁是IT基础架构；场地基础设施层则为IT基础设施层的设备提供场地保证，两层之间的桥梁是场地可用性级别和场地SPC3.2 树立优先满足数据中心功能需求的观念。前文讨论了数据中心在整个园区或整个楼宇中的重要地位和忽略数据中心功能需求会造成的种种缺陷。为满足数据中心建设的专业特点，在规划建设时应调整流程，优先考虑满足数据中心的需求，再考虑传统民用建筑需求。3.2.1 以科学方式确定数据中心规模SPC和可用性等级（中国国家标

18、准A、B、C级，或是TIA-942标准等级）和办公需求。3.2.2 选择运行成本低、资源保障充分（多路供电、充足的供水供油、多路便捷交通、多路通信接入、人才资源充足）、自然灾害和人为灾害风险度低并且能够满足规模SPC需求的地区建设数据中心。从实践情况看，新建数据中心的面积和制冷一般容易解决，而电量则常常成为规模瓶颈。务必在选址时全面评估供电风险，风险过高时应当另行选址。3.2.3 数据中心楼宇和园区总体概念设计中，先完成数据中心的功能区和机房模块的概念布局图（色块图），成为建筑设计师的设计输入，进而完成整个数据中心单体楼宇的概念设计。如果建设的是多栋楼宇的园区，还要进行园区的概念设计。数据中心楼宇概念设计与园区概念设计有相互依赖的关系，有可能要反复多次调整。3.2.4 项目进入到设计阶段，分三步：方案设计、初步设计和施工图设计。建筑设计和数据中心设计应当同步协调配合完成。3.2.5 数据中心的建设涉及业务、IT和场地建设多个层次的需求整合，同时需要IT、通信、机电、建筑等不同专业领域的通力协作，是多技术