《数据中心机房技术-V1.0》解析.ppt

数据中心机房技术,日期：2011.4.6,刘志国/01004,数据中心介绍数据中心各系统数据中心评估服务案例与测试,目录,数据中心介绍数据中心的重要性数据中心的标准及规范数据中心面临的挑战数据中心各系统数据中心评估服务案例与测试,目录,数据中心的定义,究竟何为数据中心？有人说：数据中心是大量数据处理集中的网络有人说：数据中心是集中网络、计算、存储的平台，是超级计算机有人说：数据中心是企业的命脉实际上：数据中心是企业ICT的基础，是企业战略成功的基石,数据中心的定义,数据中心的重要性,数据中心是ICT（信息通讯技术）的基础，从而也是公司战略成功的基石数据中心宕机会对企业运作有重大影响(MissionCritical)数据中心故障的来源人为操作故障错误的操作和流程规范未授权访问事故、忽略警告造成进一步故障电源质量问题异常电流、电压、频率问题电源干扰、高地阻、电源谐波电磁问题线缆、电源、变压器、PDU、雷电等辐射环境因素温、湿度问题错误制冷污染,无法预防的(33%)*,可预防的(67%)*,人为过失缺少流程错误的程序差的设计不充分的冗余维护设备故障(尽管有适当的维护和测试)供应/服务链故障电脑恐怖行动,数据中心宕机的根本原因,数据中心介绍数据中心的重要性数据中心的标准及规范数据中心面临的挑战数据中心各系统数据中心评估服务案例与测试,目录,国外标准：国外标准TelecommunicationsInfrastructureStandardforDataCenters、ANSI/TIA-942-2005、ANSIEIA/TIA568A、569、607美国布线标准等。国内标准：GB2887电子计算机场地通用规范GB9361计算机场地安全要求GB50174电子信息系统机房设计规范GB50462电子信息系统机房验收规范没有公认全球统一标准，通过一些最佳实践指导数据中心建设,机房标准,数据中心分级,注：数据中心的定级取决于整个系统中最低等级的部件,数据中心分级(TIA-942),数据中心机房建设规范-ANSI/TIA-942标准概述,ANSI/TIA-942标准，TelecommunicationsInfrastructureStandardforDataCenters（数据中心的电信基础设施标准），是美国通信工业协会(TIA)、TIA技术工程委员会（TR42）和美国国家标准学会（ANSI）在2005年4月发布的以数据中心通讯基础设施（机房工程）为对象的技术规范标准。TIA-942的适用范围：企业数据中心（EDC）、互联网数据中心（IDC）TIA-942的目标（PurposeofTIA-942）：填补数据中心通讯基础架构设计标准的空白。为数据中心的用户提供了数据中心设计方面的关注点，以便客户可以更好的同建造数据中心的工程师、建筑师们沟通需求。设立一个数据中心建设等级标准（主要是可靠性、安全性）。发布这个标准也为了带动数据中心网络通信设计人员，数据中心的IT从业人员能更早的投入到数据中心的早期设计阶段；确保数据中心能适应于各种设备和实施工艺的需求：保证数据中心有充足的铺设电缆的管路（管道、通道、线槽）；保证数据中心有充足的电信设施扩展空间；保证数据中心各种电缆的长度符合通信应用的要求；,ANSI/TIA-942标准概述,发布TIA-942的目的（续）：定义数据中心通讯基础架构的标准：使用标准的架构和截止（电缆）来实现数据中心架构化布线系统；适应于多种通讯设施的部署（LAN、SAN、WAN、Channels、Consoles，楼宇自动化系统）；可适应现在和不远的将来的各种通信协议的部署（10GE、10G）；代替那种非结构化的通过不同电缆实现不同通信系统间联系的布线方式；实现数据中心电信空间和电缆铺设的标准化；提供为数据中心各种电缆、配线架、机架做编号、标签的建议,接入室RM,接入服务商网或园区网,总配线区MDA,水平配线区HDA,设备配线区EDA,主干电缆,水平电缆,通信室TR,机柜,机柜,机房ComputerRoom,机柜,机柜,机柜,机柜,机柜,机柜,MDA,EDA,EDA,典型数据中心布局,EndofRow:比较传统的布线方式.网线直接从服务器拉到汇聚/接入交换机这种方式面临着服务器群接入密度的挑战：从最远端机架到列头柜的距离比较远，网线拉的比较长每排机柜的数量由于列头柜上接入交换机的端口密度限制而有限制,特点:比较典型的应用是在机架是交换机做接入网线在机房建设的时候就铺好了每个服务器机柜6-12服务器。每个服务器机柜4-6KW。每个网络机柜10-20KW。每台交换机上有多个VLAN/子网；数据中心的接入交换机设备数量少,管理维护方便端口可扩展性较差,接入层形态End-Of-Row,接入层形态Top-Of-Rack,TopofRack:这种组网一般用在大量IRU服务器接入的机房一般是每个机架上放一台接入交换机，但有时候根据具体情况也会放多台（还可能堆叠）通常是每机柜15-30台服务器布线:机架内的服务器拉网线到机架内的交换机上上联汇聚交换机的链路可以是铜缆双绞线（CAT5E，CAT6），也可以是光线（GE/10G）,建议用光纤（易扩展）。子网和VLAN问题：可以在一个接入交换上部署多个VLAN/子网，但通常每个交换机上的VLAN/子网较少。网络端口的可扩展性好,数据中心衡量指标,能源使用效率：PUE(PowerUsageEffectiveness)总输入功率=基础设施功耗+输出到IT设备的功耗PUE=1+基础设施功耗输出到IT设备的功耗PUE最小为1，越接近于1越好。美国PUE平均为2，新建IDC要求在1.6以下。我国PUE平均约为2.6。微软某数据中心PUE为1.2。数据中心基础设施效率：DCiE(DataCenterinfrastructureEfficiency)机柜功率密度：PPR(Powerperrack)机柜功率密度（IT总功率/总机柜数）一般情况每机柜功率密度3kW；冷通道封闭，每机柜功率密度由3kW升至6kW总拥有成本TCO（TotalCostofOwnership）TCO=初期建设成本+生命周期内总运行成本举例：机房1：初期建设成本200万，PUE=2.4(低效）机房2：初期建设成本250万，PUE=1.8(中效)机房3：初期建设成本300万，PUE=1.5(高效)MTBF（MeanTimeBetweenFailure）MTBF=MTTF+MTTR高的SLA级别,数据中心介绍数据中心的重要性数据中心的标准及规范数据中心面临的挑战数据中心各系统数据中心评估服务案例与测试,目录,数据中心面临的挑战和未来发展方向,挑战管理混乱：管理复杂度不断提升能源消耗：数据中心能源消耗未来发展方向绿色从建筑材料、设备制造材料、整体能耗上体现未来数据机房建设的绿色理念。节能节能从多个方面体现，如降低能耗比，设备降低能耗、建筑物、机房装修等多方面体现。数据：美国2006年数据中心电力消耗占全部电力消耗1.5%，预计到2011年达到2.9%。智能各种系统能有机的联系在一起，实现机房的自动化程度。,绿色数据中心：能量流动图,制冷系统,IT系统,供电系统,集成集装箱解决方案！微软“第四代”数据中心芝加哥数据中心每个集装箱内可封装了2500台服务器，最多可到4200台服务器,数据中心解决方案（美国）,未来智能化数据中心机房,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,23,UPS供电系统,数据中心的供电系统,电源系统UPS供电系统主要设备供电系统，供电质量要求高，必须采用UPS不间断电源供电包含UPS电源、电池组、电源切换器STS/ATS等辅助设备如空调设备、动力设备、照明设备、测试设备等使用其他电源系统后备供电系统后备电源系统，使用柴油机（组）发电机等设备保障备用供电UPS供电参数以VA计算：例如300kVA；小型UPS房间可与主机房在一个房间，一般大于100kVA的UPS要有独立房间电源系统接地电阻应该要小于1欧姆，不大于5欧姆所有金属器件都要接地一般超过20ms的电源中断，会导致设备掉电,电源质量的主要危害,研究表明，非常多的设备故障来自于电源不稳定，这些故障主要有：键盘故障、系统锁死硬件可用行下降设备损坏不可恢复的文件损坏用户花费大量的精力试图恢复这些最终不能查出原因的故障。,市电电源主要问题,中断(powerfailure):指市电中断并且持续至少两个周期到数小时的情况，主要由：线路上的断路器跳闸、市电供应中断、线路中断等引起。电压突降(powersags):指市电电压有效值介于额定值的80%至85%之间的低压状态，并且持续时间达一个到数个周期，主要由：大型设备开机、大型电动机启动或大型电力变压器接入等引起。电压浪涌(powersurges):指输出电压有效值高于额定值110%，而且持续时间达到一个或数个周期，主要是由于在电网上连接大型设备关机时，电网因突然卸载而产生的高压。电压起伏及闪烁(brownout):指市电电压有效值低于额定值，并且持续较长时间，其产生原因包括：大型设备启动和加载、主电力线切换、启动大型电动机、线路过载等。脉冲电压(highvoltagespikes):指峰值达6000v，持续时间从万分之一秒至二分之一周期(10ms)的电压，主要由于雷击、电弧放电、静态放电或大型设备的开关操作而产生。频率变化(frequencyvariation):指市电频率的变化超过3HZ以上，原因为：应急发电机不稳定运行，或由频率不稳定的电源供电所致。杂波干扰(noise):指射频干扰(RFI)和电磁干扰(EFI)以及其他各种高频干扰，如马达的运行、断电器的动作、马达控制器的工作、广播发射、微波幅射以及电气风暴等。,市电电源主要问题解决设备,稳压电源隔离变压器飞轮稳压装置发电机ATSSTSUPS隔离变压器的主要作用是：使一次侧与二次侧的电气完全绝缘，也使该回路隔离。抑制高频杂波传入控制回路。,性能良好的UPS可提供非常准确的电压稳定度、频率稳定度，能基本解决市电电源问题,UPS分类,按输入输出方式可分为单相输入单相输出三相输入单相输出三相输入三相输出按容量分类小功率5KVA以下中功率5KVA30KVA大功率30KVA以上,UPS供电系统,STS（StaticTransferSwitch）。在主电源发生故障时，负载自动切换到备用电源，主电源恢复正常后，负载又自动切换到主电源。采用先断后通（BreakbeforeMake）的切换方式，可以实现不同输入电源之间的不间断切换。切换时间一般小于8msATS（AutomaticTransferSwitch）。ATS为机械结构，以接触器为切换执行部件，切换功能用中间继电器或逻辑控制模块组成二次回路完成控制功能，缺点是主回路接触器工作需要二次回路长期通电，容易产生温升发热、触点粘结、线圈烧毁等故障。同时如果是大负载情况下，转换时间相对比较长，为100毫秒以上，会造成负载断电。,功率视在功率S表面上的测得电压与电流的乘积S=UI有功功率P负载消耗的/用来做功的无功功率Q在电源与负载内的储能元件间相互交换的功率因数负载的一项参数，衡量负载消耗的功率所占的成分举例S=1000VA，PF=0.8,求P和Q解P=S*PF=1000*0.8=800W,功率、功率因数,后备供电系统,后备供电系统主要是为市电、UPS等电源系统全部故障后，给数据中心系统提供设备供电。常见后备供电系统：柴油发电机。,国标电源插头,插头,插座,GB100210A的电气规格，输入电压250V，最大输入电流10A，输入频率50/60；GB100216A的电气规格和10A的其他参数基本一至，只是最大输入电流为16A，线径为30.75m至31.5m,PDU电源连接器,PDU工业连接器,防溅插头，又称工业连接器，主要作用是防止机房走水，导致设备供电短路起火通常作为PDU输入连接方式,安装实例,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明H3C数据中心评估服务案例与测试,目录,数据中心的空调系统,统计显示，设备温度每升高10C，寿命会减少一半。舒适空调舒适空调一般是指家用型空调，一般常见的3匹空调。年无故障运行时间约2000-3000小时。精密空调精密空调，一般是机房专用空调，可以精确的控制温度、湿度等功能。年运行时间7680小时。,专用空调与舒适性空调的比较,1.环境要求2.能效比3.负荷密度4.每小时换气次数5.全年运行时间6.空调过滤要求7.运行费用方面8.可靠性方面9.控制及监控功能,机房空调系统设计,按GB50174-93的规定配置空调设备：,送风速度一般1.5-2米/秒，不应大于3米/秒在表态条件下，主机房内大于0.5微米的尘埃不大于18000粒/升,机房空调的送风方式的选择,三种送风方式：风帽上送风：适合单机送风距离15米的中小型机房风道上送风：适合空调要求较高、送风距离较远或无条件采用风帽送风的大中型机房地板下送风：适合地板净空高度300mm的机房，适合单机送风距离20米的机房机房热密度大于500W/平米时优先选用地板下送风,机柜布局,高效的热量管理适应领先的冷热通道设计气流组织设计与节能推荐服务器机架的摆放方式为面对面，背靠背的方式，主要基于：1)基于绝大多数服务器本身风冷的方式为前进风，后出风。2)面对面，背靠背的方式有利于形成相对独立的冷通道和热通道，从而可以极大的提高制冷效率，改善制冷效果。,41,冷/热通道封闭,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,数据中心的选址地址,选址决策过程选址决策包括：技术决策商业决策政治决策选址标准高可用性可靠性可管理性扩展性操作维护成本与标准兼容性尤其注意：选址要符合当前和尽量符合预计到的未来的增长需求,数据中心的选址地址,潜在风险：闪电洪水台风森林火灾地壳运动等等人为风险航空飞行线路隧道、湖区火车、机场发射塔电厂工业污染等等,评估以下选址情况靠近紧急服务火警公安局医疗机构靠近工业区、市中心靠近公共交通、运输中心靠近高危目标大使馆政府大楼发电厂电台、电视台等等安全的要求性高于便利的条件,数据中心的选址楼宇,选择楼宇：租/买/自建楼宇的历史，有无被淹、火灾等历史装修条例每机房区域的空间、能否扩展安全性（窗户、墙体等）地板承重层高电力稳定性、能力、备份网络稳定性、选择、冗余性外部服务（油机加油、设备运送、道路交通）,自建机房的优劣势：价格高管理维护自主度高易于模块化管理、易于符合标准助于达成企业形象和愿景,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,数据中心规划设计平面图,机房区内各类房间的的设置，可能有如下房间；主机房存储设备机房和打印室磁介质库、备品库网络机房UPS/配电室空调机房、新风室培训室、维修室值班监控室更衣室、休息接待室、进厅消防间,机房平面布局,注意同一个专用空调机的区域内，房间的划分不宜过多：回风和机房正压的需要；扩展方便；分隔少可提高房间的净高。房间的划分考虑使用的方便，面积要足够，并考虑扩展的需求主要工作区在里面，其它房间在外面考虑专用空调机的安放位置专用空调机安放在无人机房，并注意该房间门窗的密封性避免公共走廊穿过机房区考虑疏散通道进入机房设备，采用斜坡，斜高比5:112:1，宽2M,机房平面布局,空调分区与气体灭火分区应一致国标GB50370-2005规定：管网气体灭火系统：一个防护区不宜800平米，且容积不宜3600立方米；予制气体灭火系统：一个防护区不宜500平米，且容积不宜1600立方米；若楼板承重量较低，则将重量大的设备布置在大梁上或靠近大梁（或剪力墙）处电池间、油机一般放在地下，电池间要能通风墙面要做防尘处理机柜顶部回风空间高度一般要是地板高度的2倍备件区使用独立的、安全的区域,机房平面布局,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,前门设计：网孔,后门：网孔，双开,机柜,顶部：预留线缆入口，方便上走线布局,底部：预留线缆入口，方便下走线布局,侧面：带布线通道，用于安装机架式PDU，并方便侧面线缆管理,机柜,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明H3C数据中心评估服务案例与测试,目录,标准：EuropeanStandardBS/EN12825UK-PSAMOBPF2standardNFPA251,FireresistantIEC-61000-4-2,Anti-static地板关键指标：强度：450KG/平米以上防静电：连接接地网防火：防火一小时以上高度：在TIA/EIA-942标准中定义：TIERI级别要求架空地板高度在300mm以上，TIERII级别要求在457mm以上，TlER和TIER级别要求在762-914mm.注意：不要使用锌磨砂地板不要使用锯末压制地板,地板,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,材料选择,标准：TIA/EIA568线缆材料选择TUV材料线缆；UTPCAT5/6/超6类/7类能耗：举例10GE端口，光模块0.81W；电接口810W硬线强度高，用于结构化布线抗干扰能力强长度约90m软线强度低，适宜短距离、机柜布线长度约10m以内电磁防护信号损耗对人的伤害：改变生物的生长、低频EMF能够影响人类黑色素的形成；TUV：有效降低电磁辐射90%以上,标签,标准：TIA606使用颜色：红色代表高安全级别紫色代表客户参观线路等等包含“从哪里到哪里”的信息能够粘贴到机柜、设备、端口等相关层级时间和精力允许的话，标签粘贴到端口级,TIA942综合布线规范,一个接入室（ER），可能有一个或多个电信室（TR），一个总配线区（MDA）、几个水平配线区（HDAs）、几个设备配线区(EDAs）、以及可能设有的区域配线区(ZDA）。有水平布线及主干布线。标准型的拓扑结构较为完整，适合于大多数的企业数据中心和IDC。,标准型的拓扑结构,简化型的拓扑结构,将接入室（ER）、电信室（TR）、总配线区（MDA）、水平配线区（HDA）都“合并”为一个区域，即计算机房的总配线区（MDA）。在这种拓扑结构中，只有总配线区（MDA）、区域配线区（ZDA）、设备配线区（EDA）以及水平布线。简化型拓扑结构较为简约、区域少、器件少，适用小型的数据中心布线系统。,TIA942综合布线规范,分布型的拓扑结构,大型的数据中心需要多个电信室（TR）和接入室（ER），以及划隔出宽大的办公区域和管理区域。附加的（第二个）接入室（ER）采用光缆、双绞线、同轴线缆连接到总配线区（MDA）和几个水平配线区（HDA）。在分布型拓扑结构中，原先的接入室（ER）不能直接连接水平配线区（HDA），而附加的第二个接入室（ER）允许直接连接水平配线区（HDA），这样除了降低关键线路的线缆的长度限制以外，提供额外的冗余线路，适应于对业务连续性要求较高的数据中心。,TIA942综合布线规范,数据中心的综合布线系统,典型的下走线方式,典型的上走线方式,综合布线,64,下走线,数据中心的综合布线之上走线,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,消防系统,标准（描述安全的方法、释放的系统、毒性及人类暴露其中的程度）：NFPA75NFPA2001/ISO14520机房应设气体灭系统，气瓶间宜设在机房外，为管网式结构，在天花顶上设置喷嘴，火灾报警系统由消防控制箱、烟感、温感联网组成。新风换气系统中应加装防火阀并能与消防系统联动，一但发生火灾事故，便能自动切断新风进风。消防区域一般都是符合防火要求，所以消防区域的面积或容积都是有上限的。灭火器级别：A级用于燃烧的木头、布、纸、塑料等，灭火器由高压水及水的合成物组成B级用于燃烧的可燃物如汽油、化学品等，成分是CO2或干粉C级用于电器、电脑等，数据中心用，成分有CO2、Halon、化学或液态灭火剂七氟丙烷气体灭火无毒、不污染、无色、无味不导电灭火效率高、速度快,安全系统,门禁系统主要作用为进出机房人员身份或权限的确认和验证。分为三种种：射频卡识别技术指纹识别技术混合识别技术监控系统模拟监控系统数字监控系统监控不仅仅是指视屏监控，还包含了温感、烟感、水感等等一些列的监控系统组成。,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,防雷接地系统,机房雷电分为直击雷和感应雷。对直击雷的防护主要由建筑物所装的避雷针完成；机房的防雷（包括机房电源系统和弱电信息系统防雷）工作主要是防感应雷引起的雷电浪涌和其他原因引起的过电压。机房接地系统是涉及多方面的综合性信息处理工程，是机房建设中的一项重要内容。接地系统是否良好是衡量一个机房建设质量的关键性问题之一。机房一般具有四种接地方式：交流工作地、安全保护地、直流工作地和防雷保护地。机柜的保护接地（PGND）应和机房或建筑物的联合接地体良好连接，同时机柜内所有设备要就近和机柜内联合接地体连接，接地阻值3欧姆。设备应使用随设备配发的电源线和接地线，电源线和地线连接正确可靠，接触良好，走线应平直，绑扎整齐，转弯处留适当余量，避免过短过长。,数据中心介绍数据中心各系统电源系统地板冷却系统布线选址消防及安全布局防雷机柜照明数据中心评估服务案例与测试,目录,照明系统,标准：EN12464-1CIBSEDIN5035照明要求：照度：机房：最低500流明，建议600流明通道：最低200流明，建议300流明服务区域：最低150流明，建议200流明紧急照明标准：BS-5588/5266BS/EN-50172andBS/EN-1838BS/EN-50171（中央集中管理）注意：照明系统严禁与机房主机设备公用UPS电源,数据中心介绍数据中心各系统数据中心评估服务案例与测试,目录,机房评估相关国家标准,计算机站场地技术条件GB-2887计算站场地安全要求GB-9361-88计算机机房用活动地板技术条件GB6650-86,建筑内部装修设计防火规范GB-50222-95通风与空调工程施工及验收规范GB50243-97,电子计算机