机房方案之综合布线.doc

国内有文章将我国的数据中心与机房工程的建设总结为：“一流的设备”、“二流的设计”、“三流的管理”。其中：“一流的设备”是指数据中心所配置的大多数IT设备以及基础设施设备（UPS、空调）都是国际上知名品牌的先进设备；“二流的设计”是指数据中心的规划设计与国际主流的规划设计理念相比显得落后，也缺少整体先进的技术手段与措施；“三流的管理”是指数据中心的建成后的管理工作不到位，缺乏相关的运营评估和有效管理。虽然，这种现象近年在行业中已经得到较大的改善。但不得不承认，数据中心的整体规划与系统设计还是有许多方面需要提高和加强的。1 数据中心的整体规划数据中心的建设基于IT系统的配置与应用，同时又依附于建筑场地的环境与条件。对于企业数据中心建设，整体规划是数据中心建设过程（规划、设计、施工、验收、运营）中的第一环节，也是极其重要的一个环节（“well begun，half done”）。笔者认为，与数据中心布线系统规划密切相关的是企业IT规划和场地与空间规划。1.1 企业IT规划企业IT规划（即企业信息化规划）是以企业的整体发展目标和战略以及企业各部门的目标与功能为基础，结合所属行业信息化的实践结果和信息技术的发展趋势，提出企业信息化的远景、目标和战略，制定企业信息化的系统架构、确定信息系统各部分的逻辑关系，以及企业信息系统的架构设计、选型和实施策略，通过对企业信息化目标和内容进行整体规划，以全面系统地指导企业信息化的进程和信息技术的应用。企业IT规划是企业信息化建设的基本纲领和总体指向，核心内容是要从组织目标和信息化战略中抽取信息需求和功能需求，形成企业组织总体的信息化框架和系统整体模型。通过企业信息化，使企业将信息技术手段应用到企业的生产、运营和管理中，利用信息技术来改造和提升企业的综合能力。由企业IT规划而产生的企业信息资源规划，将明确企业在（近期与远期）一定时期内，对IT系统的整体需求计划，包括为实现企业信息化目标所需确定的IT系统定位、IT系统规模、IT系统架构、IT系统配置。其中，IT系统定位决定了数据中心的建设等级；IT系统规模决定了数据中心的建筑空间；IT系统架构决定了数据中心的信息路由；IT系统配置决定了数据中心的场地布局。由此可见，企业IT规划是企业数据中心建设的前提与依据。1.2 场地与空间规划企业数据中心的场地与空间规划是依据企业IT系统的规模与发展和可提供建筑物的场地与空间，依据数据中心的组成性质、任务、业务量大小，根据数据中心特定的工艺流程（即：IT系统的作业流程）、各区域用房的功能用途、IT设备的配置类型及对供电，空调等方面的要求、各种设备之间的相互关系、操作的方便程度、所涉及的环境因素以及运维管理体制而确定。对数据中心的场地与空间的平面划分和系统构成必须根据数据中心的建筑特性、IT特性以及场地的功能指标，遵循适用性和先进性的原则来进行合理的总体规划。企业数据中心的场地与空间规划中，机房场地是以“设备”为关注与满足对象；而建筑空间是以“人”为关注与满足对象（引用“BICSI-002 Data Center standard”的观点）。因此，企业数据中心的场地与空间规划应“适宜于空间”，即适合既定空间并符合规划；“适宜于人”，即“以人为本”思想体现；“适宜于时间”，即符合时代功能与美学原则。在满足数据中心的工艺要求的前提下，合理地规划设备与人共有的空间，在提供和满足数据中心中各系统设备能安全、稳定、可靠的运行环境同时，也要为工作人员创造健康、便捷、舒适的工作环境。根据有关的工程规范，数据中心的场地空间一般由主要工作间（主机房）；基本工作间（数据录入室、终端室、网络设备室、媒体存放室、上机准备间）；第一类辅助房间（备件间、未记录的媒体存放室、仪器室、硬件人员办公室、软件人员办公室）；第二类辅助房间（维修室、电源室、蓄电池室、发电机室、空调系统用房、钢瓶间、监控室、值班室）；第三类辅助房间（储藏室、更衣换鞋室、缓冲间、机房人员休息间等）这五大场地空间区域构成。企业数据中心的场地与空间规划将指导后续的场地与空间的设计。数据中心的场地与空间规划与设计主要关注与涉及以下几个主要方面：依据IT系统的规模与发展确定场地规划。n符合信息数据处理的工艺流程和工作路线。n遵循数据中心场地建设的工程规范和标准。n满足数据中心场地的技术物理指标和要求。n采取数据中心场地规划所必要的技术措施。n合理优化限定条件下的建筑物场地与空间。n室内空间的规划设计融入环境艺术的要素。n协调融合机电设备工艺与布局的内在关系。n企业数据中心的场地与空间规划设计的主要理念与措施为：整体规划确定场地的等级规模和系统构成；空间与平面布局确定场地的分隔和设备的布局。IT设备主机房采取密闭护围、场地采取大空间少隔断、获得适宜的空间容积（架高、净高、层高）、采取人机区域分离、采用“冷端”与“热端”的气流通道、平衡和散列高密度机柜中的IT设备布置等是现行所推崇的规划设计理念与节能提效策略。2 数据中心布线系统的整体规划数据中心布线系统的整体规划，首先要了解布线系统在数据中心中的作用。布线系统需要为数据中心的关键IT设备提供可靠的连接，需要提供适应网络运营的传输带宽,需要支持网络724 小时的不间断运行。同时，对安全性、可用性和灵活性有着较高的要求。另外，需要直观、有效、方便的网络与布线的管理方式和工具。数据中心布线系统的整体规划，也要了解数据中心布线系统工程的建设特点：机房内信息点密集；n网络数据传输为主；n铜缆光纤类型繁多；n传输链路稳定可靠；n变更设备连接频繁；n动态智能链路管理。等等。n数据中心布线系统的整体规划，还要关注数据中心的布线系统所涉及到的技术与产品的发展趋势：端到端的整体解决方案；n高速网络万兆器材；n高密度预端接器件产品；n抗电磁干扰的屏蔽布线；n低烟无卤/阻燃防火线缆；n电子配线架的智能维护；n在线监测的动态管理。等等。n2005年颁布的美国TIA-942 数据中心的电信基础设施标准和中国CTEAM新近颁发的数据中心布线系统的设计与施工技术白皮书。为数据中心布线系统的整体规划提供了许多有益的技术建议与工程指导。其希望和建议数据中心的项目建设者和规划设计师，在涉及数据中心的设施规划、布线结构和网络设计时，能够对数据中心的建设要求有个整体的了解，也希望能够较早地、全面地考虑与建筑物之间的关联与作用。同时，为数据中心的数据通讯接入和连接提供了几种常见的布线系统结构形式和基础设施的整体布局框架，以综合考虑和解决场地规划布局中，有关建筑、电气、机电、通信、安全等多方面的协调，涉及信息安全、机柜密度以及易管理性之间的相适宜和平衡等的问题。数据中心布线系统的整体规划，需要充分地理解和掌握TIA-942标准和CTEAM技术白皮书中，涉及数据中心布线系统的特征内容和相关要求。在TIA-942标准中，主要涉及表述了：场地的空间划分与连接，即数据中心与建筑物空间的四层关系；n场地可用性分类等级，即Tier I to Tier IVn 四级分类等级标准；结构化布线的拓扑结构，即三种拓扑结构:基本型、简化型、分布型；n场地环境因素的综合考虑，即场地规划、建筑设计、环境设计、电气设计等。n根据TIA-942标准和CTEAM技术白皮书，数据中心的建筑空间包括：计算机房/主机房；n数据中心内的通信室；n维护人员办公室；n接入室；n机电设备机房；n运营监管中心；n存储及载入室。n在一个数据中心中，典型的计算机房/主机房空间区域划分为：总配线区(MDA)，安置路由器、主干线缆、LAN/SAN交换机、PBX程控交换机、配线架；n水平配线区(HDA)，安置LAN/SAN/KVM交换机、配线架；n区域配线区(ZDA)，安置HAD与EDA的中间续接区域过线盒/整合点；n设备配线区(EDA)，安置机架/机柜/设备、出线盒。n另外计算机房/主机房与接入室(ER)直接相关，接入室安置网络运营上的接入设备。数据中心布线系统的线缆为：水平线缆提供了设备配线区（EDA）、水平配线区（HDAs）、区域配线区（ZDA）的水平交叉连接。n主干线缆提供了总配线区（MDA）、水平配线区（HDAs）、接入室（ER）、电信室（TR）之间的主干交叉连接。n推荐采用的布线传输介质：100n ohm 4-Pair CAT6 双绞线（等级以上）；激光优化的 50/125 m多模光纤OM1/OM3；75 ohm 同轴线缆。数据中心的三种布线系统的拓扑结构为：布线系统的拓扑结构基本特征说明1、基本型拓扑结构一个接入室（ER），可能有一个或多个电信室（TR），一个总配线区（MDA）、几个水平配线区（HDAs）、几个设备配线区(EDAs）、以及可能设有的区域配线区(ZDA）。有水平布线及主干布线。基本型拓扑结构较为完整，适合于大多数的企业数据中心和公用数据中心。2、简化型拓扑结构将接入室（ER）、电信室（TR）、总配线区（MDA）、水平配线区（HDA）“合并”为一个区域：即计算机房的总配线区（MDA）。在这种拓扑结构中，只有总配线区（MDA）、区域配线区（ZDA）、设备配线区（EDA）以及水平布线。简化型拓扑结构较为简约、区域少、器件少，适用小型的数据中心布线系统。原先数据中心的布线拓扑结构基本上是类似于这样的结构。3、分布型拓扑结构大型的数据中心需要多个电信室（TR）和接入室（ER），以及划隔出宽大的办公区域和管理区域。附加的（第二个）接入室（ER）采用光缆、双绞线、同轴线缆连接到总配线区（MDA）和几个水平配线区（HDAs）。在分布型拓扑结构中，原先的（第一个）接入室（ER）不能直接连接水平配线区（HDAs），而附加的（第二个）接入室（ER）允许直接连接水平配线区（HDAs），这样除了降低关键线路的线缆的长度限制以外，更重要的是提供了适当的、必须的、额外的冗余线路。分布型拓扑结构可以认为是在基本型拓扑结构的基础上，增加了附加的（第二个）接入室（ER），同时，也相应地增加了冗余线路。场地可用性分类等级为：TIA-942标准CTEAM技术白皮书特征与可用性量化指标等级 IC级没有多余的组成部分（N），提供99.671%的可用性。等级 IIB级带有多余的组成部分（N+1），提供99.741%的可用性。等级 IIIB级有多余的组成部分（N+X），并且同时是可维修的，提供的99.982%的可用性。等级 IVA级有多余的组成部分，并且是故障容错，即是能够自动诊断故障和自动排除故障的2（N+X）提供的99.995%的可用性。说明以上“多余的组成部分”实际上是“冗余部件”的意思。3 基于项目的案例讨论数据中心布线系统的整体规划需要一个“理论联系实际”的体验过程，才能得到真正的感知与升华。下面通过一个实际的项目案例，讨论数据中心布线系统的整体规划。项目背景：某市政府机关新建大楼，一个主楼（12层）、四个副楼（层高不等）。同时，配套建设的数据中心设在主楼内二层。数据中心的建筑面积在建筑设计时被框定在380平方米的一个区域内。该数据中心政府办公机关的数据和通讯枢纽，是保证整个政府电子政务系统和有关信息系统（三网一库）正常工作的关键重要部分之一，对安全性、可靠性要求较高。机房内放置的通讯设备、网络设备、计算机设备、服务器设备、存储设备，需要一个非常严格的可靠的操作环境和运作环境，数据中心的建设对整个政府办公机关的业务至关重要。说明：在这里，政府机关的数据中心，习惯被称为信息中心。n为了与由服务商或运营商兴建用于向社会机构或企业提供租赁服务的公用数据中心（简称：IDC）相区别，将该政府机关自有的、自用的数据中心，归称为企业数据中心（简称：EDC）。n内网：政府办公业务网，是政府内部的电子办公环境，实现日常办公与事务处理，该网的信息只能在内部流动，它不与外网有任何信息交换。n专网：政府信息交换网，是政府上下级部门间和相关部门间进行信息交换的专网。该网实现将信息从一个内网传送到另一个内网，它不与外网有任何信息交换。n外网：政府公众服务网，是政府部门的电子门户、公共信息的发布与信息服务的窗口，实现政府与公众的互操作。该网与内网和专网作物理隔离。n一库：电子政务系统综合信息数据库。n3.1 对数据中心布线系统整体规划的分析讨论首先是基于项目业主方所提供的基本信息与要求，该项目是在已制定的某市电子政务建设实施纲要的情况下实施的，所以已具有“IT规划”的结果，同时，新大楼的建筑设计已经完成，数据中心的“场地与空间”已经被划定。基于前章节所论述的“IT规划”和“场地与空间规划”的有关要点：IT系统定位决定了数据中心的建设等级。本项目中，政府的电子政务系统和有关信息系统（三网一库），有内网与专网要求作逻辑隔离，内网和专网与外网作物理隔离的要求，对各网络和数据库都有信息安全的等级要求，同时，根据政府办公的不可中断性。因此，数据中心的建设等级应该设定在至少等级 II（或B级）以上。IT系统规模决定了数据中心的建筑空间。（经过评估）数据中心的建筑面积被框定在380平方米的一个区域内。可以满足现在与将来一段时间内，IT系统规模对场地空间的需求。IT系统架构决定了数据中心的信息路由。数据中心需要接入外网和专网的租用的电信运营商线路和专有线路，同时，要接入大楼内的各楼层的接入层交换机的主干数据线路和四个副楼的汇聚层交换机的主干数据线路。另外，在数据中心内，由于三网（逻辑/物理）隔离和安全冗余的要求，将形成“独立”与“多重”的复合信息路由结构。IT系统配置决定了数据中心的场地布局。政府的电子政务系统和有关信息系统（三网一库）所配置的通讯设备、网络设备、计算机设备、服务器设备、存储设备，在主机房内将形成接入区、主配线区、网络交换区、服务器区、存储器区、留扩设备区等，以及相关的基础设施配套区域等（UPS配电设备区、气体消防设备区）。机房场地是以“设备”为关注与满足对象；而建筑空间是以“人”为关注与满足对象。故将设备主机房采取密闭护围、场地采取大空间少隔断。网络运管中心（NOC）和办公区隔离出机房区域，采取人机区域分离，为工作人员创造健康、便捷、舒适的工作环境。3.2 对数据中心布线系统整体规划设计的讨论：确定IT关键设备连接方式。本项目中，由于有内网与专网要求作逻辑隔离，内网和专网与外网作物理隔离的要求，使通讯设备、网络设备、计算机设备、服务器设备、存储设备的连接方式形成“独立”与“多重”的复合信息连接方式。即将内网与专网划归为一组，外网为划归另一组，对这两组相关的通讯设备、网络设备、计算机设备、服务器设备、存储设备进行独立的连接。同时，考虑灵活性和冗余性，对内网与专网、外网又进行多重连接和三网的备线连接。平面区域规划。将数据中心的平面区域规划为：中心机房（网络配线机房、服务器机房、留扩机房）；机电设备机房（不间断电源间、消防瓶组间）；介质室；备品室；缓冲区等。并使数据中心内各功能区域用房性质相似的或关联的进行相邻布局，以减低实际的路由连线距离。在（380平方米）区域以外设置网络运管中心、办公室、值班室、测试室等。中心机房中网络配线机房、服务器机房、留扩机房为三个独立的空调与消防作用区。设备布局。中心机房中的设备布局是以标准机柜、布线列头柜、电源列头柜和专用空调机为主要布置对象。网络配线机房中，设置两列800800（42U）网络配线机柜（宽机柜适宜大量线缆的垂直走线），每列8只，A列（A1-A8）机柜背对B（B1-B8）列机柜背布置，形成“冷端”与“热端”的气流通道。机柜用于安置光缆与铜缆配线架、光缆与铜缆主干线缆、路由器、核心交换机、KVM主交换机等，成为中心机房中的“总配线区(MDA)”。服务器机房中，设置6001100（42U）服务器设备机柜，每列8只，C列（C1-C8）机柜背对D列（D1-D8）机柜背布置，形成“冷端”与“热端”的气流通道。用于安置光缆与铜缆配线架、光缆与铜缆水平线缆、服务器、存储器、网络交换机、KVM转接器等设备，成为中心机房中的“设备配线区(EDA)”。并设两个布线列头柜（C0、D0与两组机柜列对应）。服务器机房中，设置800800（42U）布线列头柜（C0、D0），用于安置光缆与铜缆配线架、光缆与铜缆主干线缆和水平线缆、网络交换机、KVM交换机等，成为中心机房中的“水平配线区(EDA)”。留扩机房中，规划两列机柜空间（E、F），设置两个布线列头柜（E0、F0），暂时不配置设备机柜等。规划的功能与服务器机房相同。规划布线系统的拓扑结构。本项目的数据中心布线系统拓扑结构，是一种特殊的拓扑结构，它的形式基于“基本型拓扑结构”与“分布型拓扑结构”之间。原因是为满足“内网与专网划归为一组，外网为划归另一组”的网络隔离要求，故将设置两组对应的总配线区（MDA）、水平配线区（HDAs）和设备配线区（EDAs）。即在本项目中，规划了两个（A列柜：内网与专网1个、B列柜：外网1个）总配线区（MDA）；四个（C0柜：内网与专网1个、D0柜：外网1个、E0/F0柜：留扩区2个）水平配线区（HDAs）；两个（C列柜：内网与专网1个、D列柜：外网1个）设备配线区（EDAs）。但在配线时，并不采取“内网与专网”A列柜-C0柜-C列柜和“外网”B列柜-D0柜-D列柜，即总配线区（MDA）-水平配线区-设备配线区直接按分组单一配线方式。而是采取了各水平配线区（四个）向两个总配线区（MDA）的四个总配线柜（A3/A4/B3/B4柜）进行各25%主干线缆的配线方式，即采取多重连接和三网的备线连接的方式。主要是基于这样的考虑：首先是能够满足“内网与专网”和“外网”单一分组配线功能，在不进行其他链路“挑线”的情况下，实现“内网与专网”和“外网”的隔离。在“内网、专网、外网”任意一个网络设备扩充时，并启用“留扩机房”的两列机柜（E、F）时，只通过改变水平配线区和总配线区“挑线”，就可以方便灵活地迁移和重组网络服务器等设备，而不需要搬迁网络服务器设备等设备，同样可以实现新“组合”的“内网与专网”和“外网”的隔离。为各网的水平配线区和总配线区间提供冗余链路。留扩机房中，在设备配置不明确或暂不配置的前提下，可以先完成由主干线缆连接总配线区至留扩机房的水平配线区的列头柜布线端接安装。本项目中，数据线缆的走线方式规划在机柜顶上采用网格式桥架走线方式。确定技术等级与应用特性。本项目中，数据中心的布线系统规划采用万兆传输等级。布线传输介质为光缆（激光优化OM3 50多模光纤），铜缆（6+类 S/FTP低烟无卤屏蔽双绞线），并配置相应等级的布线配套器件。每个设备配线区机柜按一个24口屏蔽铜缆配线架和一个12芯光纤配线架配置。水平配线区的列头柜按本列设备配线区各机柜内配线总计量配置（设备侧）配线架和光缆铜缆水平线缆（光缆、铜缆），并按其总量配置（主配侧）配线架和按主干线缆（光缆、铜缆）的25%分别接至总配线区的A3/A4/B3/B4柜。在总配线区中，以内网为例，四个标准机柜实现由大楼内的各楼层的接入层交换机的主干数据线路和四个副楼的汇聚层交换机的主干数据线路与外线接入（A1/A2柜）、内网路由器与内网核心网络交换机实现信息交换（A3柜）、与机房内布线列头柜和设备区（服务器等设备）连接的内网总配线（A4柜）构成整个内网数据信息的传输路由。中心机房内规划的各机柜功用一览表机柜列/号0号1号2号3号4号5号6号7号8号A列无内网接入内网接入汇集交换内网核心交换路由器内网总配线专网总配线专网核心交换路由器专网接入汇集交换专网接入B列无外网接入外网接入汇集交换外网核心交换路由器外网总配线预留总配线柜预留交换柜预留接入柜预留接入柜C列水平配线柜主干各25%至A3/A4/B3/B4柜交换机服务器柜24铜缆12芯光纤配线架服务器柜服务器柜服务器柜存储器柜24铜缆12芯光纤配线架存储器柜小型机/柜24铜缆12芯光纤配线架小型机/柜D列水平配线柜主干各25%至A3/A4/B3/B4柜交换机服务器柜24铜缆12芯光纤配线架服务器柜服务器柜服务器柜存储器柜24铜缆12芯光纤配线架存储器柜小型机/柜24铜缆12芯光纤配线架小型机/柜E列水平配线柜主干各25%至A3/A4/B3/B4柜暂无暂无暂无暂无暂无暂无暂无暂无F列水平配线柜主干各25%至A3/A4/B3/B4柜暂无暂无暂无暂无暂无暂无暂无暂无4 结束语数据中心布线系统的整体规划首先涉及到IT规划中信息资源规划的内容，规划确定IT系统定位、IT系统规模、IT系统架构、IT系统配置是数据中心建设的前提与依据。而数据中心的场地与空间规划是依据IT系统的规模与发展和可提供建筑物的场地与空间，整体规划确定场地的等级规模和布线系统构架，空间与平面规划确定场地的分隔和设备的布局。数据中心布线系统的整体规划首先要了解布线系统在数据中心中的作用，也要了解数据中心布线系统工程的建设特点，还要关注数据中心的布线系统所涉及到的技术与产品的发展趋势。更需要充分地理解和掌握有关数据中心布线系统标准的特征内容和相关要求。数据中心布线系统的整体规划作为一项实践型的工作，将通过项目有助于对布线系统整体规划的理论知识的掌握和实际问题的解决。通过对政府部门一个基于政府电子政务系统和有关信息系统（三网一库）应用与环境的数据中心项目讨论，对具有网络（逻辑/物理）隔离这一特殊要求的数据中心布线系统的分析和规划，提出了一般性步骤和要点以及特殊布线拓扑结构的思路特点，为解决此类项目问题提供参考。当前随着IT技术的迅猛发展，越来越多的企业、机构开始着手建立自己的数据中心以支撑其各项业务的持续发展。数据中心机房作为整个业务系统的核心区域，内部设备众多，互相协调性高，同时要求有良好的机房环境（供配电、UPS、空调、消防、保安等）作为基础条件，才可能高效地发挥数据中心的运行效率。事实上，数据中心的环境设备一旦出现故障，即刻就会影响IT系统的运行，对数据传输、存储及系统运行的可靠性均会构成威胁，如事故严重又不能及时处理，就可能损坏硬件设备，造成严重后果。因此，目前许多数据中心的管理人员不得不采用24小时专人值班，定时巡查机房环境设备，这样不仅加重了管理人员的负担，而且更多的时候，不能及时排除故障，对事故发生的时间及责任也无科学的管理。何况现在国内普遍缺乏机房环境设备的专业管理人员，有些数据中心不得不安排软件人员或者不太懂机房设备管理甚至根本不懂机房设备维护的人员值班，这对数据中心的安全运行无疑又是一个不小的隐患。正是为了解决上述问题，已经有越来越多的数据中心在建设中引入了机房环境监控系统，对机房内设备运行环境和机电设备的运行状况进行严密监测，实现了机房环境设备的统一监控，减轻了机房维护机房环境监控系统人员负担，提高了系统的可靠性，实现了机房的科学管理。本文将从系统功能这个角度，对数据中心环境监控系统做个初步探讨，以供同行技术人员在实际工作中参考。一、数据中心环境监控系统监控对象