数据中心设施

1、白皮书 数据中心设施的设计策略2.0 版摘要Cisco® 企业数据中心网络体系结构是 Cisco Systems® 公司为满足 IT 环境的业务需求提供灵活支持而设计的一种集成化和具有适用性的网络体系结构，它在很大程度上依靠基础物理设施来提供保证 IT 环境完美、可靠运行的电源设备、冷却设备、物理机架、布线、物理安全和防火措施。本白皮书讲述了支持新兴的虚拟运算环境的各项设施的设计策略。简介数据中心的管理员们如今更趋向于考虑如何让 IT 更好地为商业策略服务、提高运营效率和为持续发展提供技术平台这些问题。Cisco 企业数据中心网络体系结构是一种集成化和具有适用性的网络体系结

2、构，它在支持新兴的面向服务的架构、基础设施虚拟化以及按需计算的同时，也支持 IT 组织对（数据）整合、业务持续性和安全的直接需求。这种体系结构让 IT 管理者可以配备对其目前商业目标提供最佳支持的技术，并且可以高效地引入未来的服务和应用。Cisco 企业数据中心网络体系结构的关键部分之一是让 IT 环境得以运转的物理设施电源设备、冷却设备、物理支架、布线、物理安全和防火措施。业界的一些企业，包括 APC，用术语“网络关键物理基础设施”（NCPI）来概括这套设施：l 电源设备供电基础设施包括楼宇电力供应入口、主配电设备、发电机（组）、不间断电源（UPS）供应系统和电池、过电压保护、变压器、配电盘

3、，以及断路器。l 冷却设备数据中心的散热系统，包括机房专用空调机组（CRAC）及其相关子系统（制冷装置、冷却塔、冷凝器、风道(ductwork)、泵组、管道系统(piping)）以及机架级或行级制冷设备或空气分配设备。l 布线数据线缆用不同的材料和连接器来优化系统性能和灵活性，而系统管理则为长距离通信保持这种优化。关于电源线，在本白皮书中也有说明。l 机架和物理结构这些要素中最重要的是放置 IT 设备的机架结构、房间的物理要素（如：吊顶和活动地板），以及布线通道。l 管理系统要让系统可靠地运行，对所有物理组件进行监控是很重要的。管理系统包括各种系统，如：楼宇管理系统、网络管理系统、网元管理器以

4、及其它监控软件和硬件。l 接地这包括普通接地网络和保护数据中心设备不被静电放电损坏的接地设备。l 物理安全和防火措施这里所说的子系统是指室内和机架级的物理安全设备以及火灾隐患检测/排除系统。如果按照传统方法将以上要素单独落实，得到的将是一个复杂而且无法估量的系统，其组件并不能协同工作。对这些组件的管理工作也变得冗杂，因为必须将各种不同的管理系统拼凑到一起来，即使这样可能都无法为可靠关键业务操作提供必需的完全监控。然而，如果这些要素被整合到一个由全局系统管理系统支持的完善的端对端系统中，该系统将会提供支持 Cisco 企业数据中心网络体系结构所需的必要基础设施。数据中心的供电问题和不间断电源(U

5、PS)问题如今的 IT 系统出现了一些在三十年前研发现代数据中心供电原理时无法预见到的新供电问题。专家提出了五个解决目前供电系统问题的基本要求，供电系统应该：1. 是一个模块化的、能方便发展并适应不断变化的供电需求的供电系统。系统需求很难预测，而且大多数系统都过于庞大。研究表明，现在的标准数据中心利用率还不到其基础设施实际能力的 50%。产业前景预测也显示了不断攀升且不可预计的功率密度需求，而新的数据中心必须符合至少未来 10 年内的需求。2. 采用能减少或简化规划和定制设计的一种预先设计组件的标准供电解决方案，以加快工作进度。传统供电系统的规划和独立设计需要 6 至 12 个月，与大多数企业

6、的规划期比起来过于漫长。设计耗费时间、价格昂贵且是后续质量问题的根源之一，这让后期安装的扩展和修改变得非常困难。3. 是一个具有防错功能且能减少单点故障以增加系统可用性的供电系统。根据 Uptime Institute 提供的信息，40% 的宕机时间都是人为故障造成的。另外，传统不间断电源供应系统使 IT 设备负载过高，以至于需要使用更多断路器来模拟单点故障。4. 是一个提供机架级和电源级供电监控的管理系统。服务器间的动态功率变化以及机架级的持续变化、调整的负载，会引起意外的超负荷和机架过热情况。随着每个机架的功率密度不断提高，这些问题只会越来越严重。5. 是一个使用标准化、可热交换和用户耐用

7、的模块以减少平均修复时间（MTTR）的供电系统。在传统系统中，没有随时可用的备用部件，诊断和修复都需要进入系统操作。这些系统太复杂了，所以技术服务人员和维护人员往往会在操作和维护系统时犯错或中断放弃。为满足以上要求，必须对现在的设计思路进行一些改进。供电设备的技术和设计，以及如何测定数据中心的供电情况，都需要改进。对供电系统组件的集成工作应从目前惯用的独立系统设计的设计思路转变为采用预先设计甚至预先生产的解决方案。UPS 系统设计配置从楼宇的市电电源配电给数据中心的临界载荷是 UPS 系统设计的五种配置之一。为特定应用选择哪一种配置，取决于可用性需求、风险承受能力、数据中心负载类型、预算以及现

8、有供电基础设施。很多因素都会影响系统的可用性，包括人为故障、组件可靠性、维护安排和修复时间。在很大程度上来说，因素对整个系统可用性的影响，取决于该系统选择哪种配置。表 1 列出了五种配置以及其相应的可用性排名、“等级”和成本。表 1. UPS 配置可用性与成本UPS 配置描述可用性排名等级*每套机架所需费用（US$）容量 (N)单一 UPS 模块或一组并联 UPS 模块1 = 最低等级 13,500 至 18,000 美元串联冗余正常情况下由一个主要的 UPS 模块为负载供电；一个辅助的（“独立”）UPS 为主 UPS 模块的静态旁路供电2等级 18,000 至 24,000 美元并联冗余（N

9、+1）多个并联的容量相同的 UPS 模块共用一条输出总线3分布式冗余三个或多个具有独立输入和输出电路的 UPS 模块4等级24,000 至 30,000 美元双总线系统(2N, 2N+1)两条完全独立的供电线路，每条都可以独立支持负载5 = 最高等级 36,000 至 42,000 美元*“等级”根据由 Uptime Institute () 定义的特定目标来划分系统可用性。计算数据中心的功率需求 除了选择 UPS 配置方案，计算数据中心的电力需求也是必要的。这就需要了解制冷系统、UPS 系统和 IT 负载所需的电量。虽然这些元素的功率需求可能实际上相差很多，但是如果已经确定了已规划 IT 负

10、载的功率需求，就可以准确估计出这些元素的功率需求。除了估计电力线路的容量，这种计算还可以用于估计备用发电机系统的功率输出容量。表 2 是一张数据中心功率需求的合理估算的数据表。一旦确定了电力线路的容量大小，就可以在有资质的设备系统提供商（如果是大型数据中心，则是咨询工程师）的帮助下，开始规划工作。表 2. 数据中心功率需求数据表项目所需数据计算合计（kW）功率需求电力临界载荷来自 APC 网站的估算计算器值每个 IT 设备的额定功率(计算器总 VA 值 x 0.67)/1000#1 _kW对于估算计算器中没有列出的设备，临界载荷铭牌合计 VA 值（包括消防、安全和监控系统）(合计 VA 值 x

11、 0.67)/1000#2 _kW未来的负载每个预期 IT 设备的铭牌 VA 值(未来设备的累计 VA 额定值)x 0.67/1000#3 _kW由于临界载荷变化导致的峰值功率下降稳定状态临界载荷的总功率下降值( #1 + #2 + #3 ) x 1.05#4 _kWUPS 功率损耗和电池充电实际负载+ 未来负载( #1 + #2 + #3 ) x 0.32#5 _kW照明设施与数据中心有关的地板总面积0.002 x 地板面积 (平方英尺) 或 0.0215 x 地板面积 (平方米)#6 _kW用于满足电源需求的总功率上述 #4、#5 和 #6 的总和#4 + #5 + #6#7 _kW功率需

12、求制冷用于满足制冷需求的总功率上面 #7 中的总和对于制冷机系统 #7 x 0.7对于 DX 系统 #7 x 1.0#8 _kW总功率需求用于满足电源和制冷需求的总功率上面 #7 和 #8 中的总和#7 + #8#9 _kW估算电力线路容量满足 NEC 和其他规范组织的需求上面 #9 中的总和#9 x 1.25#10 _kW线路入口处提供的三相交流电压交流电压#11 _kW需要从供电公司获取的电力容量（以安培计）#10 中的总和以及 #11 中的交流电压(#10 x 1000 ) / (#11 x 1.73 )_安培估算备用发电机容量（如果可用）需要备用发电机的临界载荷上面 #7 中的总和#7

13、 x 1.3*#11 _kW需要备用发电机的制冷负载上面 #8 中的总和#8 x 1.5#11 _kW所需发电机的容量上面 #12 和 #13 中的总和#12 + #13_kW* 1.3 变量适用于使用功率因数完全修正后的 UPS。如果使用带有输入谐波滤波器的传统双转换 UPS，则必须乘以3.0。数据中心的冷却自 1965 年以来，数据中心的冷却设施设计只有过很少的改动。这使得与冷却有关的问题日渐突显，尤其是在高密度计算出现以后。目前的冷却系统都必须符合表 3 中列出的五种关键要求。表 3. 冷却系统的五种关键要求要求描述可扩展性和适应性冷却系统的需求很难预测，并且，为了满足未来的需要，冷却系

14、统体积普遍较大，因为很难在现有运行空间中加强冷却能力。设备负载常常在不知道冷却系统是否受到影响的情况下悄然改变。标准化客户定制设计是一项费时、高成本的工作，并且是后续质量问题的主要根源之一，因为典型的安装工作会涉及到一大批供应商。系统的规划和特别设计需要 6 至 12 个月时间，跟大多数企业的规划期相比，这个时间过于漫长。而从特别设计的系统中获得的经验又很难应用到其它系统，因为特别的解决方案会出现特别的问题。简单化复杂的冷却系统因为人为故障而发生宕机的可能性要高得多，尤其是在修复工作复杂而且费时的情况下。此外，在处理定制的冷却解决方案时要规划和校验冗余也比较困难。智能化机架的上下温差可能高达

15、18ºF (10°C)，这会给单个 IT 设备带来意外的压力，致使设备过早损坏。管理传统冷却管理系统报告的数据通常与实际的故障征兆关系甚微，很少会提供对错误诊断有帮助的信息。其冷却性能数据通常不是统计于单个的 CRAC 单元，因此无法深入了解系统的整体性能。同供电系统一样，要解决冷却系统的问题，需要对现在的设计思路进行一些改进。这包括冷却设备技术上和设计上的改进，以及如何测定数据中心的冷却要求。冷却系统组件特别是空气分配和返回系统的标准化和集成化将极大地提升数据中心的可用性。适度冷却与精确冷却当今的技术室需要精密、稳定的环境，以便高敏感度的电子设备达到最佳运行状态。IT 设

16、备会产生不寻常的的集中热负荷，同时，其又对温度和湿度的变化非常敏感。标准空气调节系统并不适合数据中心使用，会造成系统关闭和组件故障。设计条件应该在 72 75°F (22 24°C) 之间，相对湿度 35 50%。不利的环境条件极具破坏性，温度的快速波动也会对 IT 设备造成不良影响。之所以硬件设备不处理数据也要一直通电，这是原因之一。精确空气调节系统用于长期将温度变化保持在 1°F (0.56°C) 之内，湿度变化保持在 3 5% 之内。而普通的“适度冷却”系统，则用于在夏季 95°F (35°C) 和湿度 48% 的外界条件下，使

17、室内保持 80°F (27°C) 的温度和 50% 的湿度。数据中心环境若维护不善，会对数据的处理和存储操作造成负面影响：l 高温或低温高温、低温或快速变化的温度可能使数据处理崩溃并造成整个系统关闭。温度变化可能改变电子芯片和其它板卡组件的电子、物理特性，造成误操作或故障。这些问题可能只是暂时出现，也可能持续数日。不过即使是暂时出现的问题，也可能难于检测和修复。l 高湿度高湿度可能会造成磁带和表面变质、磁头损坏、机架结露、腐蚀、纸张处理问题、造成组件和板卡故障的金银脱离等问题。l 低湿度低湿度在很大程度上增加了静电放电的可能性，这会破坏数据并损坏硬件。精确空调系统的设计是为

18、了进行精确的温度和湿度控制。精确空调系统具有方便的服务、系统灵活性和冗余性，可保证数据中心常年 24 小时正常运行。计算数据中心的冷却需求估算精确冷却系统的冷却容量需要了解 IT 设备和数据中心里其它热源的发热量。发热率的常用度量单位包括 BTU（英国热量单位）/小时、吨/天和瓦特。不同度量单位的混用给用户和规则制定者造成了很多不必要的混淆。令人欣慰的是，全球范围内的标准化组织都倾向于使用统一的标准单位：瓦特(W)。BTU 和吨（指冰的冷却能力）这两个古老的术语将逐渐退出历史舞台。IT 设备通过数据线传输的能量可以忽略不计。因此，交流电源干线所消耗的能量基本上都会转换为热量。（PoE 设备与远

19、程终端的数据传送可能会消耗多达 30% 的能量，但是本白皮书为简化问题，假设所有能量都消耗在本地设备上。）这样一来，IT 设备的发热量就可以简单地等同于该设备的电力消耗量（均以瓦特为单位）。更简单地说，系统总发热量（即冷却需求总量）即为各组件发热量的总和，包括 IT 设备和其它项目，如 UPS、配电系统、空调设备、照明设施以及人员。不过，这些项目的发热率可以通过简单的标准化规则轻松测算出来。UPS 和配电系统的发热量由两部分组成：固定的损耗值和与运行功率成正比的损耗值。对于不同品牌和型号的设备，它们的这两部分热量损耗是十分一致的，因此可以比较准确地估计它们的发热量。照明设施和人员所产生的热量也

20、可以用标准值很快估算出来。需要用户指定的变量，只有少数极易获取的数值，如地板面积和电力系统的额定功率等。虽然空调设备的风扇和压缩机会产生巨大的热量，但是这些热量都被排放到室外，不会增加数据中心内部的热负荷。然而，这些不可避免的能量损失会降低空调系统的效率，如果空调系统比较庞大，则这部分损失在计算时也应加以考虑。可以根据数据中心中各项设备的发热量来进行详细的热量分析，不过利用简单规则而进行快速估算的结果也是在复杂分析结果的允许误差范围之内。这种快速估算法的优势还在于，不具备专业知识或未经过专业培训的任何人都可胜任这一工作。根据表 4 中的数据，可以迅速可靠地确定数据中心的总的热负荷。如果数据中心

21、的墙壁或屋顶受到强烈的日照，或者还有其它的环境热量释放源，则应由 HVAC 咨询师来评估这些热源如何影响整个热量需求。表 4. 数据中心散热量计算数据表项目所需数据散热量计算散热量分类汇总IT 设备IT 设备总负载（所有 IT 设备电源输入功率之和）等于 IT 设备总负载功率（瓦特）_W带电池的 UPS供电系统额定功率（UPS 系统的额定功率，不包括冗余模块）(0.04 x 电源系统额定值) +(0.06 x IT 设备总负载功率)_W配电系统供电系统额定功率(0.02 x电源系统额定值) +(0.02 x IT 设备总负载功率)_W照明设施地板面积（单位：平方英尺或平方米，换算为瓦特）2.0

22、 x 地板面积（平方英尺），或 21.53 x 地板面积（平方米）_W人员数据中心最大人员数，换算为瓦特100 x 最大人员数_W合计_W大型节点环境的制冷随着高密度服务器(Blade server) 技术的采用，空气分配和冷却能力方面又出现了新问题。因为高密度服务器将电源和冷却需求集中在一个小型因数中，数据中心设施面临着服务器集群提出的新问题。表 5 提出了对这类环境进行制冷的五种建议方法。表 5. 大型节点环境制冷方法方法描述分散负载设备室的供电和冷却能力达到最大设备数以下的平均值，并且通过拆分多个机柜中设备的方法来分散机柜上那些负载超过设计平均值的设备。运用规则借用闲置冷却能力设备室的供

23、电和冷却能力达到最大设备数以下的平均值，并且运用规则使高密度机柜能够借用周围机柜的闲置冷却能力。补充制冷设备室的供电和冷却能力达到最大设备数以下的平均值，并且根据需要使用补充的冷却设备去冷却密度超过设计平均值的机柜。特定高密度区域设备室的供电和冷却能力达到最大设备数以下的平均值，在具有高冷却能力的房间内划出一块特殊限制区域，只把高密度机柜安放在那里。全局制冷设备室中的每个机柜都具有满足最大机柜密度的供电和冷却能力。空气分配系统配置在设计数据中心的冷却系统时，其目标是创建一个从冷空气源头到服务器通风口之间的洁净通道。根据性能、成本和实施难度不同，有九种基本方法可以提供 IT 设备的进出空气流。而

24、空气的供应和返回都有三种基本方法来完成 CRAC 装置和负载之间的空气输送：（1）洪灌方式，（2）局部管道方式，（3）全管道方式。表 6 图解了九种可能的组合方式。APC 第 55 号白皮书，“关键设备的空调结构选择方案”描述了这九种空气配送方法及其各自的优点。表 6. 冷却系统类型洪灌方式回风局部管道方式回风全管道方式回风洪灌方式送风小型局域网机房（功耗低于 40kW）：· 可冷却功耗最高为 3kW 的机架· 安装简单· 成本低一般用途：· 可冷却功耗最高为 3kW 的机架· 不需要活动地板· 成本低/安装简单适合解决高热机架问题：

25、· 可冷却功耗最高为 8kW 的机架· 不需要活动地板· 可提高 CRAC 装置的效率局部管道方式送风活动地板环境活动地板环境活动地板环境硬地板环境硬地板环境硬地板环境一般用途：· 可冷却功耗最高为 3kW 的机架一般用途：· 可冷却功耗最高为 5kW 的机架· 高性能/高效率适合解决高热机架问题：· 可冷却功耗最高为 8kW 的机架· 可改型（视厂商而定）全管道方式送风活动地板环境硬地板环境一般用途：· 有垂直气流的机柜/大型机· 适合活动地板静压室环境一般用途、大型机：· 有垂直气

26、流的机柜/大型机· 适合活动地板静压室环境适合解决高热机架问题：· 可冷却功耗高达 15kW 的机架· 需要专门安装使用高密度服务器所致冷却问题的十种最佳解决办法一旦冷却系统设计安装完成，为保证系统的高性能，进行后续检查工作是很重要的。更重要的是，要维护从服务器排出的热空气到 CRAC 装置的回流空气管道之间的洁净通道。很多因素都会降低现有冷却系统的运作效率和功率密度能力。表 7 列出了十种最佳解决方法，按执行方式由简到难、成本由低到高的顺序排列。表 7. 高密度服务器部署所致冷却问题的十种最佳解决办法方法描述进行“健康检查”l 检查总的冷却能力，确保数据中心的I

27、T设备对冷却的需要没有超过总的冷却能力。l 检查所有风扇和报警装置是否运行正常。确保过滤器的清洁状态。l 检查冷却器和/或外部冷凝器、泵送系统和初级冷却回路的状况。l 检查数据中心通道中重要位置的温度。l 记录每套机架底部、中部和顶部的空气入口处的温度，并与 IT 设备生产商的推荐值进行比较。l 检查可能影响冷却性能的机架间隙（没装挡板的闲置机架空间、没装挡板的空刀片插槽、未封闭的电缆开口）或多余的缆线。启动冷却系统维护制度应该实行定期维护制度，以达到冷却设备生产商推荐的指导方针。在机架中安装挡板，实行电缆管理制度机架内未被利用的纵向空间让设备底部流出的热空气可以通过捷径回到空气入口处，致使设

28、备不必要地升温。清除地下障碍物并封闭地板间隙地下障碍物，如网络和电缆，会阻碍空气流动并削弱对机架的冷气供应。将高密度机架分开如果高密度机架紧密聚集在一起，则大多数冷却系统的冷却能力都不够用。采用热通道/冷通道布置如果机架空气入口都朝向一个方向，则上一排机架排出的热空气在通道中将和供应空气或室内空气相混合，然后进入到下一排机架的前面。将 CRAC 设备与热通道对齐当 CRAC 设备与热通道对齐时，可达到最佳冷却效率。在这种情况下，热空气可以直接流入回风管道，而很少有机会与冷空气流混合。管理地板通风孔机架气流和机架布局是影响冷却性能的关键因素。送风和回风通风孔的位置如果不当，会使得热通道/冷通道设

29、计的种种优点丧失殆尽。安装气流辅助装置在有足够平均冷却能力，但却存在高密度机架造成的热点的场合，可以通过采用有风扇辅助的设备来改善机架内的气流，并可使每一机架的冷却能力提高到 3kW 8kW。安装自给高密度设备在功率密度接近或超过每机架 8kW 的场合，需要将冷空气直接供应到机架的每一层（而不是从顶部或底部），以便使从上到下的温度保持一致。以上方法可以使得数据中心能够在其峰值效率运行，以保证其可以胜任对商务过程的支持，并预防未来可能发生的问题。前八种方法可帮助典型数据中心在其原始设计的界限内正常运行。最后两条是对如何扩充典型数据中心冷却密度设计界限的建议（无需进行较大的重新设计和建造），方法是

30、通过安装“自给”冷却方案，以便满足高密度服务器应用场合的需要。数据中心的布线问题布线拓扑结构数据中心拥有大量的设备，网络结构复杂，所以必须要有布线拓扑结构。由于有在 1991 年首次发布的 ANSI/TIA/EIA-568 标准，网络设计师对结构化布线很熟悉。TIA（电信行业协会）不久前又通过了一项名为 TIA-942 “数据中心的电信基础设施标准”的标准。该标准用图 1 所示的拓扑结构来描述数据中心。下面列出这种拓扑结构中用到的基本要素。图 1. TIA-942 数据中心基本布线拓扑结构水平布线和主干布线如图 1 所示，有两种布线类型：主干布线和水平布线。主干布线连接总配线区（MDA）和水平

31、布线区（HDA）包括电信室和引入室（ER）。主干布线由主干电缆、主交叉连接、水平交叉连接、机械终端、接插线或用于主干对主干交叉连接的跳线组成。水平布线将设备连接到 MDA 或 HAD 中的连接。水平布线由水平电缆、机械终端和接插线/跳线组成，还可以包括一个区域插座。ER 或 MDA 中的交叉连接接入电缆和数据中心电缆以某种形式在交叉连接处汇合。理想状态下，它们都接入同一个实际上成为“分界线”的交叉连接阵列(lineup)。将连接到所有接入提供商的这些“分界线”集中摆放，通常称为“meet-me room”。不过，部分接入提供商更愿意将电缆接入自己的机架。分界交叉连接通常摆放在引入室，如果数据中

32、心没有引入室，则摆放在总配线区。总配线区（MDA）中的主交叉连接根据 TIA-942 标准，每个数据中心都必须有一个总配线区，总配线区应配备核心以太网交换机与路由器、可能的核心存储区域网络（SAN）交换设备、PBX 设备、网络管理设备以及接入设备。总配线区还包括主交叉连接（MC），用于在主干布线和核心交换机与路由器之间建立连接。因为主干布线通常采用光纤，所以主交叉连接必须设计为可处理光缆、接插线和配线架。根据安全、外观和电缆管理的不同需要，交叉连接配线架和网络设备被安放在机柜内或机架上。电信室、HDA 或 MDA 中的水平交叉连接水平交叉连接（HC）是一个大型的接插区域，水平电缆从这里被分配到

33、各个设备。一般来说，水平交叉连接的主要任务是提供一个将水平电缆连接到接入交换机端口的装置。TIA-942 标准还给出了一种光缆的集中布线方法的指导，在这种方法中，水平电缆被直接连接到多光纤主干电缆，而不是交换机。区域分配区（ZDA）中的区域插座或整合点通常，将一组水平电缆外接到公用终接点比较有利。采用新设备后，水平电缆也可以通过区域插座连接到网络上。与固定到设备机柜的设备插座相比，区域布线提供更大的灵活性。区域分配区用于未来使用的“precable”区域，或简化频繁的重配置。区域分配区中的插座很多数据中心的设备分配区的大部分都被服务器机柜中的服务器占据。水平电缆通常外接到机柜，连接到配线架上，

34、配线架即被称为“插座”或“互连”，如图 1 所示。TIA-942 标准认可图 1 中拓扑结构的某些变化形式。例如，小型企业数据中心可以将接入室、水平布线、总配线区和电信室合并为计算机室内的一个区域。另外，大型互联网数据中心可以拥有两个接入室（保持冗余度）或者兼容多种接入服务商，也可以将总配线区和水平布线区分别划入不同的房间或笼内以增加安全度。具体的拓扑结构依数据中心规模、可扩展性、可靠性等因素而定。电缆介质对于现在的数据中心 LAN 和 SAN 环境，“交换机到服务器”连接要求布线具有高性能和灵活性，并且具有适应未来高带宽应用的剩余空间（见表 8）。千兆位以太网连接具有广泛的支持基础：交换机端

35、口、网卡、超五类非屏蔽双绞线（Category 5e UTP）和六类非屏蔽双绞线（Category 6 UTP）。然而，以太网在不断地发展，许多组织都在关注万兆位以太网在支持新应用要求方面的优势。网络规划者们应该仔细考虑如何运用这些新电缆技术，以将带宽优势融入到电缆基础设施中。表 8. 电缆介质类型电缆介质连接类型参数最小弯曲半径最大数据速率最大传输距离*公共应用超五类双绞线RJ-450.193 英寸1.00 英寸1 千兆/秒100 米老式局域网六类双绞线RJ-450.260 英寸1.04 英寸10 千兆/秒55 米IP 电话增强六类双绞线第七类双绞线RJ-450.310 英寸1.24 英寸1

36、0 千兆/秒100 米高端工作站Infiniband （CX4 双轴）XENPAK0.371 英寸4.00 英寸10 千兆/秒15 米服务器集群多模光纤（OM3）LC、SC、ST、FC、FJ、MPO、XENPAK0.059 英寸2.00 英寸10 千兆/秒220 米存储区域网单模光纤（OS1）LC、SC、ST、FC、FJ、MPO、XENPAK0.118 英寸2.00 英寸10 千兆/秒40 千米广域网* 可以保持最高数据速率的最大传输距离超五类非屏蔽双绞线千兆以太网的出现让这种电缆普及起来。因为其使用的是 IEEE 最早期的标准，所以新的电缆在数据传输速度上已超过它。如果您的商业计算仅限于文字

37、处理和简单的数据表格，并且不打算彻底改变这种现状，那么超五类非屏蔽双绞线的系统可能就足够了。六类非屏蔽双绞线六类非屏蔽双绞线适用于能支持多种服务类型的具有灵活性的基础设施。它提供的带宽远大于千兆的速度，并且在 10 Gbps 的最高数据速率下最大传输距离为 55 米。对于将服务器阵列连接到附近的水平布线区的小型计算机室或模块化数据中心，可以设计 55 米或更短的水平布线线路。但是许多中到大型的数据中心需要更长的线路。例如，可能需要将所有联网设备整合到一个总配线区，由总配线区分配电缆到大量的托管或第三方托管(collocation)用服务器机柜。增强六类非屏蔽双绞线当电缆铺设长度大于 55 米时

38、，UTP 技术中唯一能达到以 10 Gbps 的速率传输 100 米的，是新一代的称为“增强六类”（C6A）的电缆。随着 802.3 标准的发展，IEEE 打算用双绞线铜缆 通过 四个连接器 (4-connector)、100 米的渠道 支持 10 Gbps 的数据传输速率。该标准要求将六类电缆的参数从当前的 250 MHz 扩展到 500 MHz。要支持 10 Gbps 的数据传输速率，必须设计一种新的电缆，增加电缆束中的导线间距，并且设计新的连接头以免电缆的改进成果在传输途中丧失。万兆位以太网系统中的任何组件都是很重要的：插孔模块、铜缆、配线架、接插线都必须经过精密调谐，以达到 10 Gb

39、ps 的速度。InfiniBand 与 CX4虽然 InfiniBand 与 CX4 类似，但是 CX4 已做过小小的改进，以更好地处理串扰和回波损耗。这里将两种介质一起讨论，因为他们都用 24 AWG 的电缆以传输 15 米为目标，并且使用相同的连接头配置。这种电缆有屏蔽层，内含 8 对双轴屏蔽线。连接头和电缆都是由 InfiniBand Trade Association 依据 InfiniBand 标准研发。虽然 15 米的距离不适合进行长距离传输，但 InfiniBand 已为它找到了新用途：服务器集群和网格计算。这类应用要求用短距离传输以便连接多个服务器，要求 10 Gbps 的带宽

40、以便建立强大的服务器环境。InfiniBand 通过质量服务（QoS）机制加强了应用集群间的联系，这对优先处理的事务安排有所帮助。虽然 InfiniBand 并不适合按 TIA-942 标准下结构完整的布线线路，但是它在服务器集群方面的用途已被 Cisco、IBM 等处于行业领先地位的公司所认可并频繁使用。InfiniBand 连接线还可用于 SAN 中，代替昂贵的与光纤通道一起使用的主机总线适配器（HBA）。基于从布线拓扑结构中撤下 HBA 的优点，应对照光纤通道的带宽和可靠性来进行测量。按IEEE 802.3ae 标准使用以下字母：S = 短波，波长 850 nmL = 长波，波长 131

41、0 nmE = 长波，波长 1550 nm字母 W 表示该标准用于广域网。光缆如表 8 所示，IEEE 802.3 标准提供一系列的在光纤上进行 10-Gbps 传输的可选方案。公用的纤维光学传输装置可分为以下三大类：l 发光二极管（LED）LED 价格便宜，但是仅限于低于 1 Gbps 的低速传输。l 长波激光器这种激光器在波长 1310 1550 nm 之间工作，速度和成本都远远高于 LED。l 短波激光器垂直腔面发光型半导体激光器（VCSEL）技术是作为低成本激光器的生产方法被开发出来的。用于 10 Gbps 的 VCSEL 目前被归类为短波激光器，其工作波长为 850 nm。针对 10

42、 Gbps 的下一步发展将是长波（1310 nm） VCSEL。以上三种光纤类型加上短波激光和长波激光技术，为用户在平衡距离和成本方面提供了多种选择。l 多模光纤（OM3）OM3 光纤被归类为激光优化是因为电缆生产商的产品必须百分之百通过检测，因为只有最好的光纤才有资格被划分为“激光优化”类。有效模式带宽等于或大于 2000 MHz/km 的光纤才能被定级为 OM3。差分模延迟（DMD）规范对激光优化类光纤仍然有效，但是 OM3 类别在 DMD 上作了一些限制。由于每个脉冲信号都通过光纤传送，所以其初始形态保持得比较好，接收器可以判断接收到的脉冲信号代表 0 还是 1。更先进的误码率（BER）

43、检测现在用于测算脉冲信号被误解的频率。为数据中心配置多模光纤时，强烈推荐使用 OM3 类光纤。l 单模光纤（OS1）进行 10 Gbps 传输的最后一个选项是单模光纤。10GBASE-LR 和 10GBASE-ER 是基于标准单模光纤和长波激光器的，所以其最大传输距离远远长于 OM3 类光纤。这类技术更为昂贵，是因为它们使用边缘发光长波激光器。10GBASE-LR 和 10GBASE-ER 主要用于跨校园或不同建筑之间的远距离应用。数据中心的实际光纤部署商业应用会产生大量的数据，必须放入随时可以访问、安全并且非常可靠的存储系统。SAN 满足以上要求，通过整合策略，将SAN 结构变成一种灵活、可

44、扩展且能很快适应数据更改要求的方法。SAN 的连接由光缆支持，因此在每一个放置或将要放置现在或将来需要接入 SAN 的应用的设备区，布线时都应提供光纤接口。推荐的一种策略是：为每个服务器机柜铺设一定数量的光纤对可以是 12、24 或 48，视最大计划需求而定。计划需求量由服务器类型、功率/发热负载和计划 SAN 接入数量决定。同样，光纤对也必须从 SAN 交换机一直铺设到存储设备。在建设初期，配线可以铺设到每个机柜和现场终端。场地终接是一项复杂、费时而且杂乱的工作，所以许多数据中心宁愿采用预先安装终接好的中继电缆或即插即用光纤解决方案。即插即用解决方案的配线是厂家已经终接到 MPO 或 MTP

45、 连接器上的，一般每个连接器接 12 条光纤。安装者只需简单地将 MTP 电缆插入水平交叉连接和设备插座上的 LC 或 SC 连接器即可。电缆通道电缆基础设施应被视为一项需要具备功能性和保护性的容器的投资。每次增加新的服务器机柜都把数据电缆丢在活动地板面层下的水泥板上的做法，现在已经不被接受了。负责发展和修改的 IT 专业人员，依赖铺设良好的、灵活的、易接近的电缆通道。关键应用要求保护电缆不受突然损坏或长期老化，不断增加的热负荷也需要仔细考虑，以避免通道妨碍制冷。在规划电缆通道时并没有通用的解决方案。设计者必须考虑将通道置于地面下还是地面上的问题。表 9 中的标准说明了电缆通道该如何铺设。表

46、9. 电缆通道的铺设标准标准描述结构上的问题· 利用现有的活动地板、天花板夹层和房间结构的完整性决定了你应该如何设计你的电缆通道。· 条理性与直观性将通道分为几层，以便分开供电和数据电缆。· 灵活性允许增减机柜。· 维护通道与对应设备数量的比例一条通道将负责供应两排地下通道的设备；对于架空的通道，一般一条通道负责一排设备机柜。容量· 空间最大占用率为 50%计算出的空间占用率达到 50% 时，由于电缆间的空间、随机摆放的物品等原因，线架实际已被占满。· 电缆托架占用率 25%最大的电缆通道占用率应该不超过25%，以便为将来的发展留出空

47、间。这个比率适用于电缆托架、铁线篮、梯架和硬电缆托架。电力线与数据线的分离· UTP 电缆和未屏蔽供电电缆100 600 mm（4 24 英寸）· UTP 电缆和已屏蔽供电电缆50 300 mm（2 12 英寸）可达性与安全性· 平衡措施在允许更改电缆基础设施的同时，保护电缆不受外部损坏。火灾危险· 具有管辖权的当地管理机构该机构在从阻燃电缆到防火措施的可行性方面有最终决定权。光纤保护· 40 60 % 占用率铜和光纤具有不同的特性，所以应该采用不同的电缆通道策略。数据中心的机架和机柜问题选择机架的标准对于用于安装设备和接插面板的开放式机架和封

48、闭式机柜，数据中心设计者有很多种选择，每一种都有其优点和缺点。与电缆通道一样，这也没有通用的解决方案。关于宽度，服务器、交换机和接插面板的规格为 19 英寸；引入室中的载波设备和其它宽度更大的设备的适用规格为 23 英寸。最佳高度为 7 英寸，最大允许高度为 8 英寸。其它方面诸如地震因素、有关瓷砖的布置、可调整轨道、配电盘等，在标准中也作了说明。设计者应根据表 10 中列出的标准来决定选择开放式机架还是机柜。表 10. 机架类型机架类型描述最大负重应用双柱 开放式机架800 磅· 低容量交换机/路由器· 配线四柱 开放式机架1000 2000 磅· 高容量交换机

49、/路由器· 服务器机柜2000 磅· 服务器集群· 存储阵列· 存储转换电缆入口若使用开放式机架，电缆可以轻松地从架空的或地板下的通道接入竖直线缆管理器。若使用机柜，注意要比较电缆数量和电缆入口孔的大小。带有高电缆密度的设备，如交换机和单机架服务器，可使用足够容纳上百根数据线和电源线的电缆入口孔。必要口径 A 用 40% 的占用率（0.4）按以下方式计算：对于第六类双绞线，参数 D 的值为 0.25 英寸，A 的计算结果为 41 平方英寸。对于扩展六类线，D 的值为 0.35，A 的计算结果为 81 平方英寸。电缆管理可以为宽敞、方便进入的竖直线缆管理器

50、轻松配备机架。很多机柜没有足够的空间来容纳竖直线缆管理器。通常，仅有的空间就是狭窄、竖直的转角处和相邻机柜间的空隙，而这两种地方都不容易进入。前一部分提到的公式不仅适用于电缆入口孔，也适用于电缆管理器横截面积的计算。无论机柜中是否安装了配线架，都应该在导轨和门之间留出最少 100 mm（4 英寸）的高度，以便安装线缆管理器。安全机柜有带锁的柜门。开放式机架没有锁，但是将其置于笼内或单独的房间来保证其安全。数据中心管理员都担心有入侵者或未经授权的人员接近机房设备。对于关键应用，在设备上进行的操作应该严格依照访问规定小心控制。例如：网络组的技术人员有接近交换机和交叉连接设备的许可；服务器组的技术人

51、员有服务器机柜的钥匙；SAN 组则拥有 SAN 机柜的密码。在第三方托管环境中，服务器租用者希望出租方提供安全的机柜和空间，以保证其它租用者不会损坏自己的设备和相关网络基础设施。负载能力和深度在负载能力方面，机柜和 四柱机架有一种优点。例如：某生产商的 19 英寸的标准铝机架具有 3 英寸的支架，能承受 800 磅的负载。同一厂商的重型机架带有 6 英寸的支架，能承受多达 1500 磅的负载。四柱机架和机柜的额定负载量可达到 2000 磅或更多。机柜可支持纵深较大的设备。大多数网络交换机都比较薄，如果符合安装说明中的允许条件，就可以放置在 双柱机架上。最佳机架式服务器纵深 16 33 英寸，大

52、部分高 26 30 英寸，而且与 双柱机架一般不兼容，因为这会引起结构上的不稳定悬臂和可能的安全隐患。机柜和四柱机架提供后部安装轨，以增加对设备的支持和包围纵深较大的设备。安装轨应该可以调节以适应一系列的设备纵深度。螺距在某些情况下，保持 24 英寸的螺距来与地板相匹配是很重要的。使机架或机柜与地板相匹配让其可以使用所有地板通用的标准电缆保险装置。普通机柜宽度为 24、28、29.5（750 mm）或 32 英寸。用于服务器，尤其是长服务器队列时，24 英寸宽的是最常用的。更宽的螺距已被配电和配线应用所接受，在这些应用中，大捆电缆的管理是首要问题。配备竖直线缆管理器的机架尺寸大于 24 英寸的

53、地板尺寸。电源调节机柜的设计便于将配电盒安装在纵向支持通道中。当机柜中装的是使用冗余电力供应的单机架或双机架式服务器时，必须使用带有 20 个或更多插座的长配电盒。有一点要注意的是，开放式机架不支持长的竖直配电盒。不过，根据配电盒宽度或机架通道宽度不同，在配电盒及其安装支架互不影响的情况下，在开放式机架的后部安装竖直配电盘也是可能的。一般开放式机架不带整理电源线的功能，也没有遮蔽配电盘的盖板或门。安装轨安装轨应该带有符合 TIA-310-D 标准的螺孔设计。机架上的这些孔一般带有内螺纹，以便安装配线架等大量的组件。然而机柜一般带有为锁紧螺丝准备的方形螺孔。将锁紧螺丝嵌入方形螺孔内并咬合到位以后

54、，才能继续安装设备。锁紧螺丝有多种螺纹样式，包括 #12-24、#10-32 和 M6。安装轨上应该做上标记，不要遮住机架单元的边缘，而为机架单元编号则可方便安装。电缆管理一旦水平电缆安装完成，就应做好保护工作并且不再对其进行操作。之后的任何网络配置改变，都应通过移动水平交叉连接上的接插线来完成。这样，接插区域就成了物理层管理所关注的对象，因此，在设计接插区域时，应注意其长期的管理性、可靠性、安全性和扩展性。表 11 中列出的八种最佳管理办法可以将水平交叉连接的功能性从简单的接插区域提升为复杂的交换中心，使其能够进行电缆管理、热交换、冷却及对接插区域变化的智能追踪。表 11. 电缆管理的最佳办

55、法方法描述包括有效的水平和纵向电缆管理· 机架间的竖直线缆管理器宽度不能小于 83 mm（3.25 英寸）；对于一行有两或两个以上机架的情况，推荐宽度为 250 mm（10 英寸）。· 机架行列末端的线缆管理器宽度应该不小于 150 mm（6 英寸）。在每个电缆转弯处都提供弯曲半径控制· 备用管理器和到电缆通道的过渡，也应设有合适的弯曲半径。· 应使用圆角边缘的指状物将电缆导入水平或竖直线缆管理器。充分利用可用空间· 具有配套的角型配线架、竖直电缆管理器等高密度解决方案，能将更多连接集中到更小的区域中。保护关键基础设施· 通过机柜锁和

56、笼子建立不同的安全等级。拆离电缆以允许进行热交换· 将电缆拆离设备时，要考虑在需要升级或更换时，风扇部件、模块和电力供应设施应如何拆卸和重新安装。考虑气流方式· 将接插区域和配电基础设施设计为交互式，以使气流最大化。对物理层更改的记录和管理· 接插区域包含数百或数千个端口，因此为接插区域贴上标签以便技术人员快速辨认每个端口是很重要的。使互联与交叉连接达到平衡使用互联的理由：· 占用空间更少· 连接数更少，因此插入损耗较少· 前期花费较少· 容易进行追踪使用交叉连接的理由：· 损坏交换机的可能性更小· 是交换机机柜的唯一选择· 更高的灵活性· 与物理层管理兼容数据中心的接地问题接地系统不仅仅