tia-942 ,《数据中心的电信基础设施标准》

TIA-942 ，数据中心的电信基础设施标准 数据中心设施的设计策略 摘要 Cisco 企业数据中心网络体系结构是 Cisco Systems 公司 为满足 IT 环境的业务需求提供灵活支 持而设 计的一种 集成化和具有适用性 的网络体系结构，它在很大程度上依靠基础物理设施来提供保 证 IT 环境完美、可靠运行的电源设备、冷却设备、物理机架、布线、物理安全和防火措施。本白皮书 讲述了支持新兴的虚拟运算环境的各项设施的设计策略。 简介 数据中心的管理员们如今更趋向于考虑如何让 IT 更好地为商业策略服务、提高运营效率和为持续发展 提供技术平台这些问题。 Cisco 企业数据中心网络体系结构是一种 集成化和具有适用性 的网络体系 结构，它在支持新兴的面向服务的架构、基础设施虚拟化以及按需计算的同时，也支持 IT 组织对 （数据） 整合、业务持续性和安全的直接需求。这种体系结构让 IT 管理者可以配备对其目前商业目 标提供最佳支持的技术，并且可以高效地引入未来的服务和应用。 Cisco 企业数据中心网络体系结构的关键部分之一是让 IT 环境得以运转的物理设施电源设备、冷 却设备、物理支架、布线、物理安全和防火措施。业界的一些企业，包括 APC ，用术语“网络关键物 理基础设施”（ NCPI ）来概括这套设施： 电源 设备 供电基础设施包括楼宇电力供应入口、主配电设备、发电机（组）、不间断电源（ UPS ）供应系统和电池、过电压保护、变压器、配电盘，以及断路器。 冷却 设备 数据中心的散热系统，包括机房专用空调机组（ CRAC ）及其相关子系统（制冷装 置、冷却塔、冷凝器、 风道 ( ductwork) 、泵组、 管道系统 ( piping) ）以及机架级或行级制冷设备 或空气分配设备。 布线 数据线缆用不同的材料和连接器来优化系统性能和灵活性，而系统管理则为长距离通信保 持这种优化。关于电源线，在本白皮书中也有说明。 机架和物理结构这些要素中最重要的是放置 IT 设备的机架结构、房间 的 物理要素（如：吊顶 和活动地板），以及布线通道。 管理系统要让系统可靠地运行，对所有物理组件进行监控是很重要的。管理系统包括各种系统， 如：楼宇管理系统、网络管理系统、网元管理器以及其它监控软件和硬件。 接地 这包括普通接地网络和保护数据中心设备不被静电放电损坏的接地设备。 物理安全和防火措施这里所说的子系统是指室内和机架级的物理安全设备以及火灾隐患检测 /排 除系统。 如果按照传统方法将以上要素单独 落实 ，得到的将是一个复杂而且无法估量的系统，其组件并不能协 同工作。对这些组件的管理工作也变得冗杂，因为必须将各种不同的管理系统拼凑到一起来，即使这样 可能都无法为可靠关键业务操作提供必需的完全监控。 然而，如果这些要素被整合到一个由全局系统管理系统支持的完善的端对端系统中，该系统将会提供支 持 Cisco 企业数据中心网络体系结构所需的必要基础设施。 数据中心的供电问题和不间断电源 (UPS)问题 如今的 IT 系统出现了一些在三十年前研发现代数据中心供电原理时无法预见到的新供电问题。专家提 出了五个解决目前供电系统问题的基本要求，供电系统应该： 1. 是 一个模块化的、能方便发展并适应不断变化的供电需求的供电系统。系统需求很难预测，而且大 多数系统都过于庞大。研究表明，现在的标准数据中心利用率还不到其基础设施实际能力的 50% 。产 业前景预测也显示了不断攀升且不可预计的功率密度需求，而新的数据中心必须符合至少未来 10 年 内的需求。 2. 采用 能减少或简化规划和定制设计的一种预先设计组件的标准供电解决方案，以加快工作进度。传 统供电系统的规划和独立设计需要 6 至 12 个月，与大多数企业的规划期比起来过于漫长。设计耗费 时间、价格昂贵且是后续质量问题的根源之一，这让后期安装的扩展和修改变得非常困难。 3. 是 一个具有防错功能且能减少单点故障以增加系统可用性的供电系统。根据 Uptime Institute 提供 的信息， 40% 的宕机时间都是人为故障造成的。另外，传统 不间断电源供应 系统使 IT 设备负载过 高，以至于需要使用更多断路器来模拟单点故障。 4. 是 一个提供机架级和电源级供电监控的管理系统。服务器间的动态功率变化以及机架级的持续变化、 调整的负载，会引起意外的超负荷和机架过热情况。随着每个机架的功率密度不断提高，这些问题只会 越来越严重。 5. 是 一个使用标准化、可热交换和 用户 耐用的 模块以减少平均修复时间（ MTTR）的供电系统。 在传统系统中，没有随时可用的备用部件，诊断和修复都需要进入系统操作。这些系统太复杂了，所以 技术服务人员和维护人员往往会在操作和维护系统时犯错或中断放弃。 为满足以上要求，必须对现在的设计思路进行一些改进。供电设备的技术和设计，以及如何测定数据中 心的供电情况，都需要改进。对供电系统组件的集成工作应从目前惯用的独立系统设计的设计思路转变 为采用预先设计甚至预先生产的解决方案。 UPS 系统设计配置 从楼宇的市电电源配电给数据中心的临界载荷是 UPS 系统设计的五种配置之一。为特定应用选择哪一 种配置，取决于可用性需求、风险承受能力、数据中心负载类型、预算以及现有供电基础设施。很多因 素都会影响系统的可用性，包括人为故障、组件可靠性、维护安排和修复时间。在很大程度上来说，因 素对整个系统可用性的影响，取决于该系统选择哪种配置。表 1 列出了五种配置以及其相应的可用性 排名、 “ 等级 ” 和成本。 表 1. UPS 配置可用性与成本 UPS 配置 描述 可用性排名 等级 * 每套机架所需费用（ US$ ） 容量 (N) 单一 UPS 模块或一组并联 UPS 模块 1 = 最低 等级 13,500 至 18,000 美元 串联冗余 正常情况下由一个主要的 UPS 模块为负载供电；一个 2 等级 18,000 至 24,000 美元 辅助的（“独立”） UPS 为 主 UPS 模块的静态旁路供电 并联冗余（ N+1 ） 多个并联的容量相同的 UPS 模块共用一条输出总线 3 分布式冗余 三个或多个具有独立输入和输出电路的 UPS 模块 4 等级 24,000 至 30,000 美元 双总线系统 (2N, 2N+1) 两条完全独立的供电线路， 每条都可以独立支持负载 5 = 最高 等级 36,000 至 42,000 美元 * “等级”根据由 Uptime Institute ( ) 定义的特定目标来划分系统可用性。 计算数据中心的功率需求 除了选择 UPS 配置方案，计算数据中心的电力需求也是必要的。这就需要了解制冷系统、 UPS 系 统和 IT 负载所需的电量。虽然这些元素的功率需求可能实际上相差很多，但是如果已经确定了已规划 IT 负载的功率需求，就可以准确估计出这些元素的功率需求。除了估计电力线路的容量，这种计算还 可以用于估计备用发电机系统的功率输出容量。 表 2 是一张数据中心功率需求的合理估算的数据表。一旦确定了电力线路的容量大小，就可以在有资 质的设备系统提供商（如果是大型数据中心，则是咨询工程师）的帮助下，开始规划工作。 表 2. 数据中心功率需求数据表 项目 所需数据 计算 合计（ kW ） 功率需求电力 临界载荷来自 APC 网站的估算 计算器值 每个 IT 设备的额定功 率 ( 计算器总 VA 值 x 0.67)/ 1000 #1 _kW 对于估算计算器 中没有列出的设 备，临界载荷 铭牌 合计 VA 值（包括消防、 安全和监控系统） ( 合计 VA 值 x 0.67)/1000 #2 _kW 未来的负载 每个预期 IT 设备的铭牌 VA 值 ( 未来设备的累计 VA 额定值 )x 0.67/1000 #3 _kW 由于临界载荷变 化导致的峰值功 率下降 稳定状态临界载荷的总 功率下降值 ( #1 + #2 + #3 ) x 1.05 #4 _kW UPS 功率损耗和 电池充电 实际负载 + 未来负载 ( #1 + #2 + #3 ) x 0.32 #5 _kW 照明设施 与数据中心有关的地板总面积 0.002 x 地板面积 ( 平方英尺 ) 或 0.0215 x 地板面积 ( 平方米 ) #6 _kW 用于满足电源需 求的总功率 上述 #4 、 #5 和 #6 的总和 #4 + #5 + #6 #7 _kW 功率需求制冷 用于满足制冷需 求的总功率 上面 #7 中的总和 对于制冷机系统 #7 x 0.7 对于 DX 系统 #7 x 1.0 #8 _kW 总功率需求 用于满足电源和 制冷需求的总功 率 上面 #7 和 #8 中的总 和 #7 + #8 #9 _kW 估算电力线路容量 满足 NEC 和其他 规范组织的需求 上面 #9 中的总和 #9 x 1.25 #10 _kW 线路入口处提供 的三相交流电压 交流电压 #11 _kW 需要从供电公司 获取的电力容量 （以安培计） #10 中的总和以及 #11 中的交流电压 (#10 x 1000 ) / (#11 x 1.73 ) _ 安培 估算备用发电机容量（如果可用） 需要备用发电机 的临界载荷 上面 #7 中的总和 #7 x 1.3* #11 _kW 需要备用发电机 的制冷负载 上面 #8 中的总和 #8 x 1.5 #11 _kW 所需发电机的容 量 上面 #12 和 #13 中的 总和 #12 + #13 _kW * 1.3 变量适用于使用功率因数完全修正后的 UPS 。如果使用带有输入谐波滤波器的传统双转换 UPS ，则必须乘以 3.0 。 数据中心的冷却 自 1965 年以来，数据中心的冷却设施设计只有过很少的改动。这使得与冷却有关的问题日渐突显， 尤其是在高密度计算出现以后。目前的冷却系统都必须符合表 3 中列出的五种关键要求。 表 3. 冷却系统的五种关键要求 要求 描述 可扩展性和适应性 冷却系统的需求很难预测，并且，为了满足未来的需要，冷却系统体积普遍 较大，因为很难在现有运行空间中加强冷却能力。设备负载常常在不知道冷 却系统是否受到影响的情况下悄然改变。 标准化 客户定制设计是一项费时、高成本的工作，并且是后续质量问题的主要根源 之一，因为典型的安装工作会涉及到一大批供应商。系统的规划和特别设计 需要 6 至 12 个月时间，跟大多数企业的规划期相比，这个时间 过于 漫长。 而从特别设计的系统中获得的经验又很难应用到其它系统，因为特别的解决 方案会出现特别的问题。 简单化 复杂的冷却系统因为人为故障而发生宕机的可能性要高得多，尤其是在修复 工作复杂而且费时的情况下。此外，在处理定制的冷却解决方案时要规划和 校验冗余也比较困难。 智能化 机架的上下温差可能高达 18F (10C) ，这会给单个 IT 设备带来意外的 压力，致使设备过早损坏。 管理 传统冷却管理系统报告的数据通常与实际的故障征兆关系甚微，很少会提供 对错误诊断有帮助的信息。其冷却性能数据通常不是统计于单个的 CRAC 单 元，因此无法深入了解系统的整体性能。 同供电系统一样，要解决冷却系统的问题，需要对现在的设计思路进行一些改进。这包括冷却设备技术 上和设计上的改进，以及如何测定数据中心的冷却要求。冷却系统组件特别是空气分配和返回系统 的标准化和集成化将极大地提升数据中心的可用性。 适度冷却与精确冷却 当今的技术室需要精密、稳定的环境，以便高敏感度的电子设备达到最佳运行状态。 IT 设备会产生不 寻常的的集中热负荷，同时，其又对温度和湿度的变化非常敏感。标准空气调节系统并不适合数据中心 使用，会造成系统关闭和组件故障。 设计条件应该在 72 75F (22 24C) 之间，相对湿度 35 50% 。不利的环境条件极具破坏性，温 度的快速波动也会对 IT 设备造成不良影响。之所以硬件设备不处理数据也要一直通电，这是原因之一。 精确空气调节系统用于长期将温度变化保持在 1F (0.56C) 之内，湿度变化保持在 3 5% 之内。而 普通的“适度冷却”系统，则用于在夏季 95F (35C) 和湿度 48% 的外界条件下，使室内保持 80F (27C) 的温度和 50% 的湿度。数据中心环境若维护不善，会对数据的处理和存储操作造成负面影响： 高温或低温高温、低温或快速变化的温度可能使数据处理崩溃并造成整个系统关闭。温度变化 可能改变电子芯片和其它板卡组件的电子、物理特性，造成误操作或故障。这些问题可能只是暂时出现， 也可能持续数日。不过即使是暂时出现的问题，也可能难于检测和修复。 高湿度 高湿度可能会造成磁带和表面变质、磁头损坏、机架结露、腐蚀、纸张处理问题、造 成组件和板卡故障的金银 脱离 等问题。 低湿度低湿度在很大程度上增加了静电放电的可能性，这会破坏数据并损坏硬件。 精确空调系统的设计是为了进行精确的温度和湿度控制。精确空调系统具有方便的服务、系统灵活性和 冗余性，可保证数据中心常年 24 小时正常运行。 计算数据中心的冷却需求 估算精确冷却系统的冷却容量需要了解 IT 设备和数据中心里其它热源的发热量。发热率的常用度量单 位包括 BTU （英国热量单位） / 小时、吨 / 天和瓦特。不同度量单位的混用给用户和规则制定者造 成了很多不必要的混淆。令人欣慰的是，全球范围内的标准化组织都倾向于使用统一的标准单位：瓦特 (W) 。 BTU 和吨（指冰的冷却能力）这两个古老的术语将逐渐退出历史舞台。 IT 设备通过数据线传输的能量可以忽略不计。因此，交流电源干线所消耗的能量基本上都会转换为热 量。（ PoE 设备与远程终端的数据传送可能会消耗多达 30% 的能量，但是本白皮书为简化问题，假 设所有能量都消耗在本地设备上。）这样一来， IT 设备的 发热量 就可以简单地等同于该设备的电力 消耗量 （均以瓦特为单位）。更简单地说，系统总发热量（即冷却需求总量）即为各组件发热量的总 和，包括 IT 设备和其它项目，如 UPS 、配电系统、空调设备、照明设施以及人员。不过，这些项目 的发热率可以通过简单的标准化规则轻松测算出来。 UPS 和配电系统的发热量由两部分组成：固定的损耗值和与运行功率成正比的损耗值。对于不同品牌 和型号的设备，它们的这两部分热量损耗是十分一致的，因此可以比较准确地估计它们的发热量。照明 设施和人员所产生的热量也可以用标准值很快估算出来。需要用户指定的变量，只有少数极易获取的数 值，如地板面积和电力系统的额定功率等。 虽然空调设备的风扇和压缩机会产生巨大的热量，但是这些热量都被排放到室外，不会增加数据中心内 部的热负荷。然而，这些不可避免的能量损失会降低空调系统的效率，如果空调系统比较庞大，则这部 分损失在计算时也应加以考虑。 可以根据数据中心中各项设备的发热量来进行详细的热量分析，不过利用简单规则而进行快速估算的结 果也是在复杂分析结果的允许误差范围之内。这种快速估算法的优势还在于，不具备专业知识或未经过 专业培训的任何人都可胜任这一工作。根据表 4 中的数据，可以迅速可靠地确定数据中心的总的热负 荷。如果数据中心的墙壁或屋顶受到强烈的日照，或者还有其它的环境热量释放源，则应由 HVAC 咨 询师来评估这些热源如何影响整个热量需求。 表 4. 数据中心散热量计算数据表 项目 所需数据 散热量计算 散热量分类汇总 IT 设备 IT 设备总负载（所有 IT 设备电源输入功率之和） 等于 IT 设备总负载功率（瓦特） _W 带电池的 UPS 供电系统额定功率（ UPS 系统的额定功率，不包括冗余模块） (0.04 x 电源系统额定值 ) + (0.06 x IT 设备总负载功率 ) _W 配电系统 供电系统额定功率 (0.02 x 电源系统额定值 ) + (0.02 x IT 设备总负载功率 ) _W 照明设施 地板面积（单位：平方英尺或平方米，换算为瓦特） 2.0 x 地板面积（平方英尺）， 或 21.53 x 地板面积（平方米） _W 人员 数据中心最大人员数，换算为瓦特 100 x 最大人员数 _W 合计 _W 大型节点环境的制冷 随着高密度服务器 (Blade server) 技术的采用，空气分配和冷却能力方面又出现了新问题。因为高密 度服务器将电源和冷却需求集中在一个 小型因数中 ，数据中心设施面临着服务器集群提出的新问题。 表 5 提出了对这类环境进行制冷的五种建议方法。 表 5. 大型节点环境制冷方法 方法 描述 分散负载 设备室的供电和冷却能力达到最大设备数以下的平均值，并且通过拆分多个机柜中设备 的方法来分散机柜上那些负载超过设计平均值的设备。 运用规则借用闲置 冷却能力 设备室的供电和冷却能力达到最大设备数以下的平均值，并且运用规则使高密度机柜能 够借用周围机柜的闲置冷却能力。 补充制冷 设备室的供电和冷却能力达到最大设备数以下的平均值，并且根据需要使用补充的冷却 设备去冷却密度超过设计平均值的机柜。 特定高密度区域 设备室的供电和冷却能力达到最大设备数以下的平均值，在具有高冷却能力的房间内划 出一块特殊限制区域，只把高密度机柜安放在那里。 全局制冷 设备室中的每个机柜都具有满足最大机柜密度的供电和冷却能力 。 空气分配系统配置 在设计数据中心的冷却系统时，其目标是创建一个从冷空气源头到服务器通风口之间的洁净通道。根据 性能、成本和实施难度不同，有九种基本方法可以提供 IT 设备的进出空气流。而空气的供应和返回都 有三种基本方法来完成 CRAC 装置和负载之间的空气输送：（ 1 ）洪灌方式，（ 2 ）局部管道方式， （ 3 ）全管道方式。表 6 图解了九种可能的组合方式。 APC 第 55 号白皮书，“ 关键设备的空调 结构选择方案 ”描述了这九种空气配送方法及其各自的优点。 表 6. 冷却系统类型 洪灌方式回风 局部管道方式回风 全管道方式回风 洪灌 方式 送风 小型局域网机房（功耗低于 40kW ）： 可冷却功耗最高为 3kW 的机架 安装简单 成本低 一般用途： 可冷却功耗最高为 3kW 的机 架 不需要活动地板 成本低 / 安装简单 适合解决高热机架问题： 可冷却功耗最高为 8kW 的机 架 不需要活动地板 可提高 CRAC 装置的效率 活动地板环境 活动地板环境 活动地板环境 局部 管道 方式 送 风 硬地板环境 硬地板环境 硬地板环境 一般用途： 可冷却功耗最高为 3kW 的机架 一般用途： 可冷却功耗最高为 5kW 的机 架 高性能 / 高效率 适合解决高热机架问题： 可冷却功耗最高为 8kW 的机 架 可改型（视厂商而定） 活动地板环境 硬地板环境 全管 道方 式 送 风 一般用途： 有垂直气流的机柜 /大型机 适合活动地板静压室环境 一般用途、大型机： 有垂直气流的机柜 /大型机 适合活动地板静压室环境 适合解决高热机架问题： 可冷却功耗高达 15kW 的机架 需要专门安装 使用高密度服务器所致冷却问题的十种最佳解决办法 一旦冷却系统设计安装完成，为保证系统的高性能，进行后续检查工作是很重要的。更重要的是，要维 护从服务器排出的热空气到 CRAC 装置的回流空气管道之间的洁净通道。很多因素都会降低现有冷却 系统的运作效率和功率密度能力。表 7 列出了十种最佳解决方法，按执行方式由简到难、成本由低到 高的顺序排列。 表 7. 高密度服务器部署所致冷却问题的十种最佳解决办法 方法 描述 进行“健康检查” 检查总的冷却能力，确保数据中心的 IT 设备对冷却的需要没有超过 总的冷却能力。 检查所有风扇和报警装置是否运行正常。确保过滤器的清洁状态。 检查冷却器和 / 或外部冷凝器、泵送系统和初级冷却回路的状况。 检查数据中心通道中重要位置的温度。 记录每套机架底部、中部和顶部的空气入口处的温度，并与 IT 设备 生产商的推荐值进行比较。 检查可能影响冷却性能的机架间隙（没装挡板的闲置机架空间、没装 挡板的空刀片插槽、未封闭的电缆开口）或多余的缆线。 启动冷却系统维护制度 应该实行定期维护制度，以达到冷却设备生产商推荐的指导方针。 在机架中安装挡板，实行电缆管理 制度 机架内未被利用的纵向空间让设备底部流出的热空气可以通过捷径回到 空气入口处，致使设备不必要地升温。 清除地下障碍物并封闭地板间隙 地下障碍物，如网络和电缆，会阻碍空气流动并削弱对机架的冷气供应。 将高密度机架分开 如果高密度机架紧密聚集在一起，则大多数冷却系统的冷却能力都不够 用。 采用热通道 / 冷通道布置 如果机架空气入口都朝向一个方向，则上一排机架排出的热空气在通道 中将和供应空气或室内空气相混合，然后进入到下一排机架的前面。 将 CRAC 设备与热通道对齐 当 CRAC 设备与热通道对齐时，可达到最佳冷却效率。在这种情况下， 热空气可以直接流入回风管道，而很少有机会与冷空气流混合。 管理地板通风孔 机架气流和机架布局是影响冷却性能的关键因素。送风和回风通风孔的 位置如果不当，会使得热通道 / 冷通道设计的种种优点丧失殆尽。 安装气流辅助装置 在有足够平均冷却能力，但却存在高密度机架造成的热点的场合，可以 通过采用有风扇辅助的设备来改善机架内的气流，并可使每一机架的冷 却能力提高到 3kW 8kW 。 安装自给高密度设备 在功率密度接近或超过每机架 8kW 的场合，需要将冷空气直接供应到机 架的每一层（而不是从顶部或底部），以便使从上到下的温度保持一致。 以上方法可以使得数据中心能够在其峰值效率运行，以保证其可以胜任对商务过程的支持，并预防未来 可能发生的问题。前八种方法可帮助典型数据中心在 其原始 设计的界限内正常运行。最后两条是对如 何扩充典型数据中心冷却密度设计界限的建议（无需进行较大的重新设计和建造），方法是通过安装 “自给” 冷却方案，以便满足高密度服 务器应用场合的需要。 数据中心的布线问题 布线拓扑结构 数据中心拥有大量的设备，网络结 构复杂，所以必须要有布线拓扑结 构。由于有在 1991 年首次发布的 ANSI/TIA/EIA-568 标准，网络设计 师对结构化布线很熟悉。 TIA （电 信行业协会）不久前又通过了一项 名为 TIA-942 “数据中心的电信基础 设施标准”的标准。该标准用图 1 所示的拓扑结构来描述数据中心。 下面列出这种拓扑结构中用到的基 本要素。 水平布线和主干布线 如图 1 所示，有两种布线类型：主 干布线和水平布线。主干布线连接总配线区（ MDA ）和水平布线区（ HDA ）包括电信室和引 入室（ ER ）。主干布线由主干电缆、主交叉连接、水平交叉连接、机械终端、接插线或用于主干对 主干交叉连接的跳线组成。水平布线将设备连接到 MDA 或 HAD 中的连接。水平布线由水平电缆、 机械终端和接插线 / 跳线组成，还可以包括一个区域插座。 ER 或 MDA 中的交叉连接 接入电缆和数据中心电缆以某种形式在交叉连接处汇合。理想状态下，它们都接入同一个实际上成为 “分界线”的交叉连接 阵列 (lineup) 。将连接到所有接入提供商的这些“分界线” 集中摆放，通常称为“ meet-me room ”。不过，部分接入提供商更愿意将电缆接入自己的机架。分界交叉连接通常摆放在引 入室，如果数据中心没有引入室，则摆放在总配线区。 总配线区 （ MDA ） 中的主交叉连接 根据 TIA-942 标准，每个数据中心都必须有一个总配线区，总配线区应配备核心以太网交换机与路由 器、可能的核心 存储区域网络 （ SAN ） 交换 设备 、 PBX 设备、网络管理设备以及接入设备。 总配线区还包括主交叉连接（ MC ），用于在主干布线和核心交换机与路由器之间建立连接。因为主 干布线通常采用光纤，所以主交叉连接必须设计为可处理光缆、接插线和 配线架 。根据安全、外观和 电缆 管理的不同需要，交叉连接 配线架 和网络设备被安放在机柜内或机架上。 电信室、 HDA 或 MDA 中的水平交叉连接 水平交叉连接（ HC ）是一个大型的接插区域，水平电缆从这里被分配到各个设备。一般来说，水平 交叉连接的主要任务是提供一个将水平电缆连接到接入交换机端口的装置。 TIA-942 标准还给出了一 种光缆的集中布线方法的指导，在这种方法中，水平电缆被直接连接到多光纤主干电缆，而不是交换机。 区域分配区（ ZDA ）中的区域插座或整合点 通常，将一组水平电缆外接到公用终接点比较有利。采用新设备后，水平电缆也可以通过区域插座连接 到网络上。与固定到设备机柜的设备插座相比，区域 布线 提供更大的灵活性。区域分配区用于未来使 用的“ precable ”区域，或简化频繁的重配置。 区域分配区中的插座 很多数据中心的设备分配区的大部分都被服务器机柜中的服务器占据。水平电缆通常外接到机柜，连接 到 配线架 上， 配线架 即被称为“插座” 或“互连” ，如图 1 所示。 TIA-942 标准认可图 1 中拓扑结构的某些变化形式。例如，小型企业数据中心可以将接入室、水平布 线、总配线区和电信室合并为计算机室内的一个区域。另外，大型互联网数据中心可以拥有两个接入室 （保持冗余度）或者兼容多种接入服务商，也可以将总配线区和 水平布线区分别划入不同的房间或笼 内以增加安全度。具体的拓扑结构依数据中心规模、可扩展性、可靠性等因素而定。 电缆介质 对于现在的数据中心 LAN 和 SAN 环境， “ 交换机 到服务器 ” 连接要求布线具有高性能和灵活性， 并且具有适应未来高带宽应用的剩余空间（见表 8 ）。千兆位以太网连接具有广泛的支持基础：交换 机端口、网卡、 超五类非屏蔽双绞线（ Category 5e UTP ）和六类非屏蔽双绞线（ Category 6 UTP ）。然而，以太网在不断地发展，许多组织都在关注万兆位以太网在支持新应用要求方面的优势。网络 规划者们应该仔细考虑如何运用这些新电缆技术，以将带宽优势融入到电缆基础设施中。 表 8. 电缆介质类型 电缆介质 连接类型 参数 最小弯曲半径 最大数据速率 最大传输距离 * 公共应用 超五类双绞线 RJ-45 0.193 英寸 1.00 英寸 1 千兆 / 秒 100 米 老式局域网 六类双绞线 RJ-45 0.260 英寸 1.04 英寸 10 千兆 / 秒 55 米 IP 电话 增强 六类双绞线 第七类双绞线 RJ-45 0.310 英寸 1.24 英寸 10 千兆 / 秒 100 米 高端工作站 Infiniband （ CX4 双轴） XENPAK 0.371 英寸 4.00 英寸 10 千兆 / 秒 15 米 服务器集群 多模光纤（ OM3 ） LC 、 SC 、 ST 、 FC 、 FJ 、 MPO 、 XENPAK 0.059 英寸 2.00 英寸 10 千兆 / 秒 220 米 存储区域网 单模光纤（ OS1 ） LC 、 SC 、 ST 、 FC 、 FJ 、 MPO 、 XENPAK 0.118 英寸 2.00 英寸 10 千兆 / 秒 40 千 米 广域网 * 可以保持最高数据速率的最大传输距离 超五类非屏蔽双绞线 千兆以太网的出现让这种电缆普及起来。因为其使用的是 IEEE 最早期的标准，所以新的电缆在数据 传输速度上已超过它。如果您的商业计算仅限于文字处理和简单的数据表格，并且不打算彻底改变这种 现状，那么超五类非屏蔽双绞线的系统可能就足够了。 六类非屏蔽双绞线 六类非屏蔽双绞线适用于能支持多种服务类型的具有灵活性的基础设施。它提供的带宽远大于千兆的速 度，并且在 10 Gbps 的最高数据速率下最大传输距离为 55 米。对于将服务器阵列连接到附近的水平 布线区的小型计算机室或模块化数据中心，可以设计 55 米或更短的水平布线线路。但是许多中到大 型的数据中心需要更长的线路。例如，可能需要将所有联网设备整合到一个总配线区，由总配线区分配 电缆到大量的托管或 第三方托管 (collocation) 用服务器机柜。 增强 六类非屏蔽双绞线 当电缆铺设长度大于 55 米时， UTP 技术中唯一能达到以 10 Gbps 的速率传输 100 米的，是新一 代的称为“ 增强 六类”（ C6A ）的电缆。随着 802.3 标准的发展， IEEE 打算 用双绞 线 铜缆 通 过 四 个 连接器 ( 4-connector) 、 100 米的渠道 支持 10 Gbps 的数据传输速率 。该标准要求将 六类电缆的参数从当前的 250 MHz 扩展到 500 MHz 。要支持 10 Gbps 的数据传输速率，必须设计 一种新的电缆，增加电缆束中的导线间距，并且设计新的连接头以免电缆的改进成果 在传输途 中丧失。 万兆位以太网系统中的任何组件都是很重要的：插孔模块、铜缆、配线架、接插线都必须经过精密调谐， 以达到 10 Gbps 的速度。 InfiniBand 与 CX4 虽然 InfiniBand 与 CX4 类似，但是 CX4 已做过小小的 改进，以更好地处理串扰和回波损耗。这里将两种介质一 起讨论，因为他们都用 24 AWG 的电缆以传输 15 米为 目标，并且使用相同的连接头配置。这种电缆有屏蔽层， 内含 8 对双轴屏蔽线。连接头和电缆都是由 InfiniBand Trade Association 依据 InfiniBand 标准研发。 虽然 15 米的距离不适合进行长距离传输，但 InfiniBand 已为它找到了新用途：服务器集群和网格计 算。这类应用要求用短距离传输以便连接多个服务器，要求 10 Gbps 的带宽以便建立强大的服务器环 境。 InfiniBand 通过质量服务（ QoS ）机制加强了应用集群间的联系，这对优先处理的事务安排有 所帮助。虽然 InfiniBand 并不适合按 TIA-942 标准下结构完整的布线线路，但是它在服务器集群方面 的用途已被 Cisco 、 IBM 等处于 行业领先地位的公司所认可并频繁使用。 InfiniBand 连接线还可用于 SAN 中，代替昂贵的与光纤通道一起使用的主机总线适配器（ HBA ）。 基于从布线拓扑结构中撤下 HBA 的优点，应对照光纤通道的带宽和可靠性来进行测量。 光缆 如表 8 所示， IEEE 802.3 标准提供一系列的在光纤上进行 10-Gbps 传输的可选方案。公用的纤维 光学传输装置可分为以下三大类： 发光二极管（ LED ） LED 价格便宜，但是仅限于低于 1 Gbps 的低速传输。 长波激光器 这种激光器在波长 1310 1550 nm 之间工作，速度和成本都远远高于 LED 。 短波激光器 垂直腔 面 发光 型半导体激光器（ VCSEL ）技术是作为低成本激光器的生产方 法被开发出来的。用于 10 Gbps 的 VCSEL 目前被归类为短波激光器，其工作波长为 850 nm 。针 对 10 Gbps 的下一步发展将是长波（ 1310 nm ） VCSEL 。 以上三种光纤类型加上短波激光和长波激光技术，为用户在平衡距离和成本方面提供了多种选择。 多模光纤（ OM3 ） OM3 光纤被归类为激光优化是因为电缆生产商的产品必须百分之百通过 检测，因为只有最好的光纤才有资格被划分为 “ 激光优化 ” 类。有效模式带宽等于或大于 2000 MHz/km 的光纤才能被定级为 OM3 。 差分模延迟（ DMD ）规范对激光优化类光纤仍然有效，但 是 OM3 类别在 DMD 上作了一些限制。由于每个脉冲信号都通过光纤传送，所以其初始形态保持得 比较好，接收器可以判断接收到的脉冲信号代表 0 还是 1 。更先进的误码率（ BER ）检测现在用 于测算脉冲信号被误解的频率。为数据中心配置多模光纤时，强烈推荐使用 OM3 类光纤。 单模光纤（ OS1 ）进行 10 Gbps 传输的最后一个选项是单模光纤。 10GBASE-LR 和 10GBASE-ER 是基于标准单模光纤和长波激光器的，所以其最大传输距离远远长于 OM3 类光纤。这 类技术更为昂贵，是因为它们使用边缘发光长波激光器。 10GBASE-LR 和 10GBASE-ER 主要用于 跨校园或不同建筑之间的远距离应用。 数据中心的实际光纤部署 商业应用会产生大量的数据，必须放入随时可以访问、安全并且非常可靠的存储系统。 SAN 满足以上 要求，通过整合策略，将 SAN 结构变成一种灵活、可扩展且能很快适应数据更改要求的方法。 SAN 的连接由光缆支持，因此在每一个放置或将要放置现在或将来需要接入 SAN 的应用的设备区，布线时 都应提供光纤接口。推荐的一种策略是：为每个服务器机柜铺设一定数量的光纤对可以是 12 、 24 或 48 ，视最大计划需求而定。计划需求量由服务器类型、功率 / 发热负载和计划 SAN 接入数量 决定。同样，光纤对也必须从 SAN 交换机一直铺设到存储设备。 在建设初期，配线可以铺设到每个机柜和现场终端。场地终接是一项复杂、费时而且杂乱的工作，所以 许多数据中心宁愿采用预先安装终接好的中继电缆或即插即用光纤解决方案。即插即用解决方案的配线 是厂家已经终接到 MPO 或 MTP 连接器上的，一般每个连接器接 12 条光纤。安装者只需简单地将 MTP 电缆插入水平交叉连接和设备插座上的 LC 或 SC 连接器即可。 电缆通道 电缆基础设施应被视为一项需要具备功能性和保护性的容器的投资。每次增加新的服务器机柜都把数据 电缆丢在活动地板面层下的水泥板上的做法，现在已经不被接受了。负责发展和修改的 IT 专业人员， 依赖铺设良好的、灵活的、易接近的电缆通道。关键应用要求保护电缆不受突然损坏或长期老化，不断 增加的热负荷也需要仔细考虑，以避免通道妨碍制冷。在规划电缆通道时并没有通用的解决方案。设计 者必须考虑将通道置于地面下还是地面上的问题。表 9 中的标准说明了电缆通道该如何铺设。 表 9. 电缆通道的铺设标准 标准 描述 结构上的问题 利用现有的活动地板、天花板夹层和房间结构的完整性决定了你应该如何设 计你的电缆通道。 条理性与直观性将通道分为几层，以便分开供电和数据电缆。 灵活性允许增减机柜。 维护通道与对应设备数量的比例 一条通道将负责供应两排地下通道的设备 ； 对于架空的通道，一般一条通道负责一排设备机柜。 容量 空间最大占用率为 50% 计算出的空间占用率达到 50% 时，由于电缆间的空 间、随机摆放的物品等原因，线架实际已被占满。 电缆托架占用率 25% 最大的电缆通道占用率应该不超过 25% ，以便为将来 的发展留出空间。这个比率适用于电缆托架、铁线篮、梯架和硬电缆托架。 电力线与数据线的分离 UTP 电缆和未屏蔽供电电缆 100 600 mm （ 4 24 英寸） UTP 电缆和已屏蔽供电电缆 50 300 mm （ 2 12 英寸） 可达性与安全性 平衡措施在允许更改电缆基础设施的同时，保护电缆不受外部损坏。 火灾危险 具有管辖权的当地管理机构该机构在从阻燃电缆到防火措施的可行性方面有 最终决定权。 光纤保护 40 60 % 占用率铜和光纤具有不同的特性，所以应该采用不同的电缆通道 策略。 数据中心的机架和机柜问题 选择机架的标准 对于用于安装设备和接插面板的开放式机架和封闭式机柜，数据中心设计者有很多种选择，每一种都有 其优点和缺点。与电缆通道一样，这也没有通用的解决方案。关于宽度，服务器、交换机和接插面板的 规格为 19 英寸；引入室中的载波设备和其它宽度更大的设备的适用规格为 23 英寸。最佳高度为 7 英寸，最大允许高度为 8 英寸。其它方面诸如地震因素、 有关瓷砖的布置 、可调整轨道、配电盘等， 在标准中也作了说明。设计者应根据表 10 中列出的标准来决定选择开放式机架还是机柜。 表 10. 机架类型 机架类型 描述 最大负重 应用 双柱 开放式机架 800 磅 低容量交换机 / 路由器 配线 四柱 开放式机架 1000 2000 磅 高容量交换机 / 路由器 服务器 机柜 2000 磅 服务器集群 存储阵列 存储转换 电缆入口 若使用开放式机架，电缆可以轻松地从架空的或地板下的通道接入竖直线缆管理器。若使用机柜，注意 要比较电缆数量和电缆入口孔的大小。带有高电缆密度的设备，如交换机和单机架服务器，可使用足够 容纳上百根数据线和电源线的电缆入口孔。必要口径 A 用 40% 的占用率（ 0.4 ）按以下方式计算： 对于第六类双绞线，参数 D 的值为 0.25 英寸， A 的计算结果为 41 平方英寸。对于扩展六类线， D 的值为 0.35 ， A 的计算结果为 81 平方英寸。 电缆管理 可以为宽敞、方便进入的 竖直 线缆管理器轻松配备机架。很多机柜没有足够的空间来容纳 竖直 线缆 管理器。通常，仅有的空间就是狭窄、竖直的转角处和相邻机柜间的空隙，而这两种地方都不容易进入。 前一部分提到的公式不仅适用于电缆入口孔，也适用于电缆管理器横截面积的计算。无论机柜 中是否 安装了配线架，都应该在导轨和门之间留出最少 100 mm （ 4 英寸）的高度，以便安装线缆管理器。 安全 机柜有带锁的柜门。开放式机架没有锁，但是将其置于笼内或单独的房间来保证其安全。数据中心管理 员都担心有入侵者或未经授权的人员接近机房设备。对于关键应用，在设备上进行的操作应该严格依照 访问规定小心控制。例如： 网络 组的技术人员有接近交换机和交叉连接设备的许可；服务器组的技术 人员有服务器机柜的钥匙； SAN 组则拥有 SAN 机柜的密码。在 第三方托管 环境中，服务器租用 者希望出租方提供安全的机柜和空间，以保证其它租用者不会损坏自己的设备和相关网络基础设施。 负载能力和深度 在负载能力方面，机柜和 四柱机架有一种优点。例如：某生产商的 19 英寸的标准铝机架具有 3 英 寸的 支架 ，能承受 800 磅的负载。同一厂商的重型机架带有 6 英寸的 支架 ，能承受多达 1500 磅的负载。四柱机架和机柜的额定负载量可达到 2000 磅或更多。机柜可支持纵深较大的设备。大多 数网络交换机都比较薄，如果符合安装说明中的允许条件，就可以放置在 双柱机架上。最佳机架式服 务器纵深 16 33 英寸，大部分高 26 30 英寸，而且与 双柱机架一般不兼容，因为这会引起结构 上的不稳定悬臂和可能的安全隐患。机柜和四柱机架提供后部安装轨，以增加对设备的支持和包围纵深 较大的设备。安装轨应该可以调节以适应一系列的设备纵深度。 螺距 在某些情况下，保持 24 英寸的螺距来与地板相匹配是很重要的。使机架或机柜与地板相匹配让其可 以使用所有地板通用的标准电缆保险装置。普通机柜宽度为 24 、 28 、 29.5 （ 750 mm ）或 32 英寸。用于服务器，尤其是长服务器队列时， 24 英寸宽的是最常用的。更宽的螺距已被配电和配线 应用所接受，在这些应用中，大捆电缆的管理是首要问题。配备 竖直 线缆管理器的机架尺寸大于 24 英寸的地板尺寸。 电源调节 机柜的设计便于将配电 盒 安装在纵向支持通道中。当机柜中装的是使用冗余电力供应的单机架或双机 架式服务器时，必须使用带有 20 个或更多插座的长配电 盒 。有一点要注意的是，开放式机架不支 持长的竖直配电 盒 。不过，根据配电 盒 宽度或机架通道宽度不同，在配电 盒 及其安装支架互不影 响的情况下，在开放式机架的后部安装竖直配电盘也是可能的。一般开放式机架不带整理电源线的功能， 也没有遮蔽配电盘的盖板或门。 安装轨 安装轨应该带有符合 TIA-310-D 标准的螺孔设计。机架上的这些孔一般带有内螺纹，以便安装配线架 等大量的组件。然而机柜一般带有为锁紧螺丝准备的方形螺孔。将锁紧螺丝嵌入方形螺孔内并咬合到位 以后，才能继续安装设备。锁紧螺丝有多种螺纹样式，包括 # 12-24 、 #10-32 和 M6 。安装轨上应 该做上标记，不要遮住机架单元的边缘，而为机架单元编号则可方便安装。 电缆管理 一旦水平电缆安装完成，就应做好保护工作并且不再对其进行操作。之后的任何网络配置改变，都应通 过移动水平交叉连接上的接插线来完成。这样，接插区域就成了物理层管理所关注的对象，因此，在设 计接插区域时，应注意其长期的管理性、可靠性、安全性和扩展性。表 11 中列出的八种最佳管理办 法可以将水平交叉连接的功能性从简单的接插区域提升为复杂的交换中心，使其能够进行电缆管理、热 交换、冷却及对接插区域变化的智能追踪。 表 11. 电缆管理的最佳办法 方法 描述 包括有效的水平和纵向电缆管 理 机架间的 竖直 线缆管理器宽度不能小于 83 mm （ 3.25 英寸）；对于一 行有两或两个以上机架的情况，推荐宽度为 250 mm （ 10 英寸）。 机架行列末端的线缆管理器宽度应该不小于 150 mm （ 6 英寸）。 在每个电缆转弯处都提供弯曲 半径控制 备用 管理器和到电缆通道的过渡，也应设有合适的弯曲半径。 应使用圆角边缘的指状物将电缆导入水平或竖直线缆管理器。 充分利用可用空间 具有配套的角 型 配线架、竖直电缆管理器等高密度解决方案，能将更多 连接集中到更小的区域中。 保护关键基础设施 通过机柜锁和笼子建立不同的安全等级。 拆离 电缆以允许进行热交换 将电缆 拆 离设备时，要考虑在需要升级或更换时，风扇部件、模块和电 力供应设施应如何拆卸和重新安装。 考虑气流方式 将接插区域和配电基础设施设计为交互式，以使气流最大化。 对物理层更改的记录和管理 接插区域包含数百或数千个端口，因此为接插区域贴上标签以便技术人员 快速辨认每个端口是很重要的。 使互联与交叉连接达到平衡 使用互联的理由： 占用空间更少 连接数更少，因此插入损耗较少 前期花费较少 容易进行追踪 使用交叉连接的理由： 损坏交换机的可能性更小 是交换机机柜的唯一选择 更高的灵活性 与物理层管理兼容 数据中心的接地问题 接地系统不仅仅是针对雷击的保护措施，它是一个活动的、为人员和设备提供保护的有效系统。对 有 效系统性能 进行正确接地是很有必要的。没有被接地系统完全疏散的过压电，会对数据电缆产生电子 干扰。这会造成错误的数据信号以及 丢包 情况，因而