千兆以太网和千兆路由交换机技术

千兆以太网和千兆路由交换机技术（毛俊）摘要：本文第一部分详细介绍千兆以大网的技术原理，并重点讨论千兆以太网的效率和可靠性问题。作为实现千兆以太网技术的产品，本文第二期分详细介绍千兆法由交换机的系统结构，重点讨论在千兆路由交换机中线速和无阻塞的概念。最后针对广电视实的建网需求，提出在路由交换机造型时的五个主要标准。 1 千兆以太网技术原理 1.1 早期以太网技术 以太网：IEEE802.3 定义了 10Mbps 的以太网标准，采用载波监听和冲突检测（CSMA CD）协议，以半双工方式运行。从 80 年代末开始以太网取得了巨大的成功。10BaseT 是运行在 3 类或更高类别的双绞线上的以太网，10Base25 是运行在同轴电缆上的以太网，10BaseFL 是运行在光纤上的以太网。由于冲突检测的协议要求一个 512 位的时间槽保证无错误的检测到冲突，所以以太网的距离覆盖范围受到了限制，10BaseFL 最大的覆盖距离为 2km，10BaseT 在一个网段内的最大覆盖距离为 100m。 快速以太网：IEEE802.3u 定义了 100Mbps 的快速以太网标准，它可以用半双工的方式运行 CSMACD协议，也可以有全双工的方式。由于快速以太网对以太网的后向兼容性，在 90 年代的中后期，快速以太网成为局域网中的主流技术。100BaseTX 是运行于 5 类双绞线上的快速以太网， 100BaseFX 是运行于光纤上的快速以太网。对于以半双工方式运行的快速以太网，同样也有距离覆盖范围的限制，并且由于快速以太网以 100Mbps 的速率运行，时间槽长度同样是 512 位，所以它的最大距离覆盖范围是以太网的 110，为 200m。但是对于全双工方式运行的快速以太网，在理论上就不再有距离的限制，而实际受限于电或光信号的衰减。如实际中运行在单模光纤上的 100BasFX SMF 的全双工快速以太网最大覆盖距离可达20km 以上。 1.2 千兆以太网协议 1998 年 6 月在千兆以太网联盟的推动下 IEEE 正式发布了千兆以太网标准 IEEE 802.3。把以太网的速率提高到了 1000MbPs。而在此之前的 1997 年，就已经有很多的厂商迫不及待地推出了千兆以太网的产品，结网络界带来了全新的解决方案。到了现在的 2000年，我们已经可以很清晰地看到，不仅以太网和快速以太网在桌面和工作组级网络中打败了 ATM，在城域网中，千兆以太网也凭借其良好的兼容性和优异的性价比占据了绝对的上风。可以预见未来随着价格的下跌，千兆以太网会象快速以太网一样普及。 1.2.1 半双工千兆以太网 MAC 层协议 对于快速以太网来说，512 位的时间槽内电波或光可以传输 400m 远，如果在千兆以太网中， 512 位的时间槽内电波或光的传输距离则只有 40m 远，采用星型拓扑结构的半双工千兆以太网的覆盖半径只有 20m。这样的距离覆盖范围在实际中无法得到大规模推广。为了解决这个问题， IEEE 对以太网的 MAC 层协议作了第一次重大修改：载波扩展和帧突发。 （1）载波扩展 为了使千兆以太网的距离覆盖范围达到实用标准，半双工千兆以太网时间槽长度扩展到了 4096 位，这样半双工千兆以太网的距离覆盖范围扩展到了 160m。为了兼容以太网和快速以太网中的帧结构，半双工千兆以太网的最小帧长度仍需要保持为64byte。但考虑到时间槽长度为 512 byte，为了能够匹配时间糟的长度，当某个 DTE 发送小于 512byte 帧时，半双 工千兆以太网 MAC 将在正常发送数据之后发送一个载波扩展序列直到一个时间精结束。例如：某 DTE 发送一个 64 byte 帧，MAC 将会在其后加入 512-64448byte 的载波扩展序列。如果 DTE 发送的帧长度大于 512 byte，则 MAC 不做任何改变。 在载波扩展的情况下，解决了半双工千兆以太网距离覆盖范围的问题，但引入了一个新的问题：对于长度较小的以太网帧的发送效率降低了。对于一个 64byte 的帧来说，尽管发送速度较快速以太网增加了 10 倍，但发送时间增加了 8 倍。这样的效率并未比快速以太网提高多少，为了解决半双工千兆以太网的效率问题，IEEE 又引入了帧突发这种技术。 （2）帧突发 帧突发的工作方式如下：对于 DTE 发送的第一个小于 512byte 的帧，依然使用载波扩展到 512byte，但随后发送的小于 512byte 的短帧不再使用载波扩展，而是加入96bit 的帧间隔序列后连续发送短帧，最长可以突发到 65536 位。这种做法可以成立的原因在于一个正确配置的网络环境里，如果某个 DTE 开始发送数据后，其他 DTE 都可以通过载波监听协议检测到其信号并抑制本身的数据发射。使用了帧突发的半双工千兆以太网的效率得到了改善，当一个 DTE 连续的突发 64byte 帧并突发持续 65536 位时，其效率约为72。 1.2.2 全双工千兆以太网 MAC 层协议 在全双工千兆以太网中，由于每个千兆以太网 DTE 在通信时独占一个信道，因此不需要考虑以太网的冲突问题。自然，全双工千兆以太网也不受时间槽长度的限制，从而也没有距离覆盖范围的限制。 与半双工方式相比，全双工千兆以太网的 MAC 层的区别主要有以下几点： （1）在接受活动中帧的发送不会被推迟 （2）全双工方式下的冲突指示将被忽略 （3）没有载波扩展，最小帧长度仍为 64 字节 （4）没有帧突发 在全双工交换式以太网中，如果多个输人端口同时向一个输出瑞口输出数据，那么将会在输出端口产生拥塞，这时一些输入喘口发送的帧将会被丢弃。如果在以太网帧上承载的是 TCP IP 协议的数据包，那么 TCP 的传输机制会自动重发被丢弃的数据包，可以想象每个产生了丢包的输入端口都将重新发包，引发新一轮的拥塞和丢包，结果是导致网络的吞吐率大幅下降。为了避免丢包（丢帧）和重发现象的发生，IEEE 在 MAC 层引入了 802.3x 流量控制协议来避免丢包现象发生。 流量控制的原理是当交换机检测到发生拥塞的端口之后，就会向输入端口发送暂停帧，通知其抑制发送的流量，最后达到消除拥塞。流量控制并不能提高整个交换机的数据吞吐能力，但是避免了在交换机内的丢包现象。 1.2.3 千兆以太网物理层协议 IEEE 定义了几种用于不同物理介质的千兆以太网接口，有1000BaseCX，1000Base SX， 1000BaseLX，1000Base T，其中 1000BaseCX 是用于 155 平衡同轴电缆上的接口，在实际中没有真正的产品，1000BaseT 是可用于 5 类或更高类别双绞线的接口，它的标准是 IEEE802.3 ab，这一标准刚刚于 1999 年 6 月发布，现在市场中刚刚推出商用的产品。 1000BaseSX 使用 850nm 波长激光的接口，只适用于多模光纤。 1000BaseLX 使用 1300nm 波长激光的接口，适用于单模和多模光纤。1000Base 一 SX 主要用于校园网和企业网骨干。 1000Base 一 LX 主要应用于城域网，现在城域网中另外一种应用较多的是 1000Base 一 LH 的长距离千兆以太网光接口，一般使用1300nm 或 1550nm 波长的激光，可达到 50km 以上甚至 100km 的无中继传输距离。 需要特别指出的是，由于 IEEE 给出的是最恶劣传输条件下的千兆以太网传输距离，在实际应用中，各个厂商的产品的传输距离远远超过标准的规定，如阿尔卡特的 PowerRail 千兆路由交换机的 1000BaseLX 接口在实际测试中可以无中继的传输 22km。 1.3 千兆以太网效率 半双工以太网的效率问题一直是其弱点，在一个半双工以太网里的工作站（如计算机）数增加到某一门限值后，尽管每个工作站是以 10Mbps 速率发送数据，但由于冲突的增加，每个工作站不得不等待很长时间后才有可能发送数据，因此每个工作站得到的平均可用带宽急剧下降。在全双工的交换式以太网中，CSMACD 协议中的 CD 冲突检测机制不再需要，每台工作站可以得到独占的带宽。因此全双工交换式以太网的效率不再取决于网络内的工作站数，而是由以太网帧的长度而决定。 1.4 千兆以太网可靠性 从传统意义上，以太网被看作是一种局域网（LAN）技术，被大量的应用于企业网中，因此以太网交换机和以太网的可靠性并没有被作为最关键的因素加以考虑。随着交换式全双工快速以太网和千兆以太网的成熟，越来越多的运营商选择千兆以太网作为城域网MAN 的首选技术，这时千兆以太网的可靠性就成为运营商考虑的关键因素。 用千兆以太网实现一个可靠的城域网，现在有两种成熟的技术： （1）千兆以太网端口聚合； （2）千兆以太网 11 备份。 如果千兆以太网被用于承载 IP 业务，在网络层 IP 这一层次，也可以采用环型或网状网拓扑结构，使用 IP 路由协议来保证网络可靠性。 下面就这三种技术作一详细介绍。关于千兆路由交换机的可靠性，请参见第二章。 1.4.1 千兆以太网端口聚合（Port Trunking） 在千兆路由交换机中，可以将多个千兆以太网链路捆绑为一个虚拟的逻辑链路，以达到增加带宽，可靠性的目的。这种技术叫做端口聚合（链路捆绑） 。比较常见的是将四个千兆以太网链路捆绑为一个链路，这时的带宽可达到单向 4Gbps 双向 8Gbps。 在端口聚合中的多条千兆以太网键路可以实现负载分担，即使其中的一条链路的光纤出现故障，逻辑链路仍会保持正常工作。端口聚会需要较多的光纤来构成，2 个端口的端口聚合需要 4 根光纤，3 个端口的聚会需要 6 根光纤，4 个端口的端口聚会需要 8 根光纤。 1.4.2 千兆以太同 11 备份 和很多 ATM 交换机里实现的 ATM 物理链路 1+1 备份相似，千兆以太网也可以实现 1十 1 备份，即在一个千兆路由交换机的接口模块上，对应于一个千兆以太网键路，实际用两个千兆以太网链路来连接，一条千兆以太网链路作为主用键路，另一条则作为备用键路。当主用链路的光纤出现故障时，千兆路由交换机可以在 1ms 的时间内把数据切换到备用键路的光纤上传输。 在这种 11 备份方式下，需要用四根光纤来完成 1GbPS 的传输带宽。每一个千兆以太网链路需要 1 发 1 收两根光纤。 1.4.3 用 IP 路由来保证城域网可靠性 如果是用千兆以太网来承载 IP 业务，那么就可以应用 IP 路由协议的收敛特性来保证城域网可靠性。使用 IP 路由，网络拓扑可以比较灵活，可以是星型、环型、网状网，或是它们的混合。这里顺带指出一点：如果没有使用 IP 路由，由于生成树协议（SPanning Tree）的作用，千兆以太网即使在物理键路上构成了环型或网状网，在交换机的实际的以太网数据交换也无法构成环状和网状网。而在环型和网状网的拓扑结构中，即使某条链路或某个网络节点故障，由于迂回路由的存在，整个网络不会瘫痪。城域网中最典型的 IP路由协议是 OSPF，运行 OSPF 协议的路由器利用 Hello 信息周期性传递路由器状态，当发现邻近节点故障后，路由器会重新计算路由，自动找到可迂回的路由，保证网络恢复正常工作。这一过程被称之为路由的收敛。一般 OSPF 协议的收敛时间大于 10 秒。与千兆以太网 11 备份方式相比，OSPF 协议从故障中恢复的时间要长很多。 1.5 千兆以太网和莫他承载 IP 的城域网技术比较 目前形式下，广电的宽带城域网承载的都是基于 IP 的业务，承载 IP 的平台主要有ATM、千兆以太网、POS、DPT 这四种技术。本文不做 ATM 和千兆以太网承载 IP 的比较，将会有另一文章专门论述这一课题。 POS 最初是用于广域网在 SDH 上承载 IP 的技术，也可以用于探光纤上在城域网使用。DPT 是 CISCO 公司专有的城域网技术。2 千兆路由交换机 2.1 路由交换机的定义 传统意义上，只处理第二层数据转发的设备被称之为交换机，交换机只根据数据包中的目的和源 MAC 地址进行处理和转发，而不涉及第三层的数据包中的内容。如进行以太网，FDDI ，令牌杯交换的局域网交换机。第三层的数据包的转发由路由器来完成，对于 IP协议来说，路由器检查第三层数据包的目的和源 IP 地址，然后作出相应的处理或转发。在90 年代中期以前，由于硬件芯片技术的限制，路由器和交换机是两个独立的网络设备。路由器的内部系统结构很象一台专用计算机，有一个主 CPU，如 486 或 MIPS，有内存，在CPU 上运行软件来进行包的转发和路由的计算及更新。所以路由器的性能比较差，往往成为一个网络的瓶颈。 为了解决基于软件的路由器在性能上的缺陷，在新的 ASIC 芯片技术的推动下，交换机中用来处理第二层数据包的芯片功能增强到能够进行第三层数据包的处理，这种具有路由功能的交换机被称为路由交换机。 2.2 路由交换机的背板及其实现方式 背板是交换机的中央交换部件，用于交换机的各个端口之间传送数据。背板的结构和容量决定了一个路由交换机的性能。现在的路由交换机背板主要有三种结构：交叉矩阵（Cross Bar） ；共享内存；并行访问共享内存。下面分别详细论述。 2.2.1 交叉矩阵（ Cross Bar） 这种结构容易设计，扩展性好，并且在其基本形式中可以提供较低的每端口成本。然而，它有几个关键的局限性。 交叉矩阵结构的 3 个主要的局限和其对网络的影响如表 1 所述。表 1 局限 影响基于端口的内不能充分利用内存。内存静态地分配给每个端口，并没有考虑在特定时间端口的状态或端口对内存的需求。在数据突发期间，缓冲区很快就被用光，从而导致数据包丢弃和不必要的数据重传。 队头阻塞（Head of Line Blocking）在网络的核心阻塞。由于采用了基于端口的输入队列，发向一个很忙的接收端口的数据包常因“队头阻塞 “的制约转而发向一个空闲端口的业务。队头阻塞引起了时延并产生了人为的和不必要的网络拥塞。IP 多址广播（Multicast ）复杂化拥塞和恶化的阻塞问题。需要发送到多个输出端口的输入业务必须复制多次并拷贝到多个内存空间中。静态内存他和队头阻塞的问题的共同影响使其难以在逐端口的基础上转发基于优先级的业务。所以交叉矩阵结构提供可靠的 QoS 支持的能力有限，这与整个 IP 网络提高 QoS能力的要求不符。 2.2.2 共享内存 传统的共享内存结构是基于总线的。这种结构克服了交叉矩阵背板的局限性，并且它们在背板容量小于 10GbPS 的交换机中十分普遍。在一个共享内存总线结构中，所有的端口通过一个共享总统访问中央内存。采用仲裁机制来控制端口访问共享端口。这消除了交叉矩阵交换机具有的基于端口的静态内存分配和队头阻塞的问题并以一种高效的方式使用系统内存。共享内存的问题是，构造一个快的足以提供无阻塞的速度超过 20Gbps 性能的仲裁机构现在很难作到。例如：现在的芯片，技术的数据总线一般是 64 位，总统的时钟频率（并非芯片的内部时钟频率）为 100MHz，这样的系统背板性能可达到64100MHz6.4GbPs ，按双向计算，系统背板性能为 12.8GbPS。因此，受限于现在的内存促裁机制芯片，共享内存体系的扩展性比较差。 2.2.3 并行访问共享内存 并行访问共享内存是一种共享内存结构设计：所有端口共享一个中央内存空间。然而，不象传统的基于总统的共享内存结构，并行访问共享内存为每个模块上的每个端口提供一个专用的可同时写入中央内存机构和从中读出的机制，这种机制无需要总线仲裁设备。并行访问共享内存能够保证在所有端口上同时实现完全的线速性能。并行共享内存解决了基于总线的共享内存的扩展性问题，它的每一个模块到中央内存的存取速度都可以达到10GbPS 以上，而整个中央内存可以容许超过 30 路的同时访问，这样一个系统的背板容量可以扩展到 300GbPs 以上。同时并行访问共享内存也没有引人交叉矩阵背板带来的队头阻塞等问题。 2.3 交换机的第三层包转发机制（胸中式与分布式） 每个厂商的路由交换机的实现机制不同，在路由功能的实现上，主要有集中式和分布式两种机制。下面进行详细论述。 2.3.1 集中式第三层包转发 集中式第三层包转发是指在交换机中有一个专门的硬件模块（路由模块）来对全交换机的第三层包进行转发。交换机的每个接口模块如千兆以太同交换模块，都不具备第三层的处理功能，需要把第三层的数据包从背饭送往路由模块来查询路由并转发。严格的讲，这种结构的交换机更准确的名称是第三层交换机，而不是路由交换机。 集中式第三层包转发是早期的技术，它的缺点在于整个交换机的路由性能受限于其路由模块的能力。另外，当一个 IP 包要进行路由时，它经常要从一个以太网接口模块通过背板总线送往路由模块，在路由模块处理后，又经背板总统送往同一以太网接口模块，这样一种数据包传送方式浪费了背板总规处理能力。并且路由模块的故障会导致整个交换机内的路由功能的失效。 实际中很多厂商交换机中的路由模块就是一个以插卡形式集成在交换机内的软件路由器。因此在各厂商的产品中，采用集中式包转发的交换机的路由能力一般可达到 15Mpps。 2.3.2 分布式第三层包转发 随着 ASIC 芯片技术的发展，具有路由功能的模块被集成到一块芯片上，于是厂商将路由芯片设计到了路由交换机中的每一个接口模块上，这种技术就被称为分布式第三层包转发。它不需要一个专门的模块来为整个机箱服务做包的转发，第三层的包转发可以由每个接口模块上的路由芯片独立完成。 分布式第三层包转发突破了集中式第三层包转发的性能瓶颈，但它的路由控制机制比集中式要复杂，它需要在每一个端口保留路由表信息以进行快速的包转发。尽管在技术上更复杂，由于在性能上远远超出集中式，分布式第三层包转发技术已经成为了现在路由交换机的主流技术。 2.4 线速的包转发 现在厂商往往直称自己的路由交换机的每个端口都是线速的，那么怎么判定一个路由交换机中所有的端口是否线速呢？线速的衡量标准是以 64byte 的数据包（第二层或第三层包）作为计算基准，常用的基准如下： *对于千兆以太网，一个线速端口的包转发率为1.488Mpps。 *对于快速以太网，一个线速端口的包转发率为 148.8kpps。 *对于 OC12的 POS 端口，一个线速端口的包转发率为 1.17Mpps。 *对于 OC48 的 POS 端口，一个线速端口的包转发率为 468MppS。 对于千兆以太网来说，计算方法如下： （64812）byte1，488，095pps.8bit=1，000，000，000bps 说明：当以太网帧为64byte 时，需考虑 8byte。的帧头和 12byte 的帧间隙的固定开销。故一个线速的千兆以太网端口在转发 64byte 包时的包转发率为 1.488Mpps。快速以太网的统速端口包转发率正好为千兆以太网的十分之一，为 148.8kpps。 对于 POS 端口来说，计算方法如下： 一个OC12 的 SDH 中容器的有效速率约为 599MbPs，将其除以 648bit 的包长度，就可以得出一个线速的 OC12POS 端口的包转发率为 1.17Mpps。 OC48 的容器的有效速率为OC12 一的四倍，所以 OC48 POS 端口的线速包转发率为 1.1744.68Mpps 。3 路由交换机选型标准 3.1 路由交换机造型五项主要标准 针对广电部门在建设宽带 IP 城域网需要进行千兆路由交换机选型的实际工作，本文列出了五项主要的选型标准供广电部门参考，通过这五项选型标准，基本上可以比较各厂家的路由交换机性能的优劣： *背板容量 *无阻塞千兆端口数量 *第二层包转发速度 *第三层包转发速度 *路由数量 3.1.1 背板容量 衡量路由交换机容量大小的主要指标是交换机的背板容量，其单位是 GbPs。 3.1.2 无阻塞千兆端口数量 一个千兆路由交换机可以交换或路由多个千兆以太网端口，但其支持的最大千兆以太网端口数量并不意味着它可以全部无阻塞的线速交换这些千兆端口。原因在于有些千兆路由交换机的设计目标是为计算机服务器提供千兆连接，而现有的计算机上千兆网卡的通信速度受限于计算机的总线，远远达不到 1000MbPS，一般是 300400MbPS ，因此对于这些安装了千兆以太网卡的服务器，并没有必要为其提供线速的千兆交换。但一些厂商的产品往往回避这一设计目标，一味宣传千兆路由交换机支持的最多千兆端口数量，而真正衡量千兆路由交换机的能力的是其可以交换的无阻塞千兆端口数量。 3.1.3 第二层包转发速度 对于千兆路由交换机来说，第二层包转发速度就是其转发以太网帧的速度。以PPS（包每秒）为衡量单位。 3.1.4 第三层包转发速度 第三层包转发速度指千兆路由交换机转发第三层协议包的速度，如转发 IP 或 IPX 包的速度。以 PPS（包每秒）为衡量单位。 这里需要指出的是，第二层包转发速度和第三层包转发速度是两个不同的概念。很多厂商往往只提包转发速度，而没有明确区分是第二层还是第三层的包转发速度。对于采用分布式路由的路由交换机，一般情况下，第二层包转发速度等于第三层包转发速度。对于采用集中式路由的路由交换机，其第三层包转发速度往往不等于第二层的包转发速度，因为集中式路由需要一个单独的路由模块来进行第三层包转发，而第二层包转发是在各个千兆接口模块中进行的。 3.1.5 路由数量 路由交换机中路由表支持的路由数量越多