100G以太网技术和应用

100G100G 以太网技术和应用以太网技术和应用 100G Ethernet Technologies and Applications 2009 09 25 作者 张远望 摘要 急速增加的带宽需求驱动 100G 以太网尽快地投入应用 支撑 100G 以太网接口的关键技术 主要包 含物理层通道汇聚技术 多光纤通道及波分复用 WDM 技术 接口部分的高速光器件关键技术需要突破 接口速率提高带来的高带宽需求对包处理和存储 系统交换 背板技术等都提出了新要求 另外 网络需 要解决新接口的传输问题 包括新接口传输标准定义和传输技术解决 就目前的成本和需求来看 100G 以太网的商用在城域网先行是比较可行的方案 关键字 100G 以太网 IEEE802 3ba 100GE 传输 英文摘要 The rapidly increasing requirement of bandwidth drives the 100G Ethernet into use as quickly as possible The key technologies supporting 100G Ethernet interface include the physical layer channel convergence technology multi fiber channel and Wavelength Division Multiplexing WDM technology The high speed fiber device needs to be resolved and the higher bandwidth requirements by higher interface speed demands more packet processing and storage system switching and the backplane design Besides the network needs to solve the issue of the transport for the new interface including defining new transport standard and resolving the key transport technologies Considering current cost and requirements the commercial service of 100 Gbit s Ethernet is viable in metropolitan area network 英文关键字 100G Ethernet IEEE802 3ba 100GE transport 推动以太网接口速率升级到 100 Gbit s 的根本需求是带宽增加 其中最主要的因素就是视频等带宽 密集应用 另外以太网的电信化应用也导致汇聚带宽需求增速加剧 从以太网用户接入 企业到主干在内 的每一级网络都在逼近着其当前的速度极限 推广 100G 以太网应用的前提是相关标准的制定 100 Gbit s 以太网接口对应的标准是 IEEE802 3ba 1 目前处于草案 2 1 阶段 2 标准已经确定了各种接口介质 速率和物理编码子层 PCS 媒体接入控制 MAC 层架构定义 标准在 2009 年 7 月会议后停止所有技术变更 2009 年 11 月标准会议将 产生草案 3 0 预计于 2010 年 6 月前发布 此外 和 100GE 相关的标准组织还包括国际电信联盟远程通 信标准组 ITU T 和光互联论坛 OIF 其关注的侧重点不同 ITU T 主要制定 100G 传输光转换单元 OTU 帧结构和编码 容错技术 OIF 主要研究物理层高速通道规范 定义电接口标准 以太网升级到 100 Gbit s 接口离不开关键技术支撑 关键技术的成熟和商用化也都还需要时间 从 芯片 系统 网络各个层面包括标准研究都还需要技术突破和时间 1 1 100100 G G 以太网技术及标准以太网技术及标准 支撑 100G 以太网接口的关键技术 主要包含物理层物理层 PHY PHY 通道汇聚技术通道汇聚技术 多光纤通道及波分复用多光纤通道及波分复用 WDM WDM 技 术 物理介质相关物理介质相关 PMD PMD 子层子层满足 100 Gbti s 速率带宽 新的芯片技术支持到 40 nm 工艺 这些提供了开 发下一代高速接口的可能 对应于接口部分 光纤接口 PMD 的并行多模接口存在着封装密度大和功耗问题 需要解决 单模 4 25 Gbit s 的 WDM 接口存在 2525 Gbit sGbit s 串行并行转换电路串行并行转换电路 SERDES 技术和非冷却光器 件的技术需要突破 对应于系统部分 接口速率提高带来的高带宽给包处理 存储 系统交换 背板技术 都提出了新的门槛 对应于网络 需要解决新接口的传输问题 不光需要定义新的 OTU 帧结构 对于如此 超高速传输 需要解决电子线路极限情况下的信号处理 光信号的调制 物理编码 色散补偿 非线性处 理 与 FE GE 10GE 帧结构和 PHY 内各子层的兼容性和一致性问题等 还需要使 100G 传输特性能够满足现 有 10G 传输网的相关特性 否则带来的网络重建必将影响新技术的推进 下一代以太网技术标准包含了 40 Gbit s 和 100 Gbit s 两种速度 主要针对服务器和网络方面不同 的需求 40 Gbit s 主要针对计算应用 而 100 Gbit s 则主要针对核心和汇接应用 提供两种速度 IEEE 意在保证以太网能够更高效更经济地满足不同应用的需要 进一步推动基于以太网技术的网络会聚 标准规定了物理编码子层物理编码子层 PCS PCS 物理介质接入 物理介质接入 PMA PMA 子层 物理介质相关子层 物理介质相关 PMD PMD 子层 转发错误纠正子层 转发错误纠正 FEC FEC 各模块及连接接口总线各模块及连接接口总线 MAC PHY 间的片间总线使用 XLAUI 40 Gbit s CAUI 100 Gbit s 片内总线 用 XLGMII 40 Gbit s CGMII 100 Gbit s 各种介质的架构如图 1 所示 3 标准仅支持全双工操作 保留了 802 3MAC 的以太网帧格式 定义了多种物理介质接口物理介质接口规范 其中有 1 m 背板连接 100GE 接口无背板连接定义 7 m 铜缆线 100 m 并行多模光纤和 10 km 单模光纤 基于 WDM 技术 100 Gbit s 接口最大定义了 40 km 传输距离 标准定义了 PCS 的多通道分发 MLD 协议架构 标准还定义了用于片间连接的电接口规范 40 Gbit s 和 100 Gbit s 分别使用 4 个和 10 个 10 312 5 Gbit s 通道 采用轮询机制进行数据分配获得 40G 和 100G 的速率 另通过虚拟通道的定义解决了适配不 同物理通道或光波长问题 明确了物理层编码采用 64B 66B 标准虽然给出了 100 Gbit s 以太网的架构 接口定义 但目前尚有诸多待解决的问题 首先 PMD 是 802 3ba 的一个关键部分 40G 100G 光模块包含短波长的并行接口 对应 40GBASE 4SR 和 100GBASE 10SR 主要的技术难点在于封装密度大 长波长的波分接口 难度在于 PMA 对应的 25 Gbit s 的 SERDES 和封装技术 对于 100G 的 WDM 光模块非制冷激光器技术是标准相关的关键技术 封装形式由 CFP 多源协 议 MSA 规定为 CFP 4 对应的铜缆介质有关接口 MDI 标准的定义采用 SFF 8436 和 SFF 8642 具体的结 构尺寸和引脚分配已经给出 据了解目前主要供应商提供 100G WDM 光模块要到 2010 年 100G 接口对应的相关芯片在 MAC 层已经没有问题 PMA 业务接口电接口规范要求每个通道工作在 10 312 5 Gbit s 速率 除了标准成熟后使用专用集成电路 ASIC 实现 前期基于现场可编程门阵列 FPGA 实现的 MAC 则需要支持到 10 312 5 Gbit s 速率 仅有少数 FPGA 公司支持 5 之前的评估系统采 用的是增加 SERDES Mux 器件 6 由 8 20 个 5 156 25 Gbit s 的通道转换到 4 10 个 10 312 5 Gbit s 的 标准接口的过渡措施 7 对于 100G 以太网设备系统 除了以上 100G 以太网接口相关技术难点需要克服 还需要配套的包处理 器 对于分布式大容量交换系统还需要大容量的分组交换系统套片等系统级的困难需要解决 对于 100G 的包处理能力 目前业界还没有通用可选方案 开发中的几个方案都还待评估 对于网络 处理器的内容可寻址存储器 CAM 等查找接口带宽最少要增加 2 倍以上 数据总线宽度 速率也都存在瓶 颈 催生了 Interlaken LA 等串行高速总线接口投入使用 由于单片处理能力限制及总线接口转换等导致 存在和多片堆砌的情况 至使单板面积 功耗等都难接受 基于 FPGA 定制开发的解决方案需要企业具备 全面的技术 往往提供的业务处理能力受限 分组交换系统套片 包括交换网和交换网接口芯片 或含流量管理 TM 芯片 以前大多数系统都难于 支持每线卡大于 100 Gbit s 的有效数据带宽 目前新方案每线卡背板接口带宽最大约为 100 200 Gbit s 背板 SERDES 总线速率支持到 6 5 Gbit s 左右 支持 100 Gbit s 接口每线卡带宽需要升级到 200 500 Gbit s 带宽 背板 SERDES 速率甚至要达到 10 312 5 Gbit s 以上 对于背板设计 工艺要求 材料 总线长度满足等都比以前要苛刻的多 对于满足电信级要求的系统 还需要满足虚拟队列 VoQ 层次化服务质量 HQoS 等流管理特性 这就要求更大的处理带宽需求 更多的队列支持能力 更大的缓冲 等提升系统设计难度 随着系统要求的提升 系统功率也在提高 100 Gbit s 长波长 PMD 需要 4 个 25 Gbit s 通道 SERDES 速率和通道数的增加需要更大电源 100 Gbit s 处理器需要更大量的存储器 当然也需要更大功 率 微处理技术也需要更大功率 对此 需要寻找解决方案 功率事关未来 同时功率也是重大的障碍 不仅要为电路板供电 还需要控制如此大的功率并保证系统冷却 随着我们转向速度更快的以太网 这些 都是业界面对的主要问题 高速以太网要想真正给用户带来实际的科技效益 必须将传送网业务承载到传送网上 而不能仅仅用 在大型数据中心或者小范围局域网内 所以除了调制技术之外 高速以太网如何在光传送网上传输以及操 作维护管理 OAM 等特性也是决定其成败的关键技术 ITU T SG15 Q11 济州岛中间会议已经达成了 40G 100G 以太网接口的 OTU 映射定义 8 G 709 中给出 40GE 映射到 OPU3 使用 1 024B 1 027B 传输编 码 100GE 映射到 ODU4 OTU4 比特率为 111 809 973 Gbit s 255 227 2 488 320 Gbit s 40 标准 的成熟预计要到 2011 2012 年左右 对 100 Gbit s 以太网等高速业务而言 虚级联技术可以实现适配 但是要提高光纤的利用率 虚级联并不是高效的技术 而只能提高每个波长的比特率 采用串行 100G 的密集波分复用 DWDM 传输技术 将 10 10GE 4 25GE 的 100GE 业务通过 ODU4 适配 到 111 809 973 Gbit s 的 OTU4 中 由于单波 100G 速率非常高 对于各种物理损伤容限 如光信噪比 OSNR 偏振膜色散 PMD 等提出了更高要求 需要使用特殊技术来降低传输光纤线路上传输光信号的波 特率来提升损伤容限 例如 采用高阶的编码调制技术如正交相移键控 QPSK 8 相移相键控 8PSK 正 交幅度调制 QAM 正交频分复用 OFDM 等 并结合偏振复用解复用技术 由于单波传输 100GE 对偏振膜 色散 PMD 色度色散 CD 有更严格的要求 因此 未来在接收端可能采用相干接收 电处理的方式 来提 升对物理损伤的容限 包括非线性效应抑制 PMD CD 补偿等 从而使单波 100GE 能够在 10G 40G 网络中 混合传送 平滑升级 从长期来看 100GE DWDM 传输将采用偏振复用 高阶编码调制 相干接收 电处理 超强 FEC 等技术 的组合解决方案 从而可以平滑的将 40G 光网络升级到 100G 系统 由于 100G 传输需要高速光电器件的支 撑 预计 2012 年 这些高速光电器件将会趋于成熟 对应于以上介绍的关键技术 100 Gbit s 以太网不单单是解决接口构建的技术 更需要同步提升系 统的处理能力 对应大容量的交换系统 高带宽的流管理和包处理能力 才能提供线速的处理和转发 提 供电信级的特色功能 类似中兴通讯新开发的 ZXCME 9500 城域以太系列硬件平台目前就可以支持到 100 Gbit s 接口带宽 还保留有足够的冗余和加速比 可以支持单个 100 Gbit s 接口真正的线速转发 不需 要更换交换网 系统散热也完全支持 只需要增加新线卡就可以 系统升级后 可以支持到单线卡双向 400 Gbit s 以上的带宽 与此同时 解决了单机系统的问题 100G 以太网接口的应用还受制于传输网络的 技术提升 100GE 走向商用还有待时日 2 2 100G100G 以太网的应用以太网的应用 100 Gbit s 以太网标准和技术的开发是基于需求的驱动 但却是超前的 根据 IEEE802 3ba 任务组 TF 的计划预计到 2010 年中间可以完成标准制定 但真正的商用时间却取决于更多的因素 首先 在标准成熟的前提下 还需要实实在在的网络需求驱动 并符合运营商的利益 带宽需求的主要因 素包含 不断增加的业务都是基于 IP 的 就像现在 ALL IP 所描述的 几乎所有的 IP 分组从源发送到宿 的全过程都是封装在以太网帧中 时分复用在以太网中透传 TDM over Ethernet 的技术已经成熟 传统 语音的兼容已经不是问题 以太网封装比同步光网络 同步数字体系 SONET SDH 封装更简单而且成本更低 这些决定以太网接口速率升级到 100 Gbit s 的需求是客观和迫切的 在 100 Gbit s 以太网上可以实现 网络通信加速 应用效能提升 的网络通信境界 能够快速存取储存于数据中心的种种应用 执行频宽 管理 快取 压缩 路径最佳化及协议加速等功能 具体参见图 2 的应用场景 9 对于汇聚层的应用 下行端口正在切换到 10 Gbit s 上行只能采用 10 Gbit s 端口的链路聚合 如果使用 100 Gbit s 以太 网接口则可以在数据流的管理 分配及效率上得到改善 对于数据中心 随着 10 Gbit s 接口增加也同样 存在上行及内部互联高速接口的需求 对于骨干网的高效传输也期待着 100G 高速接口和传输的成熟 P802 3ba 标准在制订时 已经充分考虑了电接口相关标准和技术的成熟情况 采用了 10 312 5 Gbit s 的片间互联传输通道 多模的并行光纤接口可以支持在 OM3 光纤满足 100 m 甚至更远的距离 单 模的 40GB ASE LR4 使用粗波分复用 CWDM 经济可行 100GB ASE LR4 使用 DWDM 每波长传 25 781 25 Gbit s 使用 1 295 1 310 nm 波长 完全可以使用原有光纤 综合技术和成本 标准选用的技术都是实 用可行的 有助于促进 100G 接口在局部和城域网范围内商用 对于全网范围的使用 串行 100GE 传输标准和技术成熟前 可采用反向复用技术 将 10 10GE 或者 4 25GE 接口的 100GE 业务经 ODU2 ODU3 适配到 OTU2 OTU3 在 10G 40G 光网络中通过多个波长进行传输 可以不需对现存的 10G 40G DWDM 光网络进行重新设计与改动 传输码型仍然为光双二进制编码 ODB 差 分归零码 DRZ 电归零码 差分正交相移键控 eRZ DQPSK 这种模式可以采用 10G 40G 现有的成熟光电 器件 并且整个系统的性能指标和 10G 40G 系统一致 这一方案可实现网络平滑升级 满足运营商的成本 期望 并且器件成熟 10 所以就目前的成本和需求来看 100 Gbit s 以太网的商用在城域网先行是比较可行的方案 因为在 城域网中 大量的数据需要随时的上下路 一个无需各种补偿器件的传输系统将会大大简化网络设计 100 Gbit s 以太网刚好可以满足这一需求 同时高带宽满足了城域网每年 40 的流量增长 总之 100 Gbit s 以太网的发展需求已经很明显 成本优势也会不断加强 但是 100 Gbit s 以太网传输从调制方式 到运营管理维护都需要不断的技术完善 真正大规模的商用还需时日 此外 对这次技术升级 除 100 Gbit s 以太网之外 包括光纤通道 Infiniband 和 SONET 在内的其 他协议也将现身 40 100 Gbit s 网络 在 90 年代末 以太网端口设备的价格下降速度比竞争对手异步传 输模式 ATM 和光纤分布式数据接口 FDDI 要快两倍以上 然而 40 Gbit s 和更快速度网络共享很多相 似的 FPGA SERDES 和编码技术 使任何协议所对应的设备都很难通过量产来获得成本优势 100 Gbit s 以太网也许不会像之前那样占据绝对的优势地位 3 3 结束语结束语 通过前面对 100 Gbit s 以太网技术的介绍 和对关键技术及系统设计带来的困难分析 以及 100GE 传输网络的讨论 总的来说 100 Gbit s 以太网技术是很有生命力 备受关注的技术 大家都在热心参 与 但标准和技术本身也都还有待成熟 商用试点会在 2009 年底启动 但成熟商用预计要到 2012 年以后 除了技术和商用的挑战 给各方面带来的机遇也是巨大的 首先给研究机构带来了研究发现和创新的机会 对于元件和模块供应商带来了新的高回报的市场 但也需要高投资 对于系统供应商是一次翻盘和藉此引 领市场的机会 虽然目前正面临全球性的金融危机 我们乐观的相信 就像 1994 年至 2002 年在全球市场 低迷情况下 以太网一支独秀 这次经济低迷也无碍 100G 以太网发展 4 4 参考文献参考文献 1 IEEE 802 3ba 40Gb s and 100Gb s Ethernet Task Force IEEE P802 3ba D1 1 S OL 2008 2009 07 20 2008 12 12 http www ieee802 org 3 ba 2 IEEE 802 3ba 40Gb s and 100Gb s Ethernet Task Force IEEE P802 3ba D2 1 S OL 2009 2009 05 29 2008 12 12 http www ieee802 org 3 ba index html 3 IEEE 802 3ba 40Gb s and 100Gb s Ethernet Task Force BaselineSummary 0908 S OL 2008 2008 12 12 http grouper ieee org groups 802 3 ba BaselineSummary 0908 pdf 4 CFP MSA CFP MSA DRAFT rev 1 0 S OL 2009 03 23 2008 12 12 http www cfp msa org Documents CFP MSA DRAFT