xPON广播风暴的排查和网络优化方法

1、PON 广播风暴的排查和网络优化方法 编号： 版本：V1.0 编 制： 审 核： 批 准： All rights reserved 版权所有 侵权必究 ( for internal use only) （ 仅供内部使用） 文档修订记录文档修订记录 日期日期 DateDate 修订版本修订版本 RevisionRevision VersionVersion 修改修改 章节章节 SecSec No.No. 修改描述修改描述 ChangeChange DescriptionDescription 作者作者 AuthorAuthor 目目 录录 1概述.4 2广播风暴的产生和危害.5 2.1广播域的概

2、念 .5 2.2广播风暴的产生 .5 2.3二层环路的危害 .5 2.4ONU 的几种环路以及检测机制.6 2.4.1端口自环 .7 2.4.2端口内环 .7 2.4.3ONU 外环.7 3广播风暴的定位.8 3.1识别网络中的广播风暴 .8 3.2了解业务 VLAN 规划.8 3.3流量统计排查 .8 3.4环路排查 .8 3.5抓包排查 .9 4广播风暴的优化措施.11 5附件.11 1概述概述 本文档主要针对 PON 接入网的特点，用于指导广电运营商客户因广播风暴问题进行网 络优化；或我司在例行广电行业客户巡检过程中，通过此文档帮助巡检同事尽快发现客户 网络规划问题，进一步帮助客户优化整

3、改网络。近年来我司 PON 产品在广电市场应用过程 中，发现其 PON 网络以及上层汇聚层因早期规划不合理，导致广播域过大，一旦网络中产 生环路或者存在异常攻击源等情况导致业务大面积中断或严重丢包；如果广播域过大的问 题得不到及时优化改善，随着 PON 接入网规模逐渐扩大，问题会越来越突出； 2广播风暴的产生和危害广播风暴的产生和危害 2.1广播域的概念 广播是一种信息的传播方式，指网络中的某一设备同时向网络中所有的其它设备发送 数据，这个数据所能广播到的范围即为广播域(Broadcast Domain)；通常在二层网络中每个 VLAN 都是一个广播域； 2.2广播风暴的产生 广播风暴（bro

4、adcast storm）简单的讲是指当广播数据充斥网络无法处理，并占用大量 网络带宽，导致网络性能下降，正常业务不能运行，甚至彻底瘫痪，这就发生了“广播风暴” 。 广播风暴的表现特征：如果广电用户的宽带和互动点播业务突然出现大面积的短时间 中断、宽带测速带宽严重不达标、ping 宽带拨号获取到的网关或 ping 机顶盒的网关时延过 大（达到几十、几百毫秒）甚至 ping 的过程中严重丢包； 可能产生的原因主要包含两大类：一是由于网络拓扑的规划和设计不合理导致广播域 过大，二是物理连接错误或者配置错误导致执行二层环路； 2.3二层环路的危害 1、 MAC 地址表不稳定（MAC 地址漂移） ；

5、还是主机 X 发送数据帧给路由器 Y，路由器的 MAC 地址表还没有被交换机学习到，数 据帧沿链路发送到交换 A 和交换机 B 的端口 0,那么交换机 A 和交换机 B 都将主机 X 的 MAC 地址记录在 port0。因为是通过 port0 收到的数据帧，所以会通过两个交换机的 port1 向 外泛洪，交叉来到相互交换机的 port1 口，又认为主机 X 的 MAC 地址所对应的端口是 port1,即从交换机 A 发出来的数据帧来到了交换机 B 的 port1 端口。然后交换机 B 收到后 又通过 Port0 口再次泛洪，依次类推，数据帧在环路里重复执行上述过程，交换机 A 和交 换机 B

6、重复的在 port1 以及 port0 上不断的学习主机 X 的 MAC 地址，造成 MAC 地址表的不 稳定。 2、 数据帧被多重复制； 主机 X 准备发一个单播帧给路由器 Y，数据报发出后，发现有两条路可以到达路由器 Y，一个是直接发过去，还有一条就是通过交换机 A 转给交换机 B，然后再交给路由器 Y， 此时路由器 Y 就收到了两位一模一样的数据帧。 3、 广播风暴； 二层数据帧的格式中，没有类似于三层 IP 报头中 TTL 机制，所以数据帧在网络中将被 无限次数的传递，从面造成了广播风暴，如果是单播的数据还要好一些，如果是广播或者 组播数据在这样一个环路网络中传递则广播风暴更加明显 综

7、上所述，由于 PON 接入网的设备都是二层设备，数据帧的转发原理和特点和交换机 是相同的。 2.4ONU 的几种环路以及检测机制 ONU 使用私有协议 0 x0898 以广播方式发送环路检测报文，检测报文中携带以下几种 信息，并作为几种环路的判断依据：源 MAC 为 CPU 的 MAC、交换端口 ID 等； 2.4.1端口自环端口自环 当 ONU 的某个 UNI 口收到的环路检测报文中，源源 MAC 是自己的是自己的 CPU MAC 且报文且报文 中的端口中的端口 ID 等于自己的端口等于自己的端口 ID，那么就判断为端口自环并 down 掉此端口； OLT 三三层层交交换换机机 Intern

8、et POS ONU 接入交换机 2.4.2端口内环端口内环 当 ONU 的某个 UNI 口收到的环路检测报文中，源源 MAC 是自己的是自己的 CPU MAC 但报文但报文 中的端口中的端口 ID 不等于自己的端口不等于自己的端口 ID，那么就判断为端口内环，并 down 掉端口 ID 最小的端 口； OLT 三三层层交交换换机机 Internet POSONU 2.4.3ONU 外环外环 当 ONU 的某个 UNI 口收到的环路检测报文中，源源 MAC 不是自己的不是自己的 CPU MAC 那么 就判断为端口外环，并 down 掉两台 ONU 中那个端口 ID 最小的端口； OLT OLT

9、 三三层层交交换换机机 Internet POS POS ONU ONU ONU or 3 3广播风暴的定位广播风暴的定位 3.1了解全网拓扑、VLAN 规划以及用户规模 根据目前我司对各地广电客户的了解，很少有广电客户能基于用户细分业务 VLAN， 更多的是基于 PON、基于整台 OLT 划分 VLAN，甚至还存在基于机房划分 VLAN；如安 徽蚌埠广电同一机房的不同 OLT 划分在同一 VLAN 域内，其广播域的范围可想而知；通 常客户业务 VLAN 划分的范围大小与故障影响程度成正比关系； 在巡检过程中或遇到实际故障时，首先要获取客户的全网拓扑，了解我司 OLT 的上层 网络如何规划的；

10、还要了解每种业务的用户数量，单台 OLT 用户数量最多能达到多少，根 据用户数量已经上层拓扑我们可以估算出广播域有多大，广播流量有多大，那种一旦出故 障的影响范围也可相应推断得出； 如果在巡检时客户反馈网络处于建设初期，用户数量较少，但是经了解发现其 VLAN 规划不合理，广播域过大；我们要计算推断当用户数量发展到何种规模时是会触发广播域 的问题，提早告知用户，警示其潜在的风险； 同样在巡检或处理故障时，可通过巡检工具以及网管告警，将客户网络存在的其他问 题一网扫尽，全部展示给客户，今早发现问题尽早解决问题； 3.2流量统计排查 自下而上的分别排查 ONU 的上联口、OLT 的 PON 口、O

11、LT 上联口的流量统计，我司 PON 产品支持流量统计分类，分为单播、组播、广播三类流量单独统计；通过命令查看上 述几个节点的广播流量如果增长非常快，如每秒几百个或者上千个数据包，那么可以进一 步的印证产生了广播风暴； 3.3排查环路 环路导致的广播风暴，在环路解除之前网络中的广播风暴会一直持续下去；如果环路 发生在 OLT 的上联网络（包括因上联交换机未做端口隔离来自其他 OLT 的环路） ，此时可 以根据某个特定业务中断的 PC 或机顶盒 MAC 在 OLT 上反复 trace 或 search；会发现特定 的 MAC 会不固定的漂移到上联口或者 PON 侧端口； RAISECOM(ftt

12、x)#trace mac-address 006B.8E1E.E413 1.Tracing OLT :Find specified MAC from PON 1/1,dynamic 2.Tracing PON 1/1 :Find specified MAC from ONU 17,dynamic 3.Tracing ONU 1/1/17 :Find specified MAC from UNI 3,dynamic RAISECOM #search mac-address 006B.8E1E.E413 Mac Address Port vp Vlan Flags - 006B.8E1E.E413

13、 1 0 807 Hit 如果环路发生在 ONU 侧，由于 ONU 默认检测到环路会立即 down 掉发生环路端口， 那么广播风暴能够很快的消失；但是人为关闭 ONU 的环路检测功能，一旦 ONU 侧发生了 环路那么广播风暴就会洪范到上层网络；所以排查环路时还要确认下所有 ONU 的环路配 置以及是否有环路记录； 1.x 命令： RAISECOM#show interface onu loopback-port PORT ID State/Time Source Port - 1/3/14/4 down/infinite 1 2.x 命令 RAISECOM#show epon-onu loop

14、back-port PORT ID State/Time Source Port - 2/2/1/1 down/infinite 1 3.4抓包排查 在巡检或处理故障时，最直接有效的定位广播风暴问题就是抓包，通过抓包不仅能发 现广播风暴问题还能直中要害找到故障根源； 当处理故障时如网络中有异常的主机发送大量的广播报文可能会表现为偶尔网络中断 偶尔恢复正常的状态；此时抓包必须在出现故障时刻抓包才能抓到最有价值的信息。 如在出差巡检期间，为了发现广播风暴问题，需要挑选业务容量最多的 OLT 在业务高 峰期如晚上的 18 点至 21 点之间进行抓包； 如果条件允许请同时镜像抓取 ONU 上联口的数据

15、包和 OLT 上联口的数据包；如下图： OLT 三三层层交交换换机机 Internet POS ONU GE PC 1PC 2 Uplink Set Top Box Set Top Box 以江苏大丰广电宽带业务频繁中断的故障为例进行抓包分析： 1、在等待故障复现时，同步 ONU 下挂 PC 宽带拨号上网后一直进行 ping 上联网关； 出现故障时 PC 也出现 ping 不通网关，在抓包中过滤出 ARP 和 ICMP 报文，找到 PC ping 网关不通的时间节点，可以在报文中明显看到在抓包开始后的 145.43 秒这个时间点业务就 完全不通的，剩下的全是 ARP 报文。 在抓包中显示大量的

16、 ARP 报文的主要来自两个主机，其中一个 MAC 地址为： 00:0E:C6:C0:5F:FF，在 OLT 上追踪 MAC 确认来自上联网络，进一步在汇聚交换机找到目 的主机为 EOC 厂家的两台网管服务器。随后从路通 EOC 厂家方面得到印证他们的网管服 务器为了探测 EOC 局端会周期性做对整个子网做 ARP 扫描，在故障瞬时突发 ARP 报文达 到每秒近 2k 个 arp；在 5508A 上不升级版本，不改变其他配置，只是把发 arp 扫描的两个 网管服务器 MAC 过滤掉后观察数个小时一直未再出故障； 如下图：红色曲线是 ARP 流量，黑色是总流量，在抓包开始的 120s 左右突然出

17、现瞬 时 ARP 流量峰值，近 2000 个包/S 4广播风暴的优化措施广播风暴的优化措施 1、 首先细分业务 VLAN，在 OLT 上至少保证每 PON 口每业务 VLAN,最理想的情况下采用灵 活 QINQ 的方式达到 PSPUPV(每业务每用户每 VLAN)的效果； 2、 打开汇聚交换机的端口隔离、不随意关闭 PON 口隔离、不随意关闭 ONU 之间的 P2P 隔离； 3、 OLT 全局不创建无用业务 VLAN，OLT 的每个 PON 只让实际存在业务的 VLAN 通过；ONU 上联口修改为 trunk 模式并只让 ONU 下面实际存在的业务 VLAN 通过，避免直接使用默 认透传模式；