xPON广播风暴的排查和网络优化方法

1、PON 广播风暴的排查和网络优化方法编号：版本：V1.0编 制： 审 核： 批 准： All rights reserved版权所有 侵权必究( for internal use only)（ 仅供内部使用）PON 广播域过大的排查和网络优化方法V1.0 内部公开 第 2 页 共 11 页2文档修订记录文档修订记录日期日期DateDate修订版本修订版本RevisionRevision VersionVersion修改修改章节章节SecSec No.No. 修改描述修改描述ChangeChange DescriptionDescription作者作者AuthorAuthorPON 广播域过大的

2、排查和网络优化方法V1.0 内部公开 第 3 页 共 11 页3目目 录录1概述.42广播风暴的产生和危害.52.1广播域的概念 .52.2广播风暴的产生 .52.3二层环路的危害 .52.4ONU 的几种环路以及检测机制.62.4.1端口自环 .72.4.2端口内环 .72.4.3ONU 外环.73广播风暴的定位.83.1识别网络中的广播风暴 .83.2了解业务 VLAN 规划.83.3流量统计排查 .83.4环路排查 .83.5抓包排查 .94广播风暴的优化措施.115附件.11PON 广播域过大的排查和网络优化方法V1.0 内部公开 第 4 页 共 11 页41概述概述本文档主要针对 P

3、ON 接入网的特点，用于指导广电运营商客户因广播风暴问题进行网络优化；或我司在例行广电行业客户巡检过程中，通过此文档帮助巡检同事尽快发现客户网络规划问题，进一步帮助客户优化整改网络。近年来我司 PON 产品在广电市场应用过程中，发现其 PON 网络以及上层汇聚层因早期规划不合理，导致广播域过大，一旦网络中产生环路或者存在异常攻击源等情况导致业务大面积中断或严重丢包；如果广播域过大的问题得不到及时优化改善，随着 PON 接入网规模逐渐扩大，问题会越来越突出；PON 广播域过大的排查和网络优化方法V1.0 内部公开 第 5 页 共 11 页52广播风暴的产生和危害广播风暴的产生和危害2.1广播域的

4、概念广播是一种信息的传播方式，指网络中的某一设备同时向网络中所有的其它设备发送数据，这个数据所能广播到的范围即为广播域(Broadcast Domain)；通常在二层网络中每个VLAN 都是一个广播域；2.2广播风暴的产生广播风暴（broadcast storm）简单的讲是指当广播数据充斥网络无法处理，并占用大量网络带宽，导致网络性能下降，正常业务不能运行，甚至彻底瘫痪，这就发生了“广播风暴”。广播风暴的表现特征：如果广电用户的宽带和互动点播业务突然出现大面积的短时间中断、宽带测速带宽严重不达标、ping 宽带拨号获取到的网关或 ping 机顶盒的网关时延过大（达到几十、几百毫秒）甚至 pin

5、g 的过程中严重丢包；可能产生的原因主要包含两大类：一是由于网络拓扑的规划和设计不合理导致广播域过大，二是物理连接错误或者配置错误导致执行二层环路；2.3二层环路的危害1、 MAC 地址表不稳定（MAC 地址漂移） ；还是主机 X 发送数据帧给路由器 Y，路由器的 MAC 地址表还没有被交换机学习到，数据帧沿链路发送到交换 A 和交换机 B 的端口 0,那么交换机 A 和交换机 B 都将主机 X 的 MAC地址记录在 port0。因为是通过 port0 收到的数据帧，所以会通过两个交换机的 port1 向外泛洪，交叉来到相互交换机的 port1 口，又认为主机 X 的 MAC 地址所对应的端口

6、是port1,即从交换机 A 发出来的数据帧来到了交换机 B 的 port1 端口。然后交换机 B 收到后又通过 Port0 口再次泛洪，依次类推，数据帧在环路里重复执行上述过程，交换机 A 和交换机 B 重复的在 port1 以及 port0 上不断的学习主机 X 的 MAC 地址，造成 MAC 地址表的不稳定。2、 数据帧被多重复制；主机 X 准备发一个单播帧给路由器 Y，数据报发出后，发现有两条路可以到达路由器Y，一个是直接发过去，还有一条就是通过交换机 A 转给交换机 B，然后再交给路由器 Y，此时路由器 Y 就收到了两位一模一样的数据帧。PON 广播域过大的排查和网络优化方法V1.0

7、 内部公开 第 6 页 共 11 页63、 广播风暴；二层数据帧的格式中，没有类似于三层 IP 报头中 TTL 机制，所以数据帧在网络中将被无限次数的传递，从面造成了广播风暴，如果是单播的数据还要好一些，如果是广播或者组播数据在这样一个环路网络中传递则广播风暴更加明显综上所述，由于 PON 接入网的设备都是二层设备，数据帧的转发原理和特点和交换机是相同的。2.4ONU 的几种环路以及检测机制ONU 使用私有协议 0 x0898 以广播方式发送环路检测报文，检测报文中携带以下几种信息，并作为几种环路的判断依据：源 MAC 为 CPU 的 MAC、交换端口 ID 等； PON 广播域过大的排查和网

8、络优化方法V1.0 内部公开 第 7 页 共 11 页72.4.1端口自环端口自环当 ONU 的某个 UNI 口收到的环路检测报文中，源源 MAC 是自己的是自己的 CPU MAC 且报文且报文中的端口中的端口 ID 等于自己的端口等于自己的端口 ID，那么就判断为端口自环并 down 掉此端口；OLT三三层层交交换换机机InternetPOSONU接入交换机2.4.2端口内环端口内环当 ONU 的某个 UNI 口收到的环路检测报文中，源源 MAC 是自己的是自己的 CPU MAC 但报文但报文中的端口中的端口 ID 不等于自己的端口不等于自己的端口 ID，那么就判断为端口内环，并 down

9、掉端口 ID 最小的端口；OLT三三层层交交换换机机InternetPOSONU2.4.3ONU 外环外环当 ONU 的某个 UNI 口收到的环路检测报文中，源源 MAC 不是自己的不是自己的 CPU MAC 那么PON 广播域过大的排查和网络优化方法V1.0 内部公开 第 8 页 共 11 页8就判断为端口外环，并 down 掉两台 ONU 中那个端口 ID 最小的端口；OLTOLT三三层层交交换换机机InternetPOSPOSONUONUONUor3 3广播风暴的定位广播风暴的定位3.1了解全网拓扑、VLAN 规划以及用户规模根据目前我司对各地广电客户的了解，很少有广电客户能基于用户细分

10、业务 VLAN，更多的是基于 PON、基于整台 OLT 划分 VLAN，甚至还存在基于机房划分 VLAN；如安徽蚌埠广电同一机房的不同 OLT 划分在同一 VLAN 域内，其广播域的范围可想而知；通常客户业务 VLAN 划分的范围大小与故障影响程度成正比关系；在巡检过程中或遇到实际故障时，首先要获取客户的全网拓扑，了解我司 OLT 的上层网络如何规划的；还要了解每种业务的用户数量，单台 OLT 用户数量最多能达到多少，根据用户数量已经上层拓扑我们可以估算出广播域有多大，广播流量有多大，那种一旦出故障的影响范围也可相应推断得出；如果在巡检时客户反馈网络处于建设初期，用户数量较少，但是经了解发现其

11、 VLAN规划不合理，广播域过大；我们要计算推断当用户数量发展到何种规模时是会触发广播域的问题，提早告知用户，警示其潜在的风险；同样在巡检或处理故障时，可通过巡检工具以及网管告警，将客户网络存在的其他问题一网扫尽，全部展示给客户，今早发现问题尽早解决问题；3.2流量统计排查自下而上的分别排查 ONU 的上联口、OLT 的 PON 口、OLT 上联口的流量统计，我司PON 产品支持流量统计分类，分为单播、组播、广播三类流量单独统计；通过命令查看上述几个节点的广播流量如果增长非常快，如每秒几百个或者上千个数据包，那么可以进一步的印证产生了广播风暴；3.3排查环路环路导致的广播风暴，在环路解除之前网

12、络中的广播风暴会一直持续下去；如果环路发生在 OLT 的上联网络（包括因上联交换机未做端口隔离来自其他 OLT 的环路） ，此时可以根据某个特定业务中断的 PC 或机顶盒 MAC 在 OLT 上反复 trace 或 search；会发现特定的 MAC 会不固定的漂移到上联口或者 PON 侧端口；RAISECOM(fttx)#trace mac-address 006B.8E1E.E413PON 广播域过大的排查和网络优化方法V1.0 内部公开 第 9 页 共 11 页91.Tracing OLT :Find specified MAC from PON 1/1,dynamic2.Tracing

13、 PON 1/1 :Find specified MAC from ONU 17,dynamic3.Tracing ONU 1/1/17 :Find specified MAC from UNI 3,dynamicRAISECOM #search mac-address 006B.8E1E.E413Mac Address Port vp Vlan Flags -006B.8E1E.E413 1 0 807 Hit如果环路发生在 ONU 侧，由于 ONU 默认检测到环路会立即 down 掉发生环路端口，那么广播风暴能够很快的消失；但是人为关闭 ONU 的环路检测功能，一旦 ONU 侧发生了环路那

14、么广播风暴就会洪范到上层网络；所以排查环路时还要确认下所有 ONU 的环路配置以及是否有环路记录；1.x 命令：RAISECOM#show interface onu loopback-port PORT ID State/Time Source Port-1/3/14/4 down/infinite 12.x 命令RAISECOM#show epon-onu loopback-port PORT ID State/Time Source Port-2/2/1/1 down/infinite 13.4抓包排查在巡检或处理故障时，最直接有效的定位广播风暴问题就是抓包，通过抓包不仅能发现广播风暴问

15、题还能直中要害找到故障根源；当处理故障时如网络中有异常的主机发送大量的广播报文可能会表现为偶尔网络中断偶尔恢复正常的状态；此时抓包必须在出现故障时刻抓包才能抓到最有价值的信息。如在出差巡检期间，为了发现广播风暴问题，需要挑选业务容量最多的 OLT 在业务高峰期如晚上的 18 点至 21 点之间进行抓包；如果条件允许请同时镜像抓取 ONU 上联口的数据包和 OLT 上联口的数据包；如下图：OLT三三层层交交换换机机InternetPOSONUGEPC 1PC 2UplinkSet Top BoxSet Top BoxPON 广播域过大的排查和网络优化方法V1.0 内部公开 第 10 页 共 11

16、 页10以江苏大丰广电宽带业务频繁中断的故障为例进行抓包分析：1、在等待故障复现时，同步 ONU 下挂 PC 宽带拨号上网后一直进行 ping 上联网关；出现故障时 PC 也出现 ping 不通网关，在抓包中过滤出 ARP 和 ICMP 报文，找到 PC ping网关不通的时间节点，可以在报文中明显看到在抓包开始后的 145.43 秒这个时间点业务就完全不通的，剩下的全是 ARP 报文。在抓包中显示大量的 ARP 报文的主要来自两个主机，其中一个 MAC 地址为：00:0E:C6:C0:5F:FF，在 OLT 上追踪 MAC 确认来自上联网络，进一步在汇聚交换机找到目的主机为 EOC 厂家的两

17、台网管服务器。随后从路通 EOC 厂家方面得到印证他们的网管服务器为了探测 EOC 局端会周期性做对整个子网做 ARP 扫描，在故障瞬时突发 ARP 报文达到每秒近 2k 个 arp；在 5508A 上不升级版本，不改变其他配置，只是把发 arp 扫描的两个网管服务器 MAC 过滤掉后观察数个小时一直未再出故障； 如下图：红色曲线是 ARP 流量，黑色是总流量，在抓包开始的 120s 左右突然出现瞬时 ARP 流量峰值，近 2000 个包/SPON 广播域过大的排查和网络优化方法V1.0 内部公开 第 11 页 共 11 页11 4广播风暴的优化措施广播风暴的优化措施1、 首先细分业务 VLAN，在 OLT 上至少保证每 PON 口每业务 VLAN,最理想的情况下采用灵活 QINQ 的方式达到 PSPUPV(每业务每用户每 VLAN)的效果；2、 打开汇聚交换机的端口隔离、不随意关闭 PON 口隔离、不随意关闭 ONU 之间的 P2P隔离；3、 OLT 全局不创建无用业务 VLAN，OLT 的每个 PON 只让实际存在业务的 VLAN 通过；ONU上联口修改为 trunk 模式并只让 ONU 下面实际存在的业务 VL