单播flood产生的原因与规避方法.doc

单播flood产生的原因与规避方法 过去在网平idc内经常出现当网络某个端口up down或者新开电某个交换机后，网络中就会产生突发的大流量使得带宽拥塞。现在it的数据机房流量逐渐增大，该问题在某些时候也会出现。1 什么是单播flood交换机根据受到的数据帧中的目的mac地址以及vlan编号在二层的转发表（mac地址表）中来决定具体的输出端口。如果受到的数据帧的目的mac地址在表中无法查询到的话，交换机将会把该数据帧在其所属的vlan的所有端口上进行发送，这就形成了flood。产生单播flood问题与设备本身没有关系，几乎所有的交换机都会出现单播flood问题，产生单播flood关键是三层的ARP表与二层的MAC表不同步造成的。2 ARP表与MAC表的更新原则Cisco的交换机默认情况下arp表aging time是4个小时，mac表的aging time是300秒。当一个arp的条目进入arp表后，启动一个4小时的定时器，在定时器快要到期的时候设备会发送arp的请求出去，在收到反馈后会重置定时器到4个小时，如果没有收到反馈在定时器到期后将会从arp表中删除掉该条目。当交换机收到一个数据帧的时候将会把该帧的源mac地址、端口、vlan信息添加到mac地址表中，同时启用一个300秒的计时器，每收到一个该源设备发送的数据帧计时器都会进行重置，如果设备300秒都没有发送一个数据帧，定时器到期后将会在mac表中删除该条目。此更新原则是参考cisco的官网上的文档并由TAC工程师确认过的，但是感觉与显示情况并不完全吻合，正在协调与cisco的研发团队对该原则进行确认。3 单播flood产生的原因3.1 原因一、不对称路由大量的flood流量可能会拥塞低带宽的链路，对网络造成很大的影响，我们以下图为例：服务器S1向服务器S2进行数据备份（大流量），S1的网关在路由器RA的vlan1接口上，S2的网关在路由器RB的vlan2接口上。S1到S2的路径如图中蓝线所示：S2到S1的路径如图中红线所示：在这种场景下switch A将不会看到从服务器S2发出的数据帧，因为S2将会通过网关RB进行数据传送，RB会对数据帧头进行重写。同样道理在switchB上也不会看到服务器S1发出的数据帧。这也就意味着当switchA要发包给S2以及switchB要发包给S1的时候都会出现flood。当S1与S2进行通讯的时候，在switchA中vlan2流量会flood，在switchB中的vlan1流量会flood。在S1与S2刚通讯的时候是没有flood流量的，路由器RA在发送arp去查询S2 mac地址的时候，交换机switchA会将S2的mac地址加入到自己的mac表中。但是由于S2后续的流量都是通过其网关RB进行传送的，因此mac地址表在没有新的数据帧对其进行更新的情况下，300秒后就过期了，这时候flood就出现了。3.2 原因二、生成树协议拓扑改变另外一个出现单播flood的主要原因就是生成树拓扑改变通告（TCN），TCN是设计用来在转发拓扑发生改变的时候更正转发表的。在拓扑改变前后一些目的地通过不同的端口进行访问，TCN通过缩短转发表时间的方法进行快速更正，但是如果某些地址没有重新学习到的话，这些地址将会过期同时flood也会出现。当一个端口成为forwarding状态或者从forwarding状态变为其他状态的时候就会发送TCN。即便某些mac地址真的过期了，实际上flood持续的时间也不会很长，因为很快就会重新学习到mac地址了，除非TCN的发送频率极高，这样mac地址表始终处于快速过期的状态，这样flood流量就会持续出现了。正常情况下一个设计合理的网络出现拓扑改变应该是很少的，但是如果某个端口出现故障，频繁up/down的话就会出现持续的TCN了，这时候网络就会有单播flood了。在端口上启用portfast特性后将会关闭该端口发送TCN的能力。建议在所有连接服务器的端口上都将portfast特性启用。3.3 原因三、MAC地址表满当mac表满了之后，就无法进行新的mac地址学习了，发现这些mac地址的数据包就会被flood，一直到mac地址表有可用空间为止，通常现在的交换机的mac地址表空间都足够大，很少出现mac地址表满的情况。但是如果有恶意的破坏的事情发生还是有可能出现mac地址表满的情况，我们可以通过限定每个端口最多可以学习的mac地址数量来减少mac地址表满这种情况的发生。4 如何规避单播flood不使用不对称路由、减少拓扑变化等当然是规避单播flood的好办法，但是在现实中是不太可能实现的，因此我们必须通过其他的办法来减轻单播flood的影响。4.1 方法一、同步二层mac和三层arp的过期时间Mac默认过期时间是300秒，arp的过期时间是4个小时（14400秒）。由于arp的过期时间没有全局设置的命令，需要在每个三层端口里设置，因此比较容易出现漏配的情况，因此我们建议将mac的过期时间改为14400与arp同步。命令：全局配置模式：mac-address-table aging-time 144004.2 方法二、将二层mac地址设为永不过期我们在使用方法一之后大部分机房的单播flood情况都有很大的改善，但是在部分机房单播flood依然很大会影响到业务，为了临时解决这个问题，我们将mac地址设置为永不过期，这样单播flood就消失了，但是副作用就是当服务器进行物理搬迁后必须要等4个小时后arp过期了才能更新其mac地址表，服务器才能通讯。该方案只是临时的一种应急方案，后续需要和厂商共同探讨更好的解决方案。4.3 方法三、将连接服务器的所有端口都启用portfast将所有连接服务器的端口启用portfast后，该端口的up/down就不会发送TCN，交换机的mac地址表就不会丢失。由于担心启用了portfast特性的端口被误连接其他网络设备，因此打开bpduguard特性，该特性可以在当启用了portfast特性的端口收到bpdu的时候portfast特性自动失效。在新的接入层交换机初始配置模板中已经启用了该特性，但是一些老的机房可能并没有进行更正，后续需要对其进行检查。命令：spanning-tree portfast bpduguard default 全局模式下打开bpduguard特性。spanning-tree portfast接口模式下启用portfast特性。4.4 方法四、将接入层交换机的上联端口进行vlan过滤由于我们网络大部分是二层结构，核心+接入的形式，核心与接入之间使用Trunk线路进行连接，默认的时候没有进行vlan过滤，也就是说Trunk线路是属于任何一个vlan的，当中继线路down掉的话，在每个vlan中都会发送TCN，所有vlan的mac地址都会消失。这就会造成非常大的flood流量。我们如果对vlan进行了过滤，那么只有被允许的vlan才会发送TCN，这样影响的严重程度就会有所下降。在新的配置规范中已经要求对接入交换机上联端口进行了vlan过滤（在核心交换机上进行配置即可，接入层不需配置）。命令：新启用的上联端口初始配置：switchport trunk remove vlan 2-1000由于vlan1中有些管理协议在跑，因此我们不对其进行过滤，其余的所有vlan初始的时候都被过滤。后续接入层交换机配置了相关的vlan后，在核心的端口处将对应的vlan放通，命令如下：switchport trunk allow vlan x5 出现单播flood的紧急处理办法5.1 步骤一、清空arp当发现有单播flood出现的时候，我们可以通过clear arp-cache命令对arp表进行清空，交换机会发送arp对所有的ip进行解析，这时候就可以对mac表进行更新了，mac表一旦更新成功flood流量就会马上消失，由于我们的监控图每5分钟采集一次不能快速的反应出变化，我们可以在核心设备上使用show interface summary命令来检查所有端口的流量情况，或者使用show interface XXX的命令来查看其中某个端口的流量变化情况。5.2 步骤二、检查TC置位如果我们清空arp后，单播flood的流量依然没有降下去的话，我们需要检查一下是否有频繁的拓扑变化。在核心交换机使用sh spanning-tree detail active | in Topology change flag来检查是否有TC置位（基于每个vlan显示的），如果没有的话应该显示Topology change flag not set, detected flag not set。如果出现Topology change flag set就说明网络中有拓扑改变，如果该位持续置位就说明网络中的拓扑变化很频繁，通常是由于端口flapping造成的，我们可以登陆到日志服务器中查找当前频繁出现up/down的端口，然后对其进行关闭，之后再清空arp，看是否单播flood消失。6 Case分析高科机房出现过一次大量服务器微量丢包的情况，经检查发现各个接入层端口都出现微