金融行业MSTP组网技术介绍

金融行业MSTP组网技术介绍v1.0日期：密级：杭州华三通信技术有限公司MSTP组网拓扑MSTP路由策略MSTP路由优化MSTP快速收敛MSTPQoS实现目录MSTP组网拓扑二级分行生产办公网点1一级分行网点N………………二级网一级分行与二级分行互联的广域网络，采用SDH线路。三级网二级分行与网点互联的广域网络，采用MSTP线路，每个网点一台或两台上联路由器。广域区由广域区交换机、上联路由器、下联路由器构成，纵向贯通一级分行、二级分行及网点。二级分行局域网分为生产局域网和办公局域网，通过运行不同的OSPF进程实现生产办公路由隔离。二级网广域区所谓MSTP组网，主要指二级分行下联路由器与网点的互联网络。MSTP线路广域区及局域网三级网SDH线路MSTP组网拓扑MSTP路由策略MSTP路由优化MSTP快速收敛MSTPQoS实现目录路由协议分布二级分行生产办公网点1iBGPOSPF300OSPF200OSPF100一级分行eBGPOSPF400网点N………………二级网一级分行与二级分行之间运行eBGP。三级网二级分行与网点之间运行OSPF400，每30-50个网点分配1个AREA。广域区广域区内部同时运行OSPF300和iBGP，OSPF300主要为iBGP提供建立邻居用的loopback路由，iBGP用于交换业务路由。二级分行局域网生产局域网运行OSPF100，办公局域网运行OSPF200。路由再发布OSPF100/200与iBGP，发布边界点为两台广域区交换机。OSPF400与iBGP，发布边界点为两台下联路由器。数据分流实现二级分行生产办公网点1一级分行网点N………………MSTP链路1分流需求网点主要有生产、办公两类业务，生产主线路为MSTP链路1，办公主线路为MSTP链路2，两条线路互为冗余备份。上行分流网点路由器优选下联路由器1的生产路由，优选下联路由器2的办公路由，通过调整iBGP路由注入OSPF400的外部路由COST实现。下行分流广域区交换机优选下联路由器1的生产路由，优选下联路由器2的办公路由，通过调整OSPF400路由注入iBGP的LP实现。生产办公MSTP链路2iBGP->OSPF400路由发布二级分行生产办公网点1iBGPOSPF200OSPF100一级分行OSPF400网点N………………iBGP邻居发布边界两台下联路由器为iBGP->OSPF400的路由发布边界。环路预防下联路由器之间不建立iBGP邻居关系，即两者之间不互相学习iBGP路由，确保OSPF400路由导入iBGP后，不会导回OSPF400。外部路由COSTiBGP路由注入OSPF400时，外部路由类型为Type1，下联路由器1的外部生产路由COST为10，外部办公路由COST为100。下联路由器2的外部生产路由COST为100，外部办公路由COST为10。互联链路COST两台下联路由器之间的互联Cost设置为20（否则上行分流会有问题，比如网点路由器1访问二级分行办公，可能形成等价路由），其他局域网链路Cost为10，MSTP链路COST设置为100，所有链路OSPF网络类型为P2P。1010010010广域区交换机为路由反射器RR，上联路由器为路由反射器客户端，下联路由器为非客户端！OSPF400->iBGP路由发布二级分行生产办公网点1iBGPOSPF200OSPF100一级分行OSPF400网点N………………发布边界两台下联路由器为OSPF400->iBGP的路由发布边界。环路预防在两台下联路由器上配置所有网点生产、办公的黑洞路由，以NETWORK方式导入iBGP，并设置相应的community值，而不是将OSPF400路由直接注入iBGP。iBGPLP设置将网点生产、办公黑洞路由导入iBGP时，下联路由器1的生产路由LP为200，办公路由LP为100。下联路由器2的生产路由LP为100，办公路由LP为200。网点互通如果网点之间存在互访需求，只需将下联路由器上的网点生产、办公黑洞路由分别导入OSPF400，设置相应的OSPF外部路由COST即可。200100100200MSTP组网拓扑MSTP路由策略MSTP路由优化MSTP快速收敛MSTPQoS实现目录次优路径问题二级分行生产办公网点1iBGPOSPF200OSPF100一级分行OSPF400网点N………………三级网区域规划假设网点1属于AREA1，网点N也属于AREA1，两台下联路由器之间的链路属于AREA0。存在问题如果网点1的MSTP链路1故障，下联路由器1访问网点1时会优选绕行网点N的次优路径，因为OSPF的选路规则是“区域内路由优于区域间路由”，显然这不是一条最短路径。解决方法需要在下联路由器1、下联路由器2之间为每个AREA创建一条逻辑链路（包括AREA0），这样就不会出现绕行网点的问题，由于两台下联路由器之间互联链路的重要性，可以使用链路聚合技术。区域类型问题二级分行生产办公网点1iBGPOSPF200OSPF100一级分行NSSAAREA1网点N………………三级网区域类型OSPF400的区域类型有两种选择，TotallyNSSA和普通区域。存在问题如果使用TotallyNSSA，下联路由器导入iBGP路由时，会设置Type7LSA的ForwardingAddress，可能会选择两下联路由器之间的互联地址，导致网点选路无法实现分流（比如网点1访问二级分行办公时形成等价路由），因为计算Type7路由时，会迭代ForwardingAddress。解决方法需要在两台下联路由器上位每个NSSAAREA创建loopback接口，这样Type7LSA便会将ForwardingAddress填写为本区域的loopback地址。或者使用普通普通区域类型，并配置区域间路由过滤，防止网点路由器学到区域间路由。NSSAAREA2路由性能问题二级分行生产办公网点1iBGPOSPF200OSPF100一级分行路由数量<1000网点N………………路由需求下联设备需要与所有网点建立OSPF邻居和BFD会话，要求支持200个邻居的规格。网点设备只与中心设备建立单个OSPF邻居和BFD会话，如果中心设备没有做路由汇聚，路由条目数可能超标。存在问题下联设备，SR66无论路由表容量、OSPF邻居数、BFD会话数都能满足要求，但S75E交换机常规版本的OSPF邻居数量和BFD会话数无法达到要求。网点设备，网点路由器路由容量较大，但是转发性能较差，基本能满足要求，网点交换机路由容量（主要指FIB表）取决于转发芯片，一般<1000，有些只支持512个表项，路由条目数超标的情况下，会导致部分目的地数据包无法转发。解决方法S75E需要使用F6606L11版本，以支持大容量OSPF邻居。区域间路由，如果是TotallyNSSA，缺省就不学习区域间路由，如果是普通区域，可以定义规则为denyany的ACL，然后为每个区域（AREA0除外）配置出方向的Type3LSA过滤。外部路由，iBGP导入OSPF400时，可以做ASBR-Summary，以较少TypeLSA数量。网点路由，可以在网点路由器上配置基于ACL或者Tag的本地路由过滤，减少FIB表项占用。OSPF+BFD<200MSTP组网拓扑MSTP路由策略MSTP路由优化MSTP快速收敛MSTPQoS实现目录MSTP链路快速检测二级分行生产办公网点1一级分行网点N………………MSTP链路MSTP链路本身没有端到端的链路检测机制，如果MSTP中间链路故障，只能依赖于OSPF的hello检测，最长时间为40s。BFD检测BFD可以提供ms级的快速检测，下联路由器与网点路由器之间启用BFDforOSPF，检测时间设置为1s*3，最长收敛时间为3s，加快了OSPF路由协议的收敛速度。BFDEchoBFD控制模式，需要同时在两端启用BFD，如果网点设备不支持BFD，可以使用BFDECHOforOSPF，下联路由器单向检测MSTP链路的连通性，MSTP链路故障时，由于OSPF计算路由时会检查RouterLSA的双向可达性，网点路由也可以间接发现MSTP链路的中断（但网点OSPF邻居状态依然为FULL），达到快速收敛的目的。但是BFDEcho为H3C私有特性，不建议在实际组网中使用。广域区BFDBFDBFDBFDBFD快速检测问题二级分行生产办公网点1一级分行网点N………………BFD会话数BFD会话数与设备性能、检测时间精度都有关系，SR66强于S75E，BFD报文为分布式处理，要求业务板卡具备较强的BFD处理能力，如果BFD会话数超标，可以有选择的对重要网点启用BFD检测。BFD检测时间尽管BFD可以提供ms级的检测速度，但实际组网中，由于运营商MSTP链路可靠性的问题，建议将检测时间设置为1*3s，如果经常出现BFD会话中断，可以放大至1*5s。BFDEcho不建议使用BFDEchoforOSPF，如果在中心启用BFDEcho，网点设备收到BFD报文后，当成普通报文处理，有可能产生丢包，除非将BFD报文访问最高优先级队列中。BFDControlBFD报文的IP优先级为AF4，各厂商不尽相同。对于路由器设备，BFD报文直接进入协议队列转发，不会因为链路拥塞而丢包。对于交换机设备，BFD报文对应LP为4，进入交换机的物理端口队列4转发，有可能因为链路拥塞而丢包，AF4队列尽量不要分配给普通数据报文，并且设置较高的优先级。广域区BFDBFD部分启用BFD检测MSTP组网拓扑MSTP路由策略MSTP路由优化MSTP快速收敛MSTPQoS实现目录MSTPQoS实现二级分行生产办公网点1一级分行网点N………………三级网MSTP带宽

MSTP链路的端口带宽与承诺带宽是不一致的，物理带宽一般为100M或1000M，而承诺带宽为10M或20M等，如果不在用户侧对出口流量做流量整形，会导致大量数据包在运营商侧被丢弃，从而影响业务通讯。端口限速无论是路由器还是交换机，都需要在端口出方向做端口限速，一般通过qos

lr命令实现，使报文转发速度与运营商CIR一致。路由器QoS如果下联设备和网点设备都为路由器，下联路由器的一个端口可以对应多个网点，在路由器上创建子接口，配置子接口端口限速，并在子接口上配置队列调度，比如CBQ，以保证关键业务的带宽。交换机QoS如果下联设备和网点设备都为交换机，下联交换机的一个端口对应一个网点，在交换机端口上配置端口限速，并在物理端口上配置队列调度，比如WRR、WFQ等，以保证关键业务的带宽。二级网广域区端口限速8M4M8M4M端口限速CBQWFQMSTP端口限速问题运营商CIR运营商承诺的MSTPCIR，是指物理层的速率，包括帧间隙、前导位等，而网络设备上的QoS带宽一般指链路层带宽，要小于物理层带宽。MSTP开销以太网链路，物理层开销为64bit前导位，96bit帧间隙，共20个字节，还有4字节的CRC。SR66端口限速

SR66的端口限速，是指链路层的带宽，需要考虑物理层开销，假设数据