中国移动IP承载网

HUAWEI TECHNOLOGIES CO., LTD. Page 1 中国移动 IP承载网架构及路由部署 HUAWEI TECHNOLOGIES CO., LTD. HUAWEI TECHNOLOGIES CO., LTD. Page 2 网络总体架构规划 IGP协议规划 BGP（ VPN）规划 网络服务质量保证（ QoS） 高可靠性方案 软交换站点接入方案 目录 HUAWEI TECHNOLOGIES CO., LTD. Page 3 C R 2（ C R 2 / B R 2 ）C R 1（ C R 1 / B R 1 ）天津济 南南 昌长 沙太原合 肥杭 州福 州重 庆贵 阳南 宁昆 明海 口呼 和 浩 特银 川西 宁乌 鲁 木 齐兰 州广 东上 海长 春哈 尔 滨辽 宁北 京西 安成 都武 汉拉 萨沈 阳南 京江 苏厦 门石 家 庄图 例 ：1 x 1 0 GN x 1 5 5 MN x 2 . 5 G1 x G E B R 1（ B R 1 / A R 1 ）B R 2（ B R 2 / A R 2 ）广 州深 圳郑 州无 锡大 连青 岛全 国 网 管 中 心说 明 ： 阴 影 部 分 表 示 本 工 程 新 增 设 备 。中国移动 IP承载网整网拓扑结构 广东省在广州、深圳分别设立独立 BR设备 HUAWEI TECHNOLOGIES CO., LTD. Page 4 A类大区省份（广东） CR/BR BR AR B类大区省份（除广东外的其它大区省份） CR/BR BR/AR(辽宁大连，江苏无锡 ) AR 非大区省份 BR/AR AR 移动 IP承载网设备角色 HUAWEI TECHNOLOGIES CO., LTD. Page 5 广东移动 IP承载网拓扑结构 HUAWEI TECHNOLOGIES CO., LTD. Page 6 核心节点： 广东部署两台核心 CR（ NE5000E），与成都、武汉、北京、上海四个大区相连。 汇聚节点： 广州、深圳分别部署 2台 BR（ NE5000E）做为汇聚广东各地市 AR，广州 BR1、BR2 汇聚广州、粤西（佛山、中山、湛江、珠海、肇庆、云浮、茂名、阳江）、粤北（清远、韶关）各接入节点地区业务；与深圳 BR1、 BR2彼此实现互联，并以 U型上联方式汇聚深圳、粤东（东莞、惠州、汕头、汕尾、梅州、河源、揭阳、潮州）各接入节点城市业务（特殊接入：广州 AR1、 AR2分别接入广州 CR1、 CR2外）； 在广州 BR1/BR2与深圳 BR1/BR2之间设置 1对互联链路，实现 2个汇聚区业务的互联，并在其中 1个汇聚区上行链路或 CR发生故障时提供业务流量向另一对出省节点的引导，保证全网业务的可靠性。 接入节点： 所有接入层设备 (AR)采用“单归双联”的方式接入到所属汇聚节点（ BR1、BR2）；与下挂 CE或 MCE组成星型或口字行网络。 广东移动网络总体结构规划 HUAWEI TECHNOLOGIES CO., LTD. Page 7 协议总体规划 为实现网络路由管理的集中化和扁平化，全网采用单一自治域（ AS）方式进行网路组织。 域内路由协议采用 ISIS， Level-2层路由设置，并启用 IGP（ ISIS）的快速收敛。 路由管理地址和链路地址的路由由 IGP承载；域间路由和 VPN路由由 BGP承载，如 UMG、 SOFT地址等。 HUAWEI TECHNOLOGIES CO., LTD. Page 8 网络总体架构规划 IGP协议规划 BGP（ VPN）规划 网络服务质量保证（ QoS） 高可靠性方案 软交换站点接入方案 目录 HUAWEI TECHNOLOGIES CO., LTD. Page 9 IP地址规划总体原则 1、省级软交换业务采用 /16网段；但限定在 55以内， 55作为预留 2、 Loopback接口地址采用公网地址： -55/32 3、 IP承载网路由器（ CR、 BR、 AR）设备互连地址采用 10.1/16 10.7/16地址段 10.1.1/24 10.1.16/24为 CR地址段， 10.1.24/24 10.1.127/24为 BR地址段， 10.1.128/24 10.7.255/24为 AR地址段 4、地市延伸以后总体上采用 CR、 BR、 AR三级结构，但是除广东的 CR、 BR、 AR完全采用不同设备以外其他许多局点都是 CR兼作 BR或者 BR兼作 AR，在分配地址的时候 CR兼作 BR的路由器按照 CR来分配， BR兼作 AR的路由器按照 BR来分配。 亮点： 角色决定地址，方便网络维护与故障排除 HUAWEI TECHNOLOGIES CO., LTD. Page 10 中国移动 IP专用承载网域内路由协议继续采用 IS-IS， CR、 CR/BR BR、 BR/AR、 RR、 AR等路由器均属于 ISIS Level 2； IP承载网 CR/BR、 CR、 BR、 BR/AR、 RR、 AR的 Loopback地址和内部互连地址由 IS-IS统一承载 ， IS-IS不承载其它路由 。 ISIS采用快速收敛技术 ,端到端收敛时间在 2s以内 NET规划 NET格式为： 区域号 .SystemID.00 区域号 ：为统一的编号，采用国家编码各地电话号码区号的的方式， 如北京地区为： 86.0010 SystemID：根据 Loopback地址设臵 SystemID， 某设备 Loopback地址如下： 0100.2303.4005 最终，该设备 NET值为： 86.0010. 0100.2303.4005.00 ISIS总体规划 HUAWEI TECHNOLOGIES CO., LTD. Page 11 1 遵循流量疏导原则 2 传输距离较短的路径 3 跳数最少的路径 4 尽可能不出现等值路径 5 流量优先从底层穿越 Metric规划原则 HUAWEI TECHNOLOGIES CO., LTD. Page 12 Metric规划 二期网络仍然存在等价路径的情况 地市延伸后 将会增加 AR-BR和 AR-AR的互连链路，二期中的 CR-CR之间 BR-BR之间的 Metric。权重值太小 难以保证地市延伸后 AR端到端不出现等值路径。 类型 代表符号 参考值 不同大区 CR间链路 A 300传输距离 BR到 CR链路 B 5000传输距离 AR到 BR链路 C 300传输距离 同省 BR间链路 D 300-1,n 同城 AR间链路 E 不同省在不同范围内依次递增 不同省不同城 BR间链路接 F 5000+传输距离 同省不同城 AR间链路 E 250传输距离 同大区 CR间链路 A 300+1,n HUAWEI TECHNOLOGIES CO., LTD. Page 13 省市 节点数 AR间 Metric范围 北京 3 1 5 上海 2 6 10 广东 24 11-40 辽宁 13 41 60 陕西 10 61 80 湖北 11 81 100 江苏 13 101-120 四川 20 121 150 黑龙江 12 151 170 吉林 8 171 180 海南 1 181 185 其它省市 - 1 30 AR AR AR AR BR/AR BR/AR CR CR CR CR A1 A1 B1 B1 B2 B2 C1 C1 E1 A1 A2 D E2 (A1,A2)D(E1,E2) 如果 E1=E2,不同地市的不同平面 AR之间互访会出现等值路径 Metric规划（ AR之间 Metric规划） HUAWEI TECHNOLOGIES CO., LTD. Page 14 网络总体架构规划 IGP协议规划 BGP（ VPN）规划 网络服务质量保证（ QoS） 高可靠性方案 软交换站点接入方案 目录 HUAWEI TECHNOLOGIES CO., LTD. Page 15 随着省内延伸工程的建设，中国移动 IP专用承载网中的 PE路由器 将扩展至 600 多台，北京、上海、广州设臵的 3对 VRR路由器在性能上存在一定的可扩展 性风险 根据网络拓扑结构，重新规划路由反射簇（ Route Reflector Cluster），每个 VRR路由器单独为一个路由反射器，采用分区覆盖方式构成 16个 MP-iBGP路由反 射簇，每个省分别归属于直接上联的 CR设备所属的 2个 Cluster中， 16台 VRR之间 构成 Full Mesh MP-iBGP连接。 为保证省内业务稳定，不受省际链路故障的影响，对于非大区省，其本省的 BR 或 BR/AR设备同时作为本省的 VRR，仅与省内的 AR建立 MP-iBGP邻接关系，构成 1 个省 Cluster；即各非大区省的 AR节点既作为骨干 VRR的 Client又作为本省 VRR的Client。 RR部署 HUAWEI TECHNOLOGIES CO., LTD. Page 16 BJAR1 BJAR2 NMAR2 非大区省份（内蒙） NMAR 大区省份（北京） BJCR1 BJCR2 XACR2 BJRR1 BJRR2 XARR2 物理链路 BGP对等体关系 说明： 全网八大区每个大区两台 RR，每台 RR均为独立的Cluster.全网一共16个 Cluster 骨干 RR之间建立 full-mesh邻居关系 RR部署 - 核心 VRR部署 HUAWEI TECHNOLOGIES CO., LTD. Page 17 物理链路 BGP对等体关系 骨干 RR之间建立 full-mesh邻居关系 非大区省份 (内蒙 ) XACR2 NMBR1 NMBR2 NMAR1 NMAR2 BJCR1 BJRR1 XARR2 说明： 为了保证所有 BR-CR上行链路同时发生故障时不影响省内业务，将 BR设备兼做 AR的 VRR反射省内业务 RR部署 - BR兼做省内 VRR部署 HUAWEI TECHNOLOGIES CO., LTD. Page 18 MPLS VPN RD、 RT规划 RD规划： 对于业务系统单归接入的方式 同一个 VPN内不同 PE采用一个 RD 业务系统双归接入到两个 PE时 同一个 VPN中在两个 PE上设臵不同的 RD值 RT规划： 对每个 VPN分配 2个 RT值，第一个等同 RD，第二个为 RD值加 1 ，以满足各种 不同类型 VPN的需求 HUAWEI TECHNOLOGIES CO., LTD. Page 19 RD规划双归组网中 RD相同 如果 VPNv4路由通过 RR进行反射 ,RR会将路由进行优选后再反射给远端 PE,远端 PE在 VRF中只有一条路由 1 回程流量会压到一个 PE设备上，不能形成负载分担 2 下一跳设备出现故障时，路由不能快速切换 VPN-v4 update: RD:24059:200:0/28, Next-hop=PEB-1 VPN-v4 update: RD:24059:200:0/28, Next-hop=PEA-1 P P P P PEA-1 PEB-2 PEB-1 PEA-2 CE1 CE2 VPN-v4 update: RD:24059:200:0/28, Next-hop=PEB-1 VPN-v4 update: RD:24059:200:0/28, Next-hop=PEA-1 (Best) RR 0/28 HUAWEI TECHNOLOGIES CO., LTD. Page 20 网络总体架构规划 IGP协议规划 BGP（ VPN）规划 网络服务质量保证（ QoS） 高可靠性方案 软交换站点接入方案 目录 HUAWEI TECHNOLOGIES CO., LTD. Page 21 QoS体系结构 Classification & Marking Traffic Policing & Traffic Shapping Congestion Management Congestion Avoidance HUAWEI TECHNOLOGIES CO., LTD. Page 22 QoS总体设计方案 网络设计 根据话务流量模型规划中继链路容量，尽量避免网络拥塞（轻载） 为核心链路设计可预知的备份路径 Diff-serv/E-LSP技术 网络边缘流量控制技术（ CAR/Shaping），降低骨干链路拥塞的概率 基于网络边缘业务接入的标识（ DSCP），进行队列调度 在 MPLS域，将 DSCP映射到 EXP,基于 EXP进行队列调度，采用 E-LSP方案 在 CR设备上，将 LDP EXP映射到 RSVP-TE的 EXP. HUAWEI TECHNOLOGIES CO., LTD. Page 23 IP承载网带宽使用策略 端口带宽 语音 NC 信令 网管 其它 网络按照 NC业务和语音信令业务总和规划带宽 NC和信令业务严格优先保证，不限制带宽使用上限 语音业务可以抢占带宽，但是不超过其上限，其带宽可供其它业务使用 网管和七号信令检测等其它业务在剩余带宽中按照权重比进行分配 其它业务尽力转发 HUAWEI TECHNOLOGIES CO., LTD. Page 24 IP承载网 QoS设计方案 Class Name PHB DSCP EXP CIR (%) PIR (%) Queue Policing&Shaping 媒体流 EF 101110 101 10 90 PQ 路由协议 CS6 110000 110 5 100 PQ 信令流 CS6 110000 110 5 100 PQ 软交换网管 AF21 010001 010 10 100 WFQ 七号信令监测 AF21 010001 010 10 100 WFQ CAR 数据业务监测 AF21 010001 010 10 100 WFQ CAR HUAWEI TECHNOLOGIES CO., LTD. Page 25 Classification & Marking acl number 3000 rule 5 permit ip source 27 acl number 3001 rule 5 permit ip source 55 acl number 3002 rule 5 permit ip source 55 # traffic classifier 3001 operator or if-match acl 3001 traffic classifier 3002 operator or if-match acl 3002 traffic classifier 3000 operator or if-match acl 3000 traffic behavior 3001 remark dscp cs6 traffic behavior 3002 remark dscp ef traffic behavior 3000 remark dscp af21 traffic policy Ctrl # traffic policy Ctrl classifier 3001 behavior 3001 traffic policy Carry classifier 3002 behavior 3002 traffic policy Manager classifier 3000 behavior 3000 # interface Ethernet2/1/0 traffic-policy Ctrl inbound ACL Traffic Classifier Traffic Behavior Traffic Policy Interface HUAWEI TECHNOLOGIES CO., LTD. Page 26 网络总体架构规划 IGP协议规划 BGP（ VPN）规划 网络服务质量保证（ QoS） 高可靠性方案 软交换站点接入方案 目录 HUAWEI TECHNOLOGIES CO., LTD. Page 27 中国移动 IP承载网高可靠性技术 快速检测 : PoS告警 BFD 快速切换： MPLS TE FRR IP FRR 快速收敛： ISIS FC HUAWEI TECHNOLOGIES CO., LTD. Page 28 PoS告警敏感快速检测 PoS链路故障 没有配臵 PoS告警敏感的情况下无法快速感知 需要等待 PPP Keepalive超时 告警信号： Lais Lrdi Pais等 告警信号： Lais Lrdi Pais等 配置 PoS告警敏感的情况下一旦 收到告警信号快速将端口置为 Down 告警信号： Lais Lrdi Pais等 告警信号： Lais Lrdi Pais等 HUAWEI TECHNOLOGIES CO., LTD. Page 29 BFD快速 Hello BFD（ BiDirection Forwarding Detect： draft-ietf-bfd-v4v6-1hop-02.txt ） 每个报文不超过 100Byte，对带宽的占用低于100Byte 100/s 8bit/Byte=80000bit/s=80Kbps 报文发送靠接口板上的 NP进行处理，无需主控板 CPU参与，对系统性能无影响 单跳 BFD通常与 IGP以及 IP FRR联动，多跳 BFD通常与 BGP以及 VPN FRR联动 BFD Hello 报文 单跳 BFD 多跳 BFD 以 ms级时间 间隔发送 BFD Hello 报文 传输 /交换网 以 ms级时间 间隔发送 移动 IP承载网端局接入采用了 BFD技术 HUAWEI TECHNOLOGIES CO., LTD. Page 30 IP FRR 目标网络 最优路径 次优路径 FRR路径 正常情况下，数据包走最优路径 当最优路径故障，入口路由器一旦感知到故障（可以通过 PoS告警以及 BFD等技术进行快速检测），立即把数据包通过预先设臵好的 FRR路径转发 与此同时，路由会进行重新收敛，转发表项更新， FRR使命结束，数据包通过收敛后的路径进行转发 移动 IP承载网端局接入采用了 IP FRR技术 HUAWEI TECHNOLOGIES CO., LTD. Page 31 TE路径建立严格显式路径 所谓的严格显式路径，就是下一跳与前一跳直接相连。 通过严格显式路径，可以最精确地控制 LSP所经过的路径。 AAFFEEDDCCBBI n g r e s sI n g r e s sL S RL S RE g r e s s E g r e s s L S RL S RB s t r i c t ；B s t r i c t ；C s t r i c t ；C s t r i c t ；E s t r i c t ；E s t r i c t ；D s t r i c t ；D s t r i c t ；F s t r i c t ；F s t r i c t ；E R OE R OS t r i c tS t r i c t主路径： explicit-path to_gzcr1_main next hop 1 Bypass路径： explicit-path to_gzcr1_bypass next hop next hop next hop 7 HUAWEI TECHNOLOGIES CO., LTD. Page 32 MPLS TE报文转发组件 MPLS TE报文转发组件是基于标签的，通过标签沿着预先建立的 LSP进行报文转发。 如何把流量引入到 MPLS TE隧道中： 静态路由（ Static Route） 自动路由（ Auto Route） 转发捷径 （ Shortcut） 转发邻接 （ Forwarding Adjacency） 策略路由（ Policy Route） 中国移动 IP承载网采用了自动路由 (shortcut)的方式。 HUAWEI TECHNOLOGIES CO., LTD. Page 33 MPLS TE FRR（ Short Cut ） IP/MPLS CORE P PE PE PE PE P P P MPLS TE DOMAIN Link Protection 主用路径 次优路径 主用 TE 备用 TE 临时路径 TE隧道发起端采用 IGP Shortcut方式， 只有 TE发起端能够感知和使用 TE隧 道， TE的 Metric小于物理链路 Metric 如果主用路径故障，首先通过 TE FRR切换到备用 TE（ 50ms级别， p路由器不 需收敛），保证 IGP收敛过程中流量不中断，等待 AR路由器端到端收敛到次优 路径 HUAWEI TECHNOLOGIES CO., LTD. Page 34 MPLS TE FRR（ Forwarding Adjacency ） IP/MPLS CORE P PE PE PE PE P P P MPLS TE DOMAIN MGW MGW Link Protection 主用路径 次优路径 主用 TE 备用 TE TE隧道发起端采用 Forwarding Adjacency方式 ，将 TE作为逻辑链路引入了 IGP，网 络所有节点感知， TE的 Metric小于物理链路 主用 TE故障情况下，流量切换到备用 TE（ 50ms）， PE路由器 IGP不再收敛。 HUAWEI TECHNOLOGIES CO., LTD. Page 35 IGP快速收敛 iSPF： 增量 SPF计算。除第一次计算时需要计算全部节点外，每次链路的变化只计算受到影响的部分并能保证最短路径树（ SPT）的完整。 RTARTB RTCRTD RTE RTFRTHPRC：部分路由计算，常常与 iSPF结合在一起工作，如经过 iSPF计算后 SPT发生了 改变，此时由 PRC来更新变化的节点上的所有叶子即可。路由器代表节点 路由器宣告的路由代表叶子 HUAWEI TECHNOLOGIES CO., LTD. Page 36 链路捆绑负载分担（ IP-Trunk/Eth-Trunk） 优点： 通过设臵门限，可以保证在捆绑的链路总带宽小于门限时将 IP-Trunk(Eth-Trunk)接口 Down掉，流量收敛到其他链路。避免了带宽不足时流量依然拥挤到这条链路上。 节省 IP地址。 可以很灵活的进行带宽的按需扩展。 业务流 业务流 业务流 业务流 链路捆绑 PoS IP-Trunk Eth Eth-Trunk HUAWEI TECHNOLOGIES CO., LTD. Page 37 网络总体架构规划 IGP协议规划 BGP（ VPN）规划 网络服务质量保证（ QoS） 高可靠性方案 软交换站点接入方案 目录 HUAWEI TECHNOLOGIES CO., LTD. Page 38 中国移动 IP承载网端局接入整体结构图 UMG softswitch UMG Full-Mesh MP-IBGP ISIS Domain RSVP-TE MP-IBGP MP-IBGP VPN RR LDP Over RSVP-TE LDP LDP 主 Tunnel TE FRR Shortcut OSPF Level 2 VRRP VRRP OSPF UMG OSPF softswitch VRRP MCE OSPF VRRP 信令 媒体 T局接入方式一： 媒体：主备 信令：主备 BFD BFD IP FRR 端局接入方式 媒体：负载分担 信令： SCTP多归属 T局接入方式二： 媒体：主备 信令：主备 HUAWEI TECHNOLOGIES CO., LTD. Page 39 UMG1 CR1 CR2 S3526-1 S3526-2 SS1 AR1 UMG2 S3526-1 S3526-2 2631E SS2 AR2 2631E 3526C 3526C Media SG NMS VRRP主 VRRP备 VRRP主 VRRP备 T局接入方式一拓扑 (除海口、银川、西宁、拉萨外的所有局点 ) HUAWEI TECHNOLOGIES CO., LTD. Page 40 UMG CR1 CR2 S3526-1 S3526-2 2631E 3526C AR1 AR2 Media SG NMS VRRP主 VRRP备 VRRP主 VRRP备 T局接入方式二拓扑 (海口、银川、西宁、拉萨四局点 ) HUAWEI TECHNOLOGIES CO., LTD. Page 41 媒体模 块 端局接入拓扑 MGW/SS AR PE1 AR PE2 IGP/MPLS CE-1 CE2 多实例 OSPF 多实例 OSPF GE GE POS GE Backbone 多实例 OSPF 信令模 块 信令工作在 SCTP模式下 媒体流工作在负载分担模式 CE与 PE之间运行 OSPF多实例 一条物理连接，通过两个子接口区 分媒体和信令业务，分别绑定到媒 体和信令 VPN实例中 媒体 信令 HUAWEI TECHNOLOGIES CO., LTD. Page 42 端局接入参数规范（部分） 参数项 最终取定值 备注 Cost值 参考带宽 10G Cost=10G/链路带宽 Hello间隔 1s PE CE必须一致 Holddown 4s PE CE必须一致 VPN路由策略