城域网组网方案

1、深圳市 IP 城域网 组网技术方案 深圳电信局新技术开发中心 2002 年 3 月 目目 录录 一、设计原则一、设计原则 .3 二、设备用途说明和命名规则二、设备用途说明和命名规则 .6 2.1 SITE代码.6 2.2 设备命名规则.6 2.3 设备用途描述.7 三、网络架构三、网络架构 .11 3.1 核心骨干模块 (BACKBONE).11 3.2 INTERNET(163/169)连接点模块 .13 3.3 IP VPN 服务模块.14 3.4 商业 INTERNET接入模块.18 3.5 小区 INTERNET接入模块.20 3.6 政府上网接入模块.22 3.7 主机托管模块.23

2、 四、设备互连四、设备互连 .25 4.1 远程连接.25 4.2 本地连接.25 4.3 设备插槽分配策略.26 4.4 VLAN 编号和用途说明.26 五、五、IP 地址地址 .29 5.1 IP 地址模式 .29 5.2 域内路由协议(IGP).29 5.3 IP 地址分配 .29 5.4 IP 子网规划 .30 六、和六、和 163/169 的连接的连接.33 6.1 缺省路由.33 6.2 EBGP 出口路由设计.34 6.3 在多出口上实现流量均衡.34 七、七、MPLS VPN PE-CE 的连接的连接.36 八、八、VPN 的的 INTERNET 接入接入.38 8.1 VPN

3、 INTERNET 网关.38 8.2 VPDN FOR VPN.40 九、九、NMS 网段网段 .42 十、安全控制十、安全控制 .45 十一、十一、QOS.48 11.1 可选择的工具.48 11.2 实现的模型.49 附件一：附件一：IPIP 地址分配计划表地址分配计划表 .53 附件二：小区附件二：小区 INTERNET 接入方案接入方案 .58 1、SSO（SERVICE-SIGN-ON）系统 .58 2REDBACK SMS 宽带接入服务器.62 3两种方式的比较。.63 附件三：图表附件三：图表 .65 一、一、设计原则设计原则 随着深圳电信的互联网业务的快速发展，可以预测的用户

4、需求在几年内将成几何级数 增长，同时，随着中国加入 WTO 的时间表的逼近，来自各个方面的竞争压力不断增加。但 是，目前深圳电信的互联网基础设施还不够发达，不足以迅速占领市场的制高点，在未来 的竞争中立于不败之地。 因此，深圳电信局决定建设一个先进的、灵活的、可靠的、基于标准的城市骨干通信 平台，使得深圳电信能够基于这个平台，针对市场上 IP 用户的大量宽带多媒体应用的需求， 迅速推出一系列崭新的宽带多媒体业务，从而吸引更多的用户，增加市场竞争力，实现网 络的商用价值，并为今后满足市场新的业务需求而迅速推出新的业务打好基础。 深圳 IP 城域网一期工程的建设目标是将 IP 城域网建成为数据业务

5、的统一骨干平台， 在此平台上为政府、企业、学校提供高速接入，同时提供 VPN 等增值业务。 基于以上的建立目标，深圳 IP 城域网的设计原则为： (1)可靠性原则； (2)可扩充性原则； (3)简单和易于管理的原则； (4)可以集中管理的原则； (5)效率高； (6)和现有网络有较好的集成； (7)安全性； 网络可靠性通过下述的设计思路来达到： -在网络核心层进行 Partial meshed 冗余物理连接； -接入层设备通过 Dual homing 双连接到核心层； -网络采用多出口设计到 Internete(163/169)； -在接入层采用 Route summarization 减少边

6、缘链路波动对核心的影响； -合理采用静态路由，提高可靠性； 网络可扩充性通过下述的设计思路来达到： -网络采用明显的“核心分布”层次结构； -简单而有效的 IP 地址分配策略； -采用可靠和可扩展的 IGP 路由协议； 简单和易于维护性通过下述设计思路来达到： -所有的网络设备被分配专门的用途； -避免复杂的配置； -网络设备命名直观而易记； -统一的 slot、port、VLAN 的分配策略； -每台设备都配有 loopback 地址，易于维护； 集中管理通过下述设计思路来达到： -为中央网络管理系统配有专门的管理网段； -从中央网管网段可以到达所有设备； -VPN PE-CE 连接从 NM

7、S 网段同样可以到达； -为所有互连网段包括 VPN PE-CE 连接都采用合法 IP 地址； 运行的高效性通过下述设计思路来达到： -核心层互连链路采用相同接口类型和相同速率，便于作负载平衡； -城域网内部采用缺省路由配合 IGP metric 作出口选择； -和 Internet 的多连接上采用 BGP MED 特性进行负载分担； 和现有网络的集成通过下述设计思路来达到： -采用开放的、标准的路由协议将城域网分为多个路由区域，现有网络 可以通过单独的域连接上来； -和 Internet(163/169)的 BGP 连接通过保留的 AS 号，这样不会影响 广东省和中国电信 163/169 网

8、络出国的 BGP 路由； 安全性通过下述设计思路来达到： -对所有重要事件进行 log； -限制对设备的 SNMP 和 TELNET； -采用 NTP 协议对全网的设备进行同步； -对不安全的端口上将路由协议进行 Passive，防止不必要的路由泄露； -对网络设备的 User 和 Privilege 状态进行存取控制； 网络总体结构如图所示：网络总体结构如图所示： 黄黄木木岗岗 一 一一 一一 一一 一I IP P一 一一 一一 一一 一一 一一 一一 一一 一一 一一 一 枢枢纽纽 新新安安 蛇蛇口口 龙龙中中 沙沙头头角角 电电信信 南南山山 龙龙脉脉 骨骨干干层层 西乡中学 西乡小学

9、宝安中学 宝安教育局 福田中学、实验学校 教育学院、电子技校 外语学院 POS 2.5G GE 1000M FE 100M 网网管管 GSR12012 7507/7513 Catalyst6509 Catalyst2924 福田区教 育局等 盐田区教 育局等 信息化小 区 信息化小区、 企业上网 信息化小区 企业上网 信息化小区 龙岗区教 育局等 广电大学 深圳小学 教育局等 信息化小区、 企业上网 深圳中学 深圳大学 南山区教 育局等 信息化小 区 企业上网 主机托管 主机托管 机关专用局 VPN网管 CE router Cisco 3620 二、二、设备用途说明和命名规则设备用途说明和命名

10、规则 2.1 Site 代码代码 SiteSiteSiteSite CodeCode 枢纽 SN 黄木岗 HMG 电信 DX 南山 NS 新安 XA 龙中 LZ 沙头角 STJ 东港中心 DG 新南头 XNT 机关专用局 JG 蛇口 SK 鸿波 HB 龙脉 LM Site 代码是地点名的拼音缩写而成。前 11 个 site 是本期工程所要安装设备的点，后 2 个 site 不涉及设备安装。 2.2 设备命名规则设备命名规则 MAN Site Code Equipment Type Unique Id e.g. A 1st 12012; B-2nd 12012 M-HMG-12012-A 解释:

11、 (1)设备类型为 “6509” 代表 Catalyst 6509 switch 的 LAN switch 部分； (2)设备类型为 “6509R#” 代表 Catalyst 6509 switch 的 routing 部分： 6509R1 代表安装在 6509 的 primary supervisory card 上的 MSFC feature card； 6509R2 代表安装在 6509 的 Redundant supervisory card 上的 MSFC feature card。 。 2.3 设备用途描述设备用途描述 SiteSite DeviceDevice ModelMode

12、lDeviceDevice NameNameUsageUsage 枢纽楼 GSR12012M-SN-12012-AMPLS core router 7507M-SN-7507-AMPLS PE router 3620M-SN-3620-AVPN Management CE router 2924M-XLM-SN-2924-AVPN GE Fan outaccess concentrator 2924M-XLM-SN-2924-BCommercial Internet access concentratorVPN GE Fan out 6509-MSFCM-SN-6509R1-AInter-VL

13、AN routing 6509-MSFCM-SN-6509R2-AInter-VLAN routing 6509M-SN-6509-ACommunity Internet access concentratorLocal server hosting 黄木岗 GSR12012M-HMG-12012-AMPLS core router 7513M-HMG-7513-AMPLS PE router 2924M-XLM-HMG-2924-AVPN access concentratorGE Fan out 2924M-XLM-HMG-2924-BCommercial Internet access

14、concentratorVPN FE Fan out 6509-MSFCM-HMG-6509R1-AInter-VLAN routing 6509-MSFCM-HMG-6509R2-AInter-VLAN routing 6509M-HMG-6509-ACommunity Internet access concentratorLocal server hosting 电信 GSR12012M-DX-12012-AMPLS core router 7507M-DX-7507-AMPLS PE router 2924M-XLM-DX-2924-AVPN access concentratorVP

15、N GE Fan out 2924M-XLM-DX-2924-BCommercial Internet access concentratorVPN FE Fan out 6509-MSFCM-DX-6509R1-AInter-VLAN routing 6509-MSFCM-DX-6509R2-AInter-VLAN routing 6509M-DX-6509-ACommunity Internet access concentratorLocal server hosting 6509-MSFCM-DX-6509R1-BInter-VLAN routing 6509-MSFCM-DX-650

16、9R2-BInter-VLAN routing 6509M-DX-6509-BReserved for 163 server hosting in DXLocal server hosting 东港中心 6509-MSFCM-DG-6509R1-AInter-VLAN routing 6509-MSFCM-DG-6509R2-AInter-VLAN routing 6509M-DG-6509-ASRemote server hosting 6509-MSFCM-DG-6509R1-BInter-VLAN routing 6509-MSFCM-DG-6509R2-BInter-VLAN rout

17、ing 6509M-DG-6509-BServer hosting 南山 GSR12012M-NS-12012-AMPLS core router 7507M-NS-7507-AMPLS PE router 2924M-XLM-NS-2924-AVPN access concentrator 2924M-XLM-NS-2924-BCommercial Internet access concentrator 6509-MSFCM-NS-6509R1-AInter-VLAN routing 6509-MSFCM-NS-6509R2-AInter-VLAN routing 6509M-NS-650

18、9-ACommunity Internet access concentrator 新南头 6509-MSFCM-XNT-6509R1-AInter-VLAN routing 6509-MSFCM-XNT-6509R2-AInter-VLAN routing 6509M-XNT-6509-AServer hosting 6509-MSFCM-XNT-6509R1-BInter-VLAN routing 6509-MSFCM-XNT-6509R2-BInter-VLAN routing 6509M-XNT-6509-BServer hosting 新安 GSR12012M-XA-12012-AM

19、PLS core router 7507M-XA-7507-AMPLS PE router 2924M-XLM-XA-2924-AVPN access concentrator 2924M-XLM-XA-2924-BCommercial Internet access concentrator 龙中 GSR12012M-LZ-12012-AMPLS core router 7507M-LZ-7507-AMPLS PE router 2924M-XLM-LZ-2924-AVPN access concentrator 沙头角 GSR12012M-STJ-12012-AMPLS core rout

20、er 7507M-STJ-7507-AMPLS PE router 2924M-XLM-STJ-2924-AVPN access concentrator 2924M-XLM-STJ-2924-BCommercial Internet access concentrator 蛇口 7507M-SK-7507-AMPLS PE router 2924M-XLM-SK-2924-ACommercial Internet access concentrator 机关专用局 6509-MSFCM-JG-6509R1-AInter-VLAN routing 6509-MSFCM-JG-6509R2-AI

21、nter-VLAN routing 6509M-JG-6509-AGovernment agency Internet access concentrator 设备用途说明：设备用途说明： (1)MPLS Core Router 设备用作 MPLS 核心 Label 交换路由器； 不直接连接任何用户； 所有核心层路由器之间、核心路由器和 PE 路由器之间的连接必须 MPLS Enabled； 核心路由器只能运行独一的 IGP 路由协议； (2)MPLS PE Router 设备用作 MPLS provider edge router（PE） ； 所有 VPN 用户端的连接终结在 PE 上； 同

22、时，PE 路由器作为 Internet 分布层接入路由器； PE 在 IGP 上作为 ABR，进行路由聚合； (3)VPN Access Concentrator 设备用于 VPN 扇出，上联链路为 PE 路由器 GE VLAN Trunk； 每一个 FE 交换端口属于一个单独的 VLAN； 每个 FE 交换端口和用户设备通过 FE-to-Fiber 单模光纤转换器连接； 注：该转换连接不属本次工程范畴 (4)Commercial Internet Access Concentrator 设备用于商业用户的高速 Internet 接入； 每一个 FE 交换端口属于一个单独的 VLAN； 每个

23、FE 交换端口和用户设备通过 FE-to-Fiber 单模光纤转换器连接； 注：该转换连接不属本次工程范畴 (5)Inter-VLAN Routing 设备用作 Inter-VLAN 路由，这些 VLAN 是通过 Switch 建立起来的； 同时，该设备还用于 Internet 接入路由器； 设备在 IGP 中作为 ABR，进行路由聚合； (6)Community Internet Access Concentrator 设备用于小区用户高速 Internet 接入； Supervisory Engine 上的 GE 端口通过多模光纤连接到本地的 MPLS core 路由 器上； VLANA1

24、 作用于 Inter-VLAN 路由器（MFSC）作为管理网段； VLAN 通过 FE-to-Fiber 单模光纤转换器和小区的用户设备相连； 注：该转换连接不属本次工程范畴 (7)Server Hosting 设备（LAN 交换机）用于连接各种主机托管服务器； Supervisory Engine 上的 GE 端口通过单模光纤连接到远程的 MPLS core 路由 器上； VLNA1 作于 Inter-VLAN 路由器（MFSC）作为管理网段； (8)VLAN Management CE Router 设备作为一个 CE 路由器，连接中央网管网段，通过 VPN 连接到所有的用户 VPN 上，

25、以便于中央网管对所有 PECE 链路和 CE 路由器进行管理； 一个 FE 端口连接到本地 PE 上网管专用 FE 端口，另一个 FE 端口连接到 Local Server Hosting 以太网交换机上，通过网管专用网段和网管主机相连接； (9)Government Internet Access Concentrator 设备用作政府机构上网的接入集中器，提供高速 Internet 连接； 6509 上的 supervisory engine 的 GE 口通过单模光纤连接到最近的 MPLS Core Router； VLANA1 作用于 Inter-VLAN 路由器（MFSC）作为管理网段

26、； VLAN 通过 FE-to-Fiber 单模光纤转换器和小区的用户设备相连； 注：该转换连接不属本次工程范畴 三、网络架构三、网络架构 深圳 IP 城域网在网络结构上分成核心层和接入层，在功能上提供 VPN 互连、高速商业 Internet 接入、高速小区 Internet 接入、政府上网接入、主机托管连接等多种服务类别。 因此，为了在一种清晰的结构上进行网络设计，对网络进行功能模块的划分，将深圳 IP 城 域网分为以下几个模块： 核心骨干模块 Internet(163/169)连接点模块 IP VPN 服务模块 商业 Internet 接入模块 小区 Internet 接入模块 政府上网

27、接入模块 主机托管模块 3.1 核心骨干模块核心骨干模块 (backbone) 1 1、结构、结构 的城域网的核心骨干模块由分布在 7 个不同地点的 7 台 Cisco GSR12012 路由器构成， 分别是： Backbone Module IP-VPN Service Module Commercial Internet Access Service Module Community Internet Access Service Module Government Internet Access Service Module Server Hosting Service Module I

28、nternet Peering Module Network Management Module M-SN-12012-A枢纽的 GSR12012 M-HMG-12012-A黄木岗的 GSR12012 M-DX-12012-A电信的 GSR12012 M-NS-12012-A南山的 GSR12012 M-XA-12012-A新安的 GSR12012 M-LZ-12012-A龙中的 GSR12012 M-STJ-12012-A沙头角的 GSR12012 这 7 台 GSR12012 通过 POS 接口卡单模光纤以 partial meshed 结构互连；为了确保核 心骨干模块的 MPLS 标签分

29、配和路由表的稳定，这 7 台 GSR12012 及它们之间互相连接的 Link 必须独立地分配在 IGP 的 area 0 域中。从其它模块学到的路由在进入 Core 之前必须 先进行 Aggregate 或 Summarize，以免造成对 Core 的路由影响。 2 2、实现、实现 作为 IP 城域网的核心，要承载包括 IPv4 和 MPLS VPN 两种不同的 traffic，所以，每 台 Core Router 必须是能够支持 Tag Switching。在这种配置下，MPLS VPN 的 traffic 被 Tag Switched，而普通 IPv4 的 traffic 被 route

30、d。 下面是一台 Core router 的 Sample configuration: Tag-switching advertise-tags interface pos 2/0 description “SM01 fiber link to M-XA-12012-A pos 2/0” ip address 123.123.1.1 255.255.255.252 tag switching ip Core Area Service Modules Service Modules Service Modules Aggregated or Summary Routes Only DX LZH

31、MGXA NS SN STJ 为了减少 Tag Switch 的目标 lable，可以采取 access list 的方法来限制标签的分配。 配置如下： Tag-switching advertise-tags for 1 Access-list 1 permit 123.123.1.230 / loopback 0 address of M-SN-7507-A Access-list 1 permit 123.123.1.231 / loopback 0 address of M-HMG-7513-A Access-list 1 permit 123.123.1.232 / loopback

32、 0 address of M-DX-7507-A Access-list 1 permit 123.123.1.233 / loopback 0 address of M-NS-7507-A Access-list 1 permit 123.123.1.234/ loopback 0 address of M-XA-7507-A Access-list 1 permit 123.123.1.235/ loopback 0 address of M-LZ-7507-A Access-list 1 permit 123.123.1.236/ loopback 0 address of M-STJ

33、-7507-A 在上面的配置下，Tag Switching 在限于目标地址是 MultiProtocol BGP neighbor 的 Core Router 的 loopback 地址，大大减轻了 Core Router 在 Lable 分配上的开销。 其它 traffic 进行普通路由。 3.2 Internet(163/169)连接点模块连接点模块 1 1、结构、结构 在本期 IP 城域网工程中，黄木岗和电信的两台 Core Router：M-HMG-12012-A 和 M- DX-12012-A 作为和 163/169 连接的边界路由器。 其中，黄木岗 M-HMG-12012-A 通过

34、一条 OC-48 链路连接到 163；电信 M-DX-12012-A 通 过一条 GE 链路连接到 163。 Core Area 163 Backbone DX LZ HMG XA NS SN STJ 在广东省 163 扩容工程结束后，这种连接将改变。到那时，2 台新加入的 GSR 路由器 M-SN-12012-B 和 M-NS-12012-B 将代替本期工程中的 2 台边界路由器作为新的 163 出口路由 器。边界路由功能随之而转移到新的 GSR 路由器上。 在第六章中将详细讲述和 163 边界路由器的路由策略，包括如何在多出口点之间进行 Inbound traffic 和 Outbound

35、 traffic 的 load balance，以及如何保证路由对称性的问题。 2 2、实现、实现 深圳 IP 城域网和 163 网之间运行 BGP 路由协议，下面是 M-HMG-12012-A 的 Sample Configuration： router bgp 65001 no synchronization network 123.123.0.0 mask 255.255.224.0 neighbor 123.123.1.46 remote-as 123 neighbor 123.123.1.46 description “2.5 Gbps links to HB 163 Backbon

36、e” neighbor 123.123.1.46 version 4 neighbor 123.123.1.46 filter-list 1 in neighbor 123.123.1.46 filter-list 10 out ip as-path access-list 1 deny * ip as-path access-list 10 permit $ ip route 123.123.0.0 255.255.224.0 null 0 ip route 0.0.0.0 0.0.0.0 123.123.1.46 城域网的边界路由器不从 163 路由器学习任何 Internet 路由，所有

37、 IP 城域网不知道 的路由都通过缺省路由送至 163 网络。 3.3 IP VPN 服务模块服务模块 1 1、结构、结构 IP VPN 服务模块包括向用户提供 IP-VPN 服务的路由器和交换机，路由器主要是 7507 或 7513，交换机主要是 2924。这些设备包括： Provider Edge (PE) Router (Cisco 7500 series routers): M-SN-7507-A M-HMG-7513-A M-DX-7507-A M-NS-7507-A M-XA-7507-A M-LZ-7507-A M-STJ-7507-A VPN Access Concentrat

38、or (Cisco Catalyst 2924M-XL LAN switches): M-SN-2924-A M-HMG-2924-A M-DX-2924-A M-NS-2924-A M-XA-2924-A M-LZ-2924-A M-STJ-2924-A 所有 VPN Access Concentrator 2924M-XL 都是 100MbaseT 以太网交换机，通过 GE 链 路连接到 7500 系列路由器上。该 GE 链路被定义为 multi-VLAN Trunk。 2924M-XL 上的每个 100M 端口被映射到一个单独的 VLAN 上，7500 路由器上为每个 VLAN 建立一个

39、 sub-interface。 要向用户提供 IP-VPN 服务，需要进行下列步骤： 在 VPN Access Concentrator 2924M-XL 上分配一个 100M 端口； 通过 FE-to-Fiber 单模光纤转换器连接用户端的设备； 将分配到的 100M 端口映射到 VPN Access Concentrator 2924M-XL 的一个 VLAN 上； 在 PE 7500 的 GE 端口上为该 VLAN 建立一个 sub-interface； 将该 sub-interface 联系到一个 VPN 上； 在用户端，用户提供 CE 路由器通过 100M 端口连接到 PE 上。 M

40、-DX-7507-A Router . VLAN 1xxVLAN 109 Logically function as point-to-point links Router at customer site 2 2、实现、实现 A A、VLANVLAN TrunkTrunk Trunk 是交换机之间或交换机和路由器之间的点到点链路，trunk 在整个网络内承载 multi-VLAN 的流量。目前有两种 trunk 封包技术，一种是 Cisco 专用技术 ISL(Inter Switch Link)，另一种是 IEEE 802.1Q，是国际标准。在本次城域网工程中，使用 IEEE 802.1Q

41、作为 inter-VLAN 的 trunk 封包技术。 下面是 2924M-XL 用作 VPN Access Concentrator 的 Sample Configuration： interface gigabitethernet 1/1 switchport mode trunk switchport trunk encapsulation dot1Q 下面是 PE 路由器 7500 的 trunk 端口的 Sample configuration： interface gigabitethernet 8/0/0.103 encapsulation dot1Q 103 ip address 123.123.4.1 255.255.255.252 B B、MPLSMPLS VPNVPN MPLS 采用虚拟路由表的方法来实现一个路由器上多个 VPN 的路由表。每一个 VPN 对应 一个或多个 VRFs(VPN routing/forwarding instance)。VRF 定义连接到 PE 上的 VPN 成员 (一个 si