中国移动IP专用承载网省内延伸一期工程.doc

中国移动中国移动 IPIP 专用承载网省内延伸专用承载网省内延伸 一期工程一期工程 上海分公司总体实施方案及配置规范上海分公司总体实施方案及配置规范 上海贝尔阿尔卡特股份有限公司上海贝尔阿尔卡特股份有限公司 互联网事业部互联网事业部 二零零六年十二月二零零六年十二月 2 55 目目 录录 第一章第一章 概述概述 4 第二章第二章 中国移动中国移动 IPIP 承载网络架构承载网络架构 6 2 1 IP 承载网拓扑现状描述 6 2 2 本次工程各省拓扑模型 7 2 3 上海移动 IP 承载网现状 8 2 4 上海移动本期工程实施后拓扑 11 第三章第三章 承载业务种类和实现方案承载业务种类和实现方案 13 3 1 网络业务组织方式 13 3 2 NGN 业务接入模型 14 3 3 上海移动业务描述 14 3 3 1 电路域核心网 14 3 3 2 分组域核心网 15 3 3 3 自有业务系统 16 3 3 4 业务支撑系统 17 第四章第四章 路由协议设计路由协议设计 19 4 1 IGP 路由设计 19 4 1 1 ISIS 路由扁平化设计 19 4 1 2 ISIS 优化设置 20 4 2 BGP 路由设计 20 4 3 MPLS 三层 VPN 设计 21 4 3 1 自治域部署 21 4 3 2 主备 PE 部署 22 4 3 2 VPN RR 设置 23 4 3 3 PE 与 CE 的协议选择 23 4 3 4 MPLS VPN 部署 24 4 4 MPLS TE 设置 25 第五章第五章 承载网承载网 QOSQOS 部署部署 26 5 1 业务 QOS 要求 26 5 2 7750 QOS实现机制 28 5 3 QOS 部署建议 33 5 4 QOS 实施参数与 MPLS DIFFSERV部署 35 5 4 1 网络口出口 QOS 规划表 36 5 4 2 网络口入口 QOS 规划表 36 第六章第六章 设备配置规范设备配置规范 38 6 1 设备名称命名规范 38 6 2 IP 地址规划 38 6 3 ISIS 配置规范 39 3 55 6 4 路由端口 INTERFACE 命名规范 40 6 5 物理端口 PORT 描述规范 40 6 6 VPN 相关规范 41 第七章第七章 配置实例配置实例 43 7 1 设备初始化配置 43 7 2 端口配置及链路调测 45 7 3 ISIS 路由协议配置 47 7 4 MP IBGP 邻居配置 48 7 5 LDP MPLS 配置 49 7 6 VPN 配置 49 7 7 设备运行状态及业务测试 50 4 55 第一章第一章 概述概述 IP 专用承载网是中国移动下一代能够同时支持语音 视频 数据 企业互联等多 种业务的核心承载平台 IP 专用承载网以创建中国移动的品牌形象 形成可赢利的运 营模式 提升中国移动的企业竞争力和赢利能力为主要目的 中国移动 2004 年开始建设 IP 专网 初期主要作为中国移动 GSM 省间长途话路 2005 年 11 月开始进行二期网络建设 将 IP 专用承载网定位于多业务 IP 承载网 包 括 MSC Server 汇接网 网管支撑系统联网 业务支撑系统联网 企业信息化 系统联网 等业务的接入和承载 并将逐步在其中期发展进程中实现 3G CS PS IMS 和部分可控的集团用户 MPLS VPN 业务的接入和承载 随着业务的顺利开展 中国移动集团公司决定移动 IP 专网骨干网根据 2G 3G 业务 发展需求延伸到 C3 节点 大本地网 各地纷纷展开了 IP 专用承载网延伸的建设 按照集团公司 关于近期中国移动 IP 专用承载网省内延伸网络建设的指导意见 的指导思路 根据业务发展现状及引入策略 IP 专用承载网省内延伸一期工程 以下 简称 一期工程 需考虑以下业务的承载和接入需求 省际软交换汇接网的话音业务 软交换信令 指软交换汇接网 3G CS 核心网以及省内软交换架构端局改造等 项目所涉及的 H 248 BICC 信令等 暂不考虑 HSTP LSTP7 号信令网的 IP 化 承载需求 2G GPRS 核心网 Gn 接口 3G 电路域 CS 核心网 指 3G R4 的 CS 话音 可视电话等业务 3G 分组域 PS 核心网 指 3G R4 PS GGSN SGSN Gn 接口数据业务等 自有业务系统互联等自有业务的承载 如流媒体等 省际及省内地市间内部支撑系统联网 包括业务支撑 网管及企业信息化等 IT 支撑系统 本实施方案结合上海移动本期工程的具体情况 从如下几章内容对此次工程的实 施计划和技术方案进行描述 5 55 1 网络拓扑结构 2 承载业务种类 3 IGP BGP 路由设计 4 VPN 路由设计 5 QOS 队列设计 6 设备配置规范 7 工程实施计划 在整个实施方案的制订过程中 我们一直遵循如下原则 充分论证 及时沟通 确保实施方案整体的可靠性 可行性 充分论证 及时沟通 确保实施方案整体的可靠性 可行性 方案制定要有前瞻性 尽量做到对资源的合理分配和预留 方案制定要有前瞻性 尽量做到对资源的合理分配和预留 对承载网的关键业务指标进行全面而科学的测试 确保符合业务发展需要 对承载网的关键业务指标进行全面而科学的测试 确保符合业务发展需要 本方案可依据现场实际情况 进行具体分析讨论后作出相应调整 本方案可依据现场实际情况 进行具体分析讨论后作出相应调整 6 55 第二章第二章 中国移动中国移动 IPIP 承载网络架构承载网络架构 2 12 1 IPIP 承载网拓扑现状描述承载网拓扑现状描述 中国移动 IP 专用承载网目前的拓扑结构如下图所示 北京 沈阳 上海 南京 广州 成都 武汉 西安 CR1 CR1 CR1 CR1 CR1 CR2 CR1 CR1 CR2 CR2 CR2 CR2 CR1 CR2 CR2 CR2 深 圳 沈 阳 长 春 哈 尔 滨 天 津 北京 银 川 呼 和 浩 特 石 家 庄 郑 州 西 宁 济 南 兰 州 拉 萨 武 汉 重 庆 成 都 昆 明 南 宁 贵 阳 海 口 广 州 佛 山 江 门 广 州 济 南 杭 州 上 海 南 京 合 肥 福 州 厦 门 全国网管中心 惠 州 东 莞 核心层为 8 个节点 分别是北京 上海 广州 武汉 南京 沈阳 西安 成都 每个核心节点配置 2 台路由器 CR 在同一节点的 CR1 和 CR2 路由器之间设置直连的 快速倒换链路 并根据实际的传输资源在各个核心节点之间采用不完全网状连接 汇聚 接入层为 67 个节点 除广州 1 2 福建省福州 厦门外 每个汇聚 接 入节点分别配置 2 台汇聚 接入路由器 AR 构成成对配置的汇聚 接入节点 在福建 7 55 省福州 厦门分别配置 1 台汇聚 接入路由器 AR 构成 1 对汇聚节点 在广州 1 2 配置 2 台汇聚路由器 BR 构成 1 对汇聚节点 再在全国网管中心 广州 1 2 广州 3 4 深圳 1 2 分别配置 2 台接入路由器 AR 构成 1 对接入 节点 在东莞 惠州 佛山 江门分别配置 1 台接入路由器 AR 北京 上海 沈阳 南京 武汉 成都 西安 哈尔滨 长春 海口的汇聚 接入 节点对 AR 1 AR 2 以及广州汇聚节点对 BR1 BR2 采用 单归双联 方式接 入上联到所属核心节点对 CR1 CR2 全国网管中心 广州 1 2 广州 3 4 深圳 1 2 佛山 江门 东莞 惠州 采用 单归双联 方式接入上联到所属汇聚 节点对 BR1 BR2 其它汇聚 接入节点对 AR1 AR2 均采用 双归单联 方式接 入上链到 2 个相邻核心节点对 CR1 CR2 此方案网络结构清晰 功能定义合理 汇接层面到核心层面的异地双归属连接极 大的提高了原有的单归双联的可靠性 业务层面和汇接层面的分离 既通过使用专门 的层次保证了业务流量的分类 又通过减少汇接层面 简化了核心层的压力 符合未 来长期发展的需求并适应战略目标定位 中国移动 IP 专用承载网以八大节点为核心 覆盖全网 37 个城市共 67 个节点 未 来将承载语音媒体流 3G 业务和 MPLS VPN 业务流 从网络层次 节点数量 业务拓 展 运营安全和维护管理等各方面综合考虑 中国移动 IP 专用承载网使用统一的自治 域号码 2 22 2 本次工程各省拓扑模型本次工程各省拓扑模型 中国移动 IP 专网承载网省内延伸一期工程典型拓扑结构如后下图所示 8 55 在图中 有五种典型的拓扑结构 其中模式 1 和模式 2 是针对非核心节点所在省 模式 3 模式 4 模式 5 是针对核心节点所在省 模式 1 非核心节点所在省 有多个汇聚点 模式 2 非核心节点所在省 只有一个汇聚点 模式 3 核心节点所在省 CR 兼做 BR 没有单独的汇聚层 模式 4 核心节点所在省 有 CR 兼做 BR 的情况 有单独 BR 的情况 也有 BR AR 合设的情况 并且 BR AR 与其他大区的核心设备 非本地核心设备 相 联 模式 5 核心节点所在省 CR 兼做 BR 同时有 BR AR 合设的情况 所有流量 均经过本省所在的核心设备 上海移动省内上海移动省内 IPIP 承载网属上述模型承载网属上述模型 3 3 2 32 3 上海移动上海移动 IPIP 承载网现状承载网现状 上海移动 IP 专网承载网现网拓扑结构如后下图所示 9 55 中国移动 IP 专用承载网二期在上海设置两个节点 上海 1 节点 浦东十层数据 机房 上海 2 节点 钦州四层交换机房 其路由器系统采用层次化配置方式 即 两个节点分别配置 1 台核心路由器 NE5000E CR1 CR2 和 1 台接入路由器 NE80 AR1 AR2 并分别配置 1 台 VPN 路由 反射器 NE40 VRR 和 1 台 带外 应急网管路由器 其中 上海 1 上海 2 节点核心路由器 CR 和接入路由器 AR 之间通过 单 归 的方式实现本地互联 并在彼此核心路由器 CR1 CR2 和接入路由器 AR1 AR2 之间分别设置高速互联链路 上海 1 上海 2 节点 VPN 路由反射器 VRR 通过 单归 方式接入到本地核心路 由器 CR 上海 1 上海 2 节点 带外 应急网管路由器通过 Console 电缆直连至本机房各 受管设备主控卡 并在 带外 应急网管路由器 AR4640 每台 AR4640 的配置为 1 块 4 端口 E1 模块 1 块 16 端口异步串口接口模块 上海 1 上海 2 节点核心路由器 CR1 CR2 通过高速中继链路实现与中国移动 IP 专用承载网其它核心节点及接入节点的互联 其接入路由器 AR1 AR2 实现本地 10 55 软交换汇接网 等业务 应用系统的接入 其中 上海 2 节点原有路由器设备 NE80 目前安装在钦州机房三层数据机房 为更 有利于软交换系统及新增路由器设备的接入 将 NE80 搬迁至钦州机房四层交换机房 与新增软交换及路由器设备同机房安装 在上海 1 上海 2 节点各新增 1 台 NE40 4 作为 MPLS VPN 的路由反射器 RR 各新 增 1 台 AR4640 作为带外应急网管路由器 每台 AR4640 的配置为 1 块 4 端口 E1 模块 1 块 16 端口异步串口接口模块 表 2 3 1 上海移动现网路由器设备配置表 端口配置类型及数量 地点设备类型 POS STM 16 SM POS STM 1 SM GE SM GE MM FEE1 CR1 NE5000E 81 AR1 NE80 62425328 VRR1 NE40 4 1 上海 1 节 点 浦东 10 层数 据机房 带外应急网管路 由器 1 AR4640 4 CR2 NE5000E 81 AR2 NE80 6242632 8 VRR2 NE40 4 1 上海 2 节 点 钦州 4 层交换机 房 带外应急网管路 由器 2 AR4640 4 11 55 2 42 4 上海移动本期工程实施后拓扑上海移动本期工程实施后拓扑 本期共新增 4 台阿尔卡特路由器 7750 SR 12 分别放置在 4 个局点作为 PE 每台 PE 至不同局点的 CR PE 和思科 6509 交换机使用 10G POS 口相连 至同局点的 CR PE 和思科 6509 交换机使用 10GGE 口相连 同局设备采用直连方式 不同局点的设备通过 传输链路相连 到 ODF 架的接口为 FC PC 圆头 思科 6509 交换机接口为 SC 大方头 华为 CR 路由器接口为 LC 小方头 电源线采用 16mm2 除浦东外其他局点均为上走线 各局点设备互连情况如下 浦东 民生路 丁香路交界处 至思科 6509 交换机长度为 5m 至华为 CR 路由器长度为 10m 至 ODF 架长度为 25m 2 电源线为 4 15m 金桥 金桥路 栖山路交界处 至思科 6509 交换机长度为 5m 至 ODF 架长度为 15m 3 12 55 电源线为 4 10m 万荣 至思科 6509 交换机长度为 5m 至 ODF 架长度为 45m 3 电源线为 4 11m 钦州 至思科 6509 交换机长度为 5m 至华为 CR 路由器长度为 10m 至 ODF 架长度为 15m 2 电源线为 4 6m 13 55 第三章第三章 承载业务种类和实现方案承载业务种类和实现方案 3 13 1 网络业务组织方式网络业务组织方式 IP 专用承载网将统一采用 BGP MPLS VPN 作为全网业务 应用的组织方式 随着 3G 网元及应用系统的接入 现网 软交换汇接网话音 软交换汇接网信令 软交 换汇接网网管 7 号信令监测 和 数据信令监测 等多组 VPN 的基础上 将逐步 增加 3G PS Gn 数据流 中国移动内部支撑系统 VPN 组 并将 3G 网络 CS 信令 端局软交换信令纳入到 软交换汇接网信令 VPN 将 3G 网络 CS 媒体纳入到 软交换 汇接网话音 VPN 14 55 3 23 2 NGNNGN 业务接入模型业务接入模型 中国移动 NGN 业务分为通过 CE 接入和直接接入两种模型 上海移动 NGN 业务通 过 CE 接入 3 33 3 上海移动业务描述上海移动业务描述 3 3 13 3 1 电路域核心网电路域核心网 电路域核心设备的接入需求包括汇接软交换和 MGW 2G 端局软交换 MSC Server 和 MGW 3G MSC Server 和 MGW 共计 MSC server 28 台 MGW 54 台 一级软交换汇接局以原有方式接入 SH AR1 和 SH AR2 今后将以双归方式就近直 联至同局址两台 L3 交换机 其它各 MSC Server MGW 均应以双归方式就近直联至同局 址两台 L3 交换机 由于业界现有设备厂商对于 MSC Server 的光接口支持度不高 且 中国移动 3G 核心网 MSC Server 设备技术规范中对于光接口的功能要求为可选 综合 15 55 前述业务带宽需求 MSC Server 与 L3 交换机间采用 FE 五类屏蔽双绞线方式进行联接 MGW 采用 GE 光接口光纤直驱方式连入 L3 交换机 3 3 23 3 2 分组域核心网分组域核心网 GPRS 核心网现有 SGSN 16 台 分别位于浦东 8 台 钦州 8 台 GGSN 4 台 位于浦东 2 台 钦州 2 台 依据网络规划 本期工程设中考虑接入 3G SGSN 4 台 分别位于浦东 1 台 钦 州 1 台 金桥 2 台 GGSN 共用现有 GPRS 设备 GPRS 核心网沿用现有内部局域网组网方式 浦东 GPRS 局域网收敛至现有三层交换机 summit 48i 经由局域网防火墙 采用 GE 光接口光纤直驱方式 就近以双归方式连接到浦东两台 L3 交换机 钦州 GPRS 局域网收敛至现有 Cisco 6509 路由器 经由局域网防火墙 采用 GE 光接口光纤直驱方式 就近以双归方式连接到钦州两台 L3 交换机 新建 3G SGSN 均以双归方式就近直联各接入节点的两台 L3 交换机 综合前述业务 带宽需求 SGSN 与 IP 专网接入节点间采用 GE 光接口光纤直驱方式进行联接 具体承载方式如下图所示 分组域核心网承载方式图分组域核心网承载方式图 16 55 3 3 33 3 3 自有业务系统自有业务系统 上海移动自有业务系统包括流媒体业务平台 1 套 DSMP 平台一套 梦网网关 1 个 WAP 网关 2 个 其中 流媒体业务平台和 DSMP 平台位于钦州 梦网网关和 WAP 网关位 于浦东 目前各业务系统承载于 CMNET IP 专用承载网建成后 将逐步通过本地专网承载 以确保业务质量和网络安全 自有业务系统承载示意图自有业务系统承载示意图 根据上图可以看出 PS 域防火墙可以通过分析 IP 数据包目的地地址来决定数据 流向是 CMNET 还是业务平台 如果 IP 数据包目的地址是业务平台 则通过本地 IP 专 网将 IP 数据包转发至 WAP 网关 由 WAP 网关进行后续转发 否则认为业务请求非指向 业务系统 则通过 Gi 接口转发至 CMNET 为实现 PS 业务为用户分配的 IP 地址与各业务平台间的网络互通 在接入 PS 域 设备的接入节点路由器上需要将 GGSN 分配给业务用户的地址段加入 IS IS 路由运算 并向全网广播 在接入业务平台的接入节点路由器上也需要将业务平台的网段加入 IS IS 路由运算 并向全网广播 即 PS 业务用户与本地自有业务平台间的路由建立可 以通过 IS IS 路由协议实现 各业务系统承载于本地 IP 专网后 可实现与 PS 域业务的互通 各业务系统均应 以双归方式就近直联各接入节点的两台路由器 综合前述业务带宽需求 采用 FE 五类 屏蔽双绞线方式进行联接 具体承载方式如下图所示 17 55 自有业务系统承载方式图自有业务系统承载方式图 3 3 43 3 4 业务支撑系统业务支撑系统 上海移动业务支撑系统包括 BOSS 系统一套 经营分析系统一套 网管系统一套 企业信息化系统 OA 一套 目前上海移动业务支撑系统与集团一级支撑系统之间的连接承载于 CMNET 在 IP 专用承载网建成后 将逐步通过专网承载 以确保业务质量和网络安全 BOSS 和经营分析系统通过现有网络组织手段分别汇聚到各自的 1 对 Cisco 3600 路由器 以 FE 五类屏蔽双绞线方式双归接入钦州节点的两台 L3 交换机 网管系统汇聚至 1 台 Cisco 2621 路由器 而后以 FE 五类屏蔽双绞线方式双 归接入浦东节点的两台 L3 交换机 OA 系统通过现有网络组织手段实现汇聚 其中通过隧道连接到集团 OA 的一 台汇聚路由器位于长寿 以 FE 五类屏蔽双绞线 MSTP 方式 双归接入钦州 节点的两台 L3 交换机 需要说明的是 根据业务定位和流量估算结果 考虑到本规划期间上海移动各支 撑系统内部现有网络组织方式能满足业务需求 因此在将来在确有需求时再逐步实现 承载 具体承载方式如下图所示 18 55 图图 4 2 44 2 4业务支撑系统承载方式图业务支撑系统承载方式图 各接入节点所承载的业务汇总如下表所示 各接入节点所承载的业务汇总如下表所示 表 3 3 1 上海移动 IP 专网业务承载汇总表 单位 台 套 业务类型浦东钦州万荣金桥 一级软交换汇接局 MSC Server 11 本地汇接 MSC Server 22 2G MSC Server77 3G MSC Server44 一级软交换汇接局 MGW 11 本地汇接 MGW 431 2G MGW1414 3G MGW448 2G SGSN88 3G SGSN112 2G 3G GGSN22 WAP 网关 2 梦网网关 1 流媒体平台 1 DSMP 平台 1 BOSS 系统 1 经营分析系统 1 网管系统 1 企业信息化 OA 系统 1 19 55 第四章第四章 路由协议路由协议设计设计 4 14 1 IGPIGP 路由设计路由设计 4 1 14 1 1 ISISISIS 路由扁平化设计路由扁平化设计 全网 ISIS 路由采用扁平化结构设计 承载网路由器共同组成 Level2 区域 包含 各 AR BR 以及 CR 路由器 作为 IGP 路由协议 ISIS 路由协议仅承载骨干网路由 不做 业务路由的承载 因此 在 ISIS 路由表中 应只包含有如下路由 CR BR AR 路由器的 Loopback 地址 CR BR AR 间直连链路的 IP 地址 通过采用该方法 承载路由和业务路由严格区分 网管人员可以清晰的通过路由 表 对承载网路由以及业务路由进行区分 有利于今后的运营管理界面的划分 在今 后维护查障过程中亦可快速的进行定位分析 1 通过统一 NET 区域编码 扁平化路由层次 有利于日常的运营管理 清晰骨干 网结构 避免在骨干网进行过于复杂的路由设计 给今后维护管理带来额外的压力 2 可以满足今后各类业务路由的承载需求 包括传统 IP 数据业务 MPLS VPN 业 务的承载 3G NGN 等语音 多媒体流业务的路由承载 3 平面化的结构设计 技术成熟 针对 LDP LSP 无需配置 L1 L2 间的路由泄漏 目前中国网通 中国电信均使用扁平化设计 4 通过使用 ISIS 路由协议的 PRC ISPF 路由设备的压力亦可不断减小 路由 器处理性能得到保障 单层 Level 所支持的路由器数量亦可满足今后网络的不断扩展 5 随着业务的不断发展 目前采用扁平化路由结构设计 也有利于今后网络的进 一步优化发展 同时如今后网络发展需要 向层次化路由结构的演进亦容易 可以在 不中断业务的前提下 划分区域 逐步割接到多层次化路由结构 因此 建议上海移动采用 ISIS 扁平化结构 只采用一层 L2 IS IS 的 IGP 路由设 计 根据 3GPP ITU 以及各业务平台业务要求 网络收敛时间过长会导致网络中信令 20 55 传递受阻 实时多媒体 交互式业务停顿甚至中断 为降低由于网络波动对业务造成 影响 本期建设采用本期建设采用 IGPIGP 快速收敛快速收敛 网络故障的收敛时间控制在百毫秒级 网络任意 两点之间的 IGP 收敛路由应经过物理传输距离较短链路 并尽可能减少端到端跳数 当 IP 专网链路和节点出现故障时 采用快速 IGP 收敛 收敛得到的次优路由应满 足以下条件 当核心与接入节点之间链路故障时 流量经过另一个接入节点进行疏导 4 1 24 1 2 ISISISIS 优化设置优化设置 鉴于 IP 承载网的特殊定义 对 ISIS 协议层面的优化尤其重要 达到快速收敛的 作用 做如下设置 设备需要支持并打开 ISIS PRC 部分路由计算 和 Incremental SPF 特性 通过调度机制 保证 ISIS Hello 和 LSP 数据包得到优先发送和处理 缺省即如此 启用 ISIS 的 GE 互连电路设置成 point to point 模式 无需选举 DIS 路由器 全网电路模式统一 端口设置 Hold time up down 物理端口在稳定指定时间后才可以 UP 防止端口 波动导致路由振荡 考虑到 IP 承载网路由收敛要求 建议对 ISIS 时间参数做如下调整 IS IS hello 间隔时间 3 秒 IS IS hold time 时间 9 秒 IS IS LSP 存活时间 65535 秒 IS IS SPF 延迟时间 100 毫秒 4 24 2 BGPBGP 路由设计路由设计 中国移动 IP 承载网全网关键业务的路由承载主要通过 MP BGP 实现 即通过 MPLS 三层 VPN 方式实现业务连通和彼此隔离 普通 IPv4 BGP 路由待有业务需求时再进行部 21 55 署 全网如无特殊策略将按照目标网络的目的地址方式实现流量选路 下面叙述在本建设阶段的全网 BGP 策略 BGP 实施策略原则 IP 承载网 BGP 采用扁平化层次结构 只设一级路由反射器 RR 选择在四台核 心路由器上 所有 RR 为独立 Cluster 各 RR 之间建立 FULL MESH 的 IBGP 结 构 每台 PE 设备均与临近的两台 RR 建立 IBGP 邻居关系 作为其 Client 核心路由器将承载全部 IGP 路由 所有设备 LOOPBACK 与端口互联地址 和作 为 BGP RR 从 RR CLIENT 汇接路由器 得到 MP IBGP 路由 汇接路由器将承载全部 IGP 路由 所有设备 LOOPBACK 与端口互联地址 和作 为 Clinet 从 BGP RR 核心路由器 得到 MP IBGP 路由 本地容纳 VPN 路由 全网 BGP 的分发控制在 RR 层面完成 P 和 PE 设备对 RR 发送和接受的路由不作控制 如果无特殊需要 P PE 路由器发布路由以本机 system 作为源地址 各设备使用 system 地址建立设备间的 MP IBGP 邻居关系 使用 system1 建立 IPv4 IBGP 邻居关系 本期工程各设备只起用支持 VPNv4 业务的 MP BGP 协议 族 普通 IPv4 业务的 BGP 协议族暂不配置 待有需求时再部署 采用 MP BGP 实现 VPN 路由承载 按照基于目标网络目的地址选路方式实现流 量选路 在相同目标网络 BGP 条目选路规则中 根据 BGP 优先选路属性实现 选路 技术规范 中国移动 IP 专用承载网采用路由反射器技术以减少 MP IBGP 连接的数量 并将 各大区中心的 2 台汇接路由器 CR 作为路由反射器簇 其中 CR2 作为主用 CR1 作 为备用 其所属接入路由器 AR 作为路由反射客户端 各接入路由器 AR MP IBGP 双归连接到所属 CR1 和 CR2 CR1 参与 MP IBGP 路由交换 存储了 VPN 相关路由 信息 但并不参与 MPLS VPN 的转发 上海移动本期工程中 上海移动本期工程中 PEPE 路由器暂时不用部署路由器暂时不用部署 BGPBGP 路由协议 路由协议 22 55 4 34 3 MPLSMPLS 三层三层 VPNVPN 设计设计 4 3 14 3 1 自治域部署自治域部署 根据中国移动集团公司对于 IP 专网全国网络的规划意向 上海移动 IP 专用承载 网应考虑与集团 IP 专用承载网的互联 实现全国单一自治域组网 上海移动建设本地 IP 专网采用单一自治域结构 AS 号采用 24059 4 3 24 3 2 主备主备 PEPE 部署部署 本期工程中上海移动 IP 专用承载网全网部署 MPLS 新增的 4 台 7750 SR12 作为 PE 路由器 核心节点 NE5000E 提供 P 功能 根据局方的要求 目前上海移动共需部署 8 个 VPN 用于承载 8 类不同的业务 根据不同的业务需求 确认主备 PE 具体部署如 下图 CE 路由器采用思科 6509 交换机 分别位于浦东 钦州 金桥 万荣四个局点 每个局点部署两台 6509 交换机 设备互连情况如下 浦东 浦东 浦东 6509 交换机 1 通过 10G GE 接口与同机房的 7750 路由器相连 浦东 6509 交换机 2 通过 10G POS 接口与金桥机房的 7750 路由器相连 同机房的 7750 路由 23 55 器作为主用 PE 不同机房的 7750 路由器作为备用 PE 具体实现是通过在两台 6509 交 换机上运行 VRRP 协议 设置不同的优先级 让业务流量优先从主用 PE 流出 当主用 PE 发生故障时 流量倒换到备用 PE 金桥 金桥 金桥 6509 交换机 1 通过 10G GE 接口与同机房的 7750 路由器相连 6509 交换机 2 通过 10G POS 接口与浦东机房的 7750 路由器相连 同机房的 7750 路由器作 为主用 PE 不同机房的 7750 路由器作为备用 PE 具体实现是通过在两台 6509 交换机 上运行 VRRP 协议 设置不同的优先级 让业务流量优先从主用 PE 流出 当主用 PE 发 生故障时 流量倒换到备用 PE 钦州 钦州 钦州 6509 交换机 1 通过 10G GE 接口与同机房的 7750 路由器相连 钦州 6509 交换机 2 通过 10G POS 接口与万荣机房的 7750 路由器相连 同机房的 7750 路由 器作为主用 PE 不同机房的 7750 路由器作为备用 PE 具体实现是通过在两台 6509 交 换机上运行 VRRP 协议 设置不同的优先级 让业务流量优先从主用 PE 流出 当主用 PE 发生故障时 流量倒换到备用 PE 万荣 万荣 万荣 6509 交换机 1 通过 10G GE 接口与同机房的 7750 路由器相连 万荣 6509 交换机 2 通过 10G POS 接口与钦州机房的 7750 路由器相连 同机房的 7750 路由 器作为主用 PE 不同机房的 7750 路由器作为备用 PE 具体实现是通过在两台 6509 交 换机上运行 VRRP 协议 设置不同的优先级 让业务流量优先从主用 PE 流出 当主用 PE 发生故障时 流量倒换到备用 PE 4 3 24 3 2 VPNVPN RRRR 设置设置 中国移动 IP 专用承载网通过 MP iBGP 传播 MPLS VPN 路由信息 为保证 MPLS VPN MP iBGP 配置和管理的可扩展性 中国移动 IP 专用承载网独立 设置 VPN 路由反射器 VRR 并在北京 上海 广州设置 3 对 VRR 彼此构成主备路 由反射服务器 并采用分区覆盖方式构成 3 个 MP iBGP 路由反射簇 Route Reflector Cluster 北京 上海 广州 6 台 VRR 之间构成 Full Mesh MP iBGP 连接 共 30 条 MP iBGP 连接 上海移动本期期采用原有的 2 台 VPN RR NE40 4 VPN RR NE40 4 通过 GE 接口直接连接到本大区核心节点 CR NE5000E 上 NE40 4 能够支持 300 个以上 MP 24 55 iBGP 连接 7750 路由器与 NE40 4 路由器间运行 MP iBGP 协议 4 3 34 3 3 PEPE 与与 CECE 的协议选择的协议选择 一 对于较小的 VPN 客户 PE 与 CE 间一般采用静态或直连路由即可满足要求 二 对于较大的 VPN 客户 PE 与 CE 间可能要启动动态路由 RIP 或 OSPF 以满 足 VPN 客户网络的变化和发展的需要 双方可以通过动态路由协议交换彼此的网络地 址段的变化 而无需网络管理人员手工配置路由进行调整 三 对于特别大型的 VPN 客户 当客户的路由策略较为复杂 或者其路由数量较 多 而且波动交频繁 则需要运营商采用 BGP 与 CE 作 Peer 以实现相应的路由策略 和控制功能 因不同机房的因不同机房的 PEPE 与与 CECE 互连时是通过传输链路的 如果配置静态路由 当出现互连时是通过传输链路的 如果配置静态路由 当出现 PEPE CECE 之间的某段链路中断时 会导致流量中断的情况 建议上海移动本期工程选择之间的某段链路中断时 会导致流量中断的情况 建议上海移动本期工程选择 OSPFOSPF 路由协议 路由协议 4 3 44 3 4 MPLSMPLS VPNVPN 部署部署 上海移动 IP 专用承载网将不同类型的业务封装在不同的 MPLS VPN 中 通过相互 独立的 VPN 实现业务的隔离 上图是部署 VPN 的简单示意图 具体的部署方法见以下 规划 建网初期根据业务需求 基于集团指导性意见 考虑建立 8 种不同的 VPN 以承载 不同种类业务 规划方式如下 话音 VPN 包含省际汇接话音业务流 3G 普通话音业务流 3G 可视电话业务 流 2 3G 互通话音业务流 信令 VPN 包含 2G 软交换核心网及 R4 核心网电路域的 Nc 接口 BICC 信令流 以及 Mc 接口 H 248 信令流 PS 域 VPN 包含 GPRS 和 3G PS 域核心网接口信令流和分组域业务流 便于分 组域设备的共用和互通 自有业务 VPN 包含各种自有业务系统的业务流 25 55 BOSS 系统 VPN 包含 BOSS 系统至一级 BOSS 的交互信息流 经营分析系统 VPN 包含经营分析系统至一级经分系统的交互信息流 网管系统 VPN 包含网管系统至一级网管的交互信息流 以及本地各交换机房 的交换网管小集中至浦东网管系统的交互信息流 企业信息化系统 VPN 包含 OA 系统至一级 OA 系统的交互信息流 根据上述对网络带宽需求的估算 结合带宽规划原则 一期建设中的链路配置能 满足轻载的要求 将来随着业务增长 流量增加 建议按需及时扩容 提供足够带宽 从而一直保持网络轻载 使得流量都能被及时转发 因此不考虑为上述 VPN 分别作带 宽预留 本期工程为确保各种业务的接入 PE 路由器不存在单点故障 特意在每节点设置了 两台 7750 SR12 路由器 当主用的一台 SR12 出现问题时 网络设计上必须保证另外一 台路由器能够正常向外发布本地 VPN 路由 并引导流量返回和发出 具体实现方式如下 具体实现方式如下 7750 路由器与 6509 交换机间 两台 6509 交换机间启用 OSPF 路由协议 在 7750 路由器上将 OSPF 路由引入 MP BGP 注意 在 7750 上 当 PE 与 CE 间运行 EBGP 时 需要 手动在两种路由协议中作路由重分布 而 PE 与 CE 间运行 RIP OSPF 静态路由 直连 路由时 路由会自动重分布的 建议 OSPF 下发缺省路由到 6509 两台 6509 交换机 运行 VRRP 协议 作为各种 VPN 业务的网关 以控制流量的流入和流出 每台 7750 与每台 6509 间通过一条 10G 物理链路相连 而本次工程中 目前共有 8 个 VPN 需要从 7750 传到 6509 由 6509 作为这 8 个 VPN 的业务网关 这样就要求 6509 作为 Multi VRF CE 设备 各种业务平台设备直接连到 6509 接口上 作为二层设 备运行 具体实现方式如下 77507750 的相关配置的相关配置 1 7750 与 6509 互连的端口配置成 Access 模式 并封装 802 1Q 协议 7750SR configure port 1 1 1 ethernet access 配置端口为 access 模式 7750SR configure port 1 1 1 ethernet encap type dot1q 配置端口封状类型为 dot1q 2 7750 上配置 8 个 VPRN 与 6509 间运行 OSPF 路由协议 建议配置 OSPF 默认路 由 service 26 55 customer 100 create description vprn for NGN exit vprn 100 customer 100 create route distinguisher 24059 100 auto bind ldp vrf target target 24059 100 不需要再配置路由重分布策略 interface to PD 6509 1 VLAN100 create description vprn for NGN NMS address X X X X Y sap 1 1 1 100 create 与 6509 交换机互连端口 exit exit ospf export generate defalt route 下发 OSPF 默认路由 建议配置 area 0 interface to PD 6509 1 VLAN100 vprn 200 customer 100 create route distinguisher 24059 200 auto bind ldp vrf target target 24059 200 interface to PD 6509 1 VLAN200 create description vprn for NGN Media address X X X X Y sap 1 1 1 200 create 与 6509 交换机互连端口 exit vprn 800 customer 100 create route distinguisher 24059 800 auto bind ldp vrf target target 24059 800 interface to PD 6509 1 VLAN800 create description vprn for NGN chuanshuNMS address X X X X Y sap 1 1 1 800 create 与 6509 交换机互连端口 exit 65096509 的相关配置的相关配置 1 根据 8 个不同的 MPLS VPN 建立 8 个相应的 VRF 组 27 55 2 在 6509 上联 Alcatle PE 的 10G 接口上 根据不同的 VPN 划分相应的子接口 在子接口上绑定 VRF 并启用 VRRP 3 6509 与 Alcatle PE 之间 根据不同的 VRF 组启用带有 VRF 信息的 OSPF 进程 并将各业务的 Vlan 接口加入到相应的 OSPF 中 ip vrf NGN NMS rd 24059 100 route target export 24059 100 route target import 24059 100 ip vrf NGN Media rd 24059 200 route target export 24059 200 route target import 24059 200 ip vrf NGN chuanshuNMS rd 24059 800 route target export 24059 800 route target import 24059 800 ip cef interface GigabitEthernet1 1 1 no ip address interface GigabitEthernet1 1 1 100 encapsulation dot1Q 100 ip vrf forwarding NGN NMS ip address x x x x interface GigabitEthernet1 1 1 200 encapsulation dot1Q 100 ip vrf forwarding NGN Media ip address x x x x interface GigabitEthernet1 1 1 800 encapsulation dot1Q 800 28 55 ip vrf forwarding NGN chuanshuNMS ip address x x x x router ospf 2 vrf NGN NMS network x x x x area 0 router ospf 3 vrf NGN Media network x x x x area 0 router ospf 4 vrf NGN chuanshuNMS network x x x x area 0 注 VRRP 的配置略 4 44 4 MPLSMPLS TETE 设置设置 中国移动 IP 承载网拟定只在核心层部署 RSVP 信令方式的 MPLS TE 由核心层网 络提供 LDP Over RSVP 和 MPLS FRR 备份链路设计方案 其基本要点包括 1 在网络的核心层 CR 之间的链路采用 一一对应 的方式部署主用 TE Tunnel 并在核心层网络同平面部署其 FRR Backup LSP 2 主用 TE Tunnel 及其 FRR Backup LSP 均采用 严格显式 的方式进行配置 并不为其预留带宽 3 主用 TE Tunnel 工作于 锁定 的故障恢复方式 依赖于传输链路的自动恢 复 4 主用 TE Tunnel 及其 FRR Backup LSP 不对 IGP 进行路由宣告 由于本次工程属于由于本次工程属于 AR BRAR BR 层面的省内建设 省内全部采用层面的省内建设 省内全部采用 LDPLDP 信令作为信令作为 MPLSMPLS 标签标签 分发机制 所以在省内不涉及分发机制 所以在省内不涉及 MPLSMPLS TETE 的配置工作 的配置工作 29 55 第五章第五章 承载网承载网 QOSQOS 部署部署 5 15 1 业务业务 QoSQoS 要求要求 本 IP 专用承载网是个多业务的承载网络 将主要逐步承载如下业务 省际软交换汇接网的话音业务 端局软交换信令 包括 软交换汇接网 3G CS 核心网以及 省内软交换架 构端局改造 等项目所涉及的 H 248 BICC 信令等 暂不考虑 HSTP LSTP7 号 信令网的 IP 化承载需求 2G GPRS 核心网 Gn 接口 自有业务系统互联 包括流媒体等自有业务的承载 省际及省内地市间业务支撑网 包括 BOSS 网管及企业信息化等业务网络 随着网络的演进和业务的发展 IP 专用承载网将最终承载如下业务 集团大客户专网业务 指基于 MPLS VPN 方式的集团客户虚拟专网 3G 电路域 CS 和分组域 PS 核心网等 端局软交换话音 指基于 IP 方式的省内软交换架构交换机之间的话音业务流 量 固定 NGN 业务 指基于 IMS 架构的固定 NGN 试点和商用业务 话音核心业务话音核心业务 QosQos 要求要求 关键核心业务为话音业务 其 IP 数据包有信令流和媒体流两大类 QoS 要求如下 信令流 如各地的 MSC 之间 及 MSC 与 MGW 之间等 该类数据的特点为实时性 要求很强 数据量不大 媒体流 其特点是对网络端到端的时延和抖动要求都很高 不同 NGN 业务流的 QoS 要求是不同的 针对不同的业务设置不同的 QoS 策略 语 音 视频 信令 数据等业务流应分为不同优先级 NGN 初期业务中主要需解决语音 的 QoS 语音主要对时延和抖动比较敏感 对宽带和误码率的要求不是很高 所以要 尽量减少端到端路由器跳数 保证语音质量 时延 抖动 目前路由器的性能提高很 30 55 快 基于硬件转发 转发时延大约是 1 2 毫秒 典型的 NGN 和 3G 网中 VOIP 数据对 IP 承载网的 QOS 要求如下 NGN 媒体流业务 QoS 要求 端到端带宽保证 单项端到端传输时延小于 40ms 最低要求 100ms IP 承载网抖动小于 10ms 丢包率小于 1 信令业务 QoS 要求 建议采用轻载 传输时延小于 100ms 时延抖动小于 10ms IP 网络丢包率小于 0 1 NGN 和 3G 网络中 VoIP traffic 服务质量的 QoS 等级 JitterJitter 抖动抖动 NGN 和 3G 网络中 VoIP traffic 三种服务质量对抖动的要求 class 1 抖动 10 ms class 2 10 ms 抖动 20 ms class