内蒙通信IP骨干网城域网集成项目工程案例.doc

内蒙古通信IP骨干网三期扩容工程案例一、 工程项目信息简介本次工程是具有一定规模的骨干网和宽带多媒体的城域网，此次涉及CiscoGSR12000、NE80、S8016等一系列高端路由产品，华为作为本次系统集成商对本次工程进行全面负责。二、 内蒙通信公司网络概述（详细网规文档和割接方案见附件）内蒙古通信公司通过前面两期的建设，目前已经建成了具有一定规模的骨干网和宽带多媒体城域网，基本上覆盖了地市以上城市的大部分区域和部分县级城市，能够提供多种宽带接入业务。内蒙古IP城域网在技术选择上综合考虑先进性、成熟性及良好的性价比，以网络的可扩展性和可管理性为基础，统一规划，分步实施，秉承电信级网络的一贯要求，保证网络高效、可靠、安全，确保业务的快速开展以及用户的计费、管理。内蒙古通信IP骨干网目前采用双星型网络结构，以呼和浩特区中心为核心，向全区十二个盟市辐射。区中心配置一台Cisco GSR12016和一台GSR12416高端路由器，作为区骨干汇聚路由器，两台设备通过GE互联，形成互为主备用、负载分担方式工作；向上各采用1个2.5G至国家骨干汇聚路由器GSR12416（GSR12416至北京节点为1个2.5G电路），向下汇接12个盟市的骨干路由器。各盟市骨干设备配置如下：呼和浩特配置两台NE80路由器，包头、鄂尔多斯、赤峰、呼伦贝尔各配置一台GSR12012和一台NE80，这五个盟市均采用双星型方式上联到区中心的两台区骨干汇聚路由器；巴彦淖尔、乌海、锡盟、乌兰察布、通辽、兴安盟各配置一台GSR12012，阿盟配置一台NE80，这七个盟市采用单节点多链路方式上联到区中心的两台高端路由器。内蒙古通信IP骨干网均为采用Pos155M传输的电路绑定互联的方式。目前电路配置数如下：呼和浩特至区中心汇接路由器的电路带宽为2*GE；包头至区中心的电路带宽为6*155M；赤峰、呼伦贝尔至区中心的电路带宽为5*155M；通辽、鄂尔多斯、巴彦淖尔至区中心的电路带宽为3*155M；乌兰察布、锡盟、兴安盟、乌海至区中心的电路带宽2*155M；阿盟至区中心的电路带宽为1*155M；全区骨干网共计2个GE的本地连接和34个155M长途电路连接。图1 内蒙古通信现骨干拓扑各个盟市的宽带城域网按照核心层、汇聚层和接入层三层结构进行建设： 城域网核心层的作用是把多个汇聚层设备连接起来，为汇聚层网络提供数据的高速转发，同时实现与骨干网络的互联，提供城域网的高速IP出口。城域网汇聚层的作用是负责汇集分散的业务接入点，进行数据交换，并提供流量控制和用户管理工作。汇聚层设备一般采用星型连接，主要实现：扩展核心层设备的端口数量和端口种类；扩大核心层节点的业务覆盖范围；节省接入节点到核心节点间传输资源；实现接入用户的可管理性。城域网接入层节点主要是为了将不同地理分布的用户快速有效的接入网络。接入层负责提供各种类型用户的接入，提供多种用户接口和较高的端口密度，提供用户流量控制及其它策略管理功能。本期将实现如下图所示网络结构：图2 内蒙古通信最终骨干拓扑目前全区各盟市IP城域网现网网络结构如下：呼和浩特核心设备采用2台NE80路由器，向上通过GE端口联接区骨干路由器GSR12016和GSR12416，向下通过GE和POS155M端口联接汇聚交换机和宽带接入服务器；汇聚节点设置4个，分别安装在69局、49局、65局、59局，每个汇聚节点采用1台汇聚交换机S8016，通过2个GE端口侧挂一台ERX1400宽带接入服务器，通过GE端口上联到NE80，向下通过GE或FE，汇聚接入交换机或LAN用户或DSLAM；接入节点设置6个，分别安装在39局、63局、43局、金桥局、托县、和林，每个接入节点采用以太网交换机S6506或S3552通过GE或FE上联到汇聚交换机，通过FE联接用户。除呼和浩特以外其它盟市城域网核心设备与区骨干设备合并使用，城域网汇聚层、接入层结构与呼和浩特城域网结构类似，只是节点数量存在差别。图3 呼和浩特城域网拓扑示意图以呼市69局为例：目前城域网分三种情况：l 一、原网S8016与BAS物理上通过2条GE链路互连，整改后实现S8016与BAS物理上通过1条GE链路互连，从逻辑上实现二层与三层互通。l 二、新建BAS，将实现通过1条GE链路与城域网核心交换机互连，从逻辑上实现二层与三层互通。l 三、原网汇聚层交换机不支持MPLS/VPN、QinQ等特性，通过新增交换设备进行解决。情况一：图23 原网拓扑示意图原网上S8016与BAS通过两条物理链路相连，为了实现链路的冗余，现将S8016与BAS之间的1条GE链路从S8016上拔出，割接到NE80_2上，BAS与NE80_2通过GE互连，如图24所示：图24 新网拓扑示意图图25 新规划流量示意图呼市OSPF Area X终结到汇聚层核心交换机S8016和BAS上，两台汇聚层设备之间通过1条GE链路互连。在华为S8016与各厂商BAS设备上均得启用OSPF Area X华为S8016：ospf xarea xnetwork x.x.x.x .x.x.x.x 各厂商BAS（各厂商自行填写）：华为S8016与中兴或者贝尔或者西门子BAS设备互连，在1条互连链路上实现二层VLAN的透传和三层Vlanif的互通，物理是1条链路，逻辑上是2条链路。注：前提必须各厂商BAS均支持1条链路同时可以支持三层VLAN接口与二层Trunk，目前华为S8016可以支持该属性。S8016上与各厂商实现逻辑二层三层互连：华为S8016:interface vlan xxip address x.x.x.x x.x.x.xinterface GigabitEthernet1/0/0 description xxx undo negotiation auto undo shutdown port default vlan xx port trunk allow-pass vlan xx to xx各厂商BAS（各厂商自行填写）： 不同客户不同需求：对于专线用户和不需要BAS认证用户，正常情况下通过汇聚交换机的上连链路直接接入城域网核心路由器，VLAN终结到S8016，在S8016上建立Vlanif接口作为接入层用户的网关。对于PPPOE用户，通过接入层汇聚交换机S8016透传VLAN，Trunk到BAS设备上终结VLAN，在BAS上建立Vlanif接口，并在BAS上通过认证后，通过BAS上连的链路直接接入城域网核心路由器。当S8016上行链路Down掉后，S8016会通过BAS学习到上行网络的路由，S8016下挂专线用户上行流量会流经S8016再经BAS设备上行省干，而VPDN用户的流量会经上行S8016 Trunk至BAS上行省干，实现了备份;当BAS设备上行链路Down掉后，BAS上行省干的路由学自动切换至S8016上行省干，BAS下挂IP DSLAM 、ATM DSLAM用户的流量会经BAS上进行认证，再经三层流量经过S8016上行上行省干。这样实现链路负载分担；在出现链路故障时通过这两条链路实现冗余备份。情况二：新增BAS，实现方式同情况一所示图26 新规划流量示意图情况三:图27原网拓扑示意图由于原网汇聚层交换机不支持MPLS/VPN、QinQ等特性，通过新增交换设备进行解决。 如下示意图所示：图28 城域网新网拓扑示意图在城域网核心层交换与BAS设备之间通过一台新增设备（支持QinQ、MPLS/VPN、组播）来过渡解决原网交换设备不支持QinQ、MPLS/VPN、组播的问题。作为原交换设备下挂的专线用户在割接的时候，由于主用直接通过交换机上行流量，因此割接的时候不会对该用户造成影响，而原交换设备下挂的VPDN用户由于主用是经原交换设备至BAS终结VLAN，因此割接过程中可能会有业务的中断，作为BAS下挂用户，主用走BAS直接上行流量，割接时对该用户也不会造成影响。三、 网络中应用的新功能新特性详细介绍（详细配置内容见附件） 关于ISIS下发路由强制与半强制ISIS默认路由的问题ISIS协议明确定义：只能下发强制的默认路由给相关的ISIS Peer，那么ISIS协议就真的不能实现半强制了吗？在ISIS这种协议里面它并没有半强制这种概念，但ISIS有匹配的概念。根据Document CD显示ISIS可以下发前提匹配在自已路由表里面已有的路由，匹配则就下发默认路由。四、 本期工程中出现的工程技术问题解决方案以及是否还存在遗留问题和处理意见。l 技术问题解决方案 关于ISIS、OSPF在边界路由器上将8个0的默认静态路由重分布的问题确认根据OSPF与ISIS协议的规定：OSPF不能在ASBR上重分布进8个0的静态默认路由;ISIS不也不能在边界路由器上重分布进8个0的静态默认路由。但是其它非静态默认路由均可以重公布进去。因此为了让省干接入设备不会学习到国干的BGP路由，而下发默认路由的唯一办法是：半强制或者强制。 关于ISIS下发路由强制与半强制ISIS默认路由的问题ISIS协议明确定义：只能下发强制的默认路由给ISIS Peer，那么ISIS协议就真的不能实现半强制了吗？在ISIS这种协议里面它并没有半强制这种概念，但ISIS有匹配的概念。根据Document CD显示ISIS可以下发前提匹配在自已路由表里面已有的路由，匹配则就下发默认路由。 那么ISIS调用Route-map，我们应该匹配什么为最优在OSPF、BGP或者MPLS/VPN里面：其Route id一般都建议用Loopback口，因为它稳定。在这里我们Match的网段是上连国干节点的直连网段。 ISIS、OSPF半强制和强制的问题两台互连的Cisco设备之间跑ISIS，两设备分别均没有默认路由。当在两台设备上分别打上强制，则A会从B学到默认路由，同理B也会。OSPF：（环境同上）两边均强制则不会将8个0的路由放进路由表，但在Database里面会有;两边均半强制则会将8个0的路由放进路由表。 OSPF与ISIS的切换（全省MD5认证与路由切换同步）切换前保证省干各接入设备均可以通过上行汇聚层设备学习到下发的默认ISIS路由，同时别忘了启用MD5，然后再改切换。 ISIS Metric 最小范围，是否可以实现均衡华为VRP3.1的版本：ISIS 163CiscoIOS12.1的版本：ISIS 163 是走主备还是负载均衡有2.5G的走主备，其它几乎“负载均衡” 城域网内BAS与侧挂交换机之间的链路需不需要同时启用OSPF在出口互连接口上同时启用ISIS OSPF。 不想在骨干出口做MED、AS-PATH(局方：怕不支持？)肯定是支持的 关于本期MED规划（涉及东三盟）参考附件l 存在遗留问题和处理意见由于内蒙通信IP城域网工程断前两期以来，全省IP地址分配一直非常紊乱，如：可能有半个C在呼市，有半个C在包头等等，但是全省IP地址的整改建设将是一个长期而又漫长的过程。目前因东三盟将会把流量割接到通辽节点，所以东三盟IP地址的整改工作刻不容缓，局方现已经申请了一个B：58.18.0.0/16作为全省IP地址替换地址，目前该已经规划完了东三盟IP地址替换建议书，该替换涉及到非我司产品的割接，因此由相应厂商制定详细的地址替换方案，但总体方案由我司进行把关。五、 心得体会 本期工作的重点：通辽节点的入网、IP地址的规划以及流量规划由于通辽节点为内蒙网通IP城域网的第二出口，通辽节点的割接将刻不容缓，由于通辽节点上有东三盟，流量要求原路去，原路返回，否则网络延时将会过大，但是要实现这种流量走向，就得对东三盟进行IP地址的整改规划工作，因为目前全省的IP地址分配相当紊乱，造成IP地址无法汇聚。 在呼盟IP地址调研时由于本期工作涉及东三盟的地址规划、替换工作，局方网管张主任认为本期IP地址的规划工作应该由我方集成商来制定，于是我直接与东三盟中一盟市电话进行沟通，结果对方态度极为恶劣，无法沟通，后来通过本期工程协调大会局方各大负责人与各大厂商均同时在场，后来调研工作才得以开展起来。下来一想，沟通、协调是多么的重要啊。 部分集成商都在推卸责任。部分厂商老是喜欢把问题推出去，在集成商的角色上，华为与神码的理解是有差异的。神码认为：a、神码在很多其他项目中也是作为 思科 的供货商出现的，也是在配合集成商。b、由集成商来完成协调、调试、割接工作是当然的事情，觉得在这个项目中，华为只把自己作为一个厂商了，并没有付起集成商的责任。c、神码认为：作为督导，我们会配合集成商做好工作，但是也不意味着就一切代办。d、区公司集成商负责，每个分公司 为何就不负责了呢神码一直认定自己只是一个供货商，并没有责任去调测Cisco设备，这个问题一直以来纠缠了很久。 关于本次集成项目局方的看法本次集成项目在局方的眼里，他们认为我们就是集成商，认为该干的由我们来干，不该干的也应该由我们来处理，但是本次集成项目中由于涉及到诸多厂商的设备，在工程实施与方案制作过程中存在着界面分工。在局方看来华为服务好，响应快，人