中国电信北方9省IP 网络二期山东省省网IP网络建设技术实施方案

1、技术实施方案中国电信集团系统集成有限责任公司技术文档 密级：技术实施方案中国电信集团系统集成有限责任公司技术文档 密级：保密中国电信北方9省IP 网络二期山东省省网IP 网络建设技术实施方案中国电信集团系统集成有限责任公司 二三年六月 TOC o 1-4 h z u HYPERLINK l _Toc42314397 第一部分方案描述 图1-1 山东省IP网络一路由协议目前，山东省电信以济南，青岛为省内核心节点，在两个节点设出口路由器，与骨干路由器相连山东电信省网申请的自治域号为17963对外，山东电信采用17963与骨干网（）交换路由信息，对内，目前采用ospf做为IGP1.2 山东电信IP二

2、期建设 网络结构山东省IP二期将调整和优化网络结构，扩大网络的传输能力，增加网络覆盖节点以及增强节点处理和交换能力。山东省IP二期仍采用两层网络结构：核心层和汇聚层。网络调整优化后，整个省网会更加简洁，更易于管理、调测和维护，更利于日后扩充。1) 核心层核心层提供与骨干电路的互联，以及提供省内各信息交换的通路。2）汇聚层汇聚层负责汇接各节点到核心节点的连接，并为省内新业务的开展提供服务点。节点设备和线路情况为在有限投资的前提下，最大限度提高网络节点处理和交换能力，本次工程将根据业务需要和节点在网络中的地位采用不同的设备济南和青岛做为省出口采用爱立信AXI580和华为8016，一级和二级地市采用

3、爱立信AXI520-8和华为8016，三级地市采用华为NE40，做为节点路由器本次工程后的网络，各汇聚节点将采用1155M电路分别与济南和青岛相连，淄博由于出省的流量高，带宽需求大的情况，本次工程以2155M POS上连济南，1155M POS上连青岛路由协议 此次工程建设，域间路由策略的选择上，山东电信仍使用17963与骨干网交换路由信息。域内采用OSPF作为IGP.1.3 承载的业务山东电信IP网近期需承载的业务如下：（1）Internet（2）NGN（3）3G（4）虚拟专网（5）DCN（6）组播业务随着业务发展，山东电信IP网也将承载其他业务。第二章 网络设计原则为使山东电信能够提供一个

4、灵活、先进和可靠的多业务平台，为山东电信进一步开展数据业务，吸引更多数据用户，增强市场竞争力打下良好的基础。我们在进行网络设计时，本着以下几点进行设计：1）网络的可靠性网络的可靠性是网络设计中需要考虑的一个主要原则。在网络设计时，应避免网络中出现单故障点，并应该考虑在出现故障情况下网络的性能，通过网络设计减少故障对网络性能的影响。2）流量的负载分担本次工程各汇聚节点均采用155M电路分别与济南和青岛相连，并且网络流量随着山东电信发展的日益壮大，网络流量的负载分担问题成为网络设计时需要考虑的一个主要因素，必须使网络的流量能够比较合理的分布在各条电路上。3）网络的性能省网不同于骨干网，它将更面向与

5、用户，因此山东省网将成为提供多种业务的统一网络平台，并应该为不同的业务提供服务质量保证（QoS）。因此在网络设计时应该考虑网络性能的因素，使网络能够满足未来提供的新业务对服务质量的要求。4）对新业务的支持程度5）网络管理的复杂程度鉴于山东电信网络规模的扩大，未来的网络管理的工作量也会变的越来越大和复杂。因此在网络设计应该考虑网络管理的因素，使得故障定位和流量调整的难度和复杂性降低。第三章 网络拓扑设计节点划分按照设计原则，整个网络分为核心层和汇聚层核心层（两地市）：济南、青岛。汇聚层（15地市）：济宁、潍坊、烟台、淄博、东营、泰安、威海、日照、滨州、德州、聊城、临沂、荷泽、枣庄、莱芜3.2 网

6、络拓扑结构根据实际电路情况和路由政策，山东省电信网络结构如下图所示；3.3 网络节点设计山东电信IP网分为核心层和汇聚层，核心层为济南和青岛节点，其余15地市为汇聚层各个地市的城域网通过MSTP等方式完成业务接入功能。因此将在除原来设有省域节点的5个地市外的其它12个地市分别设置路由交换设备，12地市分别为：淄博、东营、泰安、威海、日照、滨州、德州、聊城、临沂、荷泽、枣庄、莱芜，以实现用户宽窄带业务的接入和汇聚，并实现相关地区DCN网的接入。核心层节点济南、青岛作为网络的核心层，其地位最为重要。济南、青岛作为业务发展的重点城市，将会有较大的业务量，S8016是整个地市的核心汇聚设备，业务开展较

7、多。此次扩容在济南节点，580增加两GE卡，用来上联骨干GSR和下联S8016，并通过channel 技术和原有的一条GE线路捆绑，增加带宽和稳定性。为保证此次扩容，对原有的AXI580路由器进行板卡扩容，在济南新增3块4*155M POS板卡，在青岛新增3块4*155M POS板卡，用于各地市的上联。 汇聚层节点根据此次工程设计，汇聚层节点，将按照三级地市分级建设，分别是；（1）二级地市二级地市主要有淄博、东营、泰安、威海、日照、德州、临沂、荷泽等8 地市，选用爱立信AXI520路由器和华为交换机8016组成，本次工程以1155M POS上连济南，1155M POS上连青岛，组成双星型的网络

8、结构。具体网络结构如图所示： （2）三级地市三级地市包括滨州、聊城、枣庄、莱芜，这一级地市均选用华为通用路由器做地市出口，如下图；第二部分IP实施方案第四章 全网路由策略4.1 省内路由策略 省内IGP 部署规划目前山东省网采用OSPF协议作为全网省内路由条目的承载，由省出口设备同省其他地市节点之间的部分作为Area0。采用这类方式后，有一个比较大的问题是现网中IGP路由表单的问题，因为现网中设备能力及其不均衡。随着将来城域网的发展和用户接入的不断增加，是否所有的设备都可以稳定的承载数千条散碎的省内路由是一个问题。其次，随着2期IP网络架设后，节点的增多，地市业务的不断发展，那么在现网中较多的

9、将部分接入节点的路由通过静态指向后注入到OSPF协议中，因为按照OSPF的区域划分方法，一个地市就只有一个Area号，这样这些相应的条目都会在同一地市的IGP表单中出现。同时以E2方式在其他地市IGP表单中出现。以上谈到的问题，在江西电信，浙江电信的网络结构和路由策略中已经体现出来，并且对现有的业务造成了很大的影响，目前，正在要求对现有的网络结构和路由协议作相应的调整和改动。因此，我们建议在目前省网骨干互联部分采用ISIS方式建立新的互联结构。针对各地市内部网络希望采用OSPF结构的情况，考虑将来将地市核心设备放置在Area0，其他边缘接入采用各自定义的Area号码。将来在各地市接入路由器上通

10、过OSPF的Area0发布默认路由引导全地市设备对地市外地址的访问。同时在地市接入路由器上将地市路由注入BGP协议，同时对这部分路由做聚合，按照地市分配的地址表单作相应聚合，保障发布的整体条目清晰。由济南、青岛对整体省网的地址表单做相应BGP聚合。在ISIS网络中，路径的选择是通过ISIS的相应设备端口Metric值的累计来区分，因为目前所有的省内第一出口是通过4*155M POS连接骨干，而第二出口节点目前还没有开通链路，只拥有2*E1到天津。同时第二出口的链路目前将主要作为DCN网络的链路使用。这样在端口的COST设定上，将在相应的其他省内节点上调低到省内第一出口节点的端口Metric值，

11、以引导流量都从省内第一出口出省。同时针对从省外回来的流量也将调高到达省第二出口的端口Metric值，以不会出现流量从第二出口迂回。整体路由结构如下：济南济南163骨干163骨干地市B地市A青岛OSFP路由表ISIS路由表OSFP路由表OSFP路由表OSFP路由表采用这种路由接入模式后，现网中的整体路由结构后会相应变化，可以较大增强现有地市的接入能力，同时对现网中边缘设备的接入能力和路由支持能力要求下降。整体路由引导模式调整后，预计会对现有网络设备内存使用等情况有相应缓解。整体路由引导结构变化如下图：向地市网络发布OSPF默认路由引导出流量地市A向地市网络发布OSPF默认路由引导出流量地市A青岛

12、济南BGP聚合引导省入流量BGP聚合引导省入流量EBGPEBGPIBGPISIS范围OSPF范围OSPF注入BGP，并做相应策略引导回流量163骨干163骨干具体的实现方式为：在山东省网中运行IS-IS路由协议，各个地市运行独立的一套OSPF路由协议，各个地市的落地骨干设备同时运行这两种路由协议，现网将来准备充当城域网核心设备的S8016放在OSPF AREA0内，其他设备将按照需要放在城域网内部的AREA号内，对新增电路或网络可以按照需要调整到新的OSPF AREA号内。同时在城市内部不同AREA之间的OSPF ABR上对于地址进行汇聚，同时在地市出口路由器上将OSPF的聚合路由注入到IBG

13、P中。其结构如下所示：济南青岛济南青岛IBGP-PEERIBGP-PEERISISISIS地市A地市AArae0Arae0S8016S8016OSPFOSPFArae3Arae4Arae5Arae3Arae4Arae5Arae2Arae1Arae2Arae1地市网络中的设备只运行OSPF路由协议，同时各地市的落地设备通过发送默认路由的方式使地市中各网络设备的默认网关指向此落地骨干设备，各地市落地骨干设备的管理地址LOOP0同时分发入两种路由协议；地市间的路由通过IBGP的方式经过汇总后有省中心路由器统一分发，这样便于制定路由策略。通过这种配置使地市内的网络设备需要维护的路由表相对目前的情况小很

14、多。如图所示，整个网络中运行IGP和IBGP路由协议的示意图：省中心两台路由器作为IBGP的RR（Router Reflector路由反射器），减少网络中IBGP PEER的数量，同时可以在省中心进行统一的IBGP路由策略控制，向各个地市分发路由。 省内BGP部署规划建议继续基于BGP-RR的结构，由济南、青岛的两台出口路由器作为整体网络的BGP RR点，并分别属于不同的CLUSTER。这类结构更换的作用是更好的避免了现网中某地市出现单条电路上联故障后的路由更新问题。如果两台RR点作为一个Cluster，因为目前每个地市都是同济南和青岛有互联电路，如果其中一条电路中断，例如到济南的电路故障后，

15、正常情况下，济南应该从青岛学习到该地市的路由条目，但因为同属于一个Cluseter，会将此更新丢弃，这类故障在骨干网上已经出现过。BGP-Full-mesh同BGP-RR在本质上没有区别，都是为避免IBGP只传一跳的问题。但随着Full-mesh节点的增多，各个路由器上BGP进程对内存的占用会逐步增加，因为每个PEER都是独立的处理进程，其对整体设备的性能的影响会比较大，同时现网中如果有网络振荡，其BGP收敛时间受影响的PEER方向比较多。13 Routers =78 IBGP Sessions!13 Routers =78 IBGP Sessions!这样Full-mesh不利于整体网络的可

16、扩展性，针对这种情况，一般采用BGP路由放射器的方式来避免这类问题。BGP-RR的方式是采用一个或多个核心节点的方式来转发相应的BGP路由，同时其他IBGP节点同这些RR点建立Full-mesh互联，并作为RR点的Client端，RR点之间建立普通IBGP-PEER。ASAS RR-Client IBGP nnectionsRR-RR IBGP ConnectionsEBGP ConnectionsDEGFBHCA1A2AS 4134ClientClientClientClientClient青岛RR济南RR其RR方式路由转发原则为：RR点从Client收的路由将转发给Client和非Clie

17、nt（不包含路由源方向） RR点从非Client收的路由将转发给Client RR点从EBGP-PEER收的路由将转发给所有的Client和非Client4.2 网间山东省出口路由策略 出省流量控制 省域出口路由器与骨干网AS4134路由器运行EBGP，分别通过GE链路或155M POS连接到同一机房的骨干网路由器。通过设置省网路由器上接受骨干网设备发布的BGP MED 属性来决定出省链路方向。也就是说，根据中国电信骨干网络路由策略的要求，在出省流量上，省网骨干出口路由器不做任何策略，完全由163骨干网络的MED来进行出省流量的引导。建议省网内骨干核心路由器上全部运行BGP协议，路由器之间建立

18、IBGP互联，这样可以方便地实现路由策率和路由控制。同时通过IGP实现业务互联，同时在各地市节点出口路由器上对自己地市IP地址完成汇聚。由山东省出口的两台设备作为全省的IBGP 的RR点，其互为备份，单一出口障碍的时候将选择次优的出口。并且，根据中国电信CHINANET骨干网的BGP路由承载策略，骨干网BGP将通过策略优选出山东省的出口RR节点来引导流量。 回省流量控制在回省流量控制上，可以采用两种方式来实现，第一种是通过内部IGP计算出来的代价动态的转换成BGP的MED值广播给中国电信骨干网的EBGP PEER，来引导回省的流量。第二种方式，是通过划分片区的方式，通过AS-PATH的方式来控

19、制回省的数据，将整个山东省省内的15个节点（不包括济南和青岛），划分为两个片区，济南片区和青岛片区。临沂，东营，日照，威海，聊城 将优选青岛为回省流量入口。济宁、潍坊、烟台、淄博、泰安、滨州、德州、荷泽、枣庄、莱芜将优选济南为回省流量入口。AS-Path 属性设置为了实现从骨干回流入省网的流量能够比较均衡的分布在2个省出口，具体实现的方法如下：在济南出口上对外广播路由A, 临沂，东营，日照，威海，聊城 的路由将AS加长3个广播 set as-path prepend 17963 17963 17963B, 济宁、潍坊、烟台、淄博、泰安、滨州、德州、荷泽、枣庄、莱芜 的路由将正常广播。在青岛出口

20、上对外广播路由A, 济宁、潍坊、烟台、淄博、泰安、滨州、德州、荷泽、枣庄、莱芜的路由将AS加长3个广播 set as-path prepend 17963 17963 17963B, 临沂，东营，日照，威海，聊城的路由将正常广播。 省出口接收路由控制济南和青岛的两台连接骨干网络的RR 上面学到所有的全球路由条目，但是通过BGP 的策略不通告给下联的山东省内的其他RR Client , 也就是说，青岛和济南拥有全球路由，下面的15个骨干节点只有用全国路由。整个山东省网骨干设备只拥有全国路由条目，而不需要学习全球路由，由骨干网放默认路由到省网。以上两种方式，都是希望能够让此次山东省网的所有骨干节点

21、学习到全国的路由条目，因为，根据我们的骨干网的运维经验，全国大概有3000多条路由条目，根据我们从厂商了解到的性能指标得知，此次骨干节点的核心设备的性能都是可以处理这些路由条目。并且，因为，所有的省网骨干节点都拥有全国条目，这样，所以出省的流量都可以动态的得知到达目的地的最佳路径。此次山东省2期建设，将建议采用第一种策略，即山东省网全网骨干路由器只拥有全国路由条目。 省出口广播路由控制1 在济南出口向骨干网广播的路由分为两部分 广播山东省网的所有地址块（聚合地址） 广播的济宁、潍坊、烟台、淄博、泰安、滨州、德州、荷泽、枣庄的路由2 在青岛出口向骨干广播的路由分为两部分广播山东省网的所有地址块（

22、聚合地址）广播的临沂，东营，日照，威海，聊城的路由MED 属性设置可以实现流量的分担和备份MED 控制1 在济南的出口向外广播的路由分为二部分A 济宁、潍坊、烟台、淄博、泰安、滨州、德州、荷泽、枣庄的路由set metric 100B. 临沂，东营，日照，威海，聊城的路由set metric 10002 在青岛的出口向外广播的路由分为二部分A. 临沂，东营，日照，威海，聊城的路由set metric 100B 济宁、潍坊、烟台、淄博、泰安、滨州、德州、荷泽、枣庄的路由set metric 1000此次建设将统一推荐使用MED来控制出省入省的流量，并根据中国电信骨干网AS 4134 统一策略，省

23、网出入省不做任何BGP策略来影响骨干，由骨干网统一做策略引导山东省出入省流量。4.3 省内与大客户路由策略此次山东省网的建设采用的是合法的AS号，所以在业务运营模式上可以发展带AS号的大客户互联网接入，争取更多的优质用户，增加收入。对于自带AS号的用户，通过统一分配的私有AS号，使得此类用户在汇接层连接，在骨干核心层通过EBGP过滤防止将此类AS号码通告给CHINANET骨干路由。对于此类用户，根据我们的经验，大体分为两种，第一种为只要求了解到国内路由即可，并且只和CHINANET有连接，对于这类用户，由于我们在前文中已经提到，此次山东省网所有骨干路由器都拥有全网国内路由，因此，此类用户的需求

24、可以比较容易的满足。第二类用户，主要是不但和CHINANET有连接，并且和国内其他运营商有连接，他们希望能够了解到全网国际路由，以便选择最佳的出口，对于此类用户，我们只能采用上文提到的第一种方法，就是让济南和青岛的两个RR点拥有全网国际路由，然后通过路由控制，将国际路由发布给此类的客户。第三部分具体施工方案及安排第五章网络地址分配方案5.1 IP地址分配原则IP地址规划是网络设计的一个重要环节，应遵循如下原则：1) 要充分考虑到未来发展的需求，应坚持统一规划、长远考虑、分片分块分配的原则。2) 地址分配应本着简化路由选择，充分利用地址空间，最大限度地实现地址连续性，兼顾今后网络发展，便于业务管

25、理等原则进行。3) 采用CIDR技术，这样可以减小路由器路由表的大小，加快路由器路由的收敛速度，也可以减小网络中广播的路由信息的大小。4) IP地址的分配必须采用VLSM技术，保证IP地址的利用效率；5) 尽量采用合法地址，在IP地址不足的情况下，可以在省内采用合法IP地址与保留地址相结合，并在省内出口处统一做大规模的地址转换。5.2 IP地址分配方案（见附件）5.3 节点设备及电路对照图表设备连接图电路对照表R1-A-SDJN-01.PNet：AXI-580电路描述本端端口号IP地址对端设备名对端端口号IP地址Loopback0济南A1连接骨干GE-3/0/0R1-A-SDJN-1-NGE

26、3/0济南A1-青岛A1SO-1/2/0SO-3/2/0济南A1-济南S1GE-1/0/0GE3/1济南A1-济南S1GE-1/1/030济南A1-烟台A1SO-1/2/3SO-3/2/306/30济南A1-济宁A1SO-1/2/2SO-3/1/3济南A1-潍坊A1SO-1/2/1SO-3/2/002/30济南A1- 淄博A1SO-1/R1-A-SDZBSO-1/1/0济南A1-东营A1SO-1/R1-A-SDDYSO-1/1/06/30济南A1-泰安A1SO-1/R1-A-SDTASO-1/1/0.114/30济南A1-三联（客户SO-3/2/0济南A1-日照A1SO-3/2/1R1-A-S

27、DRZSO-1/1/030/30济南A1-德州A1SO-3/2/2R1-A-SDDZSO-1/1/08/30济南A1-临沂A1SO-3/2/3R1-A-SDLYSO-1/1/04/30济南A1-荷泽A1SO-5/1/0R1-A-SDHZSO-1/1/02/30济南A1-滨州A1SO-5/1/1R1-A-SDBZSO-1/1/02/30济南A1-聊城A1SO-5/1/2R1-A-SDLCSO-1/1/06/30济南A1-枣庄A1SO-5/1/3R1-A-SDZZSO-1/1/050/30济南A1-莱芜A1SO-5/2/0R1-A-SDLWSO-1/1/04/30济南A1-威海A1SO-5/2/1

28、R1-A-SDWHSO-1/1/08/30R2-A-SDJN-01.PNet：CISCO-7206电路描述本端端口号IP地址对端设备名对端端口号IP地址Loopback0济南A2-济南S1接入访问公网的流量FE0/0FE14/1济南A2-济南S1接入长途交换网管FE14/2VLAN13济南A2-济南S1接入本地交换网管VLAN14济南A2-济南S1接入智能网管VLAN15济南A2-济南S1接入采集结算系统VLAN16济南A2-济南S1接入同步网管VLAN17济南A2-济宁A2S5/0S5/021济南A2-济宁A2S5/1S5/1济南A2-烟台A2S3/0S5/0济南A2-烟台A2S3/1S5/

29、1济南A2-潍坊A2S5/2219.146.S5/0济南A2-潍坊A2S5/3S5/1济南A2-淄博N1S6/0济南A2-淄博N1S6/14/30济南A2-泰安N1S6/2济南A2-菏泽N1S6/3济南A2-德州N1S3/3济南A2-天津A4TUN509R4-A-TUN905济南A2-济南CE1接入OA的VPN济南A2-济南CE1接入OA访问公网S1-S-SDJN-01.PNet: HuaWei S8016电路描述本端端口号VLAN ID对端设备名对端端口号IP地址济南S1-济南A1GE3/110GE-1/0/0济南S1-济南A2接入公网的VLANFE14/110FE0/0济南S1-济南A2接

30、入长途交换网管FE14/213济南S1-济南A2接入本地交换网管14济南S1-济南A2接入智能网管15济南S1-济南A2接入采集结算系统16济南S1-济南A2接入同步网管17济南S1-济南N1FE14/310设备板卡对照表R1-A-：AXI-580 Loopback IP：FPCPIC板卡类型子端口电路描述地址备注10GE-1 portGE-1/0/0济南A1-济南S11GE-1 portGE-1/1/0济南A1-济南S12OC3 POS-4SO-1/2/0济南A1-青岛A1SO-1/2/1济南A1-潍坊A1SO-1/2/2济南A1-济宁A1SO-1/2/3济南A1-烟台A13OC3 POS-

31、4SO-1/3/0济南A1-淄博A1新增SO-1/3/2济南A1-东营A1SO-1/3/3济南A1-泰安A130GE-1 portGE-3/0/0济南A1连接骨干1GE-1 portGE-3/1/0新增2OC3 POS-4SO-3/2/0三联（大客户）SO-3/2/1济南A1-日照A1SO-3/2/2济南A1-德州A1SO-3/2/3济南A1-临沂A150GE-1 portGE-5/0/0济南A1连接骨干新增1OC3 POS-4SO-5/1/0济南A1-荷泽A1新增SO-5/1/1济南A1-滨州A1SO-5/1/2济南A1-聊城A1SO-5/1/3济南A1-枣庄A12OC3 POS-4SO-5

32、/2/0济南A1-莱芜A1新增SO-5/2/0济南A1-威海A1SO-5/2/0SO-5/2/0R2-A-：CISCO-7206Loopback IP：Slot No.板卡类型子端口电路描述地址备注0I/O FE-2FE0/0济南A2-济南S1接入访问公网的流量/26济南A2-济南S1接入长途交换网管济南A2-济南S1接入本地交换网管济南A2-济南S1接入智能网管济南A2-济南S1接入采集结算系统济南A2-济南S1接入同步网管3PA-E1-4S3/0济南A2-烟台A2219.146.S3/1济南A2-烟台A2济南A2-济南CE1接入OA的VPN济南A2-济南CE1接入OA访问公网S3/3济南A

33、2-德州N15PA-E1-4S5/0济南A2-济宁A2S5/1济南A2-济宁A2S5/2济南A2-潍坊A2S5/3济南A2-潍坊A26PA-E1-4S6/0济南A2-淄博N1S6/1济南A2-淄博N1S6/2济南A2-泰安N1S6/3济南A2-菏泽N1S1-S-SDJN-01.PNet: HuaWei S8016Management IP：Slot No.板卡类型子端口电路描述地址备注3GE-4 PortGE3/1济南S1-济南A110GE3/2IP设备互连VLAN10GE3/3IP设备互连VLAN10GE3/4IP设备互连VLAN106GE-4 PortGE6/1IP设备互连VLAN10GE

34、6/2IP设备互连VLAN10GE6/3IP设备互连VLAN10GE6/4IP设备互连VLAN1011FE-16 PortFE11/1接入机房用户的VLAN12FE11/2接入机房用户的VLAN12FE11/3接入机房用户的VLAN12FE11/4接入机房用户的VLAN12FE11/5接入长途交换网管的VLAN13FE11/6接入长途交换网管的VLAN13FE11/7接入本地交换网管的VLAN14FE11/8接入本地交换网管的VLAN14FE11/9接入智能网管的VLAN15FE11/10接入智能网管的VLAN15FE11/11接入采集结算系统的VLAN16FE11/12接入采集结算系统的VL

35、AN16FE11/13接入采集结算系统的VLAN16FE11/14接入采集结算系统的VLAN16FE11/15接入采集结算系统的VLAN16FE11/16接入同步网管的VLAN1714FE-16 PortFE14/1济南S1-济南A2接入公网的VLAN10FE14/2济南S1-济南A2接入支持系统VLAN13,14,15,16,17FE14/3济南S1-济南N110FE14/4接入采集结算系统的VLAN16FE14/5接入采集结算系统的VLAN16FE14/6接入采集结算系统的VLAN16FE14/7接入采集结算系统的VLAN16FE14/8接入采集结算系统的VLAN16FE14/9接入采集结

36、算系统的VLAN16FE14/10接入采集结算系统的VLAN16FE14/11接入服务器VLAN11FE14/12接入服务器VLAN11FE14/13接入服务器VLAN11FE14/14接入服务器VLAN11FE14/15接入服务器VLAN11FE14/16接入服务器VLAN11第六章 路由交换设备命名为了标识网络设备所隶属节点，在网络设备名称中将使用各节点的缩写名称，各节点的缩写名称如下表所示：山东省：sd节点名称缩写名称节点名称缩写名称济南jn日照rz青岛qd泰安ta烟台yt枣庄zz淄博zb东营dy威海wh莱芜lw潍坊wf荷泽hz临沂ln聊城lc济宁jG滨州bz德州dz为了使设备易于管理与

37、维护，对设备进行合理命名是必要的。本节给出了本次九省网络设备的命名方案。命名方案： 设备类型(n)-设备功能-（省名缩写）（安装地区缩写）-节点机房编号. PNet设备类型(n)R:表示此设备为路由器。N:表示此设备为NASS:表示此设备为交换机n:安装地的设备编号，范围从1开始递增设备功能CE:表示为MPLS VPN的CE路由器。A:表示为省接入路由器。S:表示为核心交换机N表示为NAS省名缩写：参照国家域名中省名的缩写。安装地区缩写：安装地区前两个汉字拼音的第一个字母的组合节点机房编号：表明安装地区节点的多个机房编号，两位数字PNet：表明设备属于省网设备，区别与骨干设备名例子：R1-A-

38、SDJN 表示：位于山东省网济南节点的第一号机房的第一台路由器。省名缩写：BJ-北京SH-上海TJ-天津CQ-重庆HE-河北SX-山西NM-内蒙LN-辽宁JL-吉林HL-黑龙江JS-江苏ZJ-浙江AH-安徽FJ-福建JX-江西SD-山东HA-河南HB-湖北HN-湖南GD-广东GX-广西HI-海南SC-四川GZ-贵州YN-云南XZ-西藏SN-陕西GS-甘肃QH-青海NX-宁夏XJ-新疆序号设备名称设备型号数量备注1AXI 52012AXI 52013AXI 52014 AXI 52015AXI 52016AXI 52017R1AXI 52018AXI 52019NE40-8110NE40-811

39、1NE40-8112NE40-8113华为 S8016114华为 S8016115华为 S8016116华为 S8016117华为 S8016118华为 S8016119华为 S8016120华为 S80161注：详细设备清单见附件济南节点设备清单。AXI 规则例如：POS 1/2/0就是指第2块FPC上第3块PIC的Port 0端口。CISCO-7206例如：FE 0/0指Slot 0的第1个FE端口。CISCO-12406例如：GE 5/3/0 就是指第5个Slot上第3块PA卡的第1个Port端口。HUAWEI-S8016例如：FE 1/1就是指第1块接口线路板的第1个FE端口。注意：端

40、口号从1开始。第七章DCN网络建设方案7. 1 北方九省（区、市）业务支撑系统总体结构北方9省（区、市）业务支撑系统总体结构采用北方电信事业部中心和9省（区、市）公司两级结构。即所谓的“19”模式，在北方电信事业部和北方9省（区、市）分别建立业务支撑系统平台，在应用层面实现省级集中，在核心数据层面实现9省（区、市）的大集中。北方电信事业部业务支撑中心主要完成综合营销管理、综合结算、生产调度管理、资源管理、统计分析和系统管理等6个功能模块；而省级业务支撑系统主要完成综合客服、综合营销管理、综合计费、综合帐务、SLA管理、生产调度管理、资源管理等8个功能模块。 北方电信业务支撑系统网络框架图在此总

41、体框架下，由北方电信事业部统一定义北方9省（区、市）的核心数据结构，包括用户数据、帐务数据、产品数据、资费结构和资源结构等。在北方电信事业部建立业务支撑系统核心数据的数据库平台，并在其上建立负责北方9省（区、市）全局的应用系统。而在北方9省（区、市）分别建立本省集中的数据库平台和应用平台，省业务支撑系统的数据结构必须与北方电信事业部的定义保持一致，省公司在此基础上建立适应本省实际业务开展情况的应用系统。北方电信事业部和各省级业务支撑平台则通过企业内部通信网DCN网进行相关的数据信息的传输。7.2 北方DCN网网络结构现状目前DCN以天津为中心采用MPLS VPN方式进行组建。北方九省（区、市）

42、20个IP省域节点都有业务接入路由器CISCO7206，DCN业务信息通过该CISCO 7206路由器接入转发。原一期设计中采用在各省第二出口节点的CISCO7206直接通过2*E1链路连接天津CISCO7206 的方案取消，各节点的业务接入路由器7206上使用MPLS VPN over GRE Tunnel的方式直接通过GRE通道连接到天津的业务汇接路由器7206上，建立相应的MPLS VPN链路，各省均有链路分别连接北京、天津，一条联络中断，数据可以通过另外一条链路进行转发。省内出口节点以外的IP省域节点也将其接入路由器7206设置为MPLS PE，通过省内的IBGP来达到省内各PE设备之

43、间VPN 路由的交互，其中在山东和河北各有5个接入节点，除了第一、二出口节点之外还各有3个省内的中心城市节点。在这两个省考虑将省出口节点的接入路由器作为MBGP的RR点，其他中心城市将同这两个点建立双星型的MBGP连接。其他各省如辽宁、吉林、河南省内为两个出口城市，没有其他中心城市，暂不设置MBGP的RR点，在将来业务节点增加后，选取相应的MPLS VPN同天津点互联的节点作为RR点。黑龙江、内蒙古、山西只有一个省会城市接入节点，暂不考虑MBGP的RR点设置。7.3 山东DCN网络建设方案描述本次工程在除山东省IP网一期工程的5个省域节点外的12个地市都设置一台省内IP网骨干路由、交换设备，都

44、能作为MPLS VPN的PE。我们将利用这些PE设备构建基于MPLS 的VPN专网由于IP网络为双星型网络，所以2条链路可以对DCN网互为备份，具体网络结构如图所示：7.4 网络方案设计山东省IP二期将利用地市的PE设备建立基于IP的MPLS VPN网络，所有PE通过M-IBGP来达到省内各PE设备之间VPN 路由的交互，受IP网络结构限制，PE设备并不是FULL-MESH的连接方式，因此，需要在所有的PE设备中选定两台做为M-RR,考虑到现有网络结构以及DCN在省内和跨省访问的方式，我们建议仍然选用济南和青岛的做为MBGP-RR。并且，分别在两个7206 上分别打开到天津DCN 的GRE 通

45、道。7.5 对于新增地市核心设备兼做PE设备的考虑此次新增的12个节点的落地省网骨干设备分别为爱立信520-8和华为的NE-40，由于电信DCN网络需要在现有建设的IP网上承载，因此，此次新增的骨干落地设备需要充当两个角色，其一为正常的P设备，其二为承载MPLS VPN 的PE设备，虽然，此次建设开展的为单域的MPLS VPN业务，但是由于涉及到三家厂商的设备互联互通的问题，因此，此次建设的难度不在于技术而在于设备本身。7.6 新旧DCN网络的割接 在山东省网一期DCN网络建设中，由于当时线路的原因，采用了长途E1中继的方式作为DCN业务的链路，在二期建设中，骨干的155链路都基本开通，可以考

46、虑在155链路上承载DCN的业务数据，但是，由于一期的长途中继的使用期限尚未到，这样，我们考虑有二种利用现有传输资源的方案：1 完全利用现有的高速155链路，E1的中继作为完全的备份，在155链路没有故障的情况下不跑任何数据。2 155链路和E1中继链路分别跑bss和OA业务，互为备份。综合分析，以上提到的两种方式，推荐采用第一种，当传输及策略部署后，我们将小规模的通过测试机器，扮演客户端的角色，模拟测试DCN的各项业务和应用，当确认无误后，在进行地市规模的逐个割接，因为，网络业务的试运行需要一定的稳定期，那么我们的业务一次割接之后，可以观察在新IP网络上面的运行情况，一旦发现故障，可以切换回

47、原E1的链路。待到系统运行稳定后，E1的租用时间也已经到期，可以顺利完成DCN业务的新网运行了。省内切换完毕，省DCN网络与天津网管中心的链路如下图所示：TJ-A3 TJ-A3 骨干网JN-A1155M POSAXI580TJ-A4 TJ-A2 TJ-A1 JN-A2QD-A1QD-A2MPLS OVER GRE TUNNELMPLS OVER GRE TUNNELMPLS OVER GRE TUNNEL第八章 网络安全建设8.1 概述ISP运营商今天面临着有关安全方面的多种威胁，这些威胁有的可能是随机的，也有可能是恶意的，但其后果都一样的：妨碍用户及 ISP运营商的正常运行。IP网络以及In

48、ternet网络的灵活性和匿名性使得Hacker可以通过远程攻击而使得网络通讯服务的设备中断，使大批用户无法正常的进行通讯。随着Internet的发展，以运营商的骨干网络设备为目的的攻击越来越频繁，这就使得采用一定的安全保护措施来保护骨干网络设备（如路由器、交换机等）的必要性越来越突出。 网络安全设计原则设计安全系统与其他功能系统的设计不同，它遵循所谓“水桶原则”，即安全防护能力好比用木条围就的水桶的蓄水能力，对容积起关键作用的不是木桶最高的木条所在的桶边，而是水平面不可能逾越的最低的木条所在的桶边。这就提示我们对安全设计必须遵从两个客观规律，一个是必须从整个系统的角度来进行规划，忽略了任何一

49、个环节，其薄弱处就可能被攻破，从而使其他方面的努力变得毫无意义了；另一方面，能够对安全起不同程度作用的软硬件解决方案和相应的投资没有止境，也不存在绝对的安全，因此必须将有效的投入着重对最薄弱的环节进行弥补，就象修补木桶最低的一边会获得最大的容积一样，这样投资利用率最高，获得的安全收效也最为显著。在下面我们试图面向整个系统的不同层次描述安全解决方案，同时提出最有效和最必要的解决方式。为了保证系统安全，在安全系统的设计和实施时要遵循一些原则。那么，网络系统安全设计主要遵循哪些原则呢？我们根据国际上通用的安全信息系统设计原则，以及山东省网网络系统的具体情况，归纳出以下几条原则： 最小授权原则：该原则

50、是指，对某一秘密知道的人越多，就越有可能泄密。不同职责的人相互无权过问。在山东省网网络骨干网络系统中，有些信息是严格保密的，只有相应权限的人才能访问。 均衡与非均衡防卫原则：对于系统中的一条信息流，其各环节安全防卫应均衡，如同“水桶原则”的举例，系统的安全等于最薄弱处的安全，如果完全忽视某一环节的安全风险，即使其他环节得到完全加强，对总体系统的安全效果没有增益。 效能投资相容原则：山东省网网络系统建设此次与一般IP网络建设略有不同，将在IP骨干网络上承载DCN业务，虽然我们应用了比较成熟的MPLS VPN业务，但是由于涉及到多厂商的MPLS VPN 的互通，所以不可能做到绝对的安全与保密，需要

51、在投资与效益之间加以审慎的权衡。既要充分而有效，把可能造成的危害减少到能承受的最小程度；又要适度，不必付出与其效果不相称的过高的投资代价或系统效能代价，从而取得综合性的、最佳的安全与保密效果。同时，也不能因为安全措施的过分使用而带来管理和使用上的过多不便。效能投资相容原则将体现在我们设计安全体系的每一环节中。 综合性、整体性原则：运用系统工程的观点、方法，分析网络的安全问题，并制定具体措施。一个较好的安全措施往往是多种方法适当综合的应用结果。一个计算机网络包括个人、设备、软件、数据等环节。它们在网络安全中的地位和影响作用，只有从系统综合的整体角度去看待和分析，才可能获得有效、可行的措施。 易操

52、作性原则：安全措施要由人来完成，如果措施过于复杂，对人的要求过高，本身就降低了安全性。其次，采用的措施不能影响系统正常运行。 适应性、灵活性原则 ：安全措施必须能随着网络性能及安全需求的变化而变化，要容易适应、容易修改。不易于或没有及时适应和更新的安全防护系统，本身就易于产生漏洞。 多重保护原则 ：任何安全保护措施都不是绝对安全的，都可能被攻破。但是建立一个多重保护系统，各层保护相互补充，当一层保护被攻破时，其它层保护仍可保护信息的安全。 逐步建设原则由于安全设计的复杂性，不可能一次性的建设成功一个完备的安全系统，网络安全的建设与网络系统的建设一样是一个长期的过程，必须在与网络系统的建设中根据

53、新的建设情况不断修改和完善，不断逼近理想的设计目标。以下我们将遵循以上设计原则，针对需求分析中的各个层次，采用合理的技术实现中国电信山东省网网络安全的解决方案。从系统角度来看，网络安全不是一个简单的产品问题，网络安全首先是个系统问题，从此次山东省网二期建设的可行性以及易切入性方面的安全方面考虑，我们建议山东电信省骨干网络采取以下措施： 设备物理安全性 设备的操作系统安全性 配置和操作的安全性 安全管理策略此次应客户要求，我们着重讨论第3和第4，设备配置和操作的安全性以及用户的安全策略8.2 设备的物理安全性网络设备的安全也是整个网络安全的一个重要环节，一旦被攻破，一方面可以作为攻击主机等系统的

54、“优质”跳板，一方面对整个系统的直接影响也非常大。试想一旦总公司的路由器、交换机的网络配置被删除，将会造成长时间无法正常开展业务的损失，对公司的形象的影响更是巨大。 设备的物理安全性好比是整个网络安全建设的基础，如果一旦骨干网络设备在物理上遭受人为的或是一些不可抗拒的因素，例如，台风，洪水，火灾等等，那么，我们在此基础上所有的安全策略和安全手段都将付之东流，正所谓“皮之不存，毛将焉附”。正如上图所示，我们建议在设备安全的防护上一定要做到物理级别的安全，在这一点上，电信的多年运维经验说明，在这一点上，还是可以做到的，因此我们在本次技术建议中不作详细地论述。8.3 设备的操作系统安全性此次的中国电

55、信山东省网的建设，采用了业界最先进的Cisco,Juniper,以及华为核心骨干设备，对于其核心骨干设备的操作系统每个厂家都经过了严格的测试，并且都形成了自身的安全体系。因此，此项安全防御基本由厂商提供保证，在此次技术建议中不作详细论述。 8.4 网络设备的配置和操作的安全性此次骨干网设备，主要涉及到Cisco和 Juniper 的骨干网络产品，由于每个厂商的安全策略和核心操作系统的开发过程的不同，因此，针对不同的厂商的产品需要通过不同的安全配置和操作来分别的有针对性保证其正常并且安全的运行。下面我们分别针对Cisco以及Juniper的产品详细作相应论述。 Juniper网络设备的安全配置和

56、操作这里着重介绍一下Juniper Networks网络公司的骨干路由器设备相关的安全保护措施，当然这些并不是唯一的措施，还有很多方法可以保护路由器的安全，因为安全的系统管理是一个渐进并且不断发展的过程。JUNOS的缺省设置JUNOS软件的一些缺省设置使得黑客容易攻击设备本身，比如root account的缺省设置等等。JUNOS软件不转发定向广播包(directed broadcast)。定向广播可以被用来攻击跨越Internet的用户，其原理是通过伪造的源地址发送连续的ping，目的地址是一个广播地址，比如说。如果在这样的网络上允许定向广播包，那么这种广播式的ping就可以有回应，试想一下

57、如果一个ping可以激起254个icmp echo回应，那么这个黑客伪造的源地址就成为受害者，因为接受太多了icmp echo而成为Dos攻击的目标。大型网络中或者是Internet网络中，这种攻击是很常见的。对路由器的远程管理访问缺省是禁止的（无论是ssh、ftp还是telnet），除非明确的打开。缺省配置里，只有从console的访问是被激活的。不可路由地址（martian address）。JUNOS软件内部设定了一些不可路由地址，作为保留的主机或者网络地址，他们的路由选择信息缺省是被忽略的。将一个网段加入到不可路由地址的配置是 routing-options martians /29

58、orlonger; 而JUNOS软件缺省有一些IPV4地址被设定为不可路由地址，他们是：In IPv4, the following are the default martian addresses: * .0/8JUNOS软件不支持snmp的写权限，这在一定程度上提高了snmp管理的可靠性。一些必要的配置可以使得路由器安全的运行，下面结合路由器的配置一一说明：JUNOS软件支持带外管理，通过fxp0进行带外管理，这个管理接口不支持其它的流量，不可以传输数据。同时还支持EIA-232的console和辅助端口进行管理。Fxp0直接连接路由引擎，与传输数据的PFE引擎相分离。SSH，JUNOS

59、软件支持SSH v1,SSH v2的加密通讯。缺省情况下SSH是关闭的，必须明确的配置SSH和其他的一些参数才可以使得SSH访问可顺利进行System services ftp; ssh connection-limit 10; rate-limit 4; telnet;当按照如下配置SSH以后，所有用户可以通过受限制的访问来访问路由器，root帐户也可以通过SSH来进行（telnet时，无法使用root帐户）edit systemlabr1#services ftp; ssh root-login allow; protocol-version v2; connection-limit 10

60、; rate-limit 4; telnet;JUNOS软件还允许设置不同级别的帐号来限制对路由器的访问，配置如下：edit systemlabr1#login user lab uid 2004; class super-user;级别是超级用户，相当于管理员权限 authentication 所有的密码都是加密的 encrypted-password $1$zQbRMZ.D$7EhH1pFsV12ZzD2.li4iL0; # SECRET-DATA user observer uid 2003; class read-only;这个是普通用户，只能进行一般的view,ping,telnet