CMNET网络结构和路由策略.ppt

CMNET网络结构和路由策略,2012年6月,目录,骨干网络架构与路由策略省内网络架构和路由策略省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法,骨干网络架构与路由策略网络概述网络现状路由组织策略网络演进,骨干网络架构与路由策略,网络：中国移动的互联网网络发展情况,04年,链路：2.5G、155M为主节点：核心汇聚增设第二节点（一般骨干）其他节点：双节点、双设备、双上联,节点：核心、汇聚单节点、双设备一般骨干单节点、单设备、双上联链路：少量2.5G、部分155M,建设3大核心5大汇聚及一般骨干节点,双节点改造及设备替换,网内网间链路扩容全网优化,涉及31个省份，设备替换、版卡扩容、网内、省网、出口链路扩容、全网优化链路：10G、2.5G为主，少量155M节点：核心、汇聚：单节点、双设备、建设第二节点其他节点：双节点、双设备、双上联,技术及网络结构发展,时间,CMNET一期,CMNET二期,全面建设移动骨干网,10年,00年,07年,CMNET5期网络结构调整：1、北京、上海、广州分别设置2个节点，每节点1台集群路由器2、五大汇聚设置第二汇聚节点3、北京、西安、武汉、广州、上海设置独立的IPRR4、除8大核心汇聚节点外其他25个一般骨干节点设置双节点5、北京、上海、广州国内互联设置双节点6、北京、广州国际互联设置双节点、上海设置单节点,奥运WLAN:涉及北京、上海、沈阳、青岛、天津、秦皇岛6个奥运城市，设置WLAN专用国内、国际出口，承载奥运WLAN业务,新奥VPN一期:涉及13个省份31个地市，新增52台PE设备路由器，上联至CMNET骨干网设备,CMNET网间互联：上海广州新增第二国内出口T1600广州新增第二国际出口CRS-1扩容国内、国际网间链路,全网大力建设IDC中心，主要包括7个一级IDC和5个二级IDC。,网络雏形,双节点改造,引入10G链路,建设VPN专用网,引入集群，大力发展IDC,内容：中国移动的互联网内容发展情况,07年,音乐随身听全曲下载,飞信,音乐搜索,短信转移/过滤/仓库,基本语音，短信前传等补充业务,以品牌为基础解决基本通信需求,增值业务提升用户体验,数据业务大爆炸,手机动漫,可视电话,MM,SP,截至2009年9月共有合作SP7258家,其中全网SP共879家，开展合作业务8.3万个,移动智能网,业务种类,时间,基本业务：9种补充业务：7种,话音增值业务：18余种,数据增值业务：70余种,条码识别条码凭证,全业务运营,公共安全,绿色农业,工业监控,智能交通,环境监测,电子广告,远程医疗,智能家居,多媒体化、定制化,11年,02年,基地业务，互联网业务,互联网化,用户：中国移动的互联网用户发展情况,CSD,GPRS,WLAN,专线,家庭宽带,集团客户,TD,VIP客户,2000,2012,2003,WAP,手机用户发展：手机用户数从不足2000万增长到4.5亿。宽带用户发展：宽带用户数从100万左右发展到目前的近1000万，网络承载的流量增加超过12倍。WLAN大发展：WLAN网络经历了巨大发展，AP数量20万到200万。Wlan用户从不足10万增长到3000万。,用户种类,骨干网络架构与路由策略网络演进网络现状路由组织策略网络演进,骨干网络架构与路由策略,CMNET网络概况,骨干核心层（北京、上海、广州）：负责中转省际流量、网间流量；,骨干汇聚层（西安、成都、武汉、南京、沈阳5省）：负责中转省际流量；,骨干接入层（23个省）：负责汇聚本省流量。,省网核心层,CMNET网总体分为两层结构，分为骨干网、省网。骨干网按功能层次分为骨干核心层、骨干汇聚层、骨干接入层。省网分为两种结构。其中29省采用一个自治域，分为省网核心、省网接入、城域网接入三层。,全网组网原则：无论骨干和省网、城域网，一般接入节点至少连接两个上级节点（汇聚和核心）。城域网核心至少连接两个省网核心，省网核心至少连接两个以上骨干核心（或汇聚）。,城域网接入层,省网接入层/城域网核心,CMNET骨干网的结构,总体分层CMNET骨干网网络层次目前分为核心骨干层、汇接骨干层、一般骨干层三层结构。另外与核心层还连接有国际出入口层、互联互通层。一般接入层及以上即为省际骨干部分。（流量小情况下，分层汇聚能够节省端口。）骨干网按照地域分为3大片区，3大片区又细分为8个大区：北京片区：北京大区、沈阳大区、西安大区上海片区：上海大区、南京大区、武汉大区广州片区：广州大区、成都大区当前各片区向外发布路由优选情况如下（条数）：电信互联，北京：上海：广州=300:287:359联通互联，北京：上海：广州=374:223:393,9,CMNET骨干网国内拓扑结构,核心层北京、上海、广州3个节点及其相连链路构成骨干核心层。其中，北京、上海、广州为核心节点，核心层北上广提供大区内省份流量的交换，并负责全网与国际Internet、国内其他运营商的互联。CMNET六期之后，部分省增加了到核心的连接。比如，青岛上海；福州上海。汇聚层汇接层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳节点为汇聚节点（相当于中国电信的普通核心），负责本大区内省份流量之间的交换原则上同省的两个接入节点同时连至三个核心节点中的一个、按区域连至五个汇聚节点的一个或多个。只有杭州连接至三个核心，并连接到南京。CMNET六期后将增加到核心以及汇聚的多个方向连接，比如济南武汉、厦门武汉等。接入层接入层按照一个省份两个骨干接入节点设置，只负责汇聚本省省际流量和出网流量。,10,CMNET骨干网络节点概述,网络节点：2011年底后，覆盖全国31个省（区市）36节点城市,划分片区负责网间入流量调整：即按照片区广播网间路由，吸引入流量；划分大区负责网内流量调整，中国移动大区内流量优先通过汇聚节点转发。,11,CMNET骨干国际网络结构,国际出口层北京、上海、广州的路由器组成，是国际网络的核心部分，面向国内连接骨干核心层，面向国外连接海外POP点，用来汇聚CMNET出入国内的国际流量，建立出国流量的缓冲区，设立这个层面的一个重要目的是方便国际出口配套工程实施。目前北京出口配套工程原因暂停使用。国际接入层国际接入层主要是指海外POP，主要用来接入海外网络，及与其他海外ISP间的互联链路（包括部分PEER电路和购买的TRANSIT电路）。它的主要作用是降低PEER互联成本和购买Transit的成本。每个节点规划两台路由器。美国POP点：洛杉矶、旧金山的国际互联网接入。香港POP点：负责香港本地和部分东南亚、欧洲的互联网接入。伦敦POP点：英国伦敦，负责欧洲国际互联网接入。（目前1台，未启用）,12,CMNET骨干网网络现状网间互联节点设置,国内互联节点：北京、上海、广州，均为双节点设置。国际互联路由器：北京、上海、广州，均为双节点设置，由于安全配套尚未到位，故北京国际出口、上海国际出口2、广州国际出口1暂未上线。NAP互联路由器：北京、上海、广州；均为单节点设置。海外POP点由中国移动国际公司运营的CMNET国际网（CMI）提供，拥有独立的自制系统，为CMNET提供国际互联业务。现有北美POP点（单局址双设备）、香港POP点（单局址双设备）及欧洲POP点（尚未承载业务）,网间互联,电信、联通等国内运营商,北京1,上海1,广州1,北京2,北美,香港,Sprint、AT省网分裂为大城域网;大内容城域网上联核心平面,城域网2,核心,核心,西安,北京,杭州,广东,武汉,天津,成都,重庆,安徽,福建,广西,湖南,江西,云南,南京,。,城域网1,省网2,为高清视频和大带宽应用建设CDN,城域网2,互联出口大型IDCCP互联,互联出口大型IDCCP互联,扁平化简单化拓扑稳定,易于扩展高转发效率,高清视频内容本地化,42,网络结构问题1：骨干汇聚节点未设置国内出口，造成核心流量过集中-迂回和绕转造成端口和带宽浪费,随着业务的增长，由于汇聚节点未设置互联出口，流量过于集中于现有三个骨干核心节点，汇聚节点未充分发挥效率。问题后果：导致核心节点的升级调整和故障影响大。,核心、汇聚节点承担的流量,网内74.3%骨干网流量需要通过核心节点承载，核心和汇聚节点之间流量疏通不均衡。根本原因是因为互联互通的节点只设置在北上广，且CMNET对外网互访依赖较为严重。（中国电信：10%以内，中国移动50%）,数据来源：数据网管,网络结构现状：西安无国内出口，山西省36.2G的流量90%通过北京疏通。为保障安全，西安1到北京1之间需预留40G备份带宽资源。,目标方案：西安增加国内出口20G后，西安1到北京1之间只需预留20G备份带宽。,解决方案：将西安等5个汇聚节点和浙江节点逐步按需增加网间出口,方案效果：如果在西安增加疏通20G国内出口，就可节省北京到西安之间的传输链路2条10G，4个10G端口，同时也能提升北京到太原之间的质量。,网间互联出口并非越多越好，要有适当的度，每增加一个互联出口：1、跨运营商业务的路径增加，排障时间成倍增加。2、多出口流量调控的难度增加，利用率和平衡效果变差。同一个出口的链路负荷分担的效果非常好，不同出口之间负荷分担需依靠维护员手工不断尝试调整，由于40万条路由的复杂性，过多核心将导致同样的质量保障情况下，互联出口平均利用效率下降。3、IP技术采用统计复用原理，适当汇聚后的抗突发能力、冗余备份能力更强。,网络结构问题1：骨干汇聚节点未设置国内出口，造成核心流量过集中-迂回和绕转造成端口和带宽浪费,核心节点逐步增至9个,网络结构问题1解决方案：适当增加核心节点数量,将汇聚节点增加网间出口，升级为核心节点，同样也推动了骨干核心和汇聚节点扁平化，使得CMNET骨干从三层变为两层，减少了网内访问跳数,现状,核心扁平化,演进前：核心、汇聚、接入节点,方案效果：每个核心节点承担的流量将降低到10%以内，有效减少网络升级和故障发生时的业务影响。,备注：定义核心节点的两个要素1、有汇聚转发周边省份流量的需求。(核心节点自身处于传输网汇聚点，且周边省份流量相对较小，有经过自身中转提升效率的需求）。2、由负责疏通网间流量的需求。,45,目标,网络结构问题问题2：部分大流量省际节点之间未设直达-当前结构造成大流量经过核心中转，效率低,调整直连的本质：随着网内流量增大，接口技术未升级，使得部分大流量省之间经过核心转发不再合理，需要根据流量增长和端口技术不断优化直连链路。,解决方案：增加大流量省份之间的跨省直连链路。本质是骨干网层面扁平化，“该直连，就直连”。,网络结构现状：南昌-南京流量需中转，在2012年中转流量超过16G后，上海需要为南昌多设置4个10G端口。,目标方案：增加南京-南昌直连链路，能够节省4个10G端口，在保障冗余能力的情况下，提高了中转效率。,方案效果：增加跨省直连后，能够节省端口，提高中转效率。,大流量时设置直连：省端口、增加了骨干路由，减少了冗余程度。小流量时设置直连：费端口、增路由。大流量和小流量的标准随技术在不断变化，结构也要随之变化，通常设计一个超过3年的网络结构是没有意义的。增加直连要保证一定程度的冗余：要保证直连中断时，所归属的核心节点能够作一定的备份。,适度增加直连的原因：,网络结构问题3：出省流量大的城域网未直连骨干网-造成经过省网核心中转效率低,解决方案：增加出省流量大的城域网双跨省网和骨干的力度。本质是大流量的城域网扁平化，“该双跨，就双跨”。,方案效果：出省流量大的城域网双跨，能够节省端口，提高中转效率。,网络结构现状：太原城域网出省流量超过20G后，山西省网核心需要为之多设置8个10G端口。,目标方案：城域网双跨，能够节省8个10G端口，在保障冗余能力的情况下，提高了中转效率。,15G/20G,15G/20G,解决方案：增加出省流量大的IDC双跨省网和骨干的力度。本质是大流量的IDC扁平化，“该双跨，就双跨”。,方案效果：出省流量大的IDC双跨，能够节省端口，提高中转效率。,网络结构现状：北京IDC出省流量超过20G后，北京省网核心需要为之多设置8个10G端口。,目标方案：城域网双跨，能够节省8个10G端口，在保障冗余能力的情况下，提高了中转效率。,15G/20G,15G/20G,CMNET骨干网,北京IDC,其他接入节点,北京省网核心,CMNET省网,15G/20G,15G/20G,网络结构问题4：出省流量大IDC未直连骨干网-造成经过省网核心中转效率低,CMNET演进原则总结,互联网组网结构是动态，伴随流量和端口技术等需要针对性优化。针对CMNET演进优化建议如下：,增加骨干核心节点的数量：将南京、武汉、成都、沈阳、西安5个汇聚节点和杭州节点升级为核心节点，推动扁平化，提高疏通效率。增加骨干网网间出口：在出网流量大于30G的汇聚节点增加网间出口，节省核心节点间的传输链路和端口资源。出口地点：南京、武汉、成都、沈阳、西安、杭州。大流量省份骨干节点之间增设直连：业务量大于14G的可设直连（阀值随技术变化，如40G应用后，阀值可相应提升；14G=10*2*70%）。省间直连仅疏通两省直达流量。同时考虑适度增加直连的原则，所在省的归属核心要能够实现业务备份（建议备份比例超过50%）。大流量城域网节点增设和骨干网的直连，同时连接骨干网和省网：大流量的城域和IDC节点（例如下期规划的南京、深圳），可以双连省网和骨干。大流量IDC节点双跨骨干网和省网：IDC节点双跨骨干和省网，即省外流量直接骨干转发，省内流量由省网核心转发。推进三角型组网向口字型组网转变，增强后期网络结构优化扩展性。满足业务发展需求。,目录,骨干网络架构与路由策略省内网络架构和路由策略省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法,省内CMNET网络概况,省内CMNET网络路由规划,1、CMNET省内网络IGP使用ISIS协议实现省内设备loopback和互联地址可达。2、省干核心NE5KE-1和NE5KE-2接收国干设备通过EBGP下发的默认路由。3、省干核心NE5KE-1和NE5KE-2同各个地市的出口设备RT01和RT02之间建立IBGP邻居关系，省干核心NE5KE作为路由反射器反射地市出口设备发布的BGP路由。4、地市核心设备RT01/02作为地市SR及BRAS设备的路由反射器反射从省干学来的BGP默认路由，转发地市内部SR及BRAS设备发布的BGP明细路由。5、侧挂在地市出口的防火墙作为RT01/02的客户机同RT01/02之间建立IBGP邻居关系，接收RT01/02反射的默认路由。6、SR及BRAS设备接收RT01/02反射的默认路由并通过在BGP中network+静态路由的方式发布下挂业务地址网段的路由。7、SR或BRAS上通过直连或静态路由方式实现到下挂业务地址的互通。,IBGP,IGP和BGP规划,BRAS,SR,NE5000E-1,NE5000E-2,RT02,1、专线用户的上网流量通过接入侧交换机进行带VLANTAG的二层透传，SR作为网关设备对到达设备的专线流量根据VLANTAG进行三层终结。2、SR查找路由表进行数据报文的转发，将访问非城域网内部的流量上送至地市出口设备RT01/02。3、流量到达RT01/02的接口时执行入方向的策略路由，将流量重定向到侧挂的防火墙。4、防火墙对进入的报文进行NAT地址转换后查找路由表转发，将流量送回地市出口设备RT01/02。5、地市出口设备RT01/02收到防火墙发来的转换地址后的报文时，查找路由表进行转发，将流量上送至省干设备。至此完成城域网内部的流量上送。,私网地址上行流量,私网地址业务流量规划,SR/BRAS,私网地址业务流量规划,1、目的地址为防火墙转换后的公网地址的回程流量回到省干设备NE5KE-1/5KE-2后查找路由表转发，将回程流量发送至地市出口设备RT01/02。2、盟市出口设备RT01/02收到回程流量后查找路由表，根据路由表将报文发送至侧挂的防火墙。3、防火墙收到报文后根据已经建立的NATSESSION表进行公网到私网的地址转换并查找路由表进行转发。将转换后的报文发回地市出口设备RT01/02。4、RT01/02收到回程流量的报文（目的地址已经为私网），查找路由表后将报文转发至下挂的SR设备。5、SR收到报文后查找路由表进行转发，做相应的VLAN封装后将报文送至接入侧交换机。6、接入侧交换机进行二层流量转发，将流量送回专线用户。,私网地址回程流量,SR/BRAS,公网地址业务流量规划,1、专线用户的上网流量通过接入侧交换机进行带VLANTAG的二层透传，SR作为网关设备对到达设备的专线流量根据VLANTAG进行三层终结。2、SR查找路由表进行数据报文的转发，将访问非城域网内部的流量上送至地市出口设备RT01/02。3、地市出口设备RT01/02收到报文后，查找路由表进行转发，将流量上送至省干设备。至此完成城域网内部的流量上送。,公网地址上行流量,SR/BRAS,公网地址业务流量规划,1、目的地址为专线业务公网地址的回程流量回到省干设备NE5KE-1/5KE-2，省干设备查找路由表转发，将回程流量发送至地市出口设备RT01/02。2、盟市出口设备RT01/02收到回程流量后查找路由表，根据路由表将报文发送至下挂的SR设备。3、SR收到报文后查找路由表进行转发，做相应的VLAN封装后将报文送至接入侧交换机。4、接入侧交换机进行二层流量转发，将流量送回专线用户。5、专线用户收到数据包后解封装读取相关信息，至此完成回程流量的转发。,公网地址回程流量,SR/BRAS,VPN业务流量规划,1、省内配置2台VPN路由反射器RR1/RR2，分别侧挂在省干设备NE5KE-1和NE5KE-2上。2、地市的SR设备作为PE设备和2台反射器之间建立BGPVPNV4邻居关系，通过RR1和RR2反射VPNV4路由，实现VPNV4路由的全网传递。3、当地市1的1台SR设备上发布在VPNV4中发布了一条路由时，该路由传递给RR1/RR2，并经过RR1/RR2的反射，传递给全网的PE设备。4、PE设备根据配置的不同的RT值进行私网路由迭代，将匹配的路由放到对应的路由表中，至此完成VPNV4路由的发布。,VPN用户路由发布,地市2,地市1,RR1,RR2,VPN业务流量规划,假设地市1的SR1下用户A访问地市2的SR2下的用户B，这两个用户在同一个VPN中。1、A用户将报文通过接入侧的交换机发送至SR1。2、SR1收到报文后查找VPN路由表，发现要访问的目的地址B的下一跳为SR2的loopback地址，且转发为MPLSLSP形式的标签转发，于是将报文送入上行的MPLS网络，打标签后进行MPLS转发。3、SR2收到A发来的报文后弹出MPLS标签，查找VPN路由表，将流量通过接入侧交换机送至下挂的用户B。4、回程流量设备处理方式和步骤1、2、3一致。,VPN用户流量模型,地市2,地市1,RR1,RR2,目录,骨干网络架构与路由策略省内网络架构和路由策略省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法,省网组织结构与路由交换方式,一、网络定位,CMNET省网采用核心、接入两个层次，CMNet城域网分为核心层和业务接入控制层两个层次；业务发展初期，CMNET省网接入层兼做本地市CMNET城域网的核心层，CMNet省网与CMNet城域网共自治域。CMNET省网与骨干网采用不同的自治域进行网络组织。如下图：,省网组织结构与路由交换方式,二、网络规划原则在网络层次上，CMNet省网分为核心层、接入层两个层次。核心层主要由核心路由器组成，现阶段核心路由器兼做省网出口路由器，主要作用是汇接出省业务量，转发省网内各接入节点之间业务量，并提供CMNet省网到CMNet骨干网的出口。接入层主要由接入路由器组成，实现城域内的业务汇聚，提供城市的高速IP数据出口。,省网组织结构与路由交换方式,三、网络节点设置原则CMNET省网节点地址的选择应考虑传输、机房、电源等各种条件，同时也应考虑省内的维护、支持力量来综合考虑，应保证故障发生时快速响应、及时排障处理。省网核心节点的设置：省网核心节点应采取大容量、少节点的方式进行建设，原则上省网内设置个核心节点；省网接入节点的设置：省网接入节点应设置在业务相对比较大且集中的地市级城市的通信枢纽楼，为保障节点的可靠性，一般异局址成对设置接入路由器；,省网组织结构与路由交换方式,五、网络拓扑结构设计原则CMNET省网网络拓扑结构设计时应统筹考虑节点地域分布、光缆传输路由、被承载业务的业务量情况、业务相关性等因素；CMNET省网核心层宜以口字型结构接入本省的CMNET骨干网节点；CMNET省网接入层以双星型结构接入省网核心层，成对的接入路由器之间直连并构成口字型组网；原则上，不同地市节点路由器之间暂不设置直连链路；,省网组织结构与路由交换方式,六、路由组织原则,CMnet省网,Cmnet骨干网,AS:CMNET省网与骨干网采用不同的自治域进行网络组织；目前CMnet省网采用公有或私有AS号。,IGP:省网内采用IGP路由协议（ISIS或OSPF），并设置与城域网独立的IGP区域（level或者area），,区域间:CMNET骨干网与国际、国内互联网以及与中国移动互联网CMNET省网之间运行BGP-4路由协议。,接入网,接入网,接入网,网内路由:省网内部互联网业务的路由（公网路由）可通过IBGP或IGP承载。若通过IBGP承载，则在省网接入层对互联网业务路由进行汇聚；通过IBGP宣告给省网核心层，最后在省网核心层对省内路由进行汇聚后宣告给CMnet骨干网。若通过IGP承载，则在CMnet省网核心层对业务路由进行汇聚，并通过EBGP宣告给CMnet骨干网；,省网核心路由器,接入路由器,网间路由:省网与骨干网之间采用外部路由协议EBGP-4。CMNET省网接收互联网全路由表，省网内部通过细化路由访问CMNET网内、网外资源。,RR:省网设置路由反射器RR以反射全省业务的路由。一级RR可以由省网汇接路由器兼做；二级RR，可以由省网接入路由器兼做。,VPN:CMNet省网内汇接路由器、接入路由器均启动MPLS和LDP，并作为MPLSVPN的P设备，城域网内业务接入控制设备作为PE设备提供MPLSVPN接入。,骨干路由器,省网组织结构与路由交换方式,七、城域网网络协议规划,目录,骨干网络架构与路由策略省内网络架构和路由策略省网组织结构与路由交换方式高价值业务的区分、标识原则及保障方法,高价值业务的区分、标识原则及保障方法,在中国移动CMnet骨干网网中，QoS的实施分为两个部分：边缘和骨干。在边缘主要完成以下功能：指定业务类型与级别的策略；指定资源分配与控制的策略；业务分类与安全策略的实施；在边缘采用的技术包括：业务分类（Classification：IPPrecedence/DSCP,MPLSEXP）；速率限制（Rate-limit：CAR）；在骨干主要完成以下功能：提供大容量、高性能和高可靠性；提供策略的管理与实施；提供流式排队与拥塞管理；在骨干采用的技术包括：带宽分配与拥塞避免（Bandwidth&CongestionAvoid：WRED）；带宽分配与拥塞控制（Bandwidth&CongestionControl：WFQ）；,高价值业务的区分、标识原则及保障方法,总体原则：接入层实现业务标识（着色），网络层实现分级别转发,接入网A,骨干网,高优先级,中优先级,低优先级,接入网B,省网,全部节点：分级别按颜色转发,C,A,B,部署QOS策略,所有业务,银业务,金业务,铜业务,网络边界：分业务等级按金银铜着色,特殊链路：区分ABC口高级别高保障,HTMLWeb网页,管道资源按价值调度,金牌业务银牌业务铜牌业务,按需管道,尽力而为,实现目标,网内质量保障：QOS保障方案,WLAN,GPRS,传输网,移动互联网,集团大客户,个人宽带,CMnet省网/城域网,CMnet骨干网,接入层,汇聚层,核心/出口层,一般骨干层,核心/汇聚骨干层,网间互联层,国内、国际运营商,骨干智能管道,省内智能管