超大型客户MPLSVPN组网设计与实现.doc

超大型客户mpls vpn组网设计与实现陆小铭 冀晖 王韬凯 曹维华随着mpls vpn技术的成熟和逐渐被市场所理解和接受，越来越多的超大型企业（保险、金融、能源等）的企业网逐步由专线转为mpls vpn组网，超大型客户 的mpls vpn组网中有鲜明的特点，譬如重视网络的稳健性、安全性和可管理性， 同时该类客户端技术力量和谈判能力很强，因此需要运营商提供全程完善的技术支 撑服务。文中作者从运营商的角度出发，结合实际工作经验，对超大型企业mpls vpn的网络需求、冗余设计、qos设计、验收测试等关键环节进行了阐述和分析， 总结了运营商对超大型客户mpls vpn组网的一些服务经验，并提出网络设计和实 施中应该重视和注意的问题。关键词： mpls vpn qos 陆小铭2007年毕业于华南理工大学电子信息工程学院，通信工程专业，硕士学位。2002年至今就职于中国电信广州研究院，曾从事pstn、软交换、ip网络技术 和移动互联网的支撑和研究工作，曾支撑集团大客户项目组完成多个大型mpls vpn组网项目。冀晖1997年毕业于北京邮电大学，计算机应用专业，硕士学位。1997年至今先后 就职于中国电信数据通信局、中国电信集团公司，曾从事atm、ip网络技术和专 业管理工作，现负责重要政企客户的网络及技术支撑工作。王韬凯1999年毕业于四川大学水电学院，电力系统及自动化专业，学士学位。2010年毕业于北京邮电大学信息与通信工程学院，电子与通信工程专业，硕士学位。1999年至今就职于中国电信集团公司，曾从事chinanet网和cn2网络维护和管 理等工作，自2008年起主要从事中国电信金融行业政企客户营销支撑及服务支撑 等工作，组织支撑过平安保险全国vpn组网等项目。曹维华1999年毕业于华南理工大学电子信息工程学院通信与信息系统专业，获工学 硕士学位。2000年至今就职于中国电信广州研究院，先后在ip网络技术、支撑系 统、网络分析、运营支撑、移动互联网等领域开展研发和支撑工作。1引言的性质看，主要是国有大型企业和国外跨国企业； vpn站点的数量从500到5 000之间不等；企业应用复杂，主 要包括企业核心应用、voip、视频会议、内部邮件应用、mpls vpn组网中，超大型客户并没有一个严格的定义，本文所讨论的超大型客户有以下几个特点：从企业技 术 交 流64摘要ftp、互联网应用等等。超大型客户从原有的专线方式转为m p l s v p n 组 网，是对企业网络的一次根本性的变革，主要体现在以下 方面：（1）实现了网络的扁平化：网络拓扑由树形结构变 成扁平化结构，所有站点可以直接访问数据中心，省内流 量不需要再汇聚到市级和省级站点再到数据中心，从而消 除网络瓶颈，也有助于实现it系统的集中部署和管理；（2）实现网络的灵活扩展：可以灵活部署站点以及 根据需求调整接入带宽，而不需要调整网络中间节点的配 置，从而实现业务的快速部署；（3）实现业务质量保障，通过mpls vpn产品的层 次化qos保障策略，对不同的业务实施qos保障，从而保 障业务体验；（4）实现网络的统一管理：通过运营商的网管代维 服务，可以协助企业实现对所有站点设备的统一管理，通 过在数据中心实现互联网的一点接入，实现互联网业务的 统一管理。客户采用专线方式组网时，运营商只是提供传输通 道，用户自己管理着网络二/三层的配置（包括ip地址、 路由组织等），当采用mpls vpn组网时，运营商的ip骨 干网更多的参与了客户端二/三层配置，这些改变使客户 产生不适应和不信任，因此，运营商在接手超大型企业提 出的组网需求时，一般需要成立专门的项目小组进行详细 的需求调研以及制定网络实施方案，以下篇章对该过程中的关键问题进行了总结和探讨。视频会议、e-mail、ip呼叫中心、互联网应用等，如企业内部应用存在着哪些核心应用，采用什么协议；视频会议 采用的协议、占用带宽、会议模式；互联网应用的出口分 布，带宽等。（2）网络拓扑需求：明确用户站点的分级情况，一 般可以采用“总部-省-市-区”四级站点的划分方法，同时 明确各个站点之间的访问关系，制定网络拓扑。（3）网络带宽需求：对于各级站点，根据业务承载 的需求，参考目前带宽使用情况，确定各级站点统一的接 入带宽，以方便运营商的业务开通和管理。（4）网络qos需求：qos等级是 mpls vpn产品的关 键之一，运营商需根据客户端业务情况，确定哪些业务需要 纳入到哪些qos等级，同时确定各个qos等级的带宽。（5）网络安全需求：明确哪些站点需采用双链路的 方式，同时是采用负载分担方式还是主备方式，同时明确 客户是否会同时采用安全加密功能。（6）互联网访问需求：明确客户是通过单一出口还 是多出口进行互联网访问，建议引导客户通过单一出口的 方式，这样，客户可以实施统一的管理，运营商在网络配 置也会比较简单。（7）网络割接需求：明确原有站点从旧网络迁移到新网络的需求，是直接迁移还是多网络共存。3网络设计与实现3.1 网络拓扑设计根据过往案例，“星型部分网状”是超大型客户比较常见的网络拓扑结构（如图1），即全国站点均可访 问总部站点；同时，省内的各级站点可互访，跨省站点 间不能直接互访。另外，超大型企业的站点数量多，如果 ce-pe采用静态路由的方式，发生需求变更（如需要增删 改路由）时两侧都需要进行配置，管理相对复杂，如果采 用bgp的方式，pe则只需要限定发布的路由数即可，客 户可以在限定的路由条目数内任意进行修改，因此，建议 所有站点都采用bgp的方式发布路由。2用户需求分析用户需求分析是制定网络实施方案的基础，超大型客户的网络应用复杂，可能存在着总部的技术人员不了解各个省的特有的应用，网络技术的人员不了解it方面的应 用，公司的经营管理人员与技术人员的理解有差异等等情 况，因此，通常从单一渠道不可能获取全部准确的信息， 所以要尽可能的和多方面进行沟通。用户需求分析建议从 以下方面开展工作。（1）业务承载需求：企业内部应用、ftp、voip、2011.01.广东通信技术技 术 交 流65超大型客户mpls vpn组网设计与实现如下设计。rt（xxxxx1050）。（2）如果在各省省会设置了互联网出口，则可以采（1）钻石等级的业务具有最高优先等级，带宽是预技 术 交 流（2）白金、金、银、铜等级的优先级逐步降低，高 等级业务可占用比其更高等级的未用的带宽，不允许占用 低等级业务的未用带宽。例如白金业务可以占用钻石级业 务的未用带宽，但不能占用金、银、铜业务的未用带宽。 如果客户的应用包括企业voip、视频会议、内部应 用（办公应用、邮件）、ftp、互联网应用等，建议进行图1 星型+部分网状的组网拓扑以下就以“星型部分网状”的网络拓扑为例，并 （1）voip：由于voip对丢包、时延、抖动、乱序等 假设所有节点的ce-pe连接均采用bgp的方式，对设计中 网络参数要求较高，同时voip的带宽容易估算，因此建 涉及的rd、rt、as号等参数进行说明。 议voip设为钻石等级，带宽可以设置为最高话务量的1.5（1）rd号规划倍；由于存在一个pe上可能同时接入总部、省级站点、（2）视频会议：视频会议系统对丢包、时延等参数 市级站点和区级站点的情况，如果所有机构采用统一一也有一定的要求，高清视频对带宽的要求也比较高，建议 个rd号的话，rt的配置将不能区分，为此rd的分配应视频会议应用可以设置为白金等级，可以设置为实际占用 有所区别。可以考虑总部站点单独使用一个r d 号（如带宽的1.5倍； aaaa:xxxxx），而其他站点统一使用另一个rd号（如（3）内部应用：可以设置为金等级； aaaa:yyyyy）。（4）ftp应用：企业的ftp应用抢占带宽会比较厉（2）rt规划害，建议设置比内部应用低，同时比比互联网应用高，设 总 部 和 其 他 所 有 站 点 的 通 信 ： 分 配 一 对 r t置为银等级比较合适；（xxxxx00和xxxxx01）；（5）互联网应用：设置为缺省等级；省内所有站点的间的通信：以省为单位分配一个3.3 互联网出口方案（3）as号规划对于“星型+部分网状”的网络拓扑，需要严格控制 建议总部站点采用单独一个as号，其他所有站点使缺省路由的出现，如果从总部站点发送缺省路由，将使所 用另一个as号。由于同省的所有站点要求能互相访问，有站点都能通过总部进行互访，整个网络变成网状组网。 由于使用相同的as号， pe上应开启as-overide功能。（1）如果在总部设置了单一互联网出口，可以采用代理的方式访问互联网。3.2 qos设计中国电信的cn2网络采用基于diffserv架构的qos用以下两种方案： 技术体系，基于ip precedence和mpls exp标记位最大 采用代理的方式； 支持8个业务等级分类。目前，中国电信mpls vpn产 由于省内是网状网络，因此可以在省会站点向省 品的qos等级分为钻石、白金、金、银、铜5个等级，用内站点发布缺省路由，省会站点要通过route-map控制路 于支持不同的客户内部应用。对于ce侧的业务特征（级由发布的方向，不要向上发布。ce-pe的接口），表现如下：3.4 双链路连接的流量控制策略定好的，不能超限，如果超限将会引起丢包；m p l s v p n 站点的c e - p e 如果通过双链路进行连技术交流66接，则需要确定双链路采用的是负载分担还是主备方式。在具体的配置中，可以在pe或ce的任意一端或两端同时 配置local_prefrence和med（multi exit disc）达到所需 要的流量控制效果。但对于超大型客户，建议应给予客户 尽可能多的控制权，一方面可以使用户可以灵活的修改策 略，另一方面pe侧不需要配合ce侧进行修改，能大大降 低运营商的维护工作量。下面以双ce-pe连接的模型（见图2），说明负载分担和主备方式的配置思路。汇总各类业务的路由（覆盖总部所有的服务器）；ce在bgp上宣告汇总路由，并通过route-map配 置，避免从pe学到本站点的网段，防止路由环路；配置入方向的route-map（如命名为route-map- in），对总部发过来的路由配置local_prefrence，其中一 半的路由在ce1配置的优先级要比ce2高，而另一半的路 由在ce2配置的优先级要比ce2高，注意配置route-map 时，覆盖的路由要全，同时为了使流量均衡，两边的路由 需根据业务量来划分；配置出方向的route-map（如命名为route-map- out），对本站点的汇总路由配置med，其中一半的路由 在ce1配置的优先级要比ce2高，而另一半的路由在ce2 配置的优先级要比ce2高；负载分担方式可能存在着流量路径不对称的问题，在实施初期需要对业务进行可用性测试。3.5 多链路连接的流量控制策略图2 双链路连接在超大型客户端mpls vpn组网中，总部站点的常见的接入方式如图3所示。在以下两种方式中，p e 不需要配置任何的控制策略。（1）主备方式（假设链路1为主用，链路2为备用）汇总内部路由为a.a.a.a，以及分别汇总各类业务 的路由（覆盖总部所有的服务器）；ce在bgp上宣告汇总路由，并通过route-map配 置，避免从pe学到本站点的网段，防止路由环路；配置入方向的route-map（如命名为route-map-i n ），对总部发过来的路由配置l o c a l _ p r e f r e n c e ，其 中c e 1 配置的优先级要比c e 2 高，如c e 1 配置l o c a l _ prefrence为200，ce2配置为100，注意配置route-map 时，覆盖的路由要全；配置出方向的route-map（如命名为route-map- out），对本站点的汇总路由配置med，其中ce1配置的 优先级要比ce2高，如ce1配置med为10，ce2配置为20（med的值越小优先级越高）；（2）负载分担汇总内部路由分为基本大小的两部分，以及分别图3 总部站点常见的接入方式总部站点的ce与pe之间有可能存在多条电路（如ce-pe之间的带宽超过1gbps，通过若干条ge链路连 接），并采用双ce-pe连接的方式，此时流量控制策略可 以按以下规则实施。（1）单方向的多条链路间实现负载分担策略，ce1- pe1方向的两条链路1、2实现负载分担，ce2-pe3方向的 两条链路3、4实现负载分担；（2）ce1-pe1与ce2-pe2实现主备方式，平时是2011.01.广东通信技术技 术 交 流67超大型客户mpls vpn组网设计与实现（如pe-ce之间是通过波分进行传输的，如果一侧的设备技 术 交 流ce1-pe1作为主用，ce2-pe2作为备用；建议100ms；在具体的数据配置中，常见的做法：rx interval 接收bfd hello报文的时间间隔（ms），建c e 、p e 各自配置l o o p b a c k 地址，用作建立议100ms；e-bgp连接之用；multiplier表示连续没有收到几个h e l l o 报文之配置静态路由使ce和pe的loopback地址互见；后，才认为peer down，建议3。ce-pe之间基于loopback地址来建立e-bgp邻居具体的配置有两部分（以思科路由器配置为例）：（neighbor x.x.x.x ebgp-multihop 2）；（5）在端口模式下配置bfd参数 在网络正常运行的时候，以上的配置确实能很好的实现预期的流量控制策略。但在单条链路出现单通故障（6）在e-bgp配置启用bfd功能端口故障，由于波分设备并不能实现自动停光功能，因此 存在链路虚通的问题）的时候，会引起比较复杂的问题，可以归结为以下情况。在实际的测试中，在没有配置bfd的bgp连接中， 假设ce1-pe1之间（主用侧）的链路1出现虚通的故如果发生链路故障，b g p 的收敛时间会长达2 0 秒；配 障，同时，在多条链路的情况下，ce-pe的e-bgp消息的置了b f d 功能之后，收敛速度能在1 秒左右。因此， 交互会根据哈希算法落在其中的某条链路上。bgp+bfd的配置能较好的保障超大客户端重要节点的可（3）如果e-bgp消息是通过链路1进行交互的，那用性。么主用侧的e-bgp邻居关系会down掉，此时ce2-pe2的e-bgp邻居还是正常的，从而数据流会从主用切换到备4验收测试建议用；在中国电信目前的mpls vpn产品的验收测试规范（4）如果e-bgp消息是通过链路2进行交互的，那么中，基本只定义了基于ping的验收测试标准。该测试标准 e-bgp邻居关系还会维持正常，流量会同时送到链路1、2技术成熟而容易实施，因此也为大家所接受。但随着客户 上，但显然链路1的流量会发生丢弃，引起业务异常。的业务日益丰富，对网络的要求越发严格，已经不满足与 目 前 ， 波 分 设 备 还 不 能 完 全 解 决 链 路 单 通 道 问仅仅通过ping形成的测试报告了。因此，建议对超大型客题，因此，只能从i p 层通过别的办法进行处理，建议户进行应用层的补充测试。pe-ce采用通过接口地址建立bgp+bfd（bidirectional建议以下测试模型，在客户的总部站点放置一台硬 forwarding detection，双向转发检测）的配置方案。件测试探针，作为测试基准点；新站点局域网内通过软探 bfd是一套用来实现快速检测的国际标准协议，提供一种针（有条件的地市也可采用硬件探针）与总部站点进行一 轻负荷、持续时间短的检测，在很多方面，它与那些著名对一测试，测试结果送到测试服务器进行汇总； 的路由协议的邻居检测部分相似。一对系统在它们之间的测试项目建议如下： 所建立会话的通道上周期性的发送检测报文，如果某个系（1）网络层测试： 统在足够长的时间内没有收到对端的检测报文，则认为在连通性测试（必选） 这条到相邻系统的双向通道的某个部分发生了故障。在某时延（可选） 些条件下，为了减少负荷，系统之间的发送和接收速率需丢包（可选） 要协商。bfd的配置涉及以下3个参数，建议如下：抖动（可选）tx interval 发送bfdhello报文的时间间隔（ms），（2）应用层测试技术交流68router bgp xxxxxneighbor xx.xx.xx.xx fall-over bfdint gigabitethernet0/0/0bfd interval 150 min_rx 150 multiplier 3带宽测试（必选）voip测试（可选）视频测试（可选）的范围内应给予客户最大的自主权，同时提供完善的代维服务和后期支撑服务。参考文献牛思先. 基于软管模型的mpls vpn中qos的实现研究. 微 计算机信息, 2007, 23(11): 262余洁、李远清. ip电话云服务质量保证技术. 交通与计算机,2005, 3:120郭辉, 常晋义. 边界网管协议收敛问题研究综述. 计算机应用,2010, 30(10): 2629（收稿日期：2010-12-21）15结语超大型客户的m p l s v p n 组网具有高度的示范作2用，同时也是运营商的重要的收入来源，因此对于超大型客户应该从需求调研、方案设计、设备配置、验收测试以 及后期维护等多方面进行通盘考虑，但总的原则是在可控3（上接第63页）缘用户数据速率，尤其是基于功率调整的软频率复用。为了更好的发挥td-lte技术优势，软频率复用一般与半静 态资源调度或者动态资源调度结合，满足现代通信的需 要。摩洛哥. lte-umts长期演进理论与实践m. 北京：人民邮电出版社，2009王映民，孙韶辉.td-lte技术原理与系统设计m.北京：人 民邮电出版社，2010r1-081536 additional rsrp reporting trigger for icic ran1#52bis3gpp tr 25.814 v1.0.1, physical layer aspects forevolved utra3gpp tsg-ran wg1 #42 august 29th september 2nd2005 杨学志.一种在无线通信系统中实现频率软复用的方法.2005 李美玲.软频率复用技术研究及其在lte系统中的应用.2007（收稿日期：2010-11-28）456参考文献李新年，楼才义. 无线移动通信网络m.北京：电子工业出 版社，2001杨丰瑞，文凯. td-scdma移动通信系统工程与应用m.北 京：人民邮电出版社，2009沈嘉，索士强. 3gpp长期演进技术原理与系统设计m. 北 京：人民邮电出版社，