海关网络集采项目投标技术方案

一、技术方案

1.概述

1.1项目背景

“金关工程”是推动海关报关业务电子化，国家金关工程是一项重要的国家信息化重点

工程，也是国家为提高对外经济贸易及相关领域的现代化管理水平和宏观调控能力，适应二

十一世纪世界经济和国际贸易发展需要而建设的国家电子商务工程0而金关工程(二期)将

要在海关金关工程(一期)建设的基础上通过总体设计、丰富应用、整合资源、创新科技、强

化安全，将金关工程建设成进出口环节的企业诚信监督系统，海关服务进出口企业、优化口

岸管理的辅助系统，口岸及进出口管理部门协作共建、信息共享、提升公信度的管理系统,

不断优化海关监管和服务，保持国内相关领域领先，并达到国际海关先进水平其中，在金关

二期工程中，网络系统建设是“金关工程”建设的重要基础。

本次海关金关工程二期网络项目包括全国各直属海关关区的设备升级替换，包括了关区

城域网以及各关区管理网、运行网的改造升级工作。

整个项目涉及范围较广泛，设计承载业务功能复杂。功能的重要性和多样性对于网络的

传输和承载能力提出了更高的要求，需要对于承载网络做出合适的规划设计，来支撑整个应

用，满足业务的需求。

1.2关键术语定义与说明

关键词：

1.TRILL：多链接透明互联,上将网络负荷分解到多个路径上,从而更有效地利用网

络带宽。通过在L2网络上增加多路径功能，TRILL解放了网络带宽并使得L2网络

更加具有弹性和更加适合虚拟化环境。

2.MPLSVPN：通过标签技术实现网络逻辑隔离，实现多个VRF技术以保障路由表的隔

离处理。

3.MVM：MPLSVPNManager

4.组播：通过二层和三层组播技术实现对组播流量的生成和使用。

5.HoPE：HOPE(HierarchyofPE)也叫分层VPN(HierarchyofVPN,简称HoVTN),

是将PE的功能分布到多个PE设备上，多个PE承担不同的角色，并形成层次结构，

共同完成一个PE的功能。

6.QoS：质量保证技术，通过端到端的多种质量保证技术实现对不同流量的预留带宽

和服务保障。

2.建设目标

本项目为海关关区网信息化网络系统升级改造，是整个海关信息化的基础设施之一。本

次关区网项目的建设，一是为了实现各个海关关区内网络城域网络的互通，为海关各级办公

点之间及现场之间提供高速、可靠、安全的信息承载平台，实现各个办公点间的互联。满足

通关数据、视频监控、语音通信和信号处理、控制管理等各类信息数据传递的需要。二是对

海关个关区网的数据中心进行升级改造，提升各个关区业务系统网络的功能及能力，提升网

络带宽，适应海关业务系统的快速发展。因此，本次项目方案的总体思路如下：

•对整体方案进行顶层设计，充分考虑现有方案的成功经验和教训，在成功经验基础

上进一步考虑扩展性，满足未来几年的业务需要。然后进行分步实施，每个阶段都

将最终目标往前推进一步：

•以应用需求为主导，专注业务系统建设。各业务部门充分利用统一的基础设施，把

主要精力放在熟悉而且迫切需要解决的业务问题上，聚焦业务系统建设；

•按照“云计算”模式建设进一步整合资源，充分利用现有基础设施资源的整合利用，

有效地遏止重复建设，节约建设资金。在此基础上，进行公共服务平台和网络互通

的建设，重点建设数据中心、网络平台、安全保障体系和运维服务体系。

•网络建设充分考虑IPv4地址空间不足问题，新采购设备应全面支持IPv6需求。

2.1建设目标

为满足海关信息化的需求，网络的建设应满足以下目标：

1.建设高性能的满足业务应用的网络系统：通过网络需求分析，随着业务系统的快速

发展，各海关办公点网络对与网络带宽的需求也相应提升；后续随着云计算、大数

据、物联网等新技术的广泛运用，将有越来越多的应用在各大区网络上运行，这又

会增加数据流量，对网络带宽的要求必将更高。因此高带宽链路网络是满足上述业

务要求的基础。

2.建设完善的服务质量保证体系：海关网络是一个综合性的网络，该网络将为业务、

办公、语音、视频、监控等应用系统提供数据传输。业务数据对网络的要求是响应

时间短，传递速度快；而语音和视频这些实时应用则要求数据流平稳，延迟稳定。

不同的应用对网络的服务有着不同的要求。网络设计必须充分考虑服务质量的问题。

通过完善的QoS服务质量保证手段，保证同一网络平台上的多种应用正常运行。

3.建设高可靠、高安全的网络：因为所有'业务都依赖于网络的正常运行，这对网络的

可用性和网上传输数据的安全性提出了非常高的要求。为了满足数据传输所要求的

高可靠性、高安全性，必须通过完备的冗余策略提高网络的可靠性和可用性，通过

相关的网络安全措施来保障网上传输数据的安全性。

4.建设结构化的、易于扩展的网络：为保证新的业务系统对网络的需求，海关网络结

构以及采用的设备应具有一定的可扩展性，以保证各级节点的可扩展性并满足外部

应用接入对网络的需求。

2.2建设任务

网络建设项目涉及深圳、黄埔、拱北、昆明、广州、湛江、南宁、海口、南昌、江门、

汕头、长沙、杭州等多个海关。除了广域网连接各个关区和现场之外，还包括了各个宜属关

办公网络及数据中心网络的建设。

•广域网的建设。广域网主要承载各级办公点和通关现场之间的业务流量传输，包括

通关业务、视频流量和语音通信等。

•局域网及数据中心网络的建设。局域网主要承载各级办公点和通关现场内部的办公

流量。数据中心网络主要承载各直属关内部业务系统的数据，后续还需要指出云计

算及虚拟化平台等业务系统。

2.3建设原则

本次项目的设计遵循“先进实用、安全可靠、灵活可扩、开放经济”等原则。

1.实用性和先进性

采用先进成熟的技术满足各类业务需求，兼顾其他相关的管理需求，尽可能采用先进的

网络技术以适应更高的数据传输需要，使整个系统在相当一段时期内保持技术的先进性，以

适应未来信息化的发展的需要。

2.安全可靠性

为保证各项业务应用，网络必须具有高可靠性，尽量避免系统的单点故障。要对网络结

构、网络设备、服务器设备等各个方面进行高可靠性的设计和建设。在采用硬件备份、冗余

等可靠性技术的基础上，采用相关的软件技术提供较强的管理机制、控制手段和事故监控与

网络安全保密等技术措施提高整个网络系统的安全可靠性。

3.灵活性和可扩展性

计算机网络系统是一个不断发展的系统，所以它必须具有良好的灵活性和可扩展性，能

够根据会展中心不断深入发展的需要，方便的犷展网络覆盖范围、扩大网络容量和提高网络

的各层次节点的功能。具备支持多种通信媒体、多种物理接口的能力，提供技术升级、设备

更新的灵活性。

4.开放性和互连性

具备与多种协议计算机通信网络互连互通的特性，确保本计算机网络系统的基础设施的

作用可以充分的发挥。在结构上真正实现开放，基于开放式标准，包括各种局域网、广域网、

计算机等，坚持统一规范的原则，从而为未来的发展奠定基础。

5.经济性和投资保护

应以较高的性能价格比构建本计算机网络系统，使资金的产出投入比达到最大值。能以

较低的成本、较少的人员投入来维持系统运转，提供高效能与高效益。尽可能保留延长已有

系统的投资，充分利用以往在资金与技术方面的投入。

6.可管理性

由于系统本身具有一定复杂性，随着业务的不断发展，网络管理的任务必定会口益繁重。

所以网络设备必须采用智能化，可管理的设备提高网络的运行性能、可靠性，简化网络的维

护工作，从而为办公、管理提供最有力的保障。

3.总体方案设计

3.1网络体系设计

3.1.1网络规划原则

海关网络必须能承找各种业务应用系统以及网络增值应用，并能高速、可靠、安全运行，

在满足海关网络中视频监控和语音通信的需要的同时要与未来业务应用拓展相适应。

海关网络建设将遵循以下原则：网络必须支持不同种类的环境、是可扩展的、可靠的、

可集中管理的、安全的，能提供服务质量保证，并遵循电子政务网络平台的相关建设标准。

3.1.2广域网络的层次划分

海关关区网网络包括的节点众多（直属关、隶属关、通关现场），分布较广，为了保证

网络的高效稳定运行，整个网络按照直属关节点网络、隶属美节点网络以及通关现场节点网

络三个层次来进行设计。如下图所示：

直属美核心路由器

直属关节点：是关区网的总接入与核心，这里部署A类网络路由器设备及B类网络路由

器。负责接入直属关内部的数据及各个隶属关上传到直属关的数据■，并将这些数据处理后上

传到总署。

隶属关节点：作为各隶属关与直属关联结的汇聚点，因此这里部署C类及D类网络路由

器设备，主要承载各隶属关业务、视频流量，并汇聚通关场上传上来的流量，并发送到直属

关中。

通关现场节点：主要为各个通关现场的现场业务及视频接入，主要部署D类及E类路由

器，根据现场环境不同，还会部署一定数量的3G路由器，用于接入通关现场的数据，并将

其上传到隶属关及直属关，

由「纵向流量有限而横向流最较大，所以基于以上拓扑设计的好处是让路由器专职做纵

向的转发。

3.L3管区网网络层次设计

针对各关区数据中心的设计•需求，经过合理规划，在进行数据中心网络设计时采用层次

化、模块化以及虚拟化的设计，保证技术架构先进可靠，网络扩展性强，同时简化管理。

从网络的逻辑结构来看，结合网络系统建设的特点，在逻辑上采用三层结构构建：核心

层、汇聚层及接入层。在实际物理连接上也采用三层结构，以提高网络接入的安全性及效率。

通过应用以太网交换机设备，来构建环科院外网网络系统，使得整个网络系统具有先进

性、稳定件、安全性等众多特点,完全可以满足士际应用的需要C

根据本次采购设备的情况，结合现有需求，物理网络设备拓扑如下：

=0=横向虚限化

-------万兆

千兆

由上图拓扑图可以看到，在物理网络结构上，采用三层组网形式，分别为核心交换机、

汇聚交换机、接入交换机，考虑到本项目中千兆为最低接入能力，万兆为最低上行能力的要

求，在本次物理网络结构上采用服务器千兆接入，万兆上行至汇聚交换机，万兆上行至核心

交换机的连接方式，满足接入能力的要求。同时本项目中涉及的核心交换机和汇聚交换机均

支持多虚一虚拟化技术，支持将两台设备虚拟化成一台设备，从而徇化网络管埋，提升网络

可靠性。

3.2可靠性设计

海关关区网络承载着各级节点通关数据、视频信号，语音信号等，需要很强的实时性和

可靠性，这种可靠性最终要从设备、链路、网络、业务等各层次保证。

1.设备级的可靠性

设备级的可靠性包括设备本身的健壮性及对周闱环境的适应能力，可靠的设备应该对关

键部件（如主控板，交换背板，电源等）进行冗余备份，并且可以在恶劣的环境下长时间稳

定运行。设备级可靠性的另外一个重要方面就是设备在线升级能力及容错能力，容错能力体

现在如设备发生故障时，可自动平滑的启动备份部件，不对业务造成影响，设备级可靠性的

另外一个重要内容就是设备间的备份，如采用VRRP进行没备备份，当主用设备发生故障时'

流量自动切换到备份设备上，该过程对业务透明。

2.链路级的可靠性

链路级的可靠性包括徒路本身的可靠性，包括良好的线路质量，及链路的备份技术，如

采用一些物理线路捆绑技术提供线路的可靠性，也可以采用其它链路/线路保护技术。

3.网络级的可靠性

设计合适的拓扑，如避免采用单星型结构以避免单点故障；网络设计模块化，各功能区

域相对独立，任一区域的故障不会扩散到其它区域；路由可靠性：首先根据网络特点选择合

理的路由协议，避免路由仄路,减少路由振荡，并且保护某个网络节点失效后网络快速自愈。

4.业务可靠性

网络只是业务的承载平台、设备、链路及网络的可靠性设计归根到底都是为了保证业务

的可靠性，从网络角度考虑业务可靠性，主要是通过各种网络技术时业务数据流满足业务的

要去，如流量分布是不均衡的，特别是突发流量会引起网络的拥塞，导致业务的中断，需流

量管理的引入能够使网络流量均衡，提高网络的利用率，进而对控制网络拥塞情况的发生。

海美网络需要充分考虑以上四个方面，在整网的设计上结合应用的实际情况，进行相应

的可靠性部署。

3.3多业务设计

海关网络分布了大量业务系统，包括数据、视频、监控等，而且使用人员众多，因此业

务内网面临的一个重要课题是如何保证多业务网络再网络上的可靠快速的传输和转发，大量

诸如QoS技术、流量控制技术等都需要在海关网络上进行设计。

3.4产品的选择

按照招标书的要求，在充分研究海关金关二期网络项目的需求基础上，并对于海关长期

网络建设理解，我们对H前业界的主流的网络厂商做了较为详细的对比研究，综合考虑厂家

产品及解决方案在政府及其他行业特别是在海关行业的使用情况和应用规模、产品技术的先

进性、成熟度及兼容性、公司的研发实力和服务体系保障等因素，我们推荐采用杭州华三通

信技术有限公司（以下简称H3c公司）的网络产品主要作为此次项目的组网设备。

我方选择113c公司的依据：

1.标书性能技术指标的符合度

根据标书的技术指标要求，113c公司可以提供全线的包括高端路由器、路由器、交换机

等性价比非常高的产品来满足此次项目的投标。投标所使用的设备性能指标均满足标书要求

并且大部分性能指标高于标书要求。

2.设备应用规模及稳定性、兼容性

H3C公司的网络产品目前已经广泛应用与全球的各个行业中，截至2013年4季度IDC

统计数据H3c公司在中国企业级路由器市场份额市场份额为50.8%（数据来源于IDC2013

报告），排名第一。

截至2013年4季度1I3C公司在中国市场交换机的市场份额为32.4%（（数据来源于IDC

2013报告）,排名第一。

H3C目前在国内的整个电子政务IT系统建设中已经得到了大规模的应用：

H3C承建十二金工程中9个全国骨干网

H3C承建中央部委和各级国干省干网络份额超过70%

H3C在中国政府行业综合网络市场份额第一

大规模的应用不但大大拉近了用户和H3C公司的距离，使得H3C公司能够更快更好为

市场、为用户提供产品，同时也验证了113c公司产品的稳定性和兼容性。

3.完善的研发体系和全系列的网络产品

H3c每年将销存额的15%以上用于研发投入，在中国的北京、杭州、深圳以及印度的班

加罗尔设有研发机构，在北京和杭州设有产品鉴定测试中心。目前，H3c已申请专利超过4000

多件，其中80%是发明专利。

H3c每年将销售额的15%以上用于研发投入，在中国的北京和杭州都设有研发机构，并

设有可靠性试验室以及产品鉴定测试中心。截至2012年底，H3C累计申请专利近4000件,

其中发明专利比例超过8E%。2012年，113c发明专利授权量在全国企业排名前十。

H3c始终聚焦IP技术领域创新进步，以覆盖IP网络、IP安全和IP管理的产品线为积

累形成以下一代数据中心解决方案和基础网络解决方案为核心的新一代互联网解决方案，并

迅速得到广泛应用，占领了IT发展潮流的制高点。新一弋互联网的发展正带动IT与网络的

快速融合，H3c未来将整合虚拟化、自动化、SDN等技术领域的领先优势，推进云计算、智

能网络在各行业的成功部署，为客户创造更大的应用价值。

因此选择该厂商的网络产品能够有效的保障用户在网络建设方面的延续性和持续性。

4.健全的服务支持和培训认证体系

H3c公司建立了遍布全国的服务机构。除公司总部设有完备的技术支援平台外，在全国

建立了40多个区域服务中心，3个备件分拨中心和38个区域备件库，，通过先进的通信技

术与总部的技术支援平台连接，完成用户信息、故障处理流程、备件库存、产品分布等信息

的共享，形成覆盖全国地市级城市。H3c公司技术支持中心总部(TSC,TechnicalSupport

Center)拥有130余名H3CIE级别经验丰富的服务专家,涵盖网络规划、网络测试、路由、

交换、安全、无线、网管、存储、视讯、语音、SUB产品等IP所有领域。H3c技术支持中心

拥有高素质的服务队伍，所有人员具有本科及以上学历，80%的成员具有5年以上大型网络

服务经验。

为了满足不同客户不同层次的培训需求，H3c服务公司建立了规范、专业的用户培训体

系，将总部培训与分部培训、集中培训与现场培训有机结合。H前，在数据通信网络技术领

域，H3c培训面向全球，致力于培养专业务实网络人才。考虑客户不同层次需求，提供全系

列的网络产品培训I,网络技术认证培训和客户化培训解决方案。同时建立起国际规范的完整

的网络技术认证体系。

•在中国建立30余家授权培训中心，海外建立7家授权培训中心；覆盖中国各大中

心城市以及拉美、亚太、中东、北非、俄罗斯等地区和国家。

•在中国建立330余家网络学院。

•截止2012年底40多个国家和地区的19万人接受过培训，10万多人获得各类认证

证书。

•获得“十大影响力认证品牌”、“最具价值课程”、“高校网络技术教育杰出贡献奖”、

“校企合作奖”等数项专业奖项。

鉴于以上几个主要原因，我们在此次投标中主要选用了H3C公司的网络和安全产品做

为此次投标的网络产品。

4.广域网方案详细设计

本次海关关区改造包括了对于直属关广域网及各关区管理网、运行网的建设，其中广域

网部分基于海关业务系统的特点将会采用MPLSVPN及QoS进行部署，广域网的详细设计如

下：

4.1MPLSVPN设计

海关网络进行MPLSVPN部署主要目的是对网络上分布的各业务系统进行逻辑隔离，同

时在MPLSVPN部署的时候，因为存在效率和多媒体业务的需求，所以相应进行了分层PE部

署和MPLSVPN组播设计。

4.1.1MPLSVPN部署

4.1.1.1MPLSVPN技术

BGP/MPLSVPN模型由三部分组成:CE、PE和P。

CE(CustomerEdge)设备：用户网络边缘设备，有接口直接与服务提供商(Service

Provider,SP)相连。CE可以是路由器或交换机，也可以是一台主机。

PE(ProviderEdge)路由器：服务提供商边缘路由器，是服务提供商网络的边缘设备，

与用户的CE直接相连。在MPLS网络中，对VPN的所有处理都发生在PE上。

P(Provider)路由器：服务提供商网络中的骨干路由器，不与CE直接相连。P设备只

需要具备基本UPLS转发能力。

下面是一个BGP/MPLSVPN组网方案的示意图：

CE和PE的划分主要是根据运营与用户的管理范围，CE和PE是两者管理范围的边界。

CE设备通常是一台路由器，当CE与直接相连的PE建立邻接关系后，CE把本节点的VPN

路由发布给PE,并从PE学到远端VPN的路由。CE与PE之间使用BGP/IGP交换路由信息，

也可以使用静态路由。PE从CE学到CE本地的VPN路由信息后，通过BGP与其它PE交换

VPN路由信息。PE路由器只维护与它直接相连的VPN的路由信息，不维护服务提供商网络中

的所有VPN路由。P路由器只维护到PE的路由，不需要了解任何VPN路由信息。当在MPLS

骨干网上传输VPN流量时，入口PE做为IngressLSR,出口PE做为EgressLSR,P路由器

则做为transitLSR。

4.1.1.2BGP/MPLSL3VPN的实现

BGP/MPLSVPN的主要原理是：利用BGP在骨干网传播VP\的私网路由信息.用MP1S来

转发VPN业务流。下面从VP\路由信息的发布和VPN报文转发两个方面介绍BGP/MPLSVPN

的实现。

•VPN路由信息发布

•CE到PE间的路由信息交换

PE需要了解与它相连的CE的VPN路由信息，并存放到相应的VPN-instance中。PE与

CE之间的路由信息交换可以通过静态路由、RIP、EBGP、OSPF或ISIS来实现。

•PE之间的LSP建立

•PE之间可以使用LDP、CR-LDP、RSVP建立LSP。

•入口PE到出口PE的路由信息交换

入口PE路由器利用MP-BGP把它从CE学习到的路由信息发布给出口PE,并获得出口PE

学习到的CE路由信息。PE根据ExportVPNTarget检查所有VPN-instance的ImportVPN

Target属性，决定是否对路由添加前缀，作为VPMv4路由加入到VPM-instance。PE之间通

过1GP来保证内部的连通性，通过MP-BGP来传播VPN路由信息，并完成VPN-instance的更

新。

•PE到CE间的路由信息交换

CE可以通过静态路由、RIP、OSPF、IS-IS或EBGP,从相连的PE上学习VPN路由。PE

通过与相连CE之间的路由交换来更新CE路由表，从而完成各CE之间的路由交换。

经过以上的步骤，CE之间将建立可达的路由，完成VPN私网路山信息在公网上的传播。

•MP-BGP

MP-BGP（MultiprotocolextensionsforBGP-4,请参见RFC2283）在PE路由器之间

传播VPN组成信息和路由,MP-BGP向下兼容，既可以支持传统的IPv4地址族，又可以支持

其他地址族（比如VPN-IPv4地址族）。使用MP-BGP确保VPN的私网路由只在VPN内发布，

并实现MPLSVPN成员间的通信。

•VPN报文转发

VPN报文转发采用两层标签方式：

第一层（外层）标签在骨干网内部进行交换，指示从PE到对端PE的一条LSP。VPN报

文利用这层标签，可以沿LSP到达对端PE；

第二层（内层）标签在从对端PE到达CE时使用，指示报文应被送到哪个Site,或者

更具体一些，到达哪一个CE。这样，对端PE根据内层标签可以找到转发报文的接口。

特殊情况下，属于同一个VPN的两个Site连接到同一个PE,这种情况下只需要知道如

何到达对端CE。

4.1.1.3MPLSVPN部署

在一•级节点、二级节点、三级节点的路由器部署为PE,同时与路由器相连的核心交换

机也部署为PE,接入交换机部署为MCE设备，在一级节点、二级节点、三级节点之间部署

MP-iBGP,在一级节点部署为RR,一级节点与二级节点实现iBGP全连接，在二级节点全部

设置为RR,所有三级节点与二级节点RR实现iBGP的全连接。

在局域网的核心交换机为PE,接入交换机的三层网关终结在核心上，这样可以方便的

为需要开辟VPN的业务实现VLAN划分，该VLAN映射为一个VPN,通过这种灵活的方式可以

不改动网络拓扑结构的同时随时划分VPNo

VPN的划分可以根据业务类型划分，如视频监控VPN、视频会议VPN、语音调度系统VPN、

财务VPN、办公VPN等。

海关金关二期网络系统MPLSVPN部署如下：

•视频监控系统VFN：属于视频类业务，实时性要求较高，需要保证带宽：

•语音通信系统VPN：实时性要求高，需要与数据流隔离

•信号处理系统VFN：信号类数据具有实时性，需要与其他业务流信息隔离。

海关金关二期网络项目MPLSVPN设备功能选择如下：

4.1.2HoPE部署

4.1.2.1HoPE技术

HoPE(HierarchyofPE)也叫分层VPN(HierarchyofVPN,简称HoVPN),这个解决

方案的目的是将PE的功能分布到多个PE设备上，多个PE承担不同的角色，并形成层次结

构，共同完成一个PE的功能。

分层PE中SPE/UPE有三个优势：

资源占用少，处理效率高。如节省子接口资源和IGP对等体的配置：

稳定性高，如果采用IGP对等体完成路由引入，将会将IGP的路由振荡带入整网VPN,

导致不稳定。不然，就只有采用静态配置方式完成路由进入，这样配置复杂度和维护性将会

非常高；

部署简单，VPN可以通过格式化配置工具进行全网统一部署，但是MCE只能针对每一个

VRF手动进行配置，用户难于维护，对用户维护人员的能力增加会增加公司的整体成木。

4.1.2.2HoPE部署

目前标准的MPLS/BGPVPN模型是一种平面式模型，PE设备无论处于网络的哪个层次，

要维护同样多的路由，对其性能要求是相同的。而典型网络是核心一汇聚一接入三层模型，

设备性能依次下降.网络规模依次扩大。这就为PE设备向网络边缘的扩展带来了困难。

分层PE是将PE的功能分布到多个设备上，它们承担不同的角色，并形成层次结构，共

同完成一个集中式PE的功能。对处于较高层次的设备的路由和转发性能要求高，而对处于

较低层次的设备的路由和转发性能要求低，同典型的网络模型相吻合，在分层部署MPLS/BGP

VPN时，解决了纵向VPN扩展问题。

分层PE的结构如下：直接连接CE的PE设备称为下层PEUnderlayerPE),简写为LPE,

与多个UPE直连或者通过MP-I5GP会话或者IP隧道、GRE隧道连接的PE设备称为上层

PE(SuperstratumPE),简写为SPE。SPE与标准的PE设备这种框架结构称为PE的分层结构

(HiberarchyofPE),简写为HoPE。

UPE维护其直接连接的VPN站点的VPN-IPv4路由，但不维护VPN中其它远程站点的

VPN-IPv4路由或仅维护它们的VPNTPv4聚合路由；SPE维护其通过UPE所连接的站点所在

的VPN中的所有VPN-IPv4路由，以及所有远程站点中的VPN-IPv4路由。

UPE为其直接连接的站点的路由分配MPLS标签，并通过MP-BGP随VPN-IPv4路由发布

这个标签给SPE；SPE不发布远程站点中的路由给UPE,而是只发布VRF默认路由或聚合路

由给UPE,并携带MPLS标签。

UPE和SPE之间可以采用MP-IBGP,也可以采用MP-EBGPo在采用MP-IBGP时，SPE作为

各个UPE的路由反射器(RR),UPE作为路由反射器的客户端(RRClient),但SPE不作为其

它PE的路由反射器。

为了拒绝从其它PE发布过来的不属于本分层式PE所连接的站点的VPN中的路由，SPE

上要根据各个UPE的所有VRF的importroute-targetlist的合集生成一个全局import

route-targetlist,用于过滤从其它PE发布过来的路由。这个全局列表可以根据SPE和

UPE之间交换的信息动态生成，也可以静态的加以配置。

动态机制是这样的，UPE通过BGP的RouteRefresh消息发布一个ORF(OutboundRoute

Filter)给SPE,这个ORF中包含了一个扩展团体列表，其内容是UPE上所有VRF的import

route-targetlist的合集。SPE将所有UPE的扩展团体列表合并起来,形成全局列表°静

态列表与动态列表的的生成规则是一样的

UPE和SPE之间采用标签转发，因而只需要一个(子)接口相互连接。这个接口可以是物

理接口，子接口(如VLAN,PVC)或者隧道接口(如GRE、LSP)。在采用隧道接口的时候，SPE

和UPE之间可以相隔一个IP网络或是MPLS网络。

分层PE技术的控制平面工作原理图请见图。

分层PE

控制平面图例•

VPNIFV4«|；fi(RD:IPv4*6)

65000:1:10.12001

曰告101.20124

FOrSPE

下Tfc为CE5RTflL»01,|i#(L3)

VPNB650002:10'2001VPNB

FTMr

VPN-IFV4Wfi(RD:

RT<O0^,|»«(L4)

55000d:10.12024

r-a^rUPE-i

RTft100.I.#«(L1)TVPNRR

UPE-1

L二缓UPNRW

VPNC

LF

101.2.0/24

TTMrCE4AS65000

VPN-IPv4(RDIPv4«6)

650002:1012.O<24

F-•为UPE-2

RT«100幻*«(I1)

VPNA

VPNA

分层PE技术的控制平面需要从两个方向来解释，一个方向是HOPE的下层PE宣告VPN-

IPv4路由如何发布到上层PE设备。如上图所示,VPNA和VPNB用户分别从CE-4,CE-5宣

告10.1.2.0/24的路由给UPE-1和UPE-2。UPE设备按照标准的MPLS/BGPVPN工作方式宣

告含有101.2.0/24的VPN-IPv4路由给上层PE设备SPE。SPE设备支持分层PE特性。在本

例中SPE设备工作为二级VPN-RR角色，它反射来自UPE的VPN-IPv4路由给上级VPNTR设

备，同时修改下一跳地址，替换新MPLS标签。剩下过程同标准MPLS/BGPVPN工作方式一

样。

分层PE

控制平面图例二

VPN-IPV4IM[(RD:IIMWfi)

8500C:1:10,12.001

FT为FEE

RTtt

宣苦停60.0DDA)8500C3:10.12.0©l

r-«^ure-iFT为PE2

RTft1003,##(LI)

VPNB

VPNB6500C2:10.12.024

VPN-IR/4Wfi(RD.IP74W6)FT力PE-1

65000:1:0.0.0010RT值1002,«f(L1)

片FE

RTft!00:1,«f(L5)

0

、@D

VPNC

✓

宣例|白0.0DDA)

FF为UPE-2

VPN.IN4*6(RD:)

650002:0.0ODJO

下逢为SPE

RT偃1002,##(L6)

VPNA

VPNA

分层PE技术的控制包面的另一个方向是HOPE的上层PE宣告VPMTPv4路由如何发布

到下层PE设备。如上图所示，SPE设备从来自一级VPN-RR的UPTBGP会话中导入了IPE连

接的VP、所属的VPNTPV4路由后，它不是直接反射给UPE设备，而是将RD值相同的同一个

VRF表中的所有VPN-IPv4路由，替换成0.0.0.0/0的缺省路由或者预先定义好的聚合路由，

修改下一跳地址，替换新的MPLS标签，然后宣告给下层PE设备LPE。这样UPE设备将只会

维护很少的VPNTPv4路由，同时也不会去做过滤非本地VRF路由的工作，因为这部分工作

已经有SPE完成，所以UPE设备的处理性能可以较SPE和PE设备大大降低，也即可以选择

较为低端的设备来部署纵向VPN网络。

建议此次项目进行分层PE部署，提高VPN业务的扩展能力，减小骨干网VPNV4的路

由数量，减轻骨干网设备的转发压力，提高骨干网的稳定性。把区域中心管理处的路由器部

署为SPE,管理处的路由器部署为UPE,以实现HoPE的全面的部署，具体部署如下：

一级节点

MCE

三级节点

MCE

4.1.3MPLSVPN组播部署

在海关网络中有大量的多媒体信息，如视频监控，语音通信等。组播技术为多媒体业务，

如视频监控的开展提供了一个强有力的技术手段。

随着MPLSVPN技术的日益成熟，VPN得到了广泛应用，在VPN网络中运营组播业务的

需求已经提到R程上来，基于MD方案的组播VPN技术为该业务的开展提供技术上的保障。

MPLS/BGPVPN目前得到越来越广泛的应用，在VPN内的用户需要网络为其开通组播业

务，提供组播服务。MPLSVFN内开展组播需要考虑如下几个方面的问题：

(1)在MPLS/BGPWN网络中，位于公网的P路由器无法获知各个VPN的私网路由

表，不能直接转发私网组播数据。

在MPLS/BGPVPN网络中，PE路山器负责计算每个VPN的私网路由表，对VPN内的

私网IP数据包打上两层标签，使得位于核心网络部分的P路由器不需要知道私网的路由，

就可以利用外层标签正确转发私网数据包，但是组播数据包不是象单播数据包一样只根据目

的地址就可以转发，而是要根据组播源地址和入接口进行RPF(ReversePathForwarcing)

检查，只有从RPF接口来的组播数据包才能转发，而公网P路由器是无法知道私网路由

的，因此不能直接对私网的组播数据进行转发。

(2)在MPLS/BGPVPN网络中,VPN用户的私网组播数据的源、组地址可能会重叠。

MPLS/BGPVPN网络中的一个好处就是允许每个VPN的私网地址空间重叠，因此不同

VPN用户的组播源地址可能是重叠的，组地址也可能是里叠的，PE路由器需要能正确的将

私网的组播数据包转发给属于同一VPN的用户，而不会造成数据的交叉访问。

（3）为节约带宽，公网需要支持组播功能。

组播技术对比于单播技术的优点就是，在网络的每个链路中都只有一份组播数据被转发,

每个路由器根据出接口的个数复制组播数据，无论对一个接收者还是多个接收者而言带宽都

是一样的。对MPLS/BGPVPN网络的公网，如果公网能修支持组播，利用组播按需复制的功

能，只在分叉点复制组播数据，无疑会使公网的数据负载大大减少，从而节约带宽。

（4）私网组播数据流能够按需发送。

一个VPN有多个Site构成，每个Site连接到不同PE上，当在VPN内支持组播

功能时，并不是每个Site都需要组播数据，当私网组播数据通过公网时，如果数据只流向

连接有接收者Site的PE路由器，将会减少PE路由器的负荷。

4.2QoS总体部署

H3C网络设备提供的丰富QoS机制完全能够满足海关网络系统的要求，具体策略如下。

对于不同的业务如视频业务、语音通信业务和其它关键业务，普通业务分别在接入交换

机对其进行IP优先级/DSCP进行标记，并且基于IP优先级/DSCP对流量进行分类。保证视

频业务、语音通信业务和其它关键业务有高的优先级。

在广域网的入口，通过流量监管机制CAR,在入口侧限制业务中不同信息流的流量，此

功能在边缘局域网交换机上进行。

这些业务在从LAN发送到WAN时肯定会在出口处发生拥塞，这时可以采用拥塞避免措

施如通过WRED/尾丢弃机制对于不同业务区别对待，避免网络内部流量振荡。减少TCP窗口

发送的段。

通过CBWFQ队列调度算法，保证高优先级的队列数据优先通过，比如水调和其它关键业

务。从而保证业务数据的带宽、时延、时延抖动等QoS性能

最后需要说明的是Q0S的最佳_L作区间是在网络偶尔发生拥塞的情况下，如果网络经

常发生拥塞，最好的QOS解决办法就是升级线路带宽。

1、流量分类和标记

流量分类是将数据报文划分为多个优先级或多个服务类，如使用IP报文头的ToS（Type

ofservice,服务类型）字段的前三位（即IP优先级）来标记报文，可以将报文最多分成

8类;若使用DSCP（DifferentiatedServicesCodepoint,区分服务编码点,ToS域的前6

位），则最多可分成64类。在报文分类后，就可以将其它的QoS特性应用到不同的分类，实

现基于类的拥塞管理、流量整形等。

网络管理者可以设置报文分类的策略,这个策略除可以包括IP报文的IP优先级或DSCP

值、MPLS报文的EXP域值、802.Ip的CoS值等带内信令，还可以包括输入接口、源地址、

目的地址、MAC地址、IP协议或应用程序的端口号等。分类的结果是没有范围限制的，它可

以是一个由五元组（源地址、源端口号、协议号码、目的地址、目的端口号）确定的流这样

狭小的范围，也可以是到某某网段的所有报文。

在海关网络局域网边界，即一级节点核心交换机、二级节点核心交换机设备处对报文进

行分类时，同时标记IP优先级或DSCP,这样，在网络的内部就可以简单的使用1P优先级

或DSCP作为分类的标准。而队列技术如WFQ,CBWFQ就口「以使用这个优先级来对报文进行不

同的处理。下游（downstream）网络可以选择接收上游（upstream）网络的分类结果，也可

以按照自己的分类标准对数据流量重新进行分类。

在海关网络中：在网络的边界做如下分类和标记：

（1）所有视频监控、视频会议等应用的数据报文聚合为EF业务类，将报文的IP优先

级标记为5,或者将DSCP值标记为EF；

（2）语音通信等关键业务，在接入交换机上将报文的IP优先级标记为4,或者将DSCP

值标记为AF4；

（3）电子邮件、0A等行政办公业务数据报文的IP优先级标记为3,或者将DSCP值标

记为AF3；

（4）对于其他业务，则将数据报文的IP优先级标记为2,或者将DSCP指标记为AF2。

当报文在网络边界被标记分类之后，在网络的中间节点，就可以根据标记，对不同类别

的流量给予差别服务了。对EF业务类保证时延和减少抖动，同时进行流最监管；对\AF业务

类在网络拥塞时仍然保证一定的带宽，等等。

2、拥塞管理的部署

在海关网络广域网骨干设备的局域网连接接口上，在入方向（局域网向广域网流向）进

行拥塞管理的部署。

在网络中，当局域网中的数据网广域网链路上发送时，到达的速度大于接口发送分组的

速度时，在该接口处就会产生拥塞。如果没有足够的存储空间来保存这代分组，它们其中的

一部分就会丢失。分组的丢失又可能会导致发送该分组的设备因超时而重传此分组，这将导

致恶性循环。

拥塞管理的中心内容就是当拥塞发生时如何制定一个资源的调度策略，决定报文转发的

处理次序。

对于拥塞管理，一般采用排队技术，使用一个队列算法对流量进行分类，之后用某种优

先级别算法将这些流量发送出去。每种队列算法都是用以解决特定的网络流量问题，并对带

宽资源的分配、延迟、延迟抖动等有着十分重要的影响。

常用的队列调度机制包括：

•FIFO（先入先出队列，FirstInFirstOutQueuing）

•PQ（优先队列,PriorityQueuing）

•CQ（定制队列，CustomQueuing）

•WFQ（加权公平队列，WeightedFairQueuing）

•CBQ（基于类的队列，ClassBasedQueuing）

•RTP（Real-timeTransportProtocol）优先队列

拥塞管理技术的对比：

H3C公司SR系列路由器设备上提供了以上拥塞管理技术，突破了传统IP设备的单一

FIFO拥塞管理策略，提供了强大的QoS能力，使得IP设备可以满足不同业务所要求的不同

服务质量的要求。为了用户更好的利用拥塞管理技术，现对各种队列技术做一比较。

拥塞管理技术对比

类型队列数优点缺点

1、所有的报文均进入一个‘‘先进先出”

的队列，发送报文所占用的带宽、延迟时

间、丢失的概率均由报文到达队列的先后

顺序决定。

1、不需要配置，易于使用。2、对不配合的数据源（即没有流控机制

FIFO1

2、处理简单，延迟小。的流，如UDP报文发送）无约束力，不配

合的数据源会造成配合的数据源（如TCP

报文发送）带宽受损失。

3、对时间敏感的实时应用（如VoIP）的

延迟得不到保证。

类型队列数优点缺点

可对不同业务的数据提供绝对的

1、需配置，处理速度慢。

优先，对时间敏感的实时应用

2、如果不对高优先级的报文的带宽加限

PQ4（如VoIP）的延迟可以得到保

制，可能会造成低优先级的报文得不到带

证。对优先业务的报文的带宽占

宽。

用可以绝对优先。

1、可对不同业务的报文按带宽比

例分配带宽。

CQ162、当没有某些类别的报文时，能需配置.，处理速度慢。

自动增加现存类别的报文可占的

带宽。

1、配置容易。

2、可以保护配合（交互）的数据

源（如TCP报文发送）的带宽。

3、可以减小延迟抖动。

4、可以减小数据量小的交互式应处理速度比FIFO要慢,但比PQ、CQ要

W1-Q可配置

用的延迟。快。

5、可以为不同优先级的流分配不

同的带宽。

6、当流的数目减少时，能自动增

加现存流可占的带宽。

1、可以对数据根据灵活、多样的

分类规则进行划分，分别为EF

（加速转发）、AF（确保转发）、

BE（尽力转发）业务提供不同的

队列调度机制。

2、可以为AF业务提供严格、精

确的带宽保证，并且保证各类AF

可配置业务之间根据权植按一定的比例

CBQ(0〜关系进行队列调度。系统开销比较大

64)3、可以为EF业务提供绝对优先

的队列调度，确保实时数据的时

延满足要求：同时通过对高优先

级数据流量的限制，克服了PQ的

低优先级队列可能得不到服务的

弊病。

4、对于尽力转发的缺省类数据，

提供肝Q队列调度。

从以上对比表格可以看出，我们建议在海关关区网广域网路由器上使用CBQ作为拥塞

管理技术。

CBQ主要是利用IP报头中的DSCP来区分和识别不同的确业务（不同的QOS服务等级）,

在每一跳路由上应用.上面提到的QOS技术对IP包进行处理，以提供相应的服务质量。

在骨干网中实施基于WFQ/CBQ/CBWFQ/LLQ的队列调度，保证带宽和优先级。在发生拥塞

时，如果1、2为实时业务，3、4为网管数据，5、6为非实时业务，7、8为其它数据。按照

8、7、6、5、4、3、2、1的顺序到达，通过LLQ队列调度后，将实时业务映射到PQ中，将

准实时业务和网管数据映射到BQ中，将其它数据映射到WFQ中，通过相关调度算法，发包

顺序变为2、1、4、6、3、5、8、7,实现了给不同的业务，提供了不同的等级的QoS服务。

在海美网络中，将语音通信和视频监控定义为较高的优先级，同时进行队列的渲染。

3、拥塞避免

由于内存资源的有限，按照传统的处理方法，当队列的长度达到规定的最大长度时，所

有到来的报文都被丢弃。对于TCP报文，如果大量的报又被丢弃，将