基于千兆交换技术的地区级电力数据网建设.doc

一、引言 按照全国电网二次系统“十五”规划纲要，电力数据网（SPDNet）主要用于传输电力调度实时数据、应用软件用的准实时数据和调度生产管理用的批次数据。自国家电力数据网建设完成后，各网省调及地调也展开了各级电力数据网的建设。在建设中主要采用IP + SDH + Fibre的技术体制，由于节点多、规模大等原因，采取分级、分层、多自治域设计的总体结构，分为国家电力数据骨干网和省级电力数据网,2级网络相对独立。 衢州电力从1999年开始在浙江省率先采用IP+SDH+Fibre的技术体制，通过El链路构建电力4级数据网络。随着自动化的发展，原有的网络已成为衢州电力开展高带宽、多业务应用的瓶颈；同时，随着IP宽带技术的发展，作为网络建设的主流技术，IP+Fibre必将得到极大的发展和应用。因此，从2002年初，衢州电力开始采用千兆光纤以太网技术对原有的网络进行升级，至2004年底，基本实现了千兆网络的全覆盖。 然而，衢州电力数据网络采用传统的IP路由技术组网，虽然网络利用率较高，但是，安全级别较低、实时性要求较低的业务与安全级别较高、实时性要求较高的业务混在一起，低安全级别的业务严重影响高安全级别的业务，不能满足国家电网公司二次安全防护的要求。因此，决定对网络进行改造。建成的网络采用交换组网模式，运用多协议标签交换（MPLS）技术将整个网络分成多个虚拟专用网（VPN），不同的VPN分别承载不同的业务，相互之间完全隔离。这种组网技术在衢州电力范围内部署了端到端的MPLS-VPN，满足国家电网公司二次安全防护对电力数据网的要求。本文着重介绍在衢州电力数据网络建设及改造过程中采用的关键技术和积累的经验，阐述了基于千兆交换技术组网的MPLS-VPN技术的特点及组建专用网的优势，提出一种新型的电力数据网络组网方式。二、原电力数据网络状况及改造的必要性 原衢州电力数据网络是一个以千兆光纤为基础、覆盖衢州电力范围内县调及220 kV/110 kV变电站的网络。整个网络呈多个环型结构，中心为2台Cisco Catalyst 6509,主引擎为Cisco 6509第2代引擎，其他节点则为Catalyst 3550-EMI交换机。 近年来，衢州电力调度自动化系统由原来单一的SCADA/EMS系统扩展为SCADA/EMS；DMS,图像监控、故障录波远传等自动化系统，数据的传输对网络提出了新的要求。同时，由于在电力调度自动化系统中，各种业务对网络安全性和实时性的要求不同，因此，网络设计时必须考虑为不同的业务保证不同的网络资源。 由于原网络组建早于电力二次系统安全防护要求的提出，因此在安全方面存在隐患，在总体设计上也存在一些不尽如人意的地方，主要表现如下： 1实时业务及准实时业务采用虚拟局域网（VLAN）方式隔离，无法按照二次安全防护的要求划分出横向的安全区、区，无法实现2个安全区的相互隔离。 2由于采用传统的IP路由技术，各种业务流量相互混在一起，不满足二次安全防护对数据纵向传输时安全隔离的要求。 3未对网络的IP地址进行合理规划，不利于网络的管理。 4不符合电力数据网络“分层管理”的原则。因此，衢州电力决定在保护已有投资的基础上，通过应用新技术对网络进行改造，提高网络的灵活性、稳定性；在保证业务传送要求的同时，优化数据业务传输效率，提高网络的安全性。三、电力数据网络建设方案（一）网络拓扑改造后的衢州电力数据网络包括2个核心环和9个接入环，采用千兆以太网（GE）光纤实现互联。核心环节点为MPLS-VPN的PE（provider edge）节点，接入环节点为MPLS-VPN的CE（customeredge）节点，每个节点配置2台设备，实现设备冗余。CE节点通过Multi-VRF （VPN路由选择和转发）CE技术实现VPN的划分。为保证整个网络的可靠性，每个接入环尽量采用双节点的接入方式。网络拓扑如图1所示。（二）组网模式 目前，地区级电力数据网络存在2种主流组网模式：El组网方式和GE组网方式。E1组网方式为双星形连接，传输通道采用E1或多条El捆绑的方式，采用窄带的PE路由器设备。GE组网方式采用光纤互联，核心层、汇聚层采用具有多个GE端口、高性能的宽带PE设备，接人层CE设备采用具有划分VPN功能的交换机。 El组网方式对E1通道提供底层保护，稳定性较高，工程经验丰富，但网络故障定位和排除较难，只能提供窄带应用，投资的成本较高。GE组网采用千兆光纤环形拓扑结构，整体稳定性较高，能迅速实现故障定位和故障排除，便于拓展高带宽应用，性价比较高，但占用光纤资源。目前衢州电力数据网络为GE和El两种共存的方式，即主用的网络通道采用以GE光纤为通道的组网模式，El通道作为备用通道。（三）技术体制 电力数据网络的设计和建设应该满足实时、准实时、阵发型业务数据传输的需求，为不同的业务划分相应的通道，尤其要保障实时业务对实时性、可靠性、安全性的要求。近年来，随着MPLS-VPN技术的完善和大量使用，电力数据网络采用该技术的时机已逐渐成熟。MPLS-VPN提供了一个较好的解决方案的技术支持。根据业务将网络划分为不同VPN。VPN的应用部署到末端节点，不同的业务都在单独的VPN内运行，保证了安全性。如图2所示。图中实时控制生产系统指安全区系统，非控制生产系统指安全区系统。（四）路由设计衢州电力数据网络设计成一个自治域（AS）,域内路由协议采用开放式最短路径优先协议（OSPF），采用边界网关协议（BGP）与省3级网络实现互联，利用BGP的策略控制，保证网络的稳定性和可扩展性，采用静态路由协议实现与县局数据网络互联，AS内的节点数大大减少，降低了网络出现次选路径和不精确路由的可能。 在衢州电力数据网络中，MPLS-VPN网络分为核心环和接人环2层。核心环为调度主站节点和集控站节点，组成网络的2个核心环，各接入环分别通过GE光纤与核心环实现双向互联。这种分层的拓扑结构便于以后网络节点增加时不改变网络结构，提供了良好的扩展性。核心环上各节点为PE节点，实现MPLS网络标签的生成和标签的转换，其中Cisco 6509配置为BGP路由反射器，以减少同一自治系统内的内部边 界网关协议（IBGP ）对等路由器的数目；另外，在 OSPF中启动了增强最短路径优先GSPF）算法， 提供了比传统的OSPF快数十倍的路由收敛能力， 整个网络在2s内就可以实现路由的收敛和切换， 完全满足调度数据传输高可靠性的要求。各接入环CE节点通过3层端口与PE节点实 现互通，避免了2层网络生成树算法收敛速度慢而造成网络不稳定。CE与PE之间采用OSPF，完全实现了MPLS-VPN超主干网络（super backbone） 的理念。（五）关键节点设备选型衢州电力数据网络采用Catalyst 6509作为主站的PE设备，配置了Cisco公司全面支持MPLS的WS-SUP720-3B引擎；Catalyst 3750 Metro作为集控站的PE设备，其上连接的GE端口为PE端口，支持MPLS-VPN的PE功能，Catalyst 3550-EMI作为接人的CE路由器设备，支持Multi-VRF-CE功能。（六）承载的业务及业务的入网方式 衢州电力数据网络目前提供5个业务VPN：实时VPN（主要是SCADA/EMS数据采集）、非实时VPN（主要是电量计费、保护管理信息系统）、防病毒VPN,电厂VPN和视频VPN。在所有交换机上均划分了多个VPN,按照系统内接人主机数量的多少将不同的端口划分在不同的VPN中，业务系统在接入时，仅需要将系统主机接至交换机上相应的端口即可。（七）关键技术实现1BGP/MPLS-VPN MPLS-VPN技术是专门为VPN所设计的，采用32位VPN标识符嵌人IP包中，形成一个VPN-IP地址。BGP可以对VPN-IP地址进行路由寻址，但转发数据则要求MPLS。BGP在散发路由信息时保证有关VPN-IP的路由信息只发布给处于该VPN内的路由器，从而在网络设备级保证了VPN的安全性。 2Multi-VRF-CE 传统的路由交换设备中，MPLS-VPN的划分必须在PE上实现。而Catalyst 3550提供的Multi-VRF-CE技术将VPN的划分功能延伸到了CE设备上，即在CE设备上根据业务的需求，划分为多个VRF；CE设备不对业务数据实现MPLS的标签交换，标签的交换由上游的PE设备来实现。 3多播业务VPN 在VPN中传输多播业务可以通过多播VPN 和MPLS L2 VPN这2种技术来实现。MPLS L2 VPN实现简单，管理方便，设备支持能力强，但多播 扩展能力有限。多播VPN提供了强大的多播扩展 能力，但配置较为复杂，对设备要求较高。由于目前衢州电力图像业务对多播的要求比较 简单，同时从网络管理角度考虑，利用了MPLS L2 VPN技术提供多播业务。 4QOS传统的IP网络中队列数据传输提供“先进先 出”的服务，对报文传输的可靠性、传输延时等性能得不到保证。在网络稳定、数据流量恒定时，网络能满足业务的要求；但在网络堵塞或有突发性数据流量时，实时性要求高的业务将得不到保障，需要提供端对端的服务质量（QoS）保证。电力数据网络上部署QOS,应以不过多增加网络复杂性及保证网络的可维护性、可管理性为原则。目前一般采用服务等级（CoS）来保证实时业务的QOS。（八）网络实现技术指标衢州电力数据4级网络主要技术性能如下： 1任意2个节点间端到端时延小于200 ms,包延时小于50 ms 。 2在5 000字节包下网络负载50时，端到端丢包率小于10-4。 3CE节点GE光纤出现故障时，路由收敛时间小于1 s； PE节点的GE光纤出现故障时，全网络的路由收敛时间小于2 s。El备份链路路由收敛和快速恢复小于40 s（Hello值为10 s）。 4所有节点均为双机备份，各接入环有El备份链路。 5设备支持高可用度，关键部件包括交换引擎、电源、接口卡等均有硬件冗余。 6主交换设备Cisco 6509支持720 Gbit/s交换矩阵，包交换能力达400 X 106 包 /s。7支持MPLS及MPLS-VPN，支持IP QoS和CoS。四、安全性实现 电力二次系统安全是一个整体工程，网络安全是其中的重要部分。衢州电力数据网络在实施时充分考虑了安全性，在各业务系统之间实现纵向分区隔离的同时，每台交换机的业务VLAN上都配置了访问控制列表，仅开放应用程序使用的端口；同时，在将来纵向IP认证加密装置推广后，给每个变电站配置认证加密装置，充分保证数据在纵向传输时的安全。由于业务的需求，在实现纵向分区隔离的同时，部分VPN业务之间需要实现互相访问。因此，如何实现VPN之间的互通并提供有效的安全隔离手段是网络安全的一个重点。为了避免网络配置的复杂性，提高网络的可管理性和工程的可实施性，在网络中没有配置VPN的叠加访问。当有VPN之间叠加访问的要求时，在各VPN的接入端通过防火墙实现访问的安全隔离，如图3所示。图中各防火墙为从一个物理防火墙中划分出的虚拟防火墙。五、衢州电力数据网络的发展和规划 基于目前网络和业务的分析，结合今后网络技术的发展，衢州电力数据网络未来的发展方向如下： 1核心环节点多接入环的汇聚：核心环PE节点配置具有多个GE端口的路由交换设备，增加接人环的数量，减少每个接入环上节点的数量，减少业务切换的时间。 2端到端的PE配置：随着调度业务的细分，业务VPN的划分将越来越细，这就要求网络设备对VPN数量具有良好的支持能力。接人节点设备配置具有GE端口的PE设备，简化了网络配置，减少了维护的工作量。 3RPR over GE技术的实现：目前GE光纤的切换技术还是依赖于2层或3层的收敛技术，无法达到同步数字系列（SDH）的50 ms的收敛能力。随着网络技术的发展，目前的网络设备上将支持RPR over GE技术，可以提供光纤故障50 ms的收敛能力。4多播VPN技术的实现：随着变电站图像监控业务的发展，网络将在目前的设备上开通多播VPN，为多个基于IP多播业务提供VPN接入。六