校园数据中心高可靠性网络的研究与实现.

1、校园数据中心高可靠性网络的研究与实现沈立强 吴海燕 戚丽(清华大学计算机与信息管理中心，北京100084 )mail:slq摘要： 校园数据中心是数字校园的核心， 无单点故障的、 高可用性网络的建设至关重要。本 文以清华大学校园数据中心的网络建设为实例， 探讨如何设计数据中心的网络设计方案以保 证网络的高可靠性， 做到任何单个交换机或单条链路的故障都不会影响网络的连通性， 更不 会导致整个网络的瘫痪，从根本上解决数据中心面临的风险。关键词： 校园数据中心 高可靠性网络 单点故障 AFT VRRPthe research and implementation of a high availabl

2、e networkof university data centerShen Liqiang Wu Haiyan Qi Li(Tsinghua University, Beijing 100084)mail:slqAbstract ： University data center (UDC) is the heart of digital university, so the building of single failure free, high available network is of the top importance. Based on Tsinghua University

3、 UDC network building practice, this paper discusses how to design UDC 's network building plan to achieve network 's high availability, to ensure that any failure of single switch or link will not impact network connectivity, not saying result in the paralysis of the whole network. By this

4、way, totally reduce UDC 's network risk.keyword ： university data center high available network single failure AFT VRRP1. 前言清华大学在教育信息化建设方面经过十余年艰苦努力，尤其在启动“ 211 工程”之后， 逐步建成了综合信息服务系统、 办公自动化系统、 综合教务系统、 网络教学系统、 财务工资 管理系统和开放实验室综合管理系统等多个应用系统， 数据中心为上述应用系统提供了完善 的网络和运行环境， 并承担了所有应用系统的运行和维护任务。 目前数据中心内有各类服务

5、器 80 余台，几乎所有应用系统的关键数据都存放在数据中心，数据中心与各个业务部门之 间的保持着频繁的重要通讯。为了保证数据中心的高可用性，达到 7*24 小时不间断服务的目标，一个全冗余、无单 点故障的网络就成了数据中心的基础。为实现路由冗余，可以采用 VRRP 协议；为实现交 换机的冗余，可以采用 SPT 协议；为实现链路冗余，可采用 link-aggregation 技术等。本文 以清华大学数据中心的网络建设为实例， 探讨如何设计数据中心的网络设计方案以保证网络 的高可靠性， 做到任何单个交换机或单条链路的故障都不会影响网络的连通性， 更不会导致 整个网络的瘫痪，从根本上解决数据中心面临

6、的风险。2.清华大学校园数据中心结构目前，清华大学校园数据中心的交换机有华为Quidway S8016、神州数码DCRS7504、Extreme Alpine 3808、Extreme Summit 48，Quidway S3050，S3026 等。通过采用硬件上的冗 余，包括交换机的冗余、 交换机之间链路的冗余和服务器网卡的冗余等，基本实现了网络的高可靠性，消除或部分消除了网络的单点故障。数据中心的网络拓朴结构如图1所示。屮心豁由宜换机 （生抽一一层交换和VRkP）图1数据中心网络拓扑结构3.清华大学校园数据中心网络可靠性分析一个高可靠的网络应该是全冗余、无任何单点故障的。下面我们根据图1的

7、网络拓扑,从网络设备、通信链路两方面来分析清华大学校园数据中心网络的单点故障情况。3.1网络设备的可靠性分析 （1）中心路由交换机中心路由交换机采用的是华为公司高端千兆路由交换机 Quidway S8016。S8016的 主控板、交换网板、路由处理系统、电源系统等所有关键部件都采用了冗余热备份设计， 其路由转发处理引擎采用分布式结构，因此，S8016本身不存在单点故障。数据中心采用了两台三层交换机作为中心路由交换机，同时，通过在两台中心路由 交换机上运行VRRP （虚拟冗余路由协议）协议来为服务器提供一个唯一的默认网关。 当任何一台中心路由交换机发生故障时， 通过VRRP协议，另一台中心路由交

8、换机立即 接管所有的工作，同时更新路由表，并通过动态路由协议通知校园网端的路由器更新相 应的路由表。我们先介绍VRRP相关的部分术语：VRRP路由器 一任何运行VRRP协议的路由器或设备；虚拟路由器一一个运行VRRP协议的逻辑路由器，用来给一个网络的主机提供路 由服务。一个虚拟路由器包括一个虚拟路由标识符 VRID和一组IP地址，在物理上至少由两台或两台以上的 VRRP路由器构成；主虚拟路由器 一给虚拟路由器提供IP包转发和进行相应 ARP应答的VRRP路由 器；备份虚拟路由器一当主虚拟路由器失败时，能自动代替主虚拟路由器工作的VRRP路由器；虚拟路由器的MAC 地址一虚拟路由器的MAC 地址

9、格式为：00-00-5E-00-01-VRID，其中：00-00-5E是生产厂家的唯一标识号；00-01是一个常量，该地址块保留给VRRP协议；VRID 是VRRP虚拟路由器标识。在一个网络中最多可以有255个虚拟路由器。在清华大学校园数据中心有多个子网接入校园网，图1中仅画出了两个子网Netl和Net2。图1中SW1到RTA的实线表示 RTA作为Netl的主虚拟路由器，SW4到RTB 的实线表示 RTB作为Net2的主虚拟路由器；SW3到RTA的虚线表示 RTA作为Net2 的备份虚拟路由器，SW2到RTB的虚线表示RTB作为Net1的备份虚拟路由器。这样， 一方面既实现了冗余的路由备份，另

10、一方面又实现了负载的分担，避免了所有的负载集 中于一个VRRP路由器。下面我们以Net1为例来分析一下 VRRP的工作过程。简化后的网络拓扑见图 2，图 2中的IP地址配置仅为示例，不代表目前清华大学校园数据中心实际使用的IP地址。(k*. L 1/24I地Oft OG fiE OQ M CL LI '图2 Net1的VRRP协议配置通过在RTA和RTB上启用 VRRP协议，使 RTA和RTB都成为 VRRP路由器，正 常情况下RTA和RTB通过Net1定期交换Hello报文以确定主虚拟路由器和备份虚拟路 由器。一旦备份虚拟路由器在规定的时间内没有从Net1收到主虚拟路由器发送的Hel

11、lo报文，将自动变为主虚拟路由器，接管原主虚拟路由器的所有工作。这个时间很短，一 般小于3秒，因此，用户基本上感觉不到该切换。当然，在切换过程中可能会发生短时 间内网络路由不正确和少量IP报文丢失，通过 TCP的重传机制将保证端到端数据的正确性。当Net1中的主机要向Net1以外的网络发送IP报文时，先进行 ARP广播，请求网 关(10.0.1.1 )的MAC地址。RTA和RTB都收到了该请求，但只有主虚拟路由器响应 该ARP请求，并以虚拟路由器MAC地址00-00-5E-00-01-11进行应答。主机将IP报文以00-00-5E-00-01-11为目的MAC地址封装在以太网的帧中进行发送，主

12、虚拟路由器接收该帧并基于IP进行报文转发。这样，就通过 VRRP 协议实现了对中心路由交换机的动态冗余备份。(2) 接入交换机 为了消除由接入交换机引起的单点故障，必须设置冗余的交换机。我们可以将两个 交换机级联(或堆叠)在一起，从逻辑上组成一个交换机。为提高级联的可靠性，可采 用端口聚合的方式进行双链路级联。对于 Extreme 的交换机，还可以用 Dual-home 技术 进行双链路级联。然后从每个物理交换机分别连接到不同的中心路由交换机上，同时，服务器利用 AFT 技术通过两块网卡分别连接到不同的接入交换机。 这样， 当某一接入交换机发生故 障时，如果有必要的话，服务器会自动切换到备用网

13、卡，从而连到另一个接入交换机， VRRP 虚拟路由器根据当前的状态，还有可能发生主备虚拟路由器的切换，当然，这个 切换对服务器是透明的。3.2 链路的可靠性分析(1) 从中心路由交换机到校园网的出口链路任何一条出口链路出现故障时， 相应的中心路由交换机通过动态路由协议更新路由 表，将默认的出口路由指向另外一台中心路由交换机，然后经另一个出口到校园网。由 于数据包回来的路由也发生了变化，因此要求校园网端也运行动态路由协议，实现动态 路由调整。(2) 两个中心路由交换机之间的路由链路链路发生故障时，将导致 Net1 和 Net2 的互访要经过校园网端的路由器。由于两台 中心路由交换机都支持端口聚合

14、功能，因此，可在两台中心路由交换机之间建立多条链 路， 通过 link-aggregation 将多个端口聚合为一个逻辑端口。 聚合端口通过流量配置算法 支持端口流量自动均衡保护，使所属物理通道流量基本均衡；通过聚合端口发送的报文 会从该聚合端口中任意一个且只有一个物理链路上发送， 物理端口上的调度策略保证业 务质量和报文顺序。当聚合端口中一条或多条物理链路故障时，能自动将流量转移到其 他链路上去。当端口重新恢复后，流量自动重新分配。(3) 从接入交换机到中心路由交换机的链路 从接入交换机到中心路由交换机的链路发生故障时，根据 VRRP 虚拟路由器的状 态，有可能发生 VRRP 主备虚拟路由器

15、的切换。不过，该切换对服务器是透明的。为了增强该链路的可靠性， 可采用端口聚合的方式通过双链路将接入交换机上联到 中心路由交换机。对于 Extreme 的 Summit48 交换机，还可以采用 Dual-home 技术进行 双链路上联。(4) 从服务器到接入交换机的链路 链路故障或网卡故障都将导致服务器不能连到相应的接入交换机。 服务器可采用双 网卡接到不同的接入交换机。在服务器上安装 2 块网卡，分别连接到 2 台不同的接入交换机， 利用 AFT(Adapter Fault Toleranee)技术实现网卡间的容错，当主网卡或该网卡到所连的交换机链路发生故 障时，服务器会立刻将该网卡上的流量转移到备份网卡上，这一过程不超过2 秒。4. 结束语通过对路由器、 交换机以及通信链路的冗余设置， 配合 VRRP、AFT、Link-Aggregation 、SPT 等技术，消除网络中的单点故障，最终建立一个安全、可靠、高效的校园数据中心网络 系统。 由于全部采用冗余设置， 因此投资成本较高，对于条件不允许的校园数据中心， 可以 对部分重要的服务器所在的网络采用全冗余的设计， 而其它服务器还是采用单链路、