数据中心网络关键技术

1、 本期关注Monthly Focus黄大川 云计算数据中心网络的关键技术云计算数据中心网络的关键技术The Key Technologies on Cloud Computing Data Center黄大川（思科大区数据中心事业部，北京 100022） Huang Dachuan（Cisco Systems，Inc.，Beijing 100022，China） 摘要： 简要介绍了云计算对数据中心基础架构尤其是数据中心网络的技术要求，着 重介绍了云计算数据中心网络的一些关键技术，以及如何以这些技术构建分 布式虚拟化的数据中心网络。 关键词： 云计算；面向服务的架构；虚拟化；数据中心以太网 中图

2、分类号：TP393 文献标识码：A文章编号：1007- 3043（2011）10- 0014- 05Abstract： It briefly introduces the technical requirements about building infrastructure and network for cloud oriented data center. It focuses on the key technologies of data center network and how to build dis tributed virtualized data center netwo

3、rk using these technolo- gies.Keywords： Cloud computing; SOA; Virtualization; DCB为系统由紧耦合转向松耦合的模式提供了必要的条件。 数据中心的整合通常包括数据/存储的整合、计算资源的整合、数据中心网络的整合 3 个方面。 a） 数据/存储整合是数据中心整合的第一步，也是非常关键的一步。 数据/存储整合一般是整合业务支撑的关键数据，通常也是最重要的结构化数据。 数据/存储整合为应用系统的整合和数据容灾备份提供了可能性。 由于结构化数据对 I/O 的要求很高，且通常以裸设备的方式来放置，一般会采用容量大、性能好的存储设

4、 备（FC/FCoE）来整合。对于系统中更多的对 I/O 要求相对较低， 但数据量巨大的非结构化数据， 可以采用NAS 或分布式文件系统（如 HDFS）来整合。 b） 计算资源的整合。 如果只对同类的计算资源进行整合，那么工作会相对简单；但是如果整合涉及到异 构计算平台的迁移， 则会比较复杂， 会涉及到操作系 0 前言 自动化是实现云计算环境管理的重要一步，当数据中心资源虚拟化以后， 可以通过面向服务的方式， 采用策略推送的方法实现数据中心的自动化部署、性能监控、资源的自动部署和回收、计算和存储能力的自动迁移以及数据的自动备份和容灾，从而真正实现云计算环境的自动化。 1 数据中心网络的技术要求

5、 数据中心整合是云计算之路上需要迈出的第一步，只有完成了数据中心的基础资源整合，才能在整合资源的基础上实现资源的重复使用。 资源的整合也 收稿日期：2011-08-25142011/10/DTPT 本期关注Monthly Focus黄大川云计算数据中心网络的关键技术统、数据库等兼容性问题。 在云的计算模式下，通过应用的解耦合， 可以尽可能地将应用整合到统一的计算平台上。从目前的业界发展趋势来看，这个统一的计算平台就 是基于 x86 架构的计算平台， 现在互联网运营商就很好地实现了基于单一 x86 平台的多种业务承载。 c） 数据中心网络的整合关系到数据中心整合的方方面面。 从前端来看关系到客户

6、端和服务器端的网络整合， 从后端来看关系到服务器端和存储端的网络整合。在云的计算模式下还需要关注服务器和服务器之间的数据交互， 这种流量模型与传统的客户机到服务器的流量模型有很大的不同。传统的模型下，应用的时延是被重点关注 的因素，网络上的流量并不是很大， 而在一个应用系统中， 对时延影响最大的是后端磁盘的响应时间和应用软件的优化程度， 合理的网络收敛比是可以被广泛接受的。在基于云的计算模型下，服务器和服务器之间交互的带宽需 求非常大， 也就意味着不仅需要关注网络的时延，同时需要关注网络收敛比， 如何构建一个无阻塞的网络， 就成为了必须面对的话题。 另外前后端双网（LAN 和 SAN）的融合也

7、是必须要解决的。 数据中心实现整合之后， 数据中心的虚拟化就成为可能。 数据中心虚拟化的步骤通常是先实现网络的虚拟化，然后是计算资源的虚拟化，进一步实现存储的 虚拟化。 这样的一个演进路径与系统的要求和技术成熟度有关。 数据中心的虚拟化要求实现端到端的虚拟化，而不是隔离的各个组件的虚拟化，网络作为数据中 心的连接器，在虚拟化中具有举足轻重的作用。在虚拟化的数据中心里， 不光要求网络本身能够作为虚拟化的资源池实现灵活分配， 同时还要求网络能够感知到计算资源和存储资源的虚拟化， 真正实现数据中心端到端的虚拟化。 计算的虚拟化由来已久， 尤其是最近10 年，在 x86 和 RISC 平台上都取得了长

8、足的进步，大量的业务应用已经在虚拟化计算平台上实现。 存储的虚拟化的历史相对短一些， 到现在也已经超过 10 年。存储的虚拟化可以在相关的各个层面上完成，如 LUN 一级的虚拟化、 逻辑卷一级的虚拟化和文件系统级别的虚拟化。 通过存储的虚拟化能够实现更广泛的存储数据的放置，提供给云计算平台更高的 I/O 性能，同时提供在线数据迁移以及跨数据中心的数据并发访问的能力。通过以上 3 个方面的虚拟化，数据中心基础架构就形成了三位一体的端到端的虚拟资源池。 2 云计算数据中心网络的关键技术 2.1 虚拟交换机技术 一个典型的云计算环境，无论公有云、私有云，还是虚 拟私有云，都具有典型的多租户特点。不同

9、用户的不同业 务在同一套物理系统上运行， 这就要求网络层面必须具有优异的隔离能力， 只有实现了真正的安全隔离，才能够实现多种业务整合在同一个网络系统上。传统的网络技术在 多个层面实现了逻辑隔离， 比如采用 VLAN、PVLAN、VSAN 等实现数据链路层的隔离， 采用 VRF、VPN 实现网络层的安全隔离， 但这些技术在实现时是基于同一个进程的。 现在数据中心的核心交换机上又提供了更进一步的隔离技术 （虚拟交换机VDC）。 通过虚拟交换机技术，1 个交换机可以在逻辑上分为多个虚拟交换机。 这些虚拟交换机之间是彻底隔离的， 它们有各自独立的二层和三层的协议栈和进程，有各自独立的管理员，虚拟交换机

10、 之间是无法通过逻辑配置实现联通的。同时，由于它们的 软件进程是完全独立的，当某个虚拟交换机出现问题的时 候，不会影响到别的虚拟交换机，实现了完善的故障隔离。 通过虚拟交换机技术，可以使对安全要求高、原来必须运行在独立网络中的业务在统一的网络资源池上运行， 实现网络资源的灵活调度，以及数据安全和节能减排。整合主要放在数据中心网络的汇聚层和核心层， 整合的方式包括水平整合、垂直整合等。 2.2 交换机板卡延伸技术 云计算的数据分布处理模型改变了现有的计算模式，在处理互联网数据的数据中心里，一个服务器集群 就可以有 5 0006 000 个计算节点， 大一些的集群甚至可以有 20 000 个计算节

11、点。 如果这么多的计算节点放在同一个二层网络里， 会形成一个包含 100 个以上接入交换机的生成树网络， 这样大的生成树网络的收敛时间会相应加长，同时会给网络带来不稳定因素，而且也非常不利于故障的分析和诊断。 即使采用三层连接，由于应用负载分担的要求，无法通过配置 area 的方式来实现路由总结， 也会给网络带来大的负载和不稳定性。 新一代的数据中心接入交换机采用了板卡延伸技术，这一技术通过 IEEE 802.1qbh 协议的实现，将原本互联在一起的多个 TOR 交换单元的控制平面和转发平面融合在一起， 形成了多个交换机组合成一个交换机的状态，原有的分布在各个机架的 TOR 接入交换机就成为新

12、交换机的远程板卡。 在这个架构下，TOR15邮电设计技术/2011/10 本期关注Monthly Focus黄大川 云计算数据中心网络的关键技术交换机不是单独存在的网元管理点， 也不是用二层的生成树或三层的路由协议来维护的网络拓扑。 现有技术已经可以将多达 32 个 TOR 交换单元的控制平面融合在一起， 从而大大减少了网络节点， 简化了网络拓扑，提高了网络的可管理性和可维护性。这一技术综合了 TOR 方式在布线上的优势和 EOR 方式管理节点少的优势。 2.3 支持超大规模扩展的网络技术 传统的数据中心主要以处理结构化数据为主， 关系型数据库被大量用于数据处理， 传统的关系型数据库采用垂直扩

13、展（Scale Up）的方式来扩展数据的处理能力，通常来说处理的数据是 TB 级别的，数据的块比较小，但 I/O 要求较高。 如果数据量过大，出于性能的考虑可以在数据库层面分成不同的库。 互联网上的大量数据是网页、E-mail、图像等非结构化数据，数据量至 少也是 PB 级别的， 传统垂直扩展的方式处理这样的数据比较费劲。 所以目前大型的互联网数据中心采 用基于 map reduce 编程模式，实现海量数据的并行处小。 为了支持更大规模的无阻塞的二层网络，并且减少大规模网络中生成树的影响， 业界提出了 Fabric- Path 这一在二层上实现多路径的协议。 FabricPath 的指导思想就

14、是保留二层即插即用的好处， 以及对于应用编程的简便， 同时将转发平面和控制平面分离以实现更大规模的网络扩展和扁平化。 FabricPath 给每个交换机一个 48 位的 switch ID 作为标识， 通过 ISIS 协议来构建 FabricPath 的控制平面， 形成基于 switch ID 的路由表。 采用 FabricPath 技术之后，网络里的交换机上会有 2 张转发表， 边缘交换机上会同时有 MAC 的转发表和基于 switch ID 的转发表， FabricPath 核心的交换机则维护 switch ID 的转发表。 由于在二层网络上采用了 ISIS 这样基于连接状态的路由协议，F

15、abricPath 的网络可以支持到 16 路的等价多路径，将网络的扩展性在 vPC 的基础上又提高了 8 倍。 FabricPath 可以降低网络拓扑改变时的收敛时间， 提高全网的性能和可靠性。 同时 FabricPath 完全兼容原有的生成树和 vPC 技术，也就是说在一个典型的二层网络环境下，原有的 采用生成树和 vPC 的部分可以无缝地接入 FabricPath 网络。在超大规模的虚拟化数据中心里，网络设备会面 临很大的 MAC 地址表爆炸的压力。 FabricPath 技术创新地通过基于会话的 MAC 地址学习机制， 有效地减小了边缘交换机 MAC 地址表的压力。 通过 Fabric

16、Path 技术可以构建一个非常扁平高效的超大规模数据中心网络， 可以说 FabricPath 技术彻底改变了现有网络的架构， 是今天大规模虚拟化数据中心最重要的技术之一。 2.4 虚拟化 I/O今天的数据中心存在着 3 张网。前端的以太网，主要承载应用数据的交互，以及 iSCSI 和 NAS 等存储的相关流量。 后端的 SAN 网络， 主要承载 FC 存储的流量。 有些数据中心还有支持高性能计算的 Infiniband 网络。多张网的存在，造成了数据中心网络事实上的分 割，无法形成统一的虚拟化网络资源池，在服务器端也 形成多种 I/O 走各自不同接口卡的状况， 需要更多的布线和接入交换机的端口

17、， 不利于 I/O 整合和节能减在 map reduce 的框架下，开发人员可以将计算任 理。务分布到超大规模的计算集群（多达 20 000 个计算节点）上来并行处理，在这样的计算集群内部，服务器和服务器之间有大量的数据交互，数据块大，数据流的吞吐 量也很大。 这就要求承载这一计算集群的网络要能够提供支撑超大规模计算节点无阻塞交换的能力。 传统的二层网络，由于采用生成树协议，无法提供等价多路 径（ECMP）的能力， 也就无法提供超大规模计算集群无阻塞交互的带宽。 所以互联网数据中心通常采用三层交换机作为接入交换机，以利用三层的 ECMP 的支持能力。 但这种模式把数据中心网络分成了很多小块的二

18、层网，在部署虚拟化应用时，有很大的局限性， 因为很多基于虚拟化的应用， 如 VMotion、LPAR Mo- bility 等都需要一个二层网络的支撑。 因此云计算数据中心的网络需要在二层上提供超大规模的网络扩展能力。 vPC（Virtual Port-Channel）是一种扩展技术，它通过整合 2 个交换机的转发平面， 采用 Port-Channel 实 现接入设备同时上联 2 个汇聚交换机， 实现双倍的聚合带宽。 采用板卡延伸技术和 vPC 技术，可以有效扩 展网络规模，同时减少生成树对网络的影响。 vPC 技术能够实现 2 个交换机的聚合， 实现链路的双上联且同时活动。 这一技术能支持一

19、个相当大规模的网络扩展性， 但和采用三层路由协议的 16 路 ECMP 来比较， 所能支撑的无阻塞网络规模还是偏将数据中心的 3 张网整合成统一的 1 张网就成为 排。建立面向云计算的虚拟化数据中心的非常重要的一步。现有的 3 张网具有一些不一样的特性。前端的以太网开放，具有高带宽（达 100 Gbit/s），也具有低时延的特性，但数据链路层的流控和服务质量保证就比较弱， 需要上层协议来实现流控和丢失数据帧的重传。 而后 162011/10/DTPT 本期关注Monthly Focus黄大川云计算数据中心网络的关键技术端的 SAN 网络采用 Buffer to Buffer 的协商机制来保证，

20、当一个交换机需要将数据传给另一个交换机时，发送交换机会询问接收交换机是否有缓存来暂存数据。 如果有，缓存的量是多大。发送交换机会根据接收交换 机空余的缓存数量来决定发送数据的量，这样 SAN 是一个有相对完善流控的不丢帧的网络。 如果需要采用以太网来整合数据中心网络，承载多种相关的流量，就需要对现有的以太网进行改进， 以更好的流控来实现不丢帧和服务质量保证。 这就是数据中心以太网DCB，DCB 由一系列相关的协议所定义， 其中有 2 个是与流控和服务质量保证相关的重要协议，包括 IEEE 802.1qbb 和 IEEE 802.1qaz。 IEEE 802.1qbb 通过对流量的优先级进行分级

21、，配合 pause 的反压机制，实现关键业务的不丢帧。 IEEE 802.1qaz 则可以给不同优先级的流量分配不同的带宽。 另外 T11 通过 FC-BB-6 定义了 FC 帧在 DCB 网络上的承载方法， 也就是 FCoE。从本质上说，FCoE 是 DCB 所承载的应用之一。 通过这些流控机制， 可以保证存储相关的 FCoE 的流量在网络拥塞时不会发生丢帧，并被优先传送，从而保证响应 时间。 通过 DCB/FCoE 技术，可以将以往需要多张网承载的流量，整合到 1 张网，也就是数据中心以太网上来承载，实现了网络上 I/O 的整合和虚拟化。 同时现有的 DCB/FCoE 技术已经非常成熟，

22、交换机已经可以支持 VE 接口， 这就意味着可以完全基于以太网实现传统 SAN 的核心-边缘的拓扑， 做到流量的完全融合和虚拟化，数据中心内部也只有 1 张网，也就是数据中心以太网。 2.5 虚拟机的感知 云计算数据中心的一个基本特点就是资源的虚拟化。当计算和存储资源虚拟化以后，传统的网络由于只能认识到物理的网卡，因此无法认识虚拟机。当虚拟机发生流动时，相应的网络属性无法随动，也就无法适应 虚拟化计算环境的特性。 这里有 2 种方法让网络感知到虚拟机， 第一种方法是在服务器的 Hypervisor 上安装软件交换机的交换模块， 这些交换模块通过统一的 软件交换机的管理模块来实现集中化管理。 这

23、种方法 换机的远程板卡， 可以在外部交换机上实现管理和策略的下发等。 这种方法不需要消耗服务器的 CPU 资源， 所以具有更高的交换性能， 同时这种方法与 Hy-pervisor 无关，可以和多种虚拟化软件配合使用。 上面 2 种方法的共同点是， 策略的管理和下发都 是集中化的， 这样无论虚拟机流动到数据中心的什么地方， 对应于虚拟机的访问控制， QoS 等网络属性都可以随之流动，从而保证全网的网络策略的一致性。 2.6 数据中心跨地域互联 通过 FabricPath 等技术， 可以构建一个超大规模的虚拟化数据中心网络。 由于供电、制冷的限制，以及容灾、备份的要求，需要构建物理上分离，但逻辑上

24、一体 的跨数据中心的网络， 基于这个网络来建立分布式虚拟化的数据中心。通过这个网络，计算能力可以在不同的数据中心之间自由流动。 只有把一个数据中心的网络通过技术延伸到远端的数据中心， 才能实现这样的业务需求。 OTV（Overlay Transport Virtualization）就是这样的一个技术， 通过 OTV 技术可以实现穿越 IP 骨干的数据中心网络的打通。 OTV 技术借用了一部分EoMPLSoGRE 的数据帧封装，但采用了完全不同的控制平面。 通过 ISIS 来建立 Adjacency 关系，并交换数据中心之间的 MAC 地址表。 OTV 技术对于 IP 骨干网的要求只是 IP

25、可达，不需要 MPLS 的支持，大大简化了网络的维护。 同时由于采用了控制平面和转发平面的分离，有效阻止了二层广播泛滥到 IP 骨干上，同时也不需要把生成树跨在数据中心间的骨干网上， 大大提高了整个网络的稳定性。 通过 OTV 技术， 可以通过 IP 网络实现多个数据中心的网络整合和虚拟化， 实现计算资源在不同数据中心间的自由流动， 也为双活数据中心的实现提供了网络保证。 2.7 客户端智能的路由感知 面向云计算的数据中心里， 计算资源是可以在不同的数据中心间自由流动的，当流动发生后，客户端如 何感知到计算资源的流动， 从而把数据包发到新的数据中心而不是老数据中心，是需要面对的问题。新一代 路

26、由技术 LISP 提供了很好的解决方案。 LISP 协议设计的初衷是解决核心骨干网上 BGP 路由太多这一问题，但同时 LISP 也为云计算环境下的路由优化提供了优秀的解决方案。 在 LISP 协议的设计中，在原有的 IP 包前又封装了一个 IPv4 或 IPv6 的包头， 这样原有 IP包头仍然作为主机识别的标识，也就是 EID，新增加的 可基于 IEEE 802.1q 来实现，可以灵活部署在虚拟化 服务器的 Hypervisor 上， 但运行的时候需要消耗服务器的 CPU 资源。 第二种方法是采用前面提到的基于IEEE 802.1qbh 的板卡延伸技术，在服务器内装一块支持 IEEE 80

27、2.1qbh 协议的网卡， 这块网卡可以分成多 个虚网卡来和虚拟机对应， 同时这个网卡也是外部交 17邮电设计技术/2011/10 本期关注Monthly Focus黄大川 云计算数据中心网络的关键技术包头作为位置的标识，也就是 RLOC。 这样计算节点可以通过 RLOC+EID 来共同标识，当计算资源从一个数据中心流动到另一个数据中心时， 发生改变的只是RLOC，而对于主机识别的 EID 是不变的。 LISP 也采用了转发和控制平面分离的架构， BGP 协议用以构建控制平面， 同时采用 MS （map server） 来记录 RLOC 和EID 之间的对应关系。 虚拟机流动到新的数据中心后需

28、要到 MS 注册新的 RLOC 和 EID 的对应关系， 客户机通过 MS 查找到计算资源新的 RLOC，从而把数据包直接送到新的数据中心。 通过板卡延伸 vPC一个数据中心的网络并安全隔离。 和 FabricPath 技术， 可以构建适应云计算模式的超大规模的无阻塞数据中心网络。 通过 DCB/FCoE 可以实现I/O 的虚拟化和数据中心的三网合一。 通过 OTV 可以把物理分离的数据中心整合成一个逻辑的数据中心，使计算 资源能够在数据中心之间自由流动， 并让客户端通过LISP 找到正确的数据中心。分布式虚拟化的数据中心网络是云计算数据中心的基础架构， 而通过以上技术能够很好地构建这样的数据

29、中心网络。 作者简介： 黄大川，思科大区数据中心事业部首席架构师，负责云计算和数据中心相关的解决方案。 3 结束语 云计算作为计算模式和服务管理模式的创新， 对数据中心的网络架构提出了新的要求， 创建分布式虚拟化的数据中心网络是实现云计算的一个基础条件。 通过虚拟交换机技术 VDC，能实现把不同业务整合到 烽火通信信息选，烽火通信光棒产业“三级跳”从 300 余谷创造力十大”之一。2011 年 8 月，采用世界领先生产工艺和技术的藤仓烽 烽火通信全部通过中国电信 PTN 全量 测试项目：近日，中国电信 PTN 全量测。试项目，且 L3 VPN 功能、同步功能、网启动的 PTN 全量测试，首要重

30、点测试的是L3 功能。烽火通信 PTN 设备以 100%的通过率率先完成了 L3 功能的所有测试项，支持 L3 业务所需的静态、动态路由协议，支持L3 相关的保护倒换功能，奖仪式在武汉举行。武汉市副刘顺国电信在本次测试中，特别测试了各厂 商的同步功能。烽火通信 PTN 设备在不谷创造力十大”推选活动于 2011时间信息的传送、恢复和提取，以及不同 性 LSP 11/1+1 保护、环网保护（Wrap182011/10/DTPT网络，相当于每年减少约 3 300 kg 标煤，折合 8 600 kg 二氧化碳排放，仅此一项设备的技术创新，2010 年烽火通信提供的通信设备在运行中就减少约 1 720 t的碳排放量。（赵倩）左右，单端设备满容量接入