数据中心网络虚拟化技术交流.ppt

1、服务器虚拟化与网络虚拟化技术探讨,C-Marketing Data Center SPDT 康乐,杭州华三通信技术有限公司,日期：2010年5月,关于 Server-to-network edge 的故事,未来几年，数据中心的新技术都将发生在Server-to-network edge； FCOE、CNA、CCE/DCE、EVB，都是Server-to-network edge的故事； 数据中心以太网络三个技术方向：融合、IO虚拟化、40G/100G,Server-to-netwokr edge,概述 虚拟化的定义,虚拟化是资源的逻辑表示，它不受物理限制的约束 引自IBM虚拟化与云计算,“虚拟

2、化”的定义包含了三层含义： 虚拟化的对象是各种各样的资源； 经过虚拟化后的逻辑资源对用户隐藏了不必要的细节； 用户可以在虚拟环境中实现其真实环境的部分或全部功能; “虚拟化”的两种形式：,N:1 虚拟化,1:N 虚拟化,概述 包罗万象的虚拟化,虚拟化,服务器虚拟化,存储虚拟化,桌面虚拟化,软件虚拟化,网络虚拟化,服务器虚拟化：使用虚拟化软件在一台物理服务器上运行多个操作系统； 网络虚拟化：将网络的硬件和软件进行整合，想用户提供虚拟网络连接的技术，VLAN / VPN / VRF / IRF / VDC等，后面将详细讨论； 存储虚拟化：为物理存储设备提供一个抽象逻辑视图，用户通过这个统一的逻辑接

3、口来访问被整合的存储资源，RAID / NAS / SAN。 软件虚拟化：应用虚拟化、高级语言虚拟化（JAVA/JRE）； 桌面虚拟化：将个人桌面环境保存在远端服务器上，终端与桌面解除耦合；,目录,服务器虚拟化带来的技术变革 服务器虚拟化技术简介 服务器虚拟化带来的网络技术变革 虚拟机交换网络的监管与安全策略部署 EVB 技术 大二层网络中的虚拟机迁移 网络 N:1虚拟化技术 虚拟机高密部署 网络无阻塞交换与大缓存技术 网络1:N虚拟化技术的应用 虚拟园区网方案 服务器横向整合方案,服务器虚拟化技术简介,服务器虚拟化的基本概念,虚拟化前: 每台主机一个操作系统； 软件硬件紧密地结合 ； 在同一

4、主机上运行多个应用程序通常会遭遇沖突； 系统的资源利用率低； 硬件成本高昂而且不够灵活；,虚拟化后: 解除了操作系统和服务器硬件的互相依赖； 每个虚拟机（逻辑服务器）被封装成一个大文件，可拷贝/克隆； 个系统间逻辑隔离，故障隔离； 虚拟机独立于硬件, 可在其他服务器上运行；,借助虚拟化软件在一台物理服务器上运行多个操作系统；,服务器虚拟化的两个术语,在虚拟化中有两个常用的术语：Virtual Machine 、 virtual machine monitor Virtual Machine（VM）是指运行在Hypervisor之上，拥有CPU、IO、内存等虚拟硬件资源并可支撑操作系统运行的一个

5、完整的系统平台。 virtual machine monitor（VMM）或叫做Hypervisor，是支持虚拟机运行的软件平台，负责虚拟机（VM）的托管和管理，它直接运行在服务器硬件上，因此其实现直接受底层体系机构的约束。 VMM，有两种典型的实现： 主机实现方案（hosted），也叫做主机虚拟化，实现： VMware Server (GSX)、 VMware Workstation、 VMware Fusion Microsoft Virtual PC 、 Microsoft Virtual Server 裸金属实现方案（bare-metal ）,也叫做裸金属虚拟化，实现： VMware

6、ESX Server Citrix XenServer Microsoft Hyper-V,当前市场上的主流产品,服务器虚拟化的典型实现,VMM 作为一个应用程序运行在通用操作系统之上，操作系统管理资源。 多个虚拟机的OS间相互独立，一个虚拟机宕机不影响其他虚拟机。 操作系统支持的硬件，虚拟机就能支持。 性能低。,Application,Application,Virtual Private Server,Virtual Private Server,VMM（虚拟化软件）,OS,OS,VMM 负责硬件资源的管理。 VM应用层、VM内核、Hypervisor处于不同的CPU特权等级 多个虚拟机的

7、OS间相互独立，一个虚拟机宕机不影响其他虚拟机。 处理性能高，接近非虚拟化运行模式；,VMM（虚拟化软件）,Application,Application,Virtual Private Server,Virtual Private Server,OS,OS,一个虚拟机,一个虚拟机,一个虚拟机,一个虚拟机,主机虚拟化的结构,裸金属虚拟化的结构,服务器虚拟化的关键特性,虚拟 交换机,CPU 虚拟化,内存 虚拟化,存储资源 虚拟化,传统数据中心视图,虚拟架构视图,Operating System,Exchange,Operating System,Operating System,VPN,Oper

8、ating System,Operating System,File/Print,Operating System,Operating System,CRM,Operating System,服务器虚拟化的对传统IT架构的改变,服务器虚拟化的对传统IT架构的改变,CPU产商推动服务器虚拟化技术进步,CPU,北桥,网卡,Intel 硬件辅助虚拟化技术路线图（AMD也有对应的技术）,网络设备产商对服务器虚拟的影响在哪里,服务器虚拟化带来网络接入层的变化,虚拟交换机,虚拟化Server,虚拟机1,Server,虚拟机2,虚拟机3,虚拟机4,虚拟网卡,虚拟网卡,虚拟网卡,虚拟网卡,虚拟化之前,虚拟化之

9、后,核心层,汇聚层,接入层,核心层,汇聚层,接入层,物理网卡,虚拟交换机 VSwitch,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,虚拟交换机,虚拟化Server,虚拟机1,虚拟机2,虚拟机3,虚拟机4,虚拟网卡,虚拟网卡,虚拟网卡,虚拟网卡,核心层,汇聚层,接入层,接入层,服务器虚拟化带来网络接入层的变化,虚拟机交换网络的监管与安全策略部署 EVB 技术,IEEE 802.1Q工作组提出了 Edge Virtual Bridging (EVB)标准，包括两个： HP/3COM/IBM等厂商主导的 802.1Qbg，将2011年初成为正式标准； CISCO主导的802.1Qbh，预计在

10、2012年成为正式标准；,传统的VSwitch的问题 1 管理边界问题,物理网卡,虚拟交换机 VSwitch,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,虚拟服务器边界,物理服务器边界,二层网络边界,这部分由服务器管理员负责运维。,这部分由网络管理员负责运维。,这部分由 谁 负责运维 ？ 物理服务器中的逻辑网络由谁管？ 相似的情况：刀片服务器中的交换机模块由谁管？ Server-to-network edge 是当前数据中心技术发展的热点，融合、IO/虚拟化是热点的两个主题； 其实，EVB / FCOE / CCE ，都是在讨论边界上的技术问题；,传统的VSwitch的问题 2 VM流量

11、监管问题,物理网卡,VSwitch,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,从虚拟机到物理服务器之外的流量可以通过交换机镜像、网流分析设备进行监控； 虚拟机之间的流量无法进行监控； 也有将虚拟交换机软件进行改进，以实现流量监控或镜像的方式，但这种方式需要消耗过多的CPU资源。,可监控的服务器流量,不可监控的服务器流量,物理网卡,VSwitch,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,传统的VSwitch的问题 3 服务器访问控制,数据中心服务器之间采用了矩阵式的访问控制策略。 不同的虚拟机之间需要通过ACL实现访问控制； 传统的VSwitch 实现ACL需要消耗CPU资源，

12、对服务器性能有影响； 安全策略与VM的迁移紧绑定问题需解决；,HP/3COM 802.1Qbg 的解决方案,MAC/PHY,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,VMM,VM1,VM2,VM3,VEPA,以太网交换机,Virtual Ether Port Aggragation 方案： 现在的交换机只要稍做驱动修改就可支持这种模式；原来的VSwitch变成了VEPA，但还是CPU处理，性能有一定限制； 在物理网络上实现了流控和安全控制； 物理服务器边界也是网管边界；,实现流量监控、 安全控制,物理服务器边界,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,VMM,VM1,VM2,

13、VM3,以太网交换机,实现流量监控、安全控制,物理服务器边界,虚拟网卡,VM3,VSwitch,VEPA,多通道标签处理模块,MAC/PHY,多通道标签处理模块,Mutil-Channel 方案： 可同时支持 软/硬VSwitch、VEPA， 需要升级网卡和接入层交换机支持Q-IN-Q； 在物理网络上实现了流控和安全控制 物理服务器边界也是网管边界；,物理网卡,物理网卡,CISCO 的 802.1Qbh 解决方案,虚拟化之后的服务器,虚拟网卡,虚拟网卡,虚拟网卡,VMM,VM1,VM2,VM3,以太网交换机,实现流量监控、安全控制,虚拟网卡,VM3,VSwitch,VEPA,M标签处理模块（标

14、签复制）,MAC/PHY,M标签处理模块,M标签处理模块（标签复制）,非虚拟化的服务器,MAC/PHY,物理网卡,物理网卡,操作系统,非虚拟化的服务器,MAC/PHY,物理网卡,端口扩展 FEX,为解决多通道技术多播转发的复杂性，提出了端口扩展技术； 端口扩展技术实现了M部件，专用于对多播报文进行转发；M部件增加对多播 tag的添加和删除；,操作系统,两个标准草案的比较,802.1Qbg：目标是定义EVB的基本功能； VEPA及其multi-channel是由HP、3COM、IBM、Broadcom、Qlogic、emulex等公司支持发起确定的IEEE标准，将2011年初成为正式标准； 协议

15、定义了虚拟机VMM以及交换机对来自VM的报文的处理方式，将VM的流量牵引到交换机上做转发、监管、安全控制，然后在送回到VM。 该协议明确了服务器管理边界、网络管理边界。 802.1Qbh：目标是定义端口扩展； CISCO主导的802.1Qbh，预计在2012年成为正式标准； 该协议定义了新的以太网报文格式（增加了M-TAG），一组M-tag代表一组端口，用于远端的部件进行报文的复制（多播）。 这两个标准不冲突，Qbg实现VM之间交换的基本功能，可以借助Qbh提高多播的处理性能；Qbh可以单独实现，但对硬件有特殊要求；,大二层网络中的虚拟机迁移问题 网络设备 N:1 虚拟化,服务器虚拟化的一个关

16、键特性是虚拟机动态迁移，迁移需要在二层网络内实现 如何简化大二层网络的部署，是服务器虚拟化带来的又一个问题；,服务器虚拟化的关键特性 动态迁移,VMotion迁移虚拟机,SAN、iSCSI或NAS,动态迁移可在 X86架构的 VMWARE ESX上实现，以可以在IBM P6 小型机上实现； 在不中断服务的情况下，将VM迁移到其他的物理服务器上； 可用在灾备、资源调整、服务器维护等场合； 实现迁移的服务器必须在一个二层网络内，VM的GW在相同设备上；,4P+,2P,Intel Core Microarchitecture,Enhanced Intel Core Microarchitecture

17、,Next Generation Intel Microarchitecture,1P,Xeon7500,Xeon 5400,Xeon 3300,Future,Future,Future,Xeon 5300,Xeon 7300,Xeon 3200,65nm,45nm High-K,2006-2007,2007-2008,2008-2010,arch,Dual Core 5100,Dual Core 7200,Dual Core 3000,Intel VT FlexMigration,Increased VM Mobility with VMware Fail-Over 防故障 Load Bal

18、ance 负载分担 Disaster Recovery 容灾 Server Maintenance 服务器维护,VM,VM,Intel CPU 对虚拟机 VMotion 特性的支持,借助intel VT Flexmirgration 和vmware ESX的VMotion，先前在各代服务器间实时迁移虚拟机的障碍已得到解决。,IBM P6/P7 CPU 支持“分区实时迁移”,IBM System p 系统的动态分区迁移技术，允许将正在运行的生产应用程序从一个物理服务器移动到另一个物理服务器动态分区迁移有助于实现连续的可用性目标： 通过动态地将应用程序从一个服务器移动到另一个服务器，减少计划停机时

19、间。 通过允许您将工作负载从负载较重的服务器移动到具有空闲容量的服务器，可以应对不断变化的工作负载和业务需求。 通过允许您简单地整合工作负载，并关闭不使用的服务器，减少能量的消耗。,IBM P6/P7 CPU都支持“分区实时迁移”，类似与VMWARE 的VMotion。,“分区实时迁移”需要服务器部署在同一个二层网络中。,传统二层网络的维护复杂性,在汇聚交换机上指定根桥； 汇聚交换机上不需要参与STP的端口关闭STP特性 接入交换机与服务器直连端口设置为“边缘端口”； 接入交换机与服务器相连的端开启“BPDU保护”功能，标的端口； 接入交换机上行端口开启“环路保护”功能，标的端口； 汇聚交换机

20、（根桥和备份根桥）与接入交换机互联的端口开启“root保护”功能，标的端口； 交换机上开启“TC-BPDU保护”功能；,在交换机上开启loopback-detection（端口环回检测）功能，防止错误的配置或连接形成端口自环； 利用VLAN与MSTP实例映射关系，实现业务流量负载分担。 在汇聚交换机或汇聚层L4/L7模块上规划多个VRRP组，实现服务器网关的备份和负载分担。,IRF虚拟化的应用 消除二层环路,基于IRF的虚拟化网络设计 网络各层之间屏蔽环路，通过链路聚合实现负载分担 将多条网络层间链路简化成一条逻辑链路 可实现数据中心大范围二层网络互联,MSTP+VRRP,L3,L2,IRF虚

21、拟化的应用 简化NIC-Teaming部署,en0,en1,en0,en1,AIX 1,AIX 2,En0_mac: 0.d.60.de.f8.3a En1_mac: 0.d.60.de.f8.3b,Boot0_ip: 192.168.2.53 Boot1_ip: 192.168.3.53,SVC_IP : 172.18.0.53/24,En0_mac: 0.d.60.de.f8.54 En1_mac: 0.d.60.de.f8.55,DC CORE,Boot0_ip: 192.168.2.54 Boot1_ip: 192.168.3.54,L3,L2,DC CORE,en0,en1,AIX

22、1,en0,en1,AIX 2,Boot_ip: 192.168.2.53 En_agg_mac: 0.d.60.de.f8.3a,SVC_IP : 172.18.0.53/24,Boot_ip: 192.168.2.54 En_agg_mac: 0.d.60.de.f8.54,IRF虚拟化的应用 简化路由设计,链路IP地址对,共需9个网段，消耗42个IP(含Loop back接口) 9条链路任一变化将引起路由振荡,动态路由区域,多个路由区域 域内设备节点多 路由设计复杂 有数据流往返路径不一致问题,只需2个网段，消耗11个IP(含Loop back接口) 物理链路变化不影响路由振荡 路由区域

23、简单 逻辑节点减少，点对点路由邻居 层间单条逻辑链路 数据转发路径简单,动态路由区域,VMotion,L3,L2,访问流量,IRF虚拟化构建大二层网络数据中心,H3C,H3C,广域网 园区网,跨数据中心二层互联,跨数据中心二层互联,数据中心-1,数据中心-2,IRF虚拟化实现跨数据中心虚拟机迁移,基于盒式设备的N:1虚拟化（虚拟背板）,基于框式设备的N:1虚拟化（背板虚拟级联）,N:1虚拟化的关键技术 成员设备间报文转发方式,对于多台盒式设备组成的IRF系统，由Master计算并形成各成员的转发表； 对于多台框式设备IRF，由Master设备的主用主控计算生成转发表，各框线卡的转发表均由此主控

24、同步下发。 当数据流在IRF系统的成员设备间转发时，交换机硬件ASIC根据转发表信息和报文头抽取源端口号、转发出端口号、其它信息组装成IRF系统内数据转发的附加信息头IRF Head，并封装在以太网报文前面通过IRF互联链路转发到其它IRF成员，便于出方向设备进行正确处理。,对前述内容的回顾与总结,服务器虚拟化的一个关键特性是虚拟机动态迁移，迁移需要在二层网络内实现; 如何简化大二层网络的部署，是服务器虚拟化带来的又一个问题； 交换机 N:1 虚拟化技术实现了 “天下无环”，适应了虚拟化带来的大二层网络需求;,网络无阻塞交换与接口大缓存技术,服务器虚拟化使数据中心服务器接入量成倍增长 服务器接

25、入网络面临网络流量快速提升，以及交换机端口流量突发的问题,虚拟机高密部署带来的技术挑战,CPU演进：单核双核四核八核 ,双核,四核,四核,八核,每核运行1.5个虚拟机（该比例是Intel提出的虚拟机SLA限制条件，即运行于满负载机器之上的所有作业的完成时间不应超过其在空载机器上单个 VM 中运行所需时间的 1.4 倍）； 装备1个8核 CPU的服务器可运行12个虚拟机,虚拟机高密部署使网络接入流量倍增,统计复用与流量突发的关系,当以1ms为间隔采集到的流量最大值是平均值的2-3倍； 突发产生网络拥塞，使网络设备过载丢包； 丢包造成报文重传、传输延迟、应用程序响应迟缓；,单CPU、非虚拟化时的网

26、络平均利用率与突发的关系,1. Source: VMware Capacity Planner assessments,虚拟机高密部署将加重网络突发问题,2、流量逐级密集,抑制网络流量突发的两种技术,无阻塞交换技术: CLOS交换架构；,分布式大缓存技术： 入方向缓存； VOQ调度方式；,CLOS交换架构 vs 传统Crossbar架构,CLOS交换架构： 第一级（入方向线卡）将报文分片（cell）,通过N条链路到网板； 第二级（网板）基于“分片动态路由”方式，通过N条路径将分片发送到第三级（出方向线卡）； 第三级重组报文； 动态路由方式实现无阻塞交换，且可平滑扩展； 出方向需要通过VOQ对入

27、方向的流做调度；,传统Crossbar交换架构： 交换网板基于静态路由方式，即业务流进入网板前，根据源端口制定或基于HASH算法选择一条路径。属于同一个路径的流容易形成拥塞，而其他路径则空闲； 物理上可构成与CLOS相似的三级架构，但网板始终是基于静态路由的流转发。,拥塞丢包,全程无阻塞,右转弯道,右转弯车辆，被阻塞在直行道上 这就是“头阻塞”问题,设置右转弯道，保证右转车辆的通行 为各种方向的车辆设置专用通道，实现公平调度，这就是VOQ的作用,Virtual Output Queuing 技术的作用,分布式大缓存技术：入方向缓存 + VOQ,Ingress Line card,Egress Line card,内部credit精确调度,对前述内容的回顾与总结,服务器虚拟化带来的网络技术变革：