虚拟集群中的轻量级通信机制.ppt

虚拟集群中的轻量级通信机制,1,虚拟集群中的轻量级通信机制,课题背景 国内外研究现状 总体设计 任务和目标 研究与开发进度安排,2,课题背景,TCP/IP协议族是当今计算机网络互联运用最广泛的协议。 为了适应网络环境的不可靠性和复杂性，实现其设计目标，TCP/IP协议是由许多子协议组成的，是一族非常复杂的协议。 但是在一些特殊的环境，例如由高速局域网络连接的网络中，网络环境是高可靠的，重量级的TCP/IP协议反而使得网络通信的性能降低。,3,虚拟集群网络互联场景,虚拟化技术正在被广泛地应用于企业数据中心、网格计算、集群计算等环境中。 在这样的一些环境中，通常计算机之间通过高速网络相连，例如千兆以太网、VIA 、Quadrics 、 Myrinet和InfiniBand等，具有低延时、高带宽的特点。 由于没有像Internet那样复杂的网络环境，所以重量级的TCP/IP协议并不太适合于虚拟集群计算，浪费了宝贵的计算资源，这就使得我们思考一种虚拟集群环境中轻量级的通信机制。,Virtual Machine Monitor,VM,VM,VM,VM,Virtual Machine Monitor,VM,VM,VM,VM,High Speed LAN,4,Xen Split Network Driver架构,5,传统集群中的内核级轻量级通信机制,Beowulf : Beowulf保留了标准的Unix协议栈，它通过并行利用两个或多个LAN来提高网络性能。 PARMA2 : PARMA2致力于消除Linux TCP/IP的流控制和分组确认，并且在多用户Unix环境下保持BSD套接字接口，保持对已有应用程序在代码级别兼容。 快速套接字 : 快速套接字是在活动消息层之上的TCP套接字实现，下层的活动消息层提供了良好的性能。当穿越LAN边界的时候，协议转换为普通的TCP/IP。 Genoa : Genoa通过在Linux内核中加入轻量级系统调用，定制带有快速中断路径NIC驱动程序，减少不必要的数据拷贝，实现用户进程之间的流水化通信来对网络性能进行优化。,6,国内外研究现状(XenLoop，HPDC08),FIFO1,GUEST VM2,INTER VM CHANNEL,EVENT CHANNEL,FIFO2,IN,IN,OUT,OUT,DISCOVERY MODULE,NET BACK,NET BACK,DOM0 SOFTWARE BRIDGE,DOM 0,XENSTORE,XENSTORE,7,XenLoop的优点与不足,XenLoop有着很好的性能，在各种测试中，相对于以前的虚拟机之间netfront-netback通信，其性能提高了1.55到6.19个数量级。同时XenLoop对上层应用程序二进制兼容。 XenLoop对虚拟机的迁移透明，迁移不会破环两个虚拟机进程之间的正在进行的通信。 XenLoop不需要对Xen Hypervisor或是客户机操作系统进行修改，它是以Linux Kernel Module的方式实现的 。 但是XenLoop只针对域间通信性能的提高，对于不同物理机上虚拟机之间通信的性能提高没有帮助。这就使得我们思考同时可以提高不同物理机上虚拟机通信效率的通信机制。,8,国内外研究现状(XWAY,VEE 08),XWAY是一个用来做域间通信性能优化的项目。 XWAY通过在应用层之下开辟高速通道提高域间通信性能。域之间通过环形队列传递数据。 XWAY SWITCH判断数据报是否为域间通信，是的话通过XWAY通道通信，否则的话通过原有的TCP/IP协议栈通信。 XWAY对原有的应用程序二进制兼容。,XWAY SWITCH,UDP,XWAY DEVICE DRIVER,IP,NETWORK LAYER,TRANSPORT LAYER,NET FRONT DRIVER,XWAY VIRTUAL NETWORK INTERFACE,9,国内外研究现状(VMM-Bypass, USENIX 06),VMM-Bypass是原有利用在某些高速网络的OS-Bypass思想在虚拟机环境中的运用。 VMM-Bypass通过使得客户操作系统中的应用程序可以直接访问硬件来提高网络性能。 其原型实现是在Infiniband网络中的实现，VMM-Bypass需要高速网络具备对OS-Bypass的支持。 其原型实现对已有的运用到Infiniband OS-Bypass的应用程序二进制兼容。,VM,VM,10,国内外研究现状(RMAP,VTDC07),11,Reliable Transmission,Fragmentation / Reassembly,Addressing,Flow Control,Data Handling and Packaging,TCP/IP与RMAP,12,对RMAP的改进,RMAP是专用于远程网络内存访问的，由于其去掉了TCP/IP 协议中一些基本的特点，比如去掉了TCP协议的端口机制等，利用socket进行通信的应用程序不能从RMAP中获得性能的提高。 这就使得我们思考一种虚拟集群环境中轻量级的网络通信机制，简化TCP/IP协议，同时对上层应用和协议栈的其它部分透明，提高网络通信的性能。,13,轻量级通信机制总体设计,该轻量级通信机制通过对TCP/IP协议进行简化来提高虚拟集群中虚拟机之间的通信的性能。 该轻量级通信机制与原有的TCP及IP协议协同工作，不需要对上层应用进行重新编码、编译和链接，对上层应用二进制兼容。 该轻量级通信机制检查发送数据包的目标地址及接受数据报的源地址，若该通信是属于高速本地网络内的通信，则通过该轻量级通信机制通信，否则通过原有的TCP/IP协议栈通信。 通过集成针对该轻量级通信机制修改和优化后的XenLoop (GPL)，在提高不同物理机上虚拟机之间通信效率的同时，提供对域间通信性能的优化。,14,虚拟集群轻量级通信机制架构,PHYSICAL NIC,SAFE H/W I/F,NATIVE NETWORK DRIVER,VNIC BACK END,VNIC BACK END,VNIC FRONT END,GUEST VM1,S/W BRIDGE,GUEST VM2,NETWORK DRIVER DOMAIN,XEN HYPERVISOR,GRANT TABLE/ EVENT CHANNEL,GRANT TABLE/ EVENT CHANNEL,RING BUFFER,DISCOVERY MODULE,VNIC FRONT END,APPLICATIONS,TCP/IP,LIGHT WEIHT,XENLOOP,XENSTORE,XENSTORE,XENLOOP CHANNEL,RING BUFFER,15,16,虚拟集群轻量级通信机制协议栈结构,APPLICATION LAYER,17,虚拟集群轻量级通信机制协议栈结构,18,虚拟集群轻量级通信机制介绍,为了通过TCP的端口机制为不同进程的通信提供服务，所以必须要有多路复用的模块。为了实现高效可靠的数据传输服务，该轻量级TCP协议同样含有连接管理的模块。通过数据封装来包含传输所需要一些必要的信息。由于虚拟集群网络环境没有很大的复杂性，通过轻量级的基于窗口的可靠的传输机制可以提高通信的效率。由于在虚拟集群内的通信都只有几跳的路径，所以路由算法可以大大进行简化。由于网络链路存在着MTU，所以需要数据报分片和重装的模块。 通过集成针对该轻量级通信机制修改和优化后的XenLoop (GPL)，在同一台物理机上的虚拟机之间开辟高速通信通道，同时提供域间通信性能的优化。,19,任务和目标,实现一套虚拟集群中的轻量级通信机制，使得虚拟集群中节点间的通信效率与memX中的RMAP模块相当。 集成针对该轻量级通信机制修改和优化后的XenLoop (GPL)，在同一台物理机上的虚拟机之间开辟高速通信通道，同时提供对同一台物理机上的虚拟机之间通信性能的优化。 通过SWITCH机制使得本地高速网络内的数据通信使用该轻量级网络通信机制，对跨本地网络的数据通信透明。 该轻量级通信机制与原有的TCP及IP协议协同工作，对上层应用程序二进制兼容。,20,系统测试与验收,对系统进行测试，使得其在网络延时和带宽方面性能和RMAP相当。 运行一个通信密集型的Benchmark，与传统的TCP/IP协议比较，性能有较大的提高。,21,进度安排,2008.11 2008.12 对Xen进行深入调研，特别是有关虚拟机网络I/O方面的内容,2009.1 2009.6 对轻量级网络通信机