云平台性能测试调研

1、云计算平台性能测试研究 TOC o 1-5 h z HYPERLINK l bookmark12 o Current Document 一、提出背景2 HYPERLINK l bookmark39 o Current Document 二、功能结构2 HYPERLINK l bookmark52 o Current Document 一、基础服务器：4 HYPERLINK l bookmark80 o Current Document 二、网页服务器5 HYPERLINK l bookmark127 o Current Document 三、邮件服务器5 HYPERLINK l bookmar

2、k140 o Current Document 四、应用程序服务器6 HYPERLINK l bookmark150 o Current Document 五、数据库服务器6 HYPERLINK l bookmark160 o Current Document 六、空闲服务器6 HYPERLINK l bookmark167 o Current Document 三，设置客户端73.1 安装 JAVA JDK7 HYPERLINK l bookmark170 o Current Document 3.2设置客户端的主机名7 HYPERLINK l bookmark173 o Current D

3、ocument 3.3使系统运行73.4 设置 SPECvirt Harness8 HYPERLINK l bookmark181 o Current Document 四，平分标准9 HYPERLINK l bookmark184 o Current Document 4.1服务质量标准如下：9 HYPERLINK l bookmark190 o Current Document 4.2、打分案例：9 HYPERLINK l bookmark196 o Current Document 五、费用10一、提出背景云计算的根本是计算资源虚拟化，在云计算蓬勃发展的今天，各厂商纷纷推出虚拟化平 台产

4、品，如何衡量一款产品性能的好坏，也成为业内新的技术挑战。从技术层面分析，虚拟化平台是在虚拟机操作系统与物理服务器硬件之间增加了一个调度 层，势必会对应用程序操作硬件产生一定影响。同时其自身运行也需要耗费一定的计算资源， 对整个物理服务器的资源使用会产生损耗，这些都是在性能测试设计中需要考虑的方面。虚拟化系统测试主要分为宏观测试程序和微观测试程序，宏观测试程序能够体现虚拟化 系统的整体性能，主要是针对一些典型的应用，像web服务器、数据库服务器、java服务器 等，微观测试主要是在待定条件下，测试虚拟化系统的个别基本操作的性能，如cpu运行， 内存读写等，本文主要介绍对虚拟化系统测试的宏观测试程

5、序。现阶段对虚拟化系统宏观测试主要有如下产品：1、VMmark： wmware公司开发，现版本也到VMmark 2.52、vConsolidate （intel公司开发，已归入SPEC）3、SPECvirt_sc2010（SPEC组织开发，现最高版本2013）本文主要对行业内比较有代表性的SPECvirt_sc2010的使用进行讲解。一、SPECvirt_sc2010的应用场景SPEC是一个非盈利组织致力于创建、维护和支持各类工业界标准的基准测试工具。它 的成员包括了全球主要的软硬件制造商。SPEC于2008年成立了虚拟化测试的子工作者，致 力于创建和维护虚拟化基准测试工具，它的组员包括AMD

6、. HP、IBM、Oracle、Red Hat 等知名软硬件，此外还包括了公司前文提到的两个服务器整合基准测试工具开发者/Mware 和因特，在它们的经验帮助下，2010年SPEC开发和发布了权威的工业标准虚拟化服务器 整合基准测试工具SPECvirt_sc20101、开发了一个标准的基准测试程序，以公平地比较服务器在运行多个虚拟机时的性能2、模拟对常用的虚拟化系统进行服务器整合，比如邮件服务器、数据库服务器、应用 服务器，网页服务器和文件服务器3、支持服务器整合中可能使用到的硬件虚拟化、操作系统虚拟化和硬件分区4、支持多个虚拟化软件提供商5、引进服务质量有效性以使得结果有实际意义（注： HY

7、PERLINK /virt_sc2010/ /virt sc2010/）二、功能结构SPECvirt_sc2010模拟客户的服务器虚拟化真实场景，对正在运行一组典型服务器应用 程序的拟机的运行系统能力进行测量，这些典型应用程序包括数据库服务器、基础服务器、 应用服务器、Web服务器、邮件服务器、闲置服务器。该测试反映了能够同时并发运行、并能满足QoS要求的服务器虚拟化的最大性能指标。通常把运行有6个典型服务器应用程 序的虚拟机成为一个计算区块。几个普通的工作量同时运行在单独的虚拟机上，每个工作量是一个单一的系统运行基 准，我们把它称为tile每个负载单元“tile”包括6个虚拟机分别运行不同的

8、负载应用服务器：网页服务器、邮 件服务器、应用程序服务器、数据库服务器、基础服务器(Infrastructure Server)、闲置服 务器。下面分别介绍这几个人负载应用服务器的安装与使用。SPECvirt_sc2010 tile 设计：5PECvirt_SC2010TILE(SPECjAopIMAP ServerVirtual MachineVM to-VM F ile Server (SPECweb)Application Server Virtual MachineSupporting File Server Virtual MachineWeb 驻 (Modified SPECweb

9、 SupportBcSim (DB siiriiilEof for SPECweb)IMAP Mailserver (SP ECimap)Web ServerVirtual MachineJ2EEApplication ServerGuest OSDatabase ServerVirtual Machine削宾=Disi. ioVirtualisation Layer and Hardwarerecn = Network 104F1System Under Test (SUT Client Hardware,LFsPECvirt_sc2010* 多“片”设计:Tile 1Virtualizat

10、ion Layer and HardwareBlue = Disk 10lafLera = Network 10IMAP VMTile 2TilenSystem Under Test (SUT)Client HardwareTile 1 DriverTile 2 DriverTile n DriverSPEC web DriverSPEC web DriverSPECweb DriverIMAP DriverIMAP DriverIMAP DriverSFaECpoll DriverSPECjApp DriverSPECpCillSPECjApp DriverSPECpBll D门ue，一、基

11、础服务器：基于 SPECjAppServer2004*创建500个用户的数据库变化的加入频率来模拟工作量突发情况（频率为每秒最高45,平均20）用SPECpoll*获取结果计数器一、创建基础服务器虚拟机：一核cpu,1024MB内存，58GB硬盘，纯软件的虚拟网卡，用来进行虚拟机之间的通 信，纯影射到物理网卡的虚拟网卡，用于与外界进行通信二、配置基础服务器：该基础服务器包含需要通过服务器虚拟机可以访问的文件。该infraserver虚拟机也可 作为后端模拟器（BeSim）。配置的步骤如下：从harness kit复制SPECweb2005和SPECpoll目录到infraserver虚拟机上的

12、某个目 录安装JRE设置一个远程的文件系统创建一个35Gb大小的文件系统配置文件系统使其能通过web服务器虚拟机访问。（例如，导出使用NFS文件系 统）将BeSim设置成功SPECpoll的pollme.jar监听器的代码将需要在测试过程中在这个虚拟机上运行。可以配置在这个虚拟机上运行，以在引导时自动启动监听器的操作系统，或者也可 以在客户端启动监听器作为试运行的一部分。启动该VM的命令应该是这个样子: java -jar /opt/SPECpoll/pollme.jar -p 8001三、基础服务器软件配置示例：用NFS给SPECweb2005提供网络共享文件，用Apache作SPECweb

13、2005的besim、网页服务器基于 SPECweb2005*只采用support模式，使用PHP同时有500用户产生页面请求用SPECpoll*获取结果计数器一、创建网页服务器虚拟机：两核cpu,1024MB内存，8G硬盘，纯软件的虚拟网卡，用来进行虚拟机之间的通信， 纯影射到物理网卡的虚拟网卡，用于与外界进行通信。二、配置网页服务器：从harness kit复制SPECweb2005和SPECpoll目录到网页服务器上的某个目录将系统上的归属地设置为US安装JRE安装并使用PHP支持的Web服务器软件。设置你的当前工作目录到wafgen目录。# cd / opt/SPECweb2005/w

14、afgen配置PHP使文档根目录支持/下载目录从infraserver虚拟机文件服务器安装(你可能要使用 一个虚拟机的内部网络这个挂载如果有的话)转到SPECweb2005/wafgen目录并编辑支持wafgen文件设置TILEINDEX价值为在 创建的tile。建立图像文件(Wafgen UNIX / support_image_props,rc)构建支持文件(Wafgen UNIX / support_downloads_props,rc)(注：此命令可能需要 一个多小时才能运行。)SPECpoll的pollme,jar监听器的代码将需要在测试过程中在这个虚拟机上运行。可以配置在这个虚拟机

15、上运行，以在引导时自动启动监听器的操作系统，或者也可 以在客户端启动监听器作为试运行的一部分。启动该VM的命令应该是这个样子: java -jar /opt/SPECpoll/pollme.jar -web -p 8001三、网页服务器软件配置示例：Apache/PHP 用于 SPECweb2005三、邮件服务器基于 SPECmail2008*500个邮件用户产生IMAP操作用SPECpoll*获取结果计数器一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：Dovecot*用于 SPECmail2008四、应用程序服务器基于 SPECjAppServer2004*创建5

16、00个用户的数据库变化的加入频率来模拟工作量突发情况（频率为每秒最高45，平均20）用SPECpoll*获取结果计数器一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：平分标准1 ，客户端功能，应用程序服务器五、数据库服务器基于 SPECmail2008*500个邮件用户产生IMAP操作 用SPECpoll*获取结果计数器一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：六、空闲服务器用SPECpoll*来确认是否在运行和有反应一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：三，设置客户端3.1 安装 JAVA JDK安

17、装Java1.6或更高版本的JDK （JDK的是需要运行应用程序服务器的工作负载的客户 机上）在客户端上，如果没有一个了。3.2设置客户端的主机名各个服务器将需要配置在客户端的hosts文件中，SPECvirt Harness使用到合适的IP地 址的主机名相关联。网络负载：Harness主机名默认使用基础服务器-对于网络负载充当后端模拟器（BeSim）服务器。Web服务器-HTTP应用程序正在运行的服务器IMAP负载：Harness主机名默认使用邮件服务器-其中IMAP运行应用程序的服务器应用服务器负载：specdelivery -其中应用程序服务器正在运行的服务器specemulator -

18、模拟器应用程序正在运行的服务器（SPECvirt这个IP是一样的 specdelivery）specdb -数据库正在运行的服务器SPECpoll 负载空闲服务器-SPECpoll监听器进程正在运行的服务器例如，你的hosts文件条目应该是这个样子:123456infraserver webserver mailserver dbserver specdelivery specemulator appserver specdbidleserver3.3使系统运行从客户端运行SPECvirt tile可能会需要做以下几个方面的操作:用户限制：如果操作系统存在用于运行SPECvirt负载的登录会话

19、的任何限制，那么这些限制可能需要增加成功地完成一个完整的SPECvirt基准测试例如：打开文件-由使用者（例如的ulimit-n）的允许打开的文件数，可能需要提高。网络方面：操作系统默认网络带宽可能需要增加，以促进网络的工作量。例如：发送缓冲区接收缓冲区3.4 设置 SPECvirt HarnessSPECvirt Harness是在以上都操作完成的情况下，通过安装SPECvirt Harness来对以 上的tile,进行控制。*1094clientmgr5 1088op_s soclientmgrlclientmgrl k/clientmgr3/clientmgr41 4111Iiijapp

20、s erverspecweb J1 specimap |( specpoll )* 109210911010120011900imapclientvirtual machines (VMs)四，平分标准平分标准：平分的准则是这样的，在满足SPEC规定的各项服务器QoS标准的前提下，为每个服 务器打分，然后将tile中应用，网页，邮件服务器的分数相加，得到每个tile的分数，然后 将各个tile的分数分别相加，即得到总的云平台的总分。SPEC virt sc2010下面的各个服务器及客户端安装完成之后，在客户端可以控制给各 个服务器发送指令，即可以给各个服务器加压，使其在满足服务器标准的前提下，获得尽可 能高的分数，然后将各个服务器的得分按照计算规则统计出一个tile的得分，然后将整个云 平台下面tile的得分相加，即可获得整个云平台的总得分，即该云平台在SPEC virt sc2010 标准下的性能得分。4.1服务质量标准如下：应用服务器基于SPECjAppServer2004*本身的标准对响应时间、业务交易的混合以及杂糅性有相应的要求SPECjAppServer2004 基准测试采用 JOP