云平台性能测试调研.doc

云计算平台性能测试研究一、提出背景2二、功能结构3一、基础服务器：4二、网页服务器5三、邮件服务器5四、应用程序服务器6五、数据库服务器6六、空闲服务器6三，设置客户端73.1安装JAVA JDK73.2设置客户端的主机名73.3使系统运行73.4 设置 SPECvirt Harness8四，平分标准94.1 服务质量标准如下：94.2、打分案例：9五、费用10一、提出背景云计算的根本是计算资源虚拟化，在云计算蓬勃发展的今天，各厂商纷纷推出虚拟化平台产品，如何衡量一款产品性能的好坏，也成为业内新的技术挑战。从技术层面分析，虚拟化平台是在虚拟机操作系统与物理服务器硬件之间增加了一个调度层，势必会对应用程序操作硬件产生一定影响。同时其自身运行也需要耗费一定的计算资源，对整个物理服务器的资源使用会产生损耗，这些都是在性能测试设计中需要考虑的方面。虚拟化系统测试主要分为宏观测试程序和微观测试程序，宏观测试程序能够体现虚拟化系统的整体性能，主要是针对一些典型的应用，像web服务器、数据库服务器、java服务器等，微观测试主要是在待定条件下，测试虚拟化系统的个别基本操作的性能，如cpu运行，内存读写等， 本文主要介绍对虚拟化系统测试的宏观测试程序。现阶段对虚拟化系统宏观测试主要有如下产品：1、VMmark：wmware公司开发，现版本也到VMmark 2.52、vConsolidate（intel公司开发，已归入SPEC）3、SPECvirt_sc2010（SPEC组织开发，现最高版本2013）本文主要对行业内比较有代表性的SPECvirt_sc2010的使用进行讲解。一、SPECvirt_sc2010的应用场景SPEC是一个非盈利组织致力于创建、维护和支持各类工业界标准的基准测试工具。它的成员包括了全球主要的软硬件制造商。SPEC于2008年成立了虚拟化测试的子工作者，致力于创建和维护虚拟化基准测试工具，它的组员包括AMD、HP、IBM、Oracle、Red Hat等知名软硬件，此外还包括了公司前文提到的两个服务器整合基准测试工具开发者VMware和因特 ，在它们的经验帮助下，2010年SPEC开发和发布了权威的工业标准虚拟化服务器整合基准测试工具SPECvirt_sc20101、开发了一个标准的基准测试程序，以公平地比较服务器在运行多个虚拟机时的性能2、模拟对常用的虚拟化系统进行服务器整合，比如邮件服务器、数据库服务器、应用服务器，网页服务器和文件服务器3、支持服务器整合中可能使用到的硬件虚拟化、操作系统虚拟化和硬件分区4、支持多个虚拟化软件提供商5、引进服务质量有效性以使得结果有实际意义（注：/virt_sc2010/）二、功能结构SPECvirt_sc2010模拟客户的服务器虚拟化真实场景，对正在运行一组典型服务器应用程序的拟机的运行系统能力进行测量，这些典型应用程序包括数据库服务器、基础服务器、应用服务器、Web服务器、邮件服务器、闲置服务器。该测试反映了能够同时并发运行、并能满足QoS要求的服务器虚拟化的最大性能指标。通常把运行有6个典型服务器应用程序的虚拟机成为一个计算区块。几个普通的工作量同时运行在单独的虚拟机上，每个工作量是一个单一的系统运行基准，我们把它称为tile每个负载单元“tile”包括6个虚拟机分别运行不同的负载应用服务器：网页服务器、邮件服务器、应用程序服务器、数据库服务器、基础服务器（Infrastructure Server）、闲置服务器。下面分别介绍这几个人负载应用服务器的安装与使用。SPECvirt_sc2010 tile设计：sPECvirt_sc2010*多“片”设计:一、 基础服务器：基于SPECjAppServer2004*创建500个用户的数据库变化的加入频率来模拟工作量突发情况（频率为每秒最高45，平均20）用SPECpoll*获取结果计数器 一、创建基础服务器虚拟机： 一核cpu,1024MB内存，58GB硬盘，纯软件的虚拟网卡，用来进行虚拟机之间的通信，纯影射到物理网卡的虚拟网卡，用于与外界进行通信 二、 配置基础服务器： 该基础服务器包含需要通过服务器虚拟机可以访问的文件。该infraserver虚拟机也可作为后端模拟器（BeSim）。 配置的步骤如下：1. 从harness kit复制SPECweb2005和SPECpoll目录到infraserver虚拟机上的某个目录2. 安装JRE3. 设置一个远程的文件系统4. 创建一个35Gb大小的文件系统5. 配置文件系统使其能通过web服务器虚拟机访问。 （例如，导出使用NFS文件系统）6. 将BeSim设置成功7. SPECpoll的pollme.jar监听器的代码将需要在测试过程中在这个虚拟机上运行。可以配置在这个虚拟机上运行，以在引导时自动启动监听器的操作系统，或者也可以在客户端启动监听器作为试运行的一部分。启动该VM的命令应该是这个样子：java -jar/opt/SPECpoll/pollme.jar -p 8001三、基础服务器软件配置示例： 用NFS给SPECweb2005提供网络共享文件，用Apache作SPECweb2005的besim二、 网页服务器基于SPECweb2005* 只采用support模式，使用PHP同时有500用户产生页面请求用SPECpoll*获取结果计数器 一、创建网页服务器虚拟机： 两核cpu,1024MB内存，8G硬盘，纯软件的虚拟网卡，用来进行虚拟机之间的通信，纯影射到物理网卡的虚拟网卡，用于与外界进行通信。二、 配置网页服务器：1. 从harness kit复制SPECweb2005 和SPECpoll目录到网页服务器上的某个目录2. 将系统上的归属地设置为US3. 安装JRE4. 安装并使用PHP支持的Web服务器软件。5. 设置你的当前工作目录到wafgen目录。 cd / opt/SPECweb2005/wafgen6. 配置PHP7. 使文档根目录支持/下载目录从infraserver虚拟机文件服务器安装（你可能要使用一个虚拟机的内部网络这个挂载如果有的话）8. 转到SPECweb2005/wafgen目录并编辑支持wafgen文件设置TILEINDEX价值为在创建的tile。9. 建立图像文件（Wafgen UNIX / support_image_props.rc）10. 构建支持文件（Wafgen UNIX / support_downloads_props.rc）（注：此命令可能需要一个多小时才能运行。）11. SPECpoll的pollme.jar监听器的代码将需要在测试过程中在这个虚拟机上运行。可以配置在这个虚拟机上运行，以在引导时自动启动监听器的操作系统，或者也可以在客户端启动监听器作为试运行的一部分。启动该VM的命令应该是这个样子：java -jar/opt/SPECpoll/pollme.jar -web -p 8001三、网页服务器软件配置示例： Apache/PHP用于SPECweb2005三、 邮件服务器基于SPECmail2008*500个邮件用户产生IMAP操作用SPECpoll*获取结果计数器一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：Dovecot*用于SPECmail2008四、 应用程序服务器基于SPECjAppServer2004*创建500个用户的数据库变化的加入频率来模拟工作量突发情况（频率为每秒最高45，平均20）用SPECpoll*获取结果计数器一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：平分标准1，客户端功能，应用程序服务器 五、 数据库服务器基于SPECmail2008*500个邮件用户产生IMAP操作用SPECpoll*获取结果计数器一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：六、 空闲服务器用SPECpoll*来确认是否在运行和有反应 一、创建邮件服务器虚拟机：二、配置邮件服务器：三、邮件服务器软件配置示例：三，设置客户端3.1安装JAVA JDK安装Java1.6或更高版本的JDK（JDK的是需要运行应用程序服务器的工作负载的客户机上）在客户端上，如果没有一个了。3.2设置客户端的主机名各个服务器将需要配置在客户端的hosts文件中，SPECvirt Harness使用到合适的IP地址的主机名相关联。网络负载：Harness 主机名默认使用基础服务器 - 对于网络负载充当后端模拟器（BeSim）服务器。Web服务器 - HTTP应用程序正在运行的服务器IMAP 负载：Harness 主机名默认使用邮件服务器 - 其中IMAP运行应用程序的服务器应用服务器负载：specdelivery-其中应用程序服务器正在运行的服务器specemulator-模拟器应用程序正在运行的服务器（SPECvirt这个IP是一样的specdelivery）specdb-数据库正在运行的服务器SPECpoll 负载空闲服务器-SPECpoll监听器进程正在运行的服务器例如，你的hosts文件条目应该是这个样子：1 infraserver2 webserver3 mailserver4 dbserver specdelivery specemulator5 appserver specdb6 idleserver3.3使系统运行从客户端运行SPECvirt tile可能会需要做以下几个方面的操作：1. 用户限制：如果操作系统存在用于运行SPECvirt负载的登录会话的任何限制，那么这些限制可能需要增加成功地完成一个完整的SPECvirt基准测试例如：打开文件 - 由使用者（例如的ulimit-n）的允许打开的文件数，可能需要提高。2. 网络方面：操作系统默认网络带宽可能需要增加，以促进网络的工作量。例如：发送缓冲区接收缓冲区3.4 设置 SPECvirt Harness SPECvirt Harness 是在以上都操作完成的情况下，通过安装SPECvirt Harness 来对以上的tile,进行控制。四，平分标准平分标准：平分的准则是这样的，在满足SPEC规定的各项服务器QoS标准的前提下，为每个服务器打分，然后将tile中应用，网页，邮件服务器的分数相加，得到每个tile的分数，然后将各个tile的分数分别相加，即得到总的云平台的总分。SPEC virt sc2010 下面的各个服务器及客户端安装完成之后，在客户端可以控制给各个服务器发送指令，即可以给各个服务器加压，使其在满足服务器标准的前提下，获得尽可能高的分数，然后将各个服务器的得分按照计算规则统计出一个tile的得分，然后将整个云平台下面tile的得分相加，即可获得整个云平台的总得分，即该云平台在SPEC virt sc2010标准下的性能得分。4.1 服务质量标准如下：应用服务器基于SPECjAppServer2004*本身的标准对响应时间、业务交易的混合以及杂糅性有相应的要求SPECjAppServer2004基准测试采用JOPS（JAppServerOperationsPerSecond每秒总的操作次数）网页服务器与SPECweb2005*本身的标准相同对响应时间、数据有效性以及数据质量有相应的要求SPECWeb2005测试的原理，是通过多台客户机向服务器发出HttpGet请求，请求调用Web服务器上的网页文件，这些文件从数千字节到数兆字节不等。在相同的时间里，服务器回答的请求越多，就表明服务器对客户端的处理能力越强，系统的Web性能就越好。邮件服务器95%的交易必须在5秒内完成对于每种IMAP操作，不能有超过1.5%的失败率对于所有的操作，不能有超过1%的失败率空闲服务器99.5%的查询请求必须在1秒内得到响应4.2、打分案例：对于每种工作负载，与其理论最大吞吐量相除来规范化最大值应用：34.86；网页：54.17；邮件：89.93针对每个tile，对3个规范化后的相对值取算术平均值把每个的值相加起来结果示例第1 tile: 算术平均(33.29/34