x86服务器Bechmark测试指导(一)-SPECWEB2005

1、 技 术 文 件技术文件名称：x86服务器Benchmark测试指导（一）-SPECWEB2005 技术文件编号： 版 本： 拟 制 王云 审 核 李德辉 会 签 标准化 黄纯娟 批 准 王承峰 中兴通讯股份有限公司修改记录文件编号版本号拟制人/修改人拟制/修改日期更改理由主要更改内容（写要点即可）V1.0王云100514172013-08-12创建无注1：文件第一次归档时，“更改理由”、“主要更改内容”栏写“无”。注2：每次更改归档文件（指归档到事业部或公司档案室的文件）时，需填写此表。目 录1引言41.1编写目的41.2文档约定42概述43软件简介及组网方式43.1操作系统的安装53.2S

2、UT端软件安装及配置验证53.2.1ISS 7.5的安装53.2.2PHP的安装53.2.3JDK的安装63.2.4.SpecWeb Service端的安装73.2.5安装perl软件83.2.6配置SUT83.2.7验证PHP是否正常工作143.2.1验证SUT是否正常工作153.3SpecWeb Besim端软件安装及配置验证163.3.1ISS服务和JDK的安装163.3.2Specweb安装163.3.3安装perl软件173.3.4配置besim173.3.5验证besim是否工作正常193.4Client端软件安装及配置验证203.4.1Client端安装203.4.2修改脚本及配

3、置203.4.3测试是否正常运行213.1执行压力测试223.1.1采用loadrunner录制脚本测试223.1.2采用SPECWEB脚本测试223.1.3测试结果参考281 引言1.1 编写目的本文描述的是X86刀片服务器WEB性能测试方法，供后续内部和外部测试参考。1.2 文档约定本文的测试基于SPECWEB2005和windows server 2008 R2 X86_64系统。2 概述SPEC WEB2005是SPEC组织中测试WEB性能的一款软件，其主要部件包括被测端SUT，Besim及至少2个或多个Client端。通过模拟bank,ecommerce和support业务对被测段产

4、生压力，从而得出被测服务器web业务处理能力。3 软件简介及组网方式SPEC WEB2005包括三个部分：SUT（Server），Besim，Client。其中SUT（Server）即我们的被测服务器，需要在上面正确配置web，ssl等服务。Besim端主要作为服务器中FastCGI, NSAPI, or ISAPI等环境动态执行时与后台数据库等联系的模拟。Client端则主要用来对服务器产生压力。实际配置中根据server的硬件配置client和Besim端需要适当增加，避免成为瓶颈。SUT和所有的client及Besim均和互相连通。典型组网图如下：图1 Specweb测试组网图3.1 操

5、作系统的安装这里的SUT端和Besim端，Client端安装的都是windows2008 R2系统，安装windows2008的时候选择“企业版完全安装”（X86_64）3.2 SUT端软件安装及配置验证3.2.1 ISS 7.5的安装l 在我的计算机里选择属性，配置下网络和计算机名，配置完毕后需要重启服务器。这里配置的计算机名在ISS里会显示。l 在服务器管理器里，右击“角色”，选择“添加角色”，添加Active Directory Certificate Services 、application Servers、Web Server（IIS）三项，然后一直Next，直到CA name处写

6、specweb，然后一路next到完成。l 安装ISS的时候需要选择ISAPI的2个组件以及ISS6兼容性，这个3个需要打上钩。3.2.2 PHP的安装直接安装PHP（网页编程语言的一种），注意其中选择IIS ISAPI module，然后全部默认安装就可以了。3.2.3 JDK的安装JDK(Java Development Kit)是Sun Microsystems针对Java开发员的产品。自从Java推出以来，JDK已经成为使用最广泛的Java SDK。JDK 是整个Java的核心，包括了Java运行环境，Java工具和Java基础的类库。直接安装JDK，然后添加Java的环境变量“我的电

7、脑”>(右键)“属性”>“高级”>“环境变量”，弹出Windows的“环境变量”配置卡。l 增加CLASSPATH：.;%Java_Home%lib /注意前面有个点l 增加JAVA_HOME：C:Program FilesJavajdk1.6.0_21 /Java的安装路径l 修改path：在最后加上;%JAVA_HOME%bin;3.2.4 .SpecWeb Service端的安装1、直接点击“Setup”进行安装，选择Web Service安装。2、进入specweb2005的安装目录，进入其中的scriptsPHP目录，将其下所有文件夹拷贝到IIS中的根目录（如本例中

8、的C:Inetpubwwwroot）；3、把安装目录下的test.php文件拷贝到C:inetpubwwwroot文件夹下。4、修改Specweb2005安装目录/wafgen/windows/下的六个文件，修改其中的内容，其中DOCROOT直接为c:inetpubwwwroot以及SIMULTANEOUS_SESSIONS=10（安装目录里有修改好的6个文件可以直接COPY过去也可以“specweb2005wafgenwindows修改后的”）3.2.5 安装perl软件直接运行ActivePerl-004-MSWin32-x86-287188.msi，默认安装即可。3.2.

9、6 配置SUT进入IIS Manager，1、选择应用程序池，在右边栏的操作里选择“高级设置”，将“队列长度”为3000，将“启动32位应用程序”改为ture，将“最大工作进程数”改为CPU线程个数（逻辑CPU个数）；2、对Defalt Web Site目录的执行权限检查：在右边栏的操作里选择编辑权限，然后增加Athenticated Users的权限(需要完全控制)3、对Defalt Web Site的进行连接测试：在右操作栏里选择“编辑网站”，如果测试不通，添加添加Administrator用户；4、对Defalt Web Site的执行端口设置，在右操作栏里选择“绑定”，添加80端口和地

10、址。对于带SSL的web site，如下，需要绑定443端口（SSL端口，BANK测试必须）5、动态链接库的设置（配置的PHP的环境）在Defalt Web Site目录下，双击“处理程序映射”，在右操作栏选择“添加脚本映射”，在路径下输入*.Php，在可执行文件下定位到PHP安装目录下的php5isapi.dll，Name下随便输入一个名字。在弹出的添加脚本映射中选择“是”设置ISAPI-DLL的状态，保证已启动状态，如果没有看见启动的右击php选择“编辑功能权限”，把执行的勾打上。6.设置闲置超时时间为较大，避免使用过程中自动超时停止服务。也可以手动启动，如下图所示。7、配置系统时区和语言

11、修改时区和语言，中文及北京时区运行脚本时会报错，验证过正常的是太平洋时区和美国英语，其它时区应该也有正常的，这个问题比较隐蔽没有相关性，使用中注意。8、配置MIME由于安装完程序后会生成若干个无后缀名的文件，系统无法识别，需要添加扩展名为.*的MIME类型，如下。9、配置完成后在命令行分别执行Specweb2005安装目录下wafgen/下的六个文件，命令如下Wafgen.bat windowsbank_image_props.rcWafgen.bat windowsbank_usercheck_props.rcWafgen.bat windowsecommerce_image_props.r

12、cWafgen.bat windowsecommerce_productline_props.rcWafgen.bat windowssupport_downloads_props.rcWafgen.bat windowssupport_image_props.rc正常执行后有如下信息：:Program Files (x86)SPECweb2005wafgen>Wafgen.bat windowsbank_image_props.rc:Program Files (x86)SPECweb2005wafgen>java -Xms384m -Xmx384m -jar Wafgen.ja

13、rwindowsbank_image_props.rctart: Wed Aug 07 21:51:37 PDT 2013nd: Wed Aug 07 21:51:38 PDT 2013:Program Files (x86)SPECweb2005wafgen>Wafgen.bat windowsbank_usercheck_prop.rcProgram Files (x86)SPECweb2005wafgen>java -Xms384m -Xmx384m -jar Wafgen.jarwindowsbank_usercheck_props.rctart: Wed Aug 07 2

14、1:52:22 PDT 2013nd: Wed Aug 07 21:58:33 PDT 2013 10.配置init_vars.php文件实际在使用脚本执行SPECWEB时，bank和ecommerce，support只能单个执行，分别生成结果，因此需要分别配置bank和ecommerce，support下的init_vars.php文件，以bank为例，配置C:inetpubwwwrootbank下的init_vars.php文件内容如下：<?php/ init_vars.php: generated by init.php, do not modifydefine('BESI

15、M_HOST', '56 59'); /如果有多个besim，可以如下配置define('BESIM_PORT', '81 82');define('BESIM_URI', '/fcgi/besim_fcgi.fcgi'); /这里修改为ISPA的DELLdefine('BESIM_PERSISTENT', false);define('PADDING_DIR', 'c:/inetpub/wwwroot/ecommerc

16、e/dynamic_padding/');define('WEB_SERVER', '22');define('WEB_PORT', '80');define('SSL_PORT', '443');define('SMARTY_DIR', 'c:/inetpub/wwwroot/Smarty-2.6.7/libs/');define('SMARTY_ECOMMERCE_DIR', 'c:/inetpub/wwwr

17、oot/ecommerce/');define('SEND_CONTENT_LENGTH', true);define('USE_SSL', true);define('BESIM_COUNT', 2);$besim_hosts = array('56','59');$besim_ports = array(81,82);?>3.2.7 验证PHP是否正常工作Server端安装完成后，将test.php拷贝到Inetpubwwwroot文件夹下，这时候可

18、以用Http:/6test.php（IP是本机IP）访问，检测php是否配置正确。3.2.1 验证SUT是否正常工作如下，登陆所配置测试项目下的login.php,看是否有登陆界面，且能登陆进去。（用户名和密码采用相同的数字即可）3.3 SpecWeb Besim端软件安装及配置验证3.3.1 ISS服务和JDK的安装Besim上同样需要安装IIS服务（不需要证书服务）及JDK（环境变量配置同SUT部分），安装过程参见上文，不再赘述。3.3.2 Specweb安装在光盘目录下直接双击执行setup.exe即可。注意的是组件选择是选择besim（或者all install）

19、图2 Besim中组件选择3.3.3 安装perl软件直接运行ActivePerl-004-MSWin32-x86-287188.msi，默认安装即可。3.3.4 配置besimBesim中web服务器端口要求不能与SUT一致，此处改为81(此处修改的是ISS 对外服务器端口)图3 设置besim中web服务端口在IIS的根目录下建立文件夹besim，将spec安装目录下besimbinwin32.isapi文件夹中的Besim.dll拷贝到该目录。设置besim目录的脚步执行权限，在属性页中点击create，点击确定。图4 设置besim脚本执行设置动态库的访问的可扩展性：在

20、所建网站“Besim”下，双击“处理器程序映射”，然后在操作里选择“添加脚本映射”，如下图添加，在弹出是否允许脚本映射可扩展的时候，选择是。图5 执行权限设置设置ISAPI-DLL的状态，保证已启动状态，如下设置。图6 允许未知的isapi运行3.3.5 验证besim是否工作正常3.4 Client端软件安装及配置验证3.4.1 Client端安装客户端安装比较简单，安装JDK之后，双击specweb目录中的setup，组件选择client默认安装即可。（注client端至少要有2个，其中一个主控端client需要修改如下3.4.2脚本配置）3.4.2 修改脚本及配置进入specweb安装的

21、目录，将其中的Test.IIS-PHP.config重命名为test.config，类似的，SPECweb_Banking.IIS-PHP.config重命名为SPECweb_Banking. Config，SPECweb_Ecommerce.IIS-PHP.config重命名为SPECweb_Ecommerce.config，SPECweb_Support.IIS-PHP.config重命名为SPECweb_Support.config使用任意的文本编辑软件打开test.config文件，修改如下内容：将数值改为需要输入的压力值。SIMULTANEOUS_SESSIONS = 10根据测试项

22、需要选取测试项目# The type of benchmark test being run#TEST_TYPE=SPECweb_Banking TEST_TYPE=SPECweb_Ecommerce# TEST_TYPE=SPECweb_Support# TEST_TYPE=USER_DEFINED根据实际配置输入Server的IP地址及端口（例如本例中的3）# The host name and port number(s) of the web serverWEB_SERVER = 3WEB_PORT = 80SSL_PORT = 44

23、3Besim的IP地址及端口（如果有多个besim则修改multiple部分内容）# Specify BeSim server name(s) and port (if other than port 80)# Multiple BeSim example#BESIM_SERVER = "besimbox1 besimbox2"#BESIM_PORT = "81 82"# Single BeSimBESIM_SERVER = "4"BESIM_PORT = "81"设置besim为ISAP

24、I模式（原配置中为besim_all.dll,需修改）BESIM_INIT_SCRIPT = "/besim/BeSim.dll" # ISAPIBESIM_PERSISTENT = 0检查其他内容，主要是目录指定是否正确等。确认正确后在最底部输入以下内容，以供第一次测试验证使用。KILL_CLIENT = 1DEBUG_LEVEL = 2RAMPUP_SECS = 60WARMUP_SECONDS = 60RUN_SECONDS = 300SIMULTANEOUS_SESSIONS = 1完成这些修改后就可以运行看是否正常了。3.4.3 测试是否正常运行分别打开两个命令行

25、窗口，并进入specweb的安装目录下，在两个窗口中先后输入以下命令：java -Xms512m -Xmx512m -jar specwebclient.jar java -Xms512m -Xmx512m -jar specweb.jar如果所有设置均正常的话，应该有类似如下的输出（其中的error项表明这不是一个最终能生成有效数据的配置文件）图7 测试客户端的控制界面输出此时，如果在浏览器窗口中输入相应的网址可以看到正常的页面输出。图8 Specweb页面在输入用户名密码后（用户名密码通过besim端验证，用户名和密码一致的数字就可以，同SUT端）可以正常登录。3.1 执行压力测试 3.1

26、.1 采用loadrunner录制脚本测试使用方法如下，注意，loadrunner目前版本建议安装在32位系统上，64位系统有点问题。录制的脚本可以是登陆login并点击生成一些pay，然后增加同时并发用户数，记录2%失败率以下的最大用户数，以及每秒增加用户数及http数。3.1.2 采用SPECWEB脚本测试此处需要说明的是，实际在使用脚本执行SPECWEB时，bank和ecommerce，support只能单个执行，分别生成结果，SPEC官网上合成在一起的结果是专门的工具生成的。1.Client端 C:Program Files (x86)SPECweb2005>java -jar

27、specwebclient.jar -p 20012013-08-07 23:01:35:472 Creating specwebclient using RMI Registry port 20012013-08-07 23:01:35:519 EBS4:2001 ready.2013-08-07 23:03:33:502 LoadGenerator: Setting sleep delay.2013-08-07 23:03:36:425 LoadGenerator: Ramping up for 5 seconds.2013-08-07 23:03:36:425 LoadGenerator

28、: Starting 10 threads.2013-08-07 23:03:41:456 LoadGenerator: All threads started, test in progress.2013-08-07 23:03:46:563 WorkloadScheduler: Clearing statistics.2013-08-07 23:03:46:564 LoadGenerator: Collecting overthink statistics .2013-08-07 23:04:16:600 LoadGenerator: Threads stopping.2013-08-07

29、 23:04:16:616 LoadGenerator: Ramping down for 5 seconds.2013-08-07 23:04:21:753 LoadGenerator: Finished ramping down.2013-08-07 23:04:21:753 LoadGenerator: Threads finished.2013-08-07 23:04:21:753 LoadGenerator: Getting SPECweb_Banking run statistics2013-08-07 23:04:22:767 account_summary requests:

30、82013-08-07 23:04:22:767 bill_pay requests: 42013-08-07 23:04:22:767 billpay_status requests: 12013-08-07 23:04:22:767 check_detail_html requests: 42013-08-07 23:04:22:767 check_image requests: 82013-08-07 23:04:22:767 chg_profile requests: 12013-08-07 23:04:22:767 login requests: 82013-08-07 23:04:

31、22:767 logout requests: 22013-08-07 23:04:22:767 post_profile requests: 12013-08-07 23:04:22:767 quick_pay requests: 22013-08-07 23:04:22:767 Total requests: 39, successful requests: 392013-08-07 23:04:23:375 Threads finished.2013-08-07 23:04:23:375 LoadGenerator: Returning statistics.2.Prine Client

32、端 C:Program Files (x86)SPECweb2005>java -jar specweb.jar2013-08-07 02:01:02:927 Wed Aug 07 02:01:02 PDT 20132013-08-07 02:01:02:942 Validator: ERROR WARMUP_SECONDS value is: 5; should be 3002013-08-07 02:01:02:942 Validator: ERROR RUN_SECONDS value is: 30; should be 18002013-08-07 02:01:02:942 Va

33、lidator: ERROR RAMPUP_SECONDS value is: 5; should be 3002013-08-07 02:01:02:942 Validator: ERROR RAMPDOWN_SECONDS value is: 5; shouldbe 3002013-08-07 02:01:02:942 Validator: ERROR THREAD_RAMPDOWN_SECONDS value is: 5;should be 1802013-08-07 02:01:02:942 Validator: ERROR THREAD_RAMPUP_SECONDS value is

34、: 5; should be 1802013-08-07 02:01:02:942 Validator: ERROR ITERATIONS value is: 1; should be 32013-08-07 02:01:02:942 Validator: ERROR Invalid configuration.2013-08-07 02:01:02:942 Warning! This is a non-compliant benchmark run.2013-08-07 02:01:02:958 SpecwebControl: * SPECweb2005 benchmark started2

35、013-08-07 02:01:02:958 SpecwebControl: Not a multi-load or multi-step run.2013-08-07 02:01:02:958 SpecwebControl: * Running SPECweb_Banking workload2013-08-07 02:01:02:958 SpecwebControl: * Starting Iteration 1 of 12013-08-07 02:01:02:958 Configuration: Clearing workload.2013-08-07 02:01:02:974 Remo

36、teLoadGen: Total clients: 12013-08-07 02:01:02:974 RemoteLoadGen: Adding host 2:20012013-08-07 02:01:04:830 RemoteLoadGen: Initializing clients.2013-08-07 02:01:07:217 RemoteLoadGen: 5-second client ramp-up starting.2013-08-07 02:01:12:224 SpecwebControl: Warming up for 5 seconds.2013-08-

37、07 02:01:17:294 SpecwebControl: Clearing results.2013-08-07 02:01:17:310 SpecwebControl: Recording 30-second run .2013-08-07 02:01:47:356 SpecwebControl: Stopping remote clients.2013-08-07 02:01:47:356 RemoteLoadGen: 5-second client ramp-down starting.2013-08-07 02:01:47:371 RemoteLoadGen: stopping

38、client 2:20012013-08-07 02:01:47:371 SpecwebControl: Waiting for remote clients to stop.2013-08-07 02:01:49:009 SpecwebControl: Finished; collecting statistics.2013-08-07 02:01:49:087 SpecwebControl: Test Complete.* Test Summary *Sessions: 1; Total requests: 5TIME_GOOD: 100.00%; TIME_TOLE

39、RABLE: 100.00%; Total errors: 12013-08-07 02:01:55:187 ReportGen: Creating report resultsSPECweb_Banking.20130807-020102.html from resultsSPECweb_Banking.20130807-020102.raw2013-08-07 02:01:55:203 ResultsFile: Invalid configuration!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RE

40、SULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!Warning: No results for account_summary.REQUESTS 0 0 -1Warning: No results for check_detail_html.REQUESTS 0 0 -1Warning: No results for add_payee.REQUESTS 0 0 -1Warning: No results for payee_info.REQUEST

41、S 0 0 -1Warning: No results for quick_pay.REQUESTS 0 0 -1Warning: No results for billpay_status.REQUESTS 0 0 -1Warning: No results for chg_profile.REQUESTS 0 0 -1Warning: No results for post_profile.REQUESTS 0 0 -1Warning: No results for req_checks.REQUESTS 0 0 -1Warning: No results for post_chk_ord

42、er.REQUESTS 0 0 -1Warning: No results for logout.REQUESTS 0 0 -1Warning: No results for check_image.REQUESTS 0 0 -12013-08-07 02:01:55:249 ResultsFile: Invalid Run! Weighted percentage difference (-21.74%) for login in Iteration 1 is too high. Expected: 0 requests, Actual:22013-08-07 02:01:55:249 Re

43、sultsFile: Invalid Run! Weighted percentage difference (15.11%) for account_summary in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:249 ResultsFile: Invalid Run! Weighted percentage difference (8.45%) for check_detail_html in Iteration 1 is too high. Expected: 0 reques

44、ts, Actual: 02013-08-07 02:01:55:249 ResultsFile: Invalid Run! Weighted percentage difference (-7.74%) for bill_pay in Iteration 1 is too high. Expected: 0 requests, Actual: 12013-08-07 02:01:55:265 ResultsFile: Invalid Run! Weighted percentage difference (1.12%) for add_payee in Iteration 1 is too

45、high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:265 ResultsFile: Invalid Run! Weighted percentage difference (6.67%) for quick_pay in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:265 ResultsFile: Invalid Run! Weighted percentage difference (2.23%) for billpay_

46、status in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:265 ResultsFile: Invalid Run! Weighted percentage difference (1.22%) for chg_profile in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:281 ResultsFile: Invalid Run! Weighted percentage

47、difference (1.22%) for req_checks in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:281 ResultsFile: Invalid Run! Weighted percentage difference (-19.92%) for req_xfer_form in Iteration 1 is too high. Expected: 0 requests,Actual: 12013-08-07 02:01:55:281 ResultsFile: Inv

48、alid Run! Weighted percentage difference (-20.39%) for post_fund_xfer in Iteration 1 is too high. Expected: 0 requests, Actual: 12013-08-07 02:01:55:296 ResultsFile: Invalid Run! Weighted percentage difference (6.16%) for logout in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 0

49、2:01:55:296 ResultsFile: Invalid Run! Weighted percentage difference (16.89%) for check_image in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:296 ResultsFile: Invalid Run! Sum of weighted percentage difference (-8.16%) exceeds 1.5% for Iteration 12013-08-07 02:01:55:29

50、6 ReportGen: Creating report resultsSPECweb_Banking.20130807-020102.txt from resultsSPECweb_Banking.20130807-020102.raw2013-08-07 02:01:55:312 ResultsFile: Invalid configuration!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_

51、GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!RESULT00.bill_pay.TIME_GOOD is 0!2013-08-07 02:01:55:343 ResultsFile: Invalid Run! Weighted percentage difference (-21.74%) for login in Iteration 1 is too hi

52、gh. Expected: 0 requests, Actual:22013-08-07 02:01:55:343 ResultsFile: Invalid Run! Weighted percentage difference (15.11%) for account_summary in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:359 ResultsFile: Invalid Run! Weighted percentage difference (8.45%) for check_detail_html in Iteration 1 is too high. Expected: 0 requests, Actual: 02013-08-07 02:01:55:359 ResultsFile: Invalid Run! Weighted percentage difference (-7.74%) for bill_pay in Iteration 1 is too high. Expected: 0 requests, Actual: 12013-08-07 02:01:55:359 ResultsFile: Invalid Run!