系统测试概要

1、软件测试第8章系统测试Kerry ZhuZhu.KerryGbJtpjb.logxsdr .net/Kerryzhu系统太慢了，我泡了一杯茶回到座位，还没有看到响应软件系统安全性受到挑战窿工簿WarGames1983战争游戏（电影）Matthew Broderick） 是,个疯狂的电脑游 戏迷，一次他不经意 地闯入了五角大楼的 个绝对机密的电脑系统中 Virt attat 5更多例btNicLviRiuosirr各种系统测wGovglng on opplcohcw i perforvnarx* after o pfcAanQMl uio99 > of rtVerifyof PmM”/3.

2、r MdtBE 6 6/二,4, umte Wtde Z“5“ iinif 1.3JiUfOTJli J三Ibanw oM （卜9 R » oqopor*w- Ite CTVweb QfipIcQtn prpc*4ame 如Q Y 8.1什么是系统测试 :*8.2概念：负载测试、 8.3负载测试技术 8.4性能测试 :*8.5压力测试 8.6性能测试工具 8.7兼容性测试 8.8安全性测试 8.9容错性测试 8.10可靠性测试压力测试和性能测试Ml*8.1 什么是系统测试",力测J8.2 概念：负载测试、8.3 仇我测试技术8.4 性能8.5 压力测8.6 性能测试/ J8

3、7兼容性测试8.8 安氽件测试8.9 容错性测试8.10 可靠性曲妊近：用六的需求可以分为功能性需求和非功能性需求,而非功 能性的需求被妇纳为软件产品的各种质最特件，如安全性 、兼容性和可靠性,系统测试就是针对这些小功能特性展开的，就是验证软件 产品符合这些质H特性的要求，从而满足用户和软件企业 自身的非功能性需求。所以,系统测试分为负载测试、性 能系统、容献测试、安全性测试、兼容性测试和可需性测 试等详见表81本章内考压力测试和性能测试曲曲8.1 什么是系统测试8.2 概念:负载测试、8.3 负载测试技术8.4 性能测试8.5 压力测试8.6 性能测试/二8.7 兼容性测试8.8 安公件测试

4、8.9 容错性测试8.10 川国评匕测试背景«不尸 :系统性能的改善是测试、调整、再测试、再调整 一个持续改进的过程性能调优 :性能调优需要借助鱼载测试方法的帮助 :负载测试和性能测试有较多相似之处，例如,测 试方法比较接近、都关注系统的性能，而且多数 情况下使用相同的测试工具 :负载测试可以看作是性能测试所采用的一种技术 :压力测试可以被看作是负载测试的一种，即高负 载下的负裁测试 :容置测试也采用负载测试技术来实现zhtf.kerTyggmai corr负载测试是通过模拟实际软件系统所承受的负裁条件、 改变系统负战大小和负载方式来发现系统中所所在的问 题:压力测试是在强负我情况卜

5、（如大数据量、大屋并发川 户连接等）稳定性进行测试，杳看应用系统在峰峰（瞬 间使用通峰）使用情况下的行为表现,更有效地发现系 统也定性的2“和系统在依我峰值的条件卜功能险患等 ,确认系统是合具1良好的容容能力和口恢复能力。性能测试是为为取取验证系统性能指标而进行的测由适I什么是系统测试 8.2概念：负载测试 8.3负载测试技术 8.4性能测试 8.5压力测试 8.6性能测试/二 8.7兼容性测试 8.8安全件测试O.C7 /T/ /A/n7 M 8.10可靠性测试+ 831负载测试过程>8,3.2输入参数“8.3.3输出参数:8.34 场,设置也8.3.5负载测试的执行 836负载测试的

6、结果分析zhu.负载测试过程结果不满意，需要调整测试场景，进入下一个循环。xom确定所要模拟的角色及人对应的关键业务操作路径。 确定输入/输出参数，制定负我测试方案。 准备测试环境，并完成相应的测试脚本的开发。 设计具体的测试场景,如负载水平、加裁方式等。 执行测试,监控输出参数,如数据吞吐量、响应时间、 资源占有率等。对测试结果进行分析负我测试是通过模拟用户的操作方式来考察系统的 行为，所以人们肯定会问：如何模拟用户的行为？ 并发用户数、并发连接数等。：思考时间(thinktime),用户发出请求之间的间隔时间加载的循环次数或持续时间每次请求发送的数据量。>>加我的方式或模式，如

7、均匀加载、峰值交替加载等nAtertSite.LM E C-CiWfMM 1 DwK”luMiiwr"Tim unct Q<hbGLKRriWV> RPS (Request Per Second)中并发连接数(Simultaneous Browser Connections) 最大数据容最 :思考时间(Thinking Time) RPS + SBC + Thinking Time = Concurrent users?品贰免受加找方式Miff僮机加货方式动态模式：队列模式 力验证模式G "XmQ gOOB递增 恒值 二动态 口整天 队列 J MeterDemo

8、数据传输的吞吐脑(Transactions)。数据处理效率(Transactions per second)。数据请响应小B C Response time) :内存和CPU使用率 :连接时间(Connect Time)、发送时间 < Sent Time) ：处理时间(ProcessTime)、页面卜载时间 ：第一次缓冲时间 :每秒(SSL)连接数 每秒事务总数、每秒下载页面数。每秒点击次数、每秒HTTP响应数每秒重试次数聚合版告Ma-h丫 yunwin斯有族口二人一个女科女情&WU LgdVOW'UC8S8S 5IQM-1，”61151IU16,仲的101 7图8 7

9、JMeler性能测试结果示意图场景设亶Zhu naixom在性能测试执行前，以什么样方式启动负我方式、如何 持续进行负载测试直至负栽测试结束，这个过程的负载 大小和方式、负载启动和结束以及各种检查点、脸证点 等设计，被称为场景设五。启动(Ramp up)：持续期间(Duration)。可以分为静态和动态两部分。静态部分是指设置 模拟用户生成器、用户数量、用户组等，动态部 分主要指添加性能计数器、检查点、阀值等，从 而获得负载测试过程中反回来馈的数据一系统 运行的动态状态。可以依据业务模式变化、随时间段变化来进行设 置 :也可分为手工场景利面向目标的场景。同步点（或称集合点）用J同步虚拟用户恰好

10、在某一 时刻执行任务，确保众多的虚拟并发用户更准确、集中地 进行某个设定的操作，达到更理想的负我模拟效果P-FTc who Feiea:e whsr 1 圆Feteatewhen7 ffnetiii between Vote 士OK |CncdHe/p工 d Ma*rve m 恰巧 :大Q的虚拟用户要运行在多个客户端，并由捽制 器管理、代理（agent）驱动 :负载测试的执行，需要针对不同维度的变化进行 ,包括时间维、负载维和系统维。监控、详细的记录和适当的分析是I分重要的时j可维：尝试观察系统在一段校长时间上的行为变化贺栽维：尝试在系统上改变负我来进行时比分析系统维:负载测试也可以针系统的不

11、同组件、不同品置等进行要善于捕捉被监控的数据曲线发生突变的地方拐点8.1什么是系统测试8.2概念:负载测试、爪力测试和性能测试8.3 负我测试技术8.4 性能测试8.5 压力测试8.6 性能测试T：具8.7 兼容性测试8.8 安全性测试8.9 容错性测试8.10 用靠性测试8.4性能测试力8.4J如何确定性能需求立842性能测试类型立843性能测试的步骤.：.844 一些常见的性能问题%8.4.5容量测试示例Passmark Performance Test v6.01.1001CLB8.2A H8OMH2 CLS4I0 2,Memory Performance Test乏C£p 一

12、 MpupmHttMU确定性能需入只有具备了清楚而量化的性能指标，性能测试才能开始实施.:最终用户的体验，如2510原则:商业需求，如“比竞争时手的产乩好”:技术需求，如CPU使用率不超过70%响应时间是用户的关注点，容量和数据吞吐量是（产品市 场团队）业务处理方面的关注点，而系统资源占用率是开 发团队的技术关注点.com性能测试.性能验证测试,验证事先已定义的系统件能指标、系 统能否满足系统的性能需求性能基准测试,在系统标准配苴卜获得行关的性能指标数据，作为将来件能改进的基准线*性能规划测试,在多种特定的环境鼠获得不同配置的系统的性能指标，从而决定在系统部署时采用什么样 的软、硬件配置容量测

13、试可以看作性能的测试种，因为系统的容量 可以看作是系统性能指标之一.com确定性能测试需求：计划和设计测试：包括确定关键'业务流程、测试类型和 测试方法、选择合适的测试1具、设计测试场景等:测试工具的选择；配置测试环境，尽Q接近实际运行环境，即建立仿真.环 境作为性能测试环境，测试结果才能可信：实现测试设计（开发测试脚本）：执行测试；分析测试结果：重复I:述（4）（6）步骤，直至测试计划完成，结果满意；：提交性能测试报告。:结果分析LMi»l Mm,2%WmMaiSill », bl”，HEhdi ,Ih Jtip.lKH53 4上 UdWUO 一10U<Jb

14、JJIU0.W%1£、EI3.9r>tc« 0b2g7mSTM21711KT川”：1,(HQ，“沂M0.361002«J2ow”."mln0.000tonif就349<4684 M也y""MN8H1 Qhtputibp* Uv*ioo“FJd淘量需5讪浮oro%22 8rM1"28 g|>«tp 3bg10C20W104132HE W0(522.ME'01232001. 100飞J4W5325.2C0 8%22Mm4.91”门也由b。200MKli而4 606而QallimiRl0

15、7;1026 elUQO6C-MT693 f H0 8,<5319050 9(一些常见的性能问题.:资源泄漏,包括内存泄漏:资源瓶颈,内部资源（线程、放入池的对象）变得稀缺:*CPU使用率达到100%、系统被锁定等:线程死锁、线程阻塞等:数据库连接成为性能瓶颈:查询速度慢或列表效率低:受外部系统影响越来越大:容显测试（Capacity test）,通过负我测试或其它测试 方法，预先分析析反反软件系统应由特征的某项指标的极 限值（如如大大发表用数、数据标记录数笠），在其极限 值状态下系统令主功能还能保持卫常运行:容量测试属于性能测试中的种，般采用逐步加战的 负我测试方法，也可以先采用逐步加

16、载方式，获得一个居 本的容量值或容量范围,然后再考虑用次性加载方式, 来决定实际可支持的容量值。8.1 什么是系统测试8.2 概念：负载测试、8.3 负我测试技术8.4 性能测试8.5 压力测试8.6 性能测试I. JI8.7 兼容性测试8.8 安氽件测试8.9 容错性测试8.10 可*性测试压力测试是在系统（如CPU、内存和网络带宽等）处于饱和状 态下、测试系统是否还具有正常的会话能力、数据处理能力或 是否会出现错误，以检查软件系统对异常情况的抵抗能力,找 出性能瓶颈.功能不稳定性等问题.Stress Test = $:稳定性压力测试,而负我卜持续运彳24小时以上的小力 测试坏性压力测试,通

17、过不断加我的尸段，快速造成系统的崩溃,让问题尽快地暴露出来海入测试 (soak test)通过长时间运行，使问题逐渐渗透出来，从而发现内存泄漏、垃圾收集(GC)或系统的其他问题,以检验系统的健壮性:峰谷测试(peak-resttest),采用高低突变加教方式进行 ,先加我到而水平的负我，然后急剧降低负我，稍微平息 一段时间，再加载到高水平的负我，收复这样过程，容易 发现问题的蛛丝斗迹，最终找到问题的根源。8.1 什么是系统测试8.2 概念：负载测试、8.3 负载测试技术8.4 性能测试8.5 压力测试8.6 性能测试工具8.8 安全性测试8.9 容错性测试8.10 可靠性测试Zhucom8.6性能测试式戋:8.6.7特性及其使用*8.62开源工具 8.6.3商业工具。能模拟实际用户的操作行为，记录和回放多用户 测试中的事务处理过程，自动生成相应的测试脚 本。能针对脚本进行修改，增加逻辑控制、完成参数 化和数据关联。可以设置不同的应用环境和场景，通过虚拟用户 执行相应的测试脚本:通过系统监控工具获得系统性能的相关指标的值Zhtrk2rgmaixornA