第10次大课-系统测试-非功能性测试

1、软件测试过程软件测试过程 系统测试系统测试非功能性测试非功能性测试肖新凤肖新凤 系统性能问题系统性能问题系统太慢了，我泡了一杯茶回到座位，还没有看到响应软件系统安全性受到挑战软件系统安全性受到挑战1983战争游戏战争游戏（电影）Matthew Broderick）是一个疯狂的电脑游戏迷，一次他不经意地闯入了五角大楼的一个绝对机密的电脑系统中 本章内容本章内容v什么是系统测试v概念：负载测试、压力测试和性能测试v负载测试技术v性能测试v压力测试v性能测试工具v兼容性测试v安全性测试v容错性测试v可靠性测试什么是系统测试？什么是系统测试？v 用户的需求可以分为功能性需求功能性需求和非功能性需求非功

2、能性需求，而非功能性的需求被归纳为软件产品的各种质量特性，如安全性、兼容性和可靠性等v 系统测试系统测试就是针对这些非功能特性展开的，就是验证软件产品符合这些质量特性的要求，从而满足用户和软件企业自身的非功能性需求。所以，系统测试分为负载测试、性能系统、容量测试、安全性测试、兼容性测试和可靠性测试等 系统测试的内容系统测试的内容详见表8-1背景及其分析背景及其分析v系统性能的改善是测试、调整、再测试、再调整一个持续改进的过程性能调优v性能调优需要借助负载测试方法的帮助 v负载测试和性能测试有较多相似之处，例如，测试方法比较接近、都关注系统的性能，而且多数情况下使用相同的测试工具 v负载测试可以

3、看作是性能测试所采用的一种技术 v压力测试可以被看作是负载测试的一种，即高负载下的负载测试 v容量测试也采用负载测试技术来实现定义定义v负载测试负载测试是通过模拟实际软件系统所承受的负载条件、改变系统负载大小和负载方式来发现系统中所存在的问题 v压力测试压力测试是在强负载情况下（如大数据量、大量并发用户连接等）稳定性进行测试，查看应用系统在峰值（瞬间使用高峰）使用情况下的行为表现，更有效地发现系统稳定性的隐患和系统在负载峰值的条件下功能隐患等，确认系统是否具有良好的容错能力和可恢复能力。 v性能测试性能测试是为获取或验证系统性能指标而进行的测试 负载测试技术负载测试技术v负载测试过程负载测试过

4、程v输入参数输入参数v输出参数输出参数v场景设置场景设置v负载测试的执行负载测试的执行v负载测试的结果分析负载测试的结果分析负载测试过程负载测试过程v确定所要模拟的角色及其对应的关键业务操作路径。v确定输入/输出参数，制定负载测试方案。v准备测试环境，并完成相应的测试脚本的开发。v设计具体的测试场景，如负载水平、加载方式等。v执行测试，监控输出参数，如数据吞吐量、响应时间、资源占有率等。v对测试结果进行分析。v结果不满意，需要调整测试场景，进入下一个循环。负载测试的构成负载测试的构成输入参数输入参数v并发用户数、并发连接数等。v思考时间（think time），用户发出请求之间的间隔时间v加载

5、的循环次数或持续时间v每次请求发送的数据量。v加载的方式或模式，如均匀加载、峰值交替加载等负载测试是通过模拟用户的操作方式来考察系统的行为，所以人们肯定会问：如何模拟用户的行为？ 负载负载v RPS (Request Per Second)v 并发连接数 (Simultaneous Browser Connections) 最大数据容量v 思考时间 (Thinking Time)v RPS + SBC + Thinking Time = Concurrent users?加载模式加载模式输出参数输出参数v 数据传输的吞吐量（Transactions）v 数据处理效率（Transactions

6、per second）v 数据请求的响应时间（Response time）v 内存和CPU使用率v 连接时间（Connect Time）、发送时间（Sent Time）v 处理时间（Process Time）、页面下载时间v 第一次缓冲时间v 每秒（SSL）连接数v 每秒事务总数、每秒下载页面数v 每秒点击次数、每秒HTTP 响应数v 每秒重试次数场景设置场景设置 v 启动启动（Ramp up） v 持续期间持续期间（Duration） v 结束结束（Ramp down） 在性能测试执行前，以什么样方式启动负载方式、如何持续进行负载测试直至负载测试结束，这个过程的负载大小和方式、负载启动和结束

7、以及各种检查点、验证点等设计，被称为场景设置。 场景类型场景类型http:/ v可以分为静态和动态两部分。静态部分是指设置模拟用户生成器、用户数量、用户组等，动态部分主要指添加性能计数器、检查点、阀值等，从而获得负载测试过程中反回来馈的数据系统运行的动态状态。 v可以依据业务模式变化、随时间段变化来进行设置 v也可分为手工场景也可分为手工场景 和面向目标的场景面向目标的场景 负载测试执行负载测试执行 v大量的虚拟用户要运行在多个客户端，并由控制器管理、代理（agent）驱动 v负载测试的执行，需要针对不同维度的变化进行，包括时间维、负载维和系统维v监控、详细的记录和适当的分析是十分重要的 时间

8、维时间维：尝试观察系统在一段较长时间上的行为变化 负载维负载维：尝试在系统上改变负载来进行对比分析 系统维系统维：负载测试也可以针系统的不同组件、不同配置等进行 结果分析结果分析要善于捕捉被监控的数据曲线发生突变的地方拐点 4性能测试性能测试v4.1 如何确定性能需求如何确定性能需求v4.2 性能测试类型性能测试类型v4.3 性能测试的步骤性能测试的步骤v4.4 一些常见的性能问题一些常见的性能问题v4.5 容量测试容量测试示例示例确定性能需求确定性能需求v最终用户的体验最终用户的体验，如2-5-10原则 v商业需求商业需求，如“比竞争对手的产品好” v技术需求技术需求，如CPU使用率不超过7

9、0 v标准要求标准要求 只有具备了清楚而量化的性能指标，性能测试才能开始实施。 响应时间是用户的关注点，容量和数据吞吐量是（产品市场团队）业务处理方面的关注点，而系统资源占用率是开发团队的技术关注点 性能测试类型性能测试类型v 性能验证测试性能验证测试，验证事先已定义的系统性能指标、系统能否满足系统的性能需求v 性能基准测试性能基准测试，在系统标准配置下获得有关的性能指标数据，作为将来性能改进的基准线v 性能规划测试性能规划测试，在多种特定的环境下，获得不同配置的系统的性能指标，从而决定在系统部署时采用什么样的软、硬件配置v 容量测试容量测试可以看作性能的测试一种，因为系统的容量可以看作是系统

10、性能指标之一性能测试的步骤性能测试的步骤v确定性能测试需求；v计划和设计测试；包括确定关键业务流程、测试类型和测试方法、选择合适的测试工具、设计测试场景等 v测试工具的选择；v配置测试环境，尽量接近实际运行环境，即建立仿真环境作为性能测试环境，测试结果才能可信；v实现测试设计（开发测试脚本）；v执行测试；v分析测试结果；v重复上述(4) (6)步骤，直至测试计划完成，结果满意；v提交性能测试报告。示例示例v加载v结果分析一些常见的性能问题一些常见的性能问题v资源泄漏资源泄漏，包括内存泄漏 v资源瓶颈资源瓶颈，内部资源（线程、放入池的对象）变得稀缺 vCPU使用率达到使用率达到100%、系统被锁

11、定等、系统被锁定等 v线程死锁、线程阻塞等线程死锁、线程阻塞等 v数据库连接成为性能瓶颈数据库连接成为性能瓶颈 v查询速度慢或列表效率低查询速度慢或列表效率低 v受外部系统影响越来越大受外部系统影响越来越大 性能测试的内容性能测试的内容 v 应用在客户端性能测试 性能测试的内容性能测试的内容 v 应用在网络上性能测试 性能测试的内容性能测试的内容 v 应用在服务器端性能测试 v对于应用在服务器上性能的测试，可以采用工具监控，也可以使用系统本身的监控命令。实施测试的目的是实现服务器设备、服务器操作系统、数据库系统、应用在服务器上性能的全面监控 ，监控指标如右图所示 性能测试的盲点：性能测试的盲点

12、： 在系统性能测试中，不进行系统功能校验，当功能发生错误时，测试工具不能够记录产生的错误，这就忽略了负载压力情况下功能不稳定问题 性能测试的关键问题性能测试的关键问题 ：(1) 在真实环境下检测系统性能，评估系统性能以及服务等级的满足情况 。(2)预见系统负载压力承受力，在应用实际部署之前，评估系统的性能。 （3）分析系统瓶颈，优化系统。 (1) 并发性能测试(2) 疲劳强度测试(3)大数据量测试v性能测试的方法比较性能测试的方法比较 v性能测试的解决方案：性能测试的解决方案：v性能模型的改进性能模型的改进 改进：改进：(1)通过系统测试模型中的各个参数指标，形成一个整体的Web性能测试框架和

13、体系，通过此测试框架模型来说明系统性能状况(2)根据BASS系统自身特性，性能参数指标采用：事务平均响应时间，用户负载，CPU 、内存利用率，用户成功点击率 （用户点击率）缺点：缺点：(1)各性能指标或性能参数都单独存在 (2)各个指标都能孤立的说明系统性能的情况 v改进后性能测试模型的应用改进后性能测试模型的应用测试结果 -某省的性能指标体系数据 结论：在CPU和内存还没达到极限情况下，通过增加用户负载进行测试，发现极限情况发生在用户数500的情况，此时出现超时的错误，请求失败率在8.9%，所以该省BASS用户的极限情况定位在500个 容量测试容量测试v容量测试（Capacity test）

14、，通过负载测试或其它测试方法，预先分析出反映软件系统应用特征的某项指标的极限值（如最大并发用户数、数据库记录数等），在其极限值状态下系统主要功能还能保持正常运行 v容量测试属于性能测试中的一种，一般采用逐步加载的负载测试方法，也可以先采用逐步加载方式，获得一个基本的容量值或容量范围，然后再考虑用一次性加载方式，来决定实际可支持的容量值。 压力测试压力测试压力测试是在系统（如CPU、内存和网络带宽等）处于饱和状态下，测试系统是否还具有正常的会话能力、数据处理能力或是否会出现错误，以检查软件系统对异常情况的抵抗能力，找出性能瓶颈、功能不稳定性等问题。 压力测试的类型压力测试的类型v 稳定性压力测试

15、稳定性压力测试，高负载下持续运行24小时以上的压力测试 v 破坏性压力测试破坏性压力测试，通过不断加载的手段，快速造成系统的崩溃，让问题尽快地暴露出来 v 渗入测试渗入测试（soak test），通过长时间运行，使问题逐渐渗透出来，从而发现内存泄漏、垃圾收集（GC）或系统的其他问题，以检验系统的健壮性 v 峰谷测试峰谷测试（peak-rest test），采用高低突变加载方式进行，先加载到高水平的负载，然后急剧降低负载，稍微平息一段时间，再加载到高水平的负载，重复这样过程，容易发现问题的蛛丝马迹，最终找到问题的根源。6 性能测试工具性能测试工具v6.1 特性及其使用特性及其使用v6.2 开源工

16、具开源工具v6.3 商业工具商业工具特性及其使用特性及其使用 v能模拟实际用户的操作行为，记录和回放多用户测试中的事务处理过程，自动生成相应的测试脚本v能针对脚本进行修改，增加逻辑控制、完成参数化和数据关联 v可以设置不同的应用环境和场景，通过虚拟用户执行相应的测试脚本 v通过系统监控工具获得系统性能的相关指标的值 v LoadRunnerLoadRunner性能测试工具的研究性能测试工具的研究 HP LoadRunnerv LoadRunnerLoadRunner性能测试工具的研究性能测试工具的研究 LoadRunner性能测试过程 v LoadRunnerLoadRunner性能测试工具的

17、研究性能测试工具的研究主流性能测试工具的比较 开源工具开源工具v Siege（/JoeDog/Siege）是一个开源的Web压力测试和评测工具。v OpenSTA，可以模拟大量的虚拟用户来完成性能测试，并通过scrpt来完成丰富的自定义设置。详见/index.php。v DBMonster是一个生成随机数据、用来测试SQL数据库的压力测试工具，详见http:/dbmonster.kernelpanic.pl/。v LoadSim网络应用程序的负载模拟器。v 更多的性能测试工具，可访问http:/www.op

18、/performance.php 商业工具商业工具 vHP LoadRunnervIBM Rational Performance TestervRadview WebLoad vCompuware QA Load vQuest Benchmark Factory v微软微软WAS（Web Access Stress test） vPaessler Webserver Stress Tool vMINQ PureLoad 7 兼容性测试兼容性测试v7.1 兼容性测试的内容兼容性测试的内容v7.2 系统兼容性测试系统兼容性测试v7.3 数据兼容性测试数据兼容

19、性测试什么是兼容性测试什么是兼容性测试v兼容性测试是在特定的或不同的硬件、网络环境和操作系统平台上、不同的应用软件之间，验证软件系统能否正常地运行，以及能否正确存取原先版本的用户数据所进行的测试 p 与硬件兼容p 与操作系统、平台的兼容p 与数据库系统的兼容p 与浏览器的兼容p 与第三方系统的兼容p 与内部业务系统的兼容p 与自身系统的不同版本的用户数据兼容等 兼容性测试的内容兼容性测试的内容硬件兼容性测试数据兼容性测试系统版本之间的兼容性向后兼容是指新发布的软件版本可以使用该软件的以前版本所产生的数据。向前兼容是指在设计和开发软件一个新版本时，考虑如何和未来版本的数据兼容。系统兼容性测试系统

20、兼容性测试vB/S系统兼容性测试系统兼容性测试 vC/S系统兼容性测试系统兼容性测试 数据兼容性测试数据兼容性测试v是否遵守统一的国际标准、国家标准或业界认可的事实标准等 v提供相应的导入和导出功能 v剪贴板或ODBC等类似方法 8 安全性测试安全性测试v8.1 安全性测试的范围安全性测试的范围v8.2 Web安全性的测试安全性的测试v8.3 安全性测试工具安全性测试工具什么是安全性测试什么是安全性测试v 跨站点脚本（cross-site scripting，XSS）攻击；v SQL注入式漏洞；v 缓冲区溢出；v 不安全的数据存储或传递；v 不安全的配置管理；v 有问题的访问控制，权限分配有问

21、题；v 口令设置不严，包括长度、构成和更新频率；v 暴露的端口或入口；软件安全性测试就是检验系统权限设置有效性、防范非法入侵的能力、数据备份和恢复能力等，设法找出上述各种安全性漏洞 安全性测试的范围安全性测试的范围v系统级别的安全性v应用程序级别的安全性 （重点）用户权限数据输入验证敏感数据加密数据存储安全性用户口令验证系统的日志文件是否得到保护 Web安全性测试安全性测试v跨站脚本攻击跨站脚本攻击 vSQL注入式攻击注入式攻击 vURL和和API的身份验证的身份验证 v其它其它 3-D3-D ( defacing, destruction, denial of service DoS )丑化

22、、破坏、拒绝服务跨站脚本攻击跨站脚本攻击在页面某些输入域中使用跨站脚本（写入一段 javascript ）来发送恶意代码给没有发觉的用户，让浏览器执行document.write等危险指令 ，窃取用户的资料或信息。输入域验证输入域验证v HTML标签： v 转义字符：&amp(&)；&lt()；&nbsp(空格) ；v 脚本语言，如JavaScript v 特殊字符： /防止：防止：最好进行更严格的保护和验证最好进行更严格的保护和验证 SQL注入式攻击注入式攻击 v根据SQL语句的编写规则，附加一个永远为“真”的条件，使系统中某个认证条件总是成立，从而欺骗系统、

23、躲过认证，进而侵入系统 Username=Request.from(“username”)Password=Request.from(“password”)xSql=”select * from admin where username=”&usename&” and password=”&password &” ”Rs.open xS.0.3If not rs.eof thenSession(“login”)=trueResponse.redirect(“next.asp”)End ifor 1 = 1 安全性测试工具的评估标准安全性测试工具的评估标准 支持常

24、见的Web服务器平台 能同时提供对源代码和二进制文件进行扫描的功能 漏洞检测和纠正分析 检测实时系统的问题 不改变被测试的软件，不影响代码 良好的报告 非安全专业人士也易于上手 可管理部署的多种扫描器、尽可能小的错误误差等常见的安全性测试工具常见的安全性测试工具vAcunetix Web Vulnerability Scanner是一款商业级的Web漏洞扫描程序。vBurp suite是一个可以用于攻击Web应用程序的集成平台，vNikto是开源的Web服务器扫描程序。vN-Stealth是一款商业级的Web服务器安全扫描程序。vParos proxy是基于Java的web代理程序，可以评估Web应用程序的漏洞。vSPI Dynamics WebInspect是功能强大的Web应用程序扫描程序vTamperIE 是一个小巧的XSS漏洞检测辅助工具vTripwire是一款最为常用的开放源码的完整性检查工具vWapiti是由Python语言编写的、开源的安全测试工具，直接对网页进行扫描vWatchfire AppScan是一款商