第5章系统测试.ppt

1、第四章 系统测试,本章从以下几个方面来介绍系统测试： 系统测试的概念 系统测试的方法 系统测试的过程,1.系统测试的概念,系统测试是将通过确认测试的软件，作为整个基于系统的一个元素，与硬件、支持软件、数据和人员等其它系统元素结合在一起，在实际运行环境下，对系统进行一系列的组装测试和确认测试。 系统测试的目的在于通过与系统的需求定义作比较，发现软件与系统的定义不符合的地方，以验证软件系统的功能和性能等。,从软件测试的V模型来看，系统测试是产品提交给用户之前进行的最后阶段的测试，因此很多公司将其视为产品的最后一道防线。 系统测试阶段主要使用黑盒方法设计测试用例。 系统测试所用的数据必须尽可能地像真

2、实数据一样精确和有代表性，也必须和真实数据的大小和复杂性相当。满足上述测试数据需求的一个方法是使用真实数据。,1.系统测试的概念,1.1系统测试的对象,系统测试对象为整个产品系统，它不仅包括产品系统的软件，还要包含系统软件所依赖的硬件、外设甚至包括接口。,1.2与单元测试、集成测试的区别,测试方法不同 测试对象和目标不同 评估基准不同,1.3系统测试依据,系统测试依据为系统的需求规格说明书、概要设计说明书、各种规范。 通信产品与一般的软件产品不同，其系统测试往往需要依据大量的既定规范，对于海外产品，系统测试依据还包括各个国家自定的规范。,2.系统测试层次,用户层测试 应用层测试 功能层测试 指

3、标/协议层测试,2.1用户层测试,用户层测试是面向产品使用者的测试，它包括： 用户支持 用户界面 安全性 可维护(自检有效性、远程维护、软件加载和升级),2.2应用层测试,应用层测试主要是针对产品工程稳定性的测试，它考察一个产品在实际应用背景下的功能实现、性能表现等情况，它包括以下几个测试方面： 系统性能 系统可靠性、稳定性 版本兼容性 系统安装升级,2.3功能层测试,在设计功能层的系统测试方案时，需要考虑以下几个步骤 : 根据市场调查或规格说明书输出产品的功能概图，概图提供产品的功能列表和功能使用频度； 功能概图应该保证重要的产品功能的完全覆盖； 产品功能测试可根据功能概图提供的测试优先次序

4、进行进度和资源的调配；,2.3功能层测试,产品特性里概念性功能可逐步分解，直至能够对产品进行输入和输出测试的可实施操作(基本功能)； 对产品的不同功能进行组合，考虑各类功能的组合测试方案。,2.4指标/协议层测试,指标/协议层测试是据规格说明书和产品标准(包括国际和国内标准)进行验证测试，它强调的是标准的符合性，测试项目为预定义的产品规格、行业标准、如新国际测试、ITUT(国际电信联盟)标准测试等等。,3系统测试的方法,系统测试主要分为静态测试和动态测试。,3.1功能测试,功能测试是系统测试中最基本的测试，它不管软件内部的实现逻辑，主要根据产品的需求规格说明书和测试需求列表，验证产品的功能实现

5、是否符合产品的需求规格。,3.2性能和缩放性测试,性能测试是要检查系统是否满足在需求说明书中规定的性能。特别是对于实时系统或嵌入式系统。 性能测试常需要与强度测试结合起来，并要求同时进行硬件和软件检测。 通常，对性能的检测表现在以下几个方面：响应时间、吞吐量、辅助存储区，例如缓冲区，工作区的大小等、处理精度等等。,3.2.1什么是软件性能,性能是一种指标，表明软件系统或构件对于其及时性要求的符合程度 对软件性能的关注是多层面的 用户关注 管理人员关注 开发人员关注,(1)用户对软件性能的关注,从用户的角度来说，软件性能就是软件对用户操作的响应时间。 对用户来说，当用户单击一个按钮、发出一条指令

6、或是在Web页面上单击一个链接，从用户单击开始到应用系统把本次操作的结果以用户能察觉的方式展示出来，这个过程所消耗的时间就是用户对软件性能的直观印象。,(1)用户对软件性能的关注,(2)管理人员对软件性能的关注,(3)开发人员对软件性能的关注,3.2.2软件性能的几个指标,响应时间：应用系统从请求发出开始到客户端接收到最后一个字节数据所消耗的时间，是作为用户视角的软件性能的主要体现。 并发用户数：系统用户数、同时在线用户人数。 吞吐量：单位时间内系统处理的客户请求的数量，直接体现软件系统的性能承载能力。 表示：请求数/秒、页面数/秒、人数/天 处理的业务数/小时。,3.2.3性能测试的目的,性

7、能测试就是要在一定约束条件下测试系统所能承受的并发用户量、运行时间、数据量，以确定系统所能承受的最大负载压力，保证产品发布后系统的性能能够一般观点：找一个点(如200用户)满足用户需求。 性能测试的目的可以概括以下几个方面： 在真实环境下检测系统性能，评估系统性能以及服务等级的满足情况； 分析系统瓶颈、优化系统。,3.2.4缩放性测试,系统的缩放性指的是在系统中增加计算资源的能力。增加了计算资源后，在特定的负载条件下，就可以获得可接受的或改进的响应时间、稳定性和数据吞吐量。在这里，负载指的是同一时间内系统处理客户端业务功能数量。,3.2.5性能测试内容,性能测试数据的收集 客户机：响应时间 服

8、务器： CPU，占全部处理器时间的百分比；内存，用字节数和每秒出现的页面错误率表示；硬盘的I/O WEB服务器：除了上述项目外，WEB服务器还包括最大的同时连接数目 数据库服务器：所有数据库服务器都应当包含交易/秒和缓存命中率等数据 网络：监视每个服务器之间的带宽数据,(1)客户端性能测试,主要是测试在多个客户并发时，系统完成用户业务功能的响应时间。具体性能指标参数如下： 并发客户端数 业务处理响应时间 业务处理通过率,(1)客户端性能测试,WEB系统为例，响应时间性能因素包括下面几项： 请求提交：客户浏览器为了与网站进行连接并传输用户提供的数据所需的时间。 处理时间：请求被一台或多台服务器处

9、理以执行用户所需功能的时间。 响应：处理请求后，将页面或者数据返回给用户，传输这些页面或者数据所需要的时间即为响应时间。,(2)系统资源利用率分析,网络资源利用率分析 服务器资源利用率分析 操作系统资源利用率 数据库 中间件服务器,3.2.6性能测试类型,基准性能测试 负载测试 压力测试 数据容量测试,3.3恢复测试,错误探测功能系统能否发现硬件失效与故障； 能否切换或启动备用的硬件； 在故障发生时能否保护正在运行的作业和系统状态； 在系统恢复后能否从最后记录下来的无错误状态开始继续执行作业，等等。 掉电测试：其目的是测试软件系统在发生电源中断时能否保护当时的状态且不毁坏数据，然后在电源恢复时

10、从保留的断点处重新进行操作。,3.3恢复测试,恢复测试是要证实在克服硬件故障(包括掉电、硬件或网络出错等)后，系统能否正常地继续进行工作，并不对系统造成任何损害。 为此，可采用各种人工干预的手段，模拟硬件故障，故意造成软件出错。并由此检查： 错误探测功能系统能否发现硬件失效与故障；,3.4配置测试,这类测试是要检查计算机系统内各个设备或各种资源之间的相互联结和功能分配中的错误。 它主要包括以下几种： 配置命令测试：验证全部配置命令的可操作性（有效性）；特别对最大配置和最小配置要进行测试。软件配置和硬件配置都要测试。,3.4配置测试,循环配置测试：证明对每个设备物理与逻辑的，逻辑与功能的每次循环

11、置换配置都能正常工作。 修复测试：检查每种配置状态及哪个设备是坏的。并用自动的或手工的方式进行配置状态间的转换。,3.5可用性测试,可用性测试是指，让一群有代表性的用户对产品进行典型操作，同时测试人员或开发人员在一旁观察，记录。 可用性测试被用来改善软件的易用性。为用户提供一系列操作场景和任务让他们去完成。来发现过程中出现了什么问题、用户喜欢或不喜欢哪些功能和操作方式，原因是什么。针对问题所在，提出改进。 测试人员和程序员通常不宜作可用性测试。,3.5可用性测试,可用性测试中最重要的就是UI(User interface)测试，即用户跟计算机交互的性能。,3.6安全性测试,物理环境的安全性(物

12、理层安全) 操作系统的安全性(系统层安全) 网络的安全性(网络层安全) 应用的安全性(应用层安全) 管理的安全性(管理层安全),3.6.1系统层安全测试,测试操作系统配置安全性的某些主要问题： 不必要的用户帐号 文件和目录权限、特别是关键的配置文件 日志文件 口令策略,3.6.2网络安全层测试,Internet中，主机之间传输的数据的安全性 这类测试过程中，主要是在数据通信和数据交互过程中，对数据进行截取分析，目前最为流行的是网络数据包的捕获技术，通常称为Capture，利用该技术可以测试网络数据加密效果 企业内部局域网防火强安全性 WinGate为例。黑客经常利用这些安全漏洞获得WinGat

13、e的非授权Web、Socks和Telnet的访问，从而伪装成WinGate主机的身份对下一个攻击目标发动攻击。因此，这种攻击非常难于被跟踪和记录。,3.6.3应用安全层测试,身份验证 权限管理 功能权限 数据对象权限 时间权限 内容攻击 缓冲区溢出,3.7指标/协议测试,标准/协议测试的测试依据是我国已经发布的信息技术产品强制性标准、推荐性标准等相关国家标准或行业标准，尽管不同行业依据的标准本身可能千差万变， 但从内容来分，主要分为以下几类: 数据内容标准测试 通信协议标准测试 字符集和代码页测试,3.7.1数据内容标准测试,数据内容标准主要描述数据交换与互操作的数据格式或内容规范。 如：教育

14、部颁发的教育管理信息化标准，它包括与学校管理有关的信息集与代码集两部分。 于信息集的测试，主要测试信息数据库表的表名称、字段名称、字段类型及长度是否符合标准。 关于代码集的测试，主要测试被测试代码数据表中的代码编号、代码名称是否符合标准，如课程代号，专业代号。,3.7.2通信协议标准测试,通信协议标准主要描述数据传输的帧格式、数据编码及传输规则。 例子:电力负荷管理系统数据传输规约，分别定义了电力负荷管理系统中主站和终端之间的信息传递。主要测试内容是帧的格式、内容和编码规则。,3.7.2通信协议标准测试,3.8安装和卸载测试,安装测试的目的不是找软件错误，而是找安装错误。 安装程序错误可能源于

15、以下几个方面： 环境变量的检测和解释（如，有多少可用磁盘空间？） 文件复制 系统和环境配置 软件和硬件不兼容 后台噪声。例如病毒检查程序，它运行于后台，可能以多种途径对安装进行干扰。,3.8安装和卸载测试,以下是对一些安装过程会出现的错误类型： 功能性错误 用户界面设计错误 收集信息的误解 操作系统错误 动态连接库特定错误,3.8安装和卸载测试,卸载性测试的目的就是验证成功卸载系统的能力。在卸载程序过程通常会有以下活动： 删除目录； 删除应用程序的EXE文件和专用DLL文件； 检查特定文件是否被其他已安装的应用程序使用； 如果没有其他应用程序使用，删除共享文件； 删除注册表项； 恢复原有注册表

16、项； 通过添加/删除程序执行卸载。,3.9兼容性测试,硬件兼容性 浏览器兼容性 数据库兼容性 操作系统兼容性,3.10本地化测试,当一个软件公司逐渐发展后可能会开辟国际市场，把一个产品从国内市场推向国际市场会遇到很多挑战；同样当国内代理商想在国内销售国外产品或国际公司想进入国内市场时，他们也会遇到同样的问题，那就是软件本地化的问题。,3.10.1软件本地化测试概念及目的,软件本地化测试是对本地化的软件进行测试的活动。软件本地化测试目的主要是： 保证本地化的软件与源语言软件具有相同的功能和性能。 保证本地化的软件在语言、文化、传统观念等方面符合当地用户的习惯。 软件本地化测试是尽可能多得发现本地

17、化软件中由于本地化而引起的软件软件 bug。,3.10.1软件本地化测试概念及目的,软件本地化测试既有一般测试的特点，又有自己测试要求，它们二者的主要区别是： 本地化软件测试的重点是报告与本地化有关的bug，包括翻译语言的质量、区域有关的特征、软件界面控件布局等。 一般测试主要测试软件的功能和性能。 本地化软件测试通常需要与源软件对比测试，确认错误是否属于本地化错误，还是源语言功能错误。,3.10.2软件本地化测试策略,软件本地化测试策略是： 本地化软件要在各种“干净”的本地化操作系统上安装并测试。 源语言软件安装在另一台相同源语言操作系统上，作为对比测试。 重点测试因本地化引起的软件的功能和

18、软件界面的错误。 测试本地化软件的语言文字翻译质量。 手工测试和自动测试相结合。,3.10.3软件本地化的错误类型及测试方法,软件本地化的错误主要分为两大类： 第一：由于源程序软件编码错误引起的； 第二：由于软件本地化引起的。其中由于软件本地化产生的错误类型包括语句没有翻译、翻译错误、控件布局错误。对于东亚语系软件，可能存在双字节字符显示错误等。,4.系统测试流程,系统测试的关键活动有： 计划系统测试 设计系统测试 实现系统测试 执行系统测试 系统测试评估,4.1系统测试开始准则,在软件项目计划阶段，确立了软件测试项目计划； 在软件需求分析完成，确定了软件需求规格说明书； 建立了需求基线后，在软件概要设计进行时，开始进行系统测试的计划； 在软件概要设计完成后，开始进行系统测试的设计； 在集成测试（执行）完成，并经过了软件系统预测试和转系统测试评审后，开始执行系统测试。,4.2制定系统测试计划,系统测试计划在软件概要设计阶段完成，是从属于软件项目计划和软件项目计划监控的计划管理体系。 主要是对系统测试全过程的组织，资源，原则，采用的测试