系统测试PPT演示课件

第七章系统测试,1,开篇引言测试那些事儿,1.测试员的效率平均每个工作日发现3-5个Bug平均每修正3个Bug，会引进1个新的Bug平均75%的Bug会在单元测试阶段解决掉平均20%的Bug会在集成测试和系统测试阶段解决掉平均5%的Bug会被交付给用户普通大型民用软件平均错误率5个/10,000LOC电信/银行/操作系统等软件平均错误率5个/100,000LOC,2,测试那些事儿,2.测试与开发的比例与产品大小、复杂度、质量要求相关目前国内比例平均为1:62000年MS全球52000人，利润$300亿，10000开发人员，15000测试人员，测试费用占研发费用的60%Exchange2000程序经理25人；开发人员140人；测试人员350人Windows2000：$50亿程序经理250人；开发人员1700人；测试人员3200人IE4.0开发时间6个月，测试时间8个月,3,进一步理解系统测试和集成测试的区别；掌握系统测试的概念；熟悉主要的系统测试类型及其特点；了解系统测试的过程；重点理解如何把黑盒测试技术运用到系统测试中。,本章目标,4,本章从以下几个方面来介绍系统测试,1.系统测试是什么？2.系统测试的层次3.系统测试的策略4.系统测试的过程,5,第七章系统测试,1.系统测试是什么？2.系统测试的层次3.系统测试的策略4.系统测试的过程,6,系统测试的概念,是将已经集成好的软件系统，作为整个计算机系统的一个元素，与计算机硬件、外设、某些支持软件、数据和人员等其他系统元素结合在一起，在实际运行（使用）环境下，对计算机系统进行系列的测试活动。一个关键阶段重要性不言而喻，因为它涉及到用户能不能最终签字验收并付款。,7,LifeCycleTesting测试生命周期,用户需求,体系结构设计,详细设计,编码实现,单元测试,集成测试,系统测试,验收测试,Prepareplan,Verify,Prepareplan,Verify,Prepareplan,Verify,需求分析,8,从软件开发的V模型来看，主要关联到软件开发的需求分析阶段。主要方法：黑盒测试系统测试所用的数据必须尽可能地像真实数据一样精确和有代表性，也必须和真实数据的大小和复杂性相当。满足上述测试数据需求的一个方法是使用真实数据。,系统测试的概念,9,单元、集成、系统测试区别,时间,1,2,4,10,系统测试的目的,目的：通过与系统的需求定义做比较，发现软件与系统定义不符合或与之矛盾的地方；系统测试的测试用例应根据需求分析说明书来设计，并在实际使用环境下运行；对象：项目级软件（也可能包含硬件）产品级软件+硬件,11,认识系统测试,系统测试是测试人员需要花大量时间完成的，也是软件交给用户进行验收测试前的最后一道关口。我们常说测试的工作前松后紧，因为前期我们只需要写计划、用例，以及部分的单元测试，相对比较轻松，而后期的系统测试的工作量很大。一般可占到测试工作量的50%60%。,12,系统测试,1.系统测试是什么2.系统测试的层次3.系统测试的策略4.系统测试的过程,13,2.系统测试层次,用户层测试应用层测试功能层测试指标/协议层测试,14,2.1用户层测试,用户层测试是面向产品最终使用操作者的测试，它包括：用户支持测试用户界面测试安全性测试可维护(自检有效性、远程维护、软件升级)测试,15,2.2应用层测试,应用层测试主要是针对产品工程稳定性的测试，它考察一个产品在实际应用背景下的功能实现、性能表现等情况，它包括以下几个测试方面：系统性能系统可靠性、稳定性版本兼容性系统安装升级,16,2.3功能层测试,在设计功能层的系统测试方案时，需要考虑以下几个步骤:根据市场调查或规格说明书输出产品的功能概图，概图提供产品的功能列表和功能使用频度；功能概图应该保证重要的产品功能的完全覆盖；产品功能测试可根据功能概图提供的测试优先次序进行进度和资源的调配；,17,2.3功能层测试,产品特性里概念性功能可逐步分解，直至能够对产品进行输入和输出测试的可实施操作(基本功能)；对产品的不同功能进行组合，考虑各类功能的组合测试方案。,18,2.4指标/协议层测试,指标/协议层测试是据规格说明书和产品标准(包括国际和国内标准)进行验证测试，它强调的是标准的符合性，测试项目为预定义的产品规格、行业标准、如新国际测试、ITUT(国际电信联盟)标准测试等等。,19,系统测试,1.系统测试是什么2.系统测试的层次3.系统测试的策略4.系统测试的过程,20,21,3.系统测试策略,性能测试压力测试（负载、并发）容量测试健壮性测试安全性测试可靠性测试恢复性测试外国语言测试备份测试协议一致性测试兼容性测试安装性测试可用性测试配置性测试文档性测试GUI测试验收测试回归测试功能测试易用性测试在线帮助测试,21,3.1功能测试（functiontesting),是系统测试中最基本的测试不管软件内部的实现逻辑主要根据产品的需求规格说明书和测试需求列表验证产品的功能实现是否符合产品的需求规格个人认为，功能测试比性能测试更重要。只要完成了功能测试，可以说测试工作已经完成了大半。,22,功能测试是为了发现以下错误：,从用户角度来进行功能验证，以确认：每个功能是否都能正常使用是否实现了产品规格说明书的要求是否能适当地接收输入数锯而产生正确的输出结果,23,功能测试常用设计方法：,功能测试用例是功能测试工作的核心，常见的设计方法有如下几种：规格导出法等价类划分法边界值分析法因果图判定表正交实验设计基于风险的测试错误推测法,24,功能测试又可细分为很多种：,逻辑功能测试（logicfunctiontesting）截面测试（UItesting）易用性测试（usabilitytesting）安装测试（installationtesting）兼容性测试（compatibilitytesting）,25,逻辑功能测试（logicfunctiontesting）,为此计算器设计简易测试用例。,26,界面测试（UItesting）,UI：UserInterface的缩写比如，测试，win7的漂亮界面，搜狗输入法的皮肤等等。,27,测试要点和常见故障：,易用性与合理性：步骤繁琐的操作，比例不协调、摆放凌乱的窗口和控件，层次过多的子窗口和菜单规范性：不符合Windows规范的控件设计，与常规Windows操作不符的流程与操作等容错性：编辑控件对非法字符、超出边界值的输入处理不当或没有提示，容易造成系统重启、数据删除丢失等的操作没有提示等帮助：无帮助信息提供，或者不提供获取帮助的快捷操作美观与风格：界面颜色不协调、界面风格与公司相关产品风格不符、与业界通用风格不符，图片、图标等不符合公司CI规范。资源：界面长时间运行操作造成系统内存耗尽、界面对系统资源独占使用等,28,安装测试（installationtesting）,这里的安装是广义的，包括安装和卸载理想情况下，一个软件的安装程序应当可以较好的与已有系统相兼容，并有相应的提示界面供用户参考，安装完毕并实现其功能。重要性：安装是用户使用的第一步目的：验证系统成功安装的能力，保证程序安装后能正常运行，并能够成功卸载。要求：安装过程清晰、简单，且系统文档中有详细说明。,29,安装测试应考虑的方面主要有以下：,安装手册测试。安装前应先备份测试机的注册表。自动安装和手工配置测试。异常配置或状态情况（继电等）测试。检查安装后目录结构和文件，以及文件属性。所有的运行环境上测试。卸载测试。检测安装该程序是否对其他的应用程序造成影响。,30,兼容性测试（compatibilitytesting）,检查软件是否能够与其他软件正确协作，试点包括：操作系统兼容性测试同一平台上其他相关应用软件的兼容性硬件兼容性数据共享兼容性测试软件新旧数据转换,31,思考题：我现在有个程序，发现在WIN98上运行得很慢，怎么判别是程序存在问题还是软硬件系统存在问题？,32,易用性测试（usabilitytesting）,从软件使用的合理性和方便性等角度对软件系统进行检查，来发现软件中不方便用户使用的地方。比如，水龙头红色和蓝色标记超市里各种购物车,33,常用的易用性测试用例,常用的功能要有快捷方式功能相同或相近的控件放到一个区域可能造成较长时间的等待的操作能提供取消功能工具栏上的图标要能直观代表要完成的操作必须提供友好的联机帮助软件出现问题时，要在提示信息时提供相应的技术支持联系方式,34,3.2性能测试,35,性能测试（performancetesting）,是软件测试的高端领域性能测试工程师的待遇和白盒测试工程师不相上下。通常我们说的高级软件测试工程师一般就指性能测试工程师和白盒测试工程师。性能测试一般用到测试工具，这儿不涉及到测试工具的使用介绍。,36,3.2.1性能测试的定义,性能测试是用来保证系统发布后，产品的性能满足用户要求。性能测试在软件质量保证中起重要作用。没有完全的标准定义，从广义上来说，压力测试、负载测试、并发测试、大数据量测试、配置测试、可靠性测试、强度测试等等均属于性能测试范畴。,37,什么是软件性能,在软件系统日益复杂的今天，性能已经成为软件质量最重要的衡量标准之一。例如，对于软件测试教学网站，我们至少需要测试这些性能指标：服务器响应速度、客户端上传下载文件的速度和文件大小、能同时支持的在线人数、在线教学视频的播放质量、系统运行的可靠性（稳定性）、邮箱容量、邮件收发速度,38,软件的性能范畴,系统的性能是一个很大的概念，覆盖面非常广泛，对一个软件系统而言，包括：执行效率、资源占用率、稳定性、安全性、兼容性、可扩展性、可靠性等等对软件性能的关注是多层面的用户关注管理人员关注开发人员关注,39,(1)用户对软件性能的关注,软件对用户操作的响应时间，如用户提交一个查询操作，打开一个web页面的链接等等业务可用度，或者系统的服务水平如何,40,(1)用户对软件性能的关注,41,(2)系统管理员对软件性能的关注,42,(3)开发人员对软件性能的关注,43,3.3.2软件性能的几个指标,响应时间：应用系统从请求发出开始到客户端接收到最后一个字节数据所消耗的时间，是作为用户视角的软件性能的主要体现。并发用户数：系统用户数、同时在线用户人数。吞吐量：单位时间内系统处理的客户请求的数量，直接体现软件系统的性能承载能力。表示方法：请求数/秒、页面数/秒、人数/天、处理的业务数/小时。资源占用率：体现软件的面向用户特性。,44,“理发店模型”,我们尝试用“理发店模型”来理解软件性能的几个指标,45,在我们的这个理发店中，我们事先做了如下的假设：,1.理发店共有3名理发师；2.正常情况下，每位理发师剪一个发的时间都是1小时；3.我们顾客们都是很有时间观念的人而且非常挑剔，他们对于每次光顾理发店时所能容忍的等待时间+剪发时间是3小时，而且等待时间越长，顾客的满意度越低。如果3个小时还不能剪完头发，我们的顾客会立马生气的走人。,46,情况分析：,当理发店只有一名顾客时，情况怎样呢？两名，三名，九名，十名情况又会怎样？我们用一个图表来表示：,47,一个标准的软件性能模型,Utilization利用率Throughput吞吐量Responsetime响应时间,48,图中划分了三个区域：LightLoad（较轻的压力）、HeavyLoad（较重的压力）BuckleZone（用户无法忍受并放弃请求）。在LightLoad和HeavyLoad两个区域交界处的并发用户数，我们称为“最佳并发用户数（TheOptimumNumberofConcurrentUsers）”，而HeavyLoad和BuckleZone两个区域交界处的并发用户数则称为“最大并发用户数（TheMaximumNumberofConcurrentUsers）”。,49,进一步分析：,当系统的负载等于最佳并发用户数时，系统的整体效率最高，没有资源被浪费，用户也不需要等待；当系统负载处于最佳并发用户数和最大并发用户数之间时，系统可以继续工作，但是用户的等待时间延长，满意度开始降低，并且如果负载一直持续，将最终会导致有些用户无法忍受而放弃；而当系统负载大于最大并发用户数时，将注定会导致某些用户无法忍受超长的响应时间而放弃,50,性能测试的目的,性能测试的目的可以概括为以下几个方面：在真实环境下检测系统性能，评估系统性能以及服务等级的满足情况；分析系统瓶颈、优化系统。,51,性能测试一般分以下四种,一般性能测试稳定性测试负载测试压力测试,52,一般性能测试,指让被测系统在正常的软硬件环境下运行，不向其施加任何压力的性能测试。狭义情况下的性能测试。,53,对于单机版的软件，我们就在其推荐配置下运行软件，检查CPU利用率，内存的占有率等性能指标以及软件主要事务的平均响应时间对C/SB/S结构的软件，则测试单个系统登录后，系统主要事务的响应时间和服务器的资源消耗情况举例：测试163邮箱的登录模块,54,稳定性测试,也叫可靠性测试（reliabilitytesting),是指连续运行被测系统，检查系统运行时的稳定程度。通常用MTBF(meantimebetweenfailure,错误发生的平均时间间隔)来衡量系统的稳定性。MTBF越大，系统的稳定性越强。方法比较简单，采用247的方式让系统不间断运行，具体运行时间视项目的实际情况而定。,55,负载测试（loadtesting）,通常指，让被测系统在其能忍受的压力的极限范围之内连续运行，来测试系统的稳定性。与稳定性测试较为类似，都是让系统连续运行，区别是，负载测试需要给被测系统施加其刚好能承受的压力。负载测试为我们测试系统在临界状态下运行是否稳定提供一种方法。绝大多数的负载测试都是通过自动化工具完成