《课黑盒测试》PPT课件.ppt

软件测试,陈丹琪 防 灾 科 技 学 院,复 习,场景法是通过用例场景描述用例执行的路径，从用例开始到结束遍历这条路径上所有基本流和备选流。 步骤： 1. 构造场景列表（基本流、备选流） 2. 构造测试用例设计矩阵 3. 为每一个测试用例选择相应的测试输入数据,作 业,用户登录界面中，可通过输入（账号或邮箱作为）用户名、密码和验证码进行登录；密码三次输入错误时将退出；点击忘记密码时，出现忘记密码界面，可通过输入邮件地址获得重设的密码；勾选自动登录，将记录用户名、密码以便下次直接登录。请用场景法设计此登录过程的测试用例。,作 业,1. 构造场景列表,基本流： 1.进入登录界面 2.输入有效的登录名 3.输入密码正确 4.输入验证码正确 5.点击登录按钮，成功登入 备选流： 1. 上次选择自动登录，通过验证，成功登录； 2. 上次未选择自动登录，登录名未通过验证； 3. 上次未选择自动登录，密码不正确，还有输入机会； 4. 上次未选择自动登录，密码不正确，没有输入机会； 5. 上次未选择自动登录，验证码不正确； 6. 上次未选择自动登录，忘记密码。,作 业,作 业,2. 构造测试用例设计矩阵,作 业,3.为每一个测试用例选择相应的测试输入数据,第二章 黑盒测试,2.1 黑盒测试的基本概念 2.2 等价类划分 2.3 边界值分析法 2.4 因果图法 2.5 决策表法 2.6 黑盒测试方法的比较与选择 2.7 黑盒测试工具介绍 2.8 其它黑盒测试方法,正交实验法,如果要解决问题的因果关系庞大，将导致利用因果图而得到的测试用例数目多得惊人，给软件测试带来沉重的负担。 为了有效、合理地减少测试的工时与费用，可利用正交试验法进行测试用例的设计。 正交试验法是从大量的试验数据中挑选适量的、有代表性的点，从而合理地安排测试的一种科学的试验设计方法。,在测试中，特别是互联网应用，我们无法规定用户的环境，分布在世界各地的用户，其使用的环境是各种各样的。例如： 操作系统：Windows 8, Windows 7, Windows Vista, Windows XP, Windows 2000, Windows NT, Windows 98, Linux, Solaris 9, Solaris 10, Mac OS 9, Mac OS X （12） 浏览器：IE, 火狐, 360, 遨游, 腾讯, 苹果etc。（6） 代理服务器/防火墙： ISA 2000, ISA 2004, Blue Coast, Cisco PIX, Linux squid, Checkpoint, . （6） 防火墙验证方式：无口令, 口令, Script, .（3） 传输协议： TCP, HTTP, SSL （3） 本地化语言 ： 英文、中文简体、中文繁体、日文、德文（5） 第3方产品集成： （6） 比如产品的功能测试用例为1000个，其完全组合数是: 126633561000 = 116640000 一亿多测试用例,正交实验法,正交试验法相关概念 因子：有可能影响实验指标的条件 因子的水平（或状态）：影响实验因子的因素 这些有代表性的点具备了“均匀分散，齐整可比”的特点，合理、有效地减少需进行的实验数量。 正交表：记为 L (行)次数（水平数因子数） 统一水平正交表：表中各个因子的水平数是一样的 性质： 每一列中各数字出现的次数都一样多 任何两列所构成的各有序数对出现的次数都一样多 混合水平正交表：表中的各个因子的水平数不同 查找正交表：数理统计书籍或互联网http:/www.york.ac.uk/depts/maths/tables/orthogonal.htm,选择具有典型性、代表性的点，使试验点在试验范围内分布的很均匀，更能反映全面情况。 对每个因子的每个水平都要同等看待， 9个平面上的点都应当一样多。,正交实验法,在使用正交实验法时，要考虑到被测系统中要准备测试的功能点，而这些功能点就是要获取的因子或因素，但每个功能点要输入的数据按等价类划分有多个，也就是每个因素的输入条件，即状态或水平值。 正交表： L (行)次数（水平数因子数） 行数(即试验次数) = (每列水平数-1) + 1,影响软件功能实现的因素 功能点测试项,测试用例的个数,任何单个因素能够取得的值的最大个数 测试项的取值,5个3水平因子及1个2水平因子，需要哪一种正交表? 起码的实验次数为：5(3-1)+1(2-1)+1=12 次 在正交表行数不小于12行，既有2水平列又有3水平列的正交表中选择，L18（2137）适合。 混合水平正交,正交实验法,用正交表设计测试用例步骤： 1. 有哪些因子（变量） 2. 哪几个水平（变量的取值） 3. 选择一个合适的正交表 4. 把变量的值映射到表中 5. 把每一行的各因素水平的组合做为一个测试用例 6. 加上你认为可疑且没有在表中出现的组合,要考虑： 因子（变量）的个数：正交表的列数不能小于因子数 因素水平（变量的取值）的个数：正交表的水平数不能小于因子的最大状态数 正交表的行数：取行数最少的一个,正交实验法,因子数（变量）、水平数（变量值）刚好符合正交表 例1.个人信息查询系统中的一个窗口，要测试的控件有3个：姓名、身份证号码、手机号码。各控件的状态有两个：填与不填。,表中的因子数=3；,表中至少有3个因子数的水平数=2 ；,行数取最少的一个；,从正交表中查找结果为：L4(23),正交实验法,测试用例如下： 1：填写姓名、填写身份证号、填写手机号；可查 2：填写姓名、不填身份证号、不填手机号；可查 3：不填姓名、填写身份证号、不填手机号；可查 4：不填姓名、不填身份证号、填写手机号；可查 补充5：不填姓名、不填身份证号、不填手机号；不可查,8 5 用最小的测试用例集合去获取最大的测试覆盖率。,正交实验法,因子数、水平数与正交表不相同 例2. 微软Powerpoint程序的打印测试，需要考虑4个因素： 打印范围分：全部、当前幻灯片、给定范围 打印内容分：幻灯片、讲义、备注页、大纲视图 打印颜色/灰度分：彩色、灰度、黑白 打印效果分：幻灯片加框和幻灯片不加框,表中的因子数=4；,表中各因子的最大水平数为4 ；,行数取最少的一个；,从正交表中查找结果为：L16(45),正交实验法,L16(45) 正交表,正交实验法,用字母替代正交矩阵,正交实验法,第一列水平值为3、第三列水平值为3、第四列水平值3、2都需要由各自的字母替代。,无 意 义,删 除,正交实验法,共12个测试用例,黑盒测试方法比较与选择,几种典型的黑盒测试方法都把程序看作是一个打不开的黑盒，只知道输入到输出的映射关系，根据软件规格说明设计测试用例。 几种常用的方法有：,黑盒测试方法比较与选择,在确定测试方法时，应遵循以下原则： 1. 根据程序的重要性和一旦发生故障将造成的损失来确定测试等级和测试重点。 2. 认真选择测试策略，以便能尽可能少的使用测试用例，发现尽可能多的程序错误。 因为一次完整的软件测试过后，如果程序中遗留的错误过多并且严重，则表明该次测试是不足的，而测试不足则意味着让用户承担隐藏错误带来的危险，但测试过度又会带来资源的浪费。因此测试需要找到一个平衡点。,黑盒测试方法比较与选择,3. 选择测试方法应明确： 首先进行等价类划分，包括输入条件和输出条件的等价类划分，这样可将无限测试变成有限测试，它是减少工作量和提高测试效率最有效的方法。 在任何情况下都必须采用边界值分析法。这种方法设计出的测试用例发现程序错误的能力最强。 用错误推断法再追加测试用例，这需要测试工程师的智慧和经验。 如果程序的功能说明中含有输入条件的组合情况，则一开始就选用因果图法和决策表法。,黑盒测试方法比较与选择,对于业务流（事件流）清晰的系统，可以利用场景法贯穿整个测试案例过程。 对于参数配置类的软件，可用正交试验法选择较少的组合方式达到最佳组合。 对照程序逻辑，检查已设计出的测试用例的逻辑覆盖程度。如果没有达到要求的覆盖标准，则应当再补充更多的测试用例。 经常使用的测试方法是： 1. 在等价类划分的基础上，以决策表加边界值的方法为主，错误猜测法为辅，设计测试用例。 2. 以场景法为主，边界值、错误猜测法为辅。,黑盒测试方法比较与选择,测试工作量 以边界值分析、等价类划分和决策表测试方法来讨论它们生成测试用例的数量与开发这些测试用例所需的工作量。,测试方法研究的目的就是在开发测试用例工作量和测试执行工作量之间做一个令人满意的折中。,黑盒测试方法比较与选择,测试有效性即一组测试用例找出程序中缺陷的效率如何。 测试有效性是很难解释的。 由于不知道程序中的所有故障，因此也不可能知道给定方法所产生的测试用例是否能够发现这些故障。 最好利用程序的已知属性，选择处理这种属性的测试方法： 变量表示物理量还是逻辑量 在变量之间是否存在依赖关系 是否有大量的例外处理,黑盒测试工具介绍,黑盒测试工具是指测试软件功能和性能的工具，主要用于集成测试、系统测试和验收测试。 功能测试工具：功能测试工具主要用于检测被测程序能否达到预期的功能要求并能正常运行。 性能测试工具：性能测试工具主要用于确定软件和系统性能。,一般采用脚本录制(Record)/回放(Playback)原理，模拟用户的操作，然后将被测系统的输出记录下来，并同预先给定的标准结果进行比较。 在回归测试中使用功能测试工具，可以大大减轻测试人员的工作量，提高测试效果。 功能测试工具不太适合于版本变动较大的软件。,黑盒测试工具介绍,主流黑盒功能测试工具，如Mercury Interactive公司的WinRunner，IBM Rational公司的TeamTest和Robot，Compuware公司的QACenter等。 WinRunner是基于MS Windows操作系统的，用来检测应用程序是否能够达到预期功能及正常运行的测试工具。,黑盒测试工具介绍,Robot是一个面向对象的软件测试工具，主要针对Web、ERP等进行自动功能测试。 用Robot 可完成大多数软件的功能和性能测试，它主要通过编写脚本的方式提供自动化测试，可以开发三种测试脚本：用于功能测试的GUI脚本，用于性能测试的VU（虚拟用户）以及VB（VBScript）脚本。 Rational TeamTest 是一个针对整个功能测试流程（从编写和维护需求，到创建有效的测试脚本，直至缺陷跟踪），提供全面解决方案的团队测试工具。 Rational Functional Tester是一款面向对象的用以完成功能测试、回归测试、GUI测试和数据驱动测试的自动化测试工具。,黑盒测试工具介绍,Compuware公司的QACenter，能够自动地帮助管理测试过程，快速分析和调试程序，能够针对回归测试、强度测试、单元测试、并发测试、集成测试、移植测试、容量和负载测试建立测试用例，自动执行测试并产生相应的文档。 QACenter主要包括： 功能测试工具QARun，性能测试工具QALoad，可用性管理工具EcoTools和性能优化工具EcoScope。,总 结,正交实验法是从大量的试验数据中挑选适量的、有代表性的点，从而合理地安排测试的一种科学的试验设计方法。 步骤：根据软件功能确定测试点及状态（因子及水平数） 选择合适的正交表 把变量的值映射到表中 把每一行的各因素水平的组合做为一个测试用例 增补其它测试用例 从测试工作量和测试有效性方面比较了几种黑盒测试方法，介绍了遇到具体问题时的选取方法。 黑盒测试工具是指测试软件功能和性能的工具，主要用于集成测试、系统测试和验收测试。,作 业,当用户打114