第2章 软件测试策略与过程(3).ppt

2 6系统测试 什么是系统测试 指将集成测试后的软件系统 与计算机硬件 支持软件 数据 人员等结合起来 在实际运行环境下进行测试 为什么要进行系统测试 在投入运行前要完成系统测试 以保证各组成部分不仅能单独的得到检验 而且在系统各部分协调工作的环境下也能正常工作 由谁来进行系统测试 主要由黑盒测试工程师在整个系统集成后进行测试 主要是测试系统的功能和性能是否满足需求 以及系统在不同软硬件环境中的兼容性等 主要依据 系统需求规格说明书 系统测试过程 通常意义上的系统测试包括 功能测试性能 压力测试安装 卸载测试其他根据需要进行的测试 易用性测试 用户界面测试 文档及联机帮助 兼容性测试 配置测试 恢复测试 安全性测试 可靠性测试 容错测试 本地化测试等 系统测试的内容 系统测试的工作流程 1 系统测试规划 系统测试需求分析 测试计划及评审 2 系统测试设计 测试案例 测试数据 测试脚本设计 测试设计评审 3 系统测试实施 根据测试设计进行测试执行 得出软件缺陷报告 测试案例运行记录 系统测试报告 通过系统测试的代码及更新后的相关软件文档 如何确定测试范围 系统测试范围一般分层次地说明 分为若干测试领域 每个测试领域由若干测试想定构成 每个测试想定包含一组测试案例 测试领域 对应于一个产品特性 产品的大的功能模块或质量特性 测试想定 使用产品特性的一个场景 相当于子功能模块 例如 相机附带的软件一些测试领域 照片处理功能影集文件处理功能 照片处理功能 的测试想定 照片浏览与编辑照片操作照片装饰 测试想定表 测试想定 设计者 日期 逻辑功能测试 正确性测试 逻辑功能测试检查软件的功能是否符合规格说明 是否能正确地实现 逻辑功能测试的方法 枚举法 即构造一些合理输入以及不合理输入 检查是否得到期望的输出 边界值测试 即采用定义域或者等价区间的边界值进行测试 因为程序设计容易疏忽边界情况 程序也容易在边界值处出错 例如 逻辑功能测试 logicfunctiontesting 测试计算器的逻辑功能 需要编写一系列的测试用例来测试计算器的加 减 乘 除 取余数 求平方根 求倒数等运算 设计一个简易的计算器功能测试用例 用例1依次点击2 57 用例1依次点击2 5 3 用例操作步骤预期结果实际结果 用例12 sqrt提示 函数输入无效 界面测试 UItesting 用户界面的组成元素 窗口 菜单 工具条 图表对话框 提示信息 错误信息按钮 滚动条 下拉菜单 文本框 列表其他 一般不涉及逻辑功能 只是关于布局 字体 颜色 风格等界面问题 可以用界面检查单 标准化 应遵循现行用户界面标准和规范 一致性 与用户的现实世界 使用习惯一致 不同用户界面间的一致性 舒适性 尽可能降低操作复杂度 界面外观符合用户审美观 对于需要用户确认的操作是否给出提示 如删除 宽容性 对用户操作错误的容错和恢复功能 反馈性 用户的每步操作应尽量给出反馈简明性 主要是界面简洁个性化 灵活性 为不同用户提供合适的个性化界面或选择的灵活 用户界面的优劣 一个美观得体的界面无疑会使你的软件在众多同类软件中脱颖而出 菜单测试用例 Windows界面检查单 易用性测试 易用性测试 是指从软件使用的合理性和方便性等角度对软件系统进行检查 来发现软件中不方便用户使用的地方 易用性测试的主观性较强 不同的用户可能对易用性的理解不同 但是可以总结一些通用的规律出来 易用性测试用例 对于易用性测试 应 了解和掌握用户在使用方面的需求 调查本产品的用户界面和用户文档等 安装 卸载测试 检查典型安装 完全安装 自定义安装中的步骤 安装过程中的界面突然中断安装 下次安装是否能继续上次的安装安装时磁盘空间够吗 能否在笔记本机上安装 能否同时安装一个软件的多个版本从程序组或控制面板中卸载 检查桌面 程序组 注册表中信息是否被删突然中断卸载 下次卸载是否能继续上次的安装能否卸载正在使用的程序 安装 卸载测试的测试条件 在软件产品标明的最低配置下安装在 干净 的操作系统上安装在 脏 的操作系统上安装在不同的操作系统上安装进行升级安装在安装过程中减少可用磁盘空间在安装中途取消安装改变默认的安装路径 配置测试与兼容性测试 计算机硬件配置包括CPU 硬盘 内存 显示卡 声卡 光驱 USB接口 网卡 打印机 扫描仪等外设 用户可能会采用不同的配置来使用软件 配置测试就是指在不同的硬件配置上测试软件产品 以确认它在这些硬件配置上都能正常运行 配置测试与兼容性测试 兼容性测试是检测软件产品与不同的软件平台 不同的软件版本之间的兼容性 各软件之间能否正确地交互和共享信息 兼容性的测试通常需要解决以下问题 1 新的软件需要与哪种操作系统 Web浏览器和应用软件保持兼容 如果要测试的软件是一个平台 那么要求应用程序能在其上运行 2 应该遵守哪种定义软件之间交互的标准或者规范 3 软件使用何种数据 格式与其它平台 与新的软件进行交互和共享信息 兼容性测试 续 兼容性通常有4种 向前兼容与向后兼容 不同版本间的兼容 标准和规范 数据共享兼容 1 向前兼容和向后兼容向前兼容是指可以使用软件的未来版本向后兼容是指可以使用软件的以前版本 并非所有的软件都要求向前兼容和向后兼容 这是软件设计者需要决定的产品特性 举例 使用文本文件可以对向前兼容和向后兼容作一个简单的演示 在Windows98上用Notepad创建的文本文件 它可以向后兼容MS DOS1 0后的所有版本 它还可以向前兼容Windows2000甚至以后的版本 兼容性测试 续 兼容性测试 续 2 不同版本间的兼容不同版本间的兼容是指要实现测试平台和应用软件多个版本之间能够正常工作 举例 要测试一个流行的操作系统新版本 当前操作系统上可能有数几十上百万现有程序 则新操作系统的目标是否与这些现有程序百分之百兼容 因为不可能在一个操作系统上测试所有的软件程序 因此需要决定哪些是最重要的 必须进行的 对于测试新应用软件也一样 需要决定在哪个平台版本上测试 以及和什么应用程序一起测试 例如 测试金山词霸2003单机版兼容性 实际测试过程中 需要根据系统分析师 系统架构师等相关人员的建议加以取舍 进行重点测试 如 需要重点测试 进行辅助测试 则可以不测试 兼容性测试 续 3 标准和规范适用于软件平台的标准和规范有两个级别 高级标准和低级标准 高级标准是产品应当普遍遵守的 例如软件能在何种操作系统上运行 外观 感觉怎样 它运行于何种浏览器 都关系到平台 假若应用程序声明与某个平台兼容 就必须接受关于该平台的标准和规范 低级标准是对产品开发细节的描述 例如该软件是图形程序 把文件保存为 pict文件格式 但该程序不符合 pict标准 则用户在其他程序中无法看到该文件 从某种意义上说 低级标准比高级标准更加重要 兼容性测试 续 4 数据共享兼容数据共享兼容是指要在应用程序之间共享数据 它要求支持并遵守公开的标准 允许用户与其他软件无障碍的传输数据 举例 文件保存和文件读取 通过读写移动外存实现数据共享 如软磁盘 U盘 移动硬盘等 但文件的数据格式必须符合标准 才能在多台计算机上保持兼容 文件导出和导入 是许多程序与自身以前的版本 其他程序保持兼容的方式 测试兼容格式 剪贴 复制和粘贴 在Windows环境下 程序间通过剪切 复制和粘贴实现数据共享 传输是通过剪贴板的程序来实现 若对某个程序进行兼容性测试就要确认其数据能够利用剪切板与其他程序进行相互复制 兼容性测试 续 软件兼容的实例 从Web页面剪切文字 然后在文字处理程序中打开的文档中粘贴 从电子表格程序保存账目数据 然后在另一个完全不同的电子表格程序中读入这些数据 使图形处理软件在同一操作系统下的不同版本正常工作 升级到新的数据库程序 读入现存所有数据库 并能够像老版本一样对其中的数据进行处理 例如 浏览器测试 通常可以用一个兼容性矩阵 二维方阵来设计测试用例 来自不同厂商的浏览器对Java JavaScript ActiveX plug in或不同的HTML规格有不同的支持 恢复测试 容错测试 恢复测试是通过各种手段 强制性地使软件出错 使其不能正常工作 进而检验系统的恢复能力 目的 检验软件在异常条件下自身能否具有防护性的措施或某种灾难性恢复的手段 看其能否在指定时间间隔内修正错误并重启系统 恢复测试包含的内容 如果系统恢复是自动的 由系统自身完成 则应该检验 重新初始化 检验点设置机构 数据恢复以及重新启动是否正确 如果这一恢复需要人为干预 则应考虑平均修复时间是否在限定的 可以接受的范围之内 性能测试 包括时间性能和空间性能一般性能测试稳定性 可靠性 测试负载测试压力测试 强度测试 安全测试Web网站测试 性能测试 时间性能 什么是软件性能 性能测试又有哪些分类呢 软件的性能包括很多方面 主要时间性能和空间性能两种 时间性能主要指软件的一个具体事务的响应时间 RESPONDTIME 比如登录163邮箱 输入用户名和密码 点击 登录 按钮 从点击按钮的那一刻起 到最终登录后的页面反馈给你 这一时间间隔为3秒 则称163邮箱在这一次登录事务中的响应时间为3秒钟 如何测试 搭建具体测试环境 进行多次登录 记录不同响应时间 取平均值作为参考 响应时间长短无统一标准 与用户的主观感受有关系 如对于一个电子商务网站来说 主要指软件运行时所消耗的系统资源 比如内存消耗 CPU消耗 用户体验的响应时间 数据库查询响应时间等 比如安装软件之前 我们经常看到某软件安装要求 包括最低配置和推荐配置 比如该软件在推荐配置下运行时 CPU的利用率为10 内存占有率为20 则这两个指标可看作该软件的空间性能 可以在任务管理器中查看 如图所示 空间性能 一般性能测试 一般性能测试指的是让被测系统在正常的软硬件环境下运行 不向其施加任何压力的性能测试 对于单机版的软件 就在其推荐配置运行软件 看一下CPU的利用率 内存的占有率等性能指标以及软件主要事务的平均响应时间即可 对于C S和B S结构的软件 则测试单个用户登录后 系统主要事务的响应时间和服务器的资源消耗情况 负载测试 负载测试 LOADTESTING 通常是指让被测系统在其能忍受的压力的极限范围之内连续运行 来测试系统的稳定性 负载测试 是让被测系统连续运行 需要给被测系统施加其刚好能承受的压力 负载测试为我们测试系统在临界状态下运行是否稳定提供了一种办法 稳定测试 稳定测试 通常是指连续运行被测系统 检查其在运行时的稳定程度 与负载测试很相象 但负载测试要加上刚好能承受的压力 压力测试 强度测试 也称强度测试 是指模拟巨大的工作负荷 以查看系统在峰值使用情况下是否可以正常运行 压力测试是通过逐步增加系统负载来测试系统性能的变化 并最终确定在什么负载条件下系统性能处于失效状态 以此来获得系统性能提供的最大服务级别的测试 通常是指持续不断的给被测系统增加压力 直到将被测系统压垮为止 用来测试系统所能承受的最大压力 举例 把输入数据的量提高一个数量级来测试输入功能会如何响应 若某系统正常运行可支持200个终端并行工作 强度测试则检验1000个终端并行工作的情况 运行大量的消耗内存或其他系统资源的测试实例 可靠性测试 可靠性测试是以计算软件可靠性为目的 对安全第一和具有可靠性验收指标的软件来说 软件可靠性测试是必不可少的 是产品在规定的条件下和规定的时间内完成规定功能的能力 可靠性测试是从验证的角度出发 检验系统的可靠性是否达到预期的目标 对可靠性测试来说 通常用MTBF MEANTIMEBETWEENFAILURE失效间隔时间 错误发生的平均时间间隔 失效修复时间 失效数量 失效级别等来衡量系统的稳定性 如MTBF越大 系统的稳定性越强 可靠性测试的方法 即采用24 7 24小时 7天 的方式让系统不间断运行 至于具体运行多少天 是一周还是一个月 视项目的实际情况而定 假设一个人很轻松就能背1袋米 背2袋米很吃力 最多就能背3袋米一般性能测试 让他背1袋米 稳定性测试 让他背1袋米 但是让他去操场上跑圈 看多久累倒 负载测试 让他背2袋米去操场上跑圈 看多久累倒 压力测试 让他背2袋米 3袋米 4袋米 发现他最多就能背3袋 安全测试 安全测试的目的在于验证安装在系统内的保护机制能否在实际中保护系统且不受非法入侵 不受各种非法干扰 在安全测试中 测试者扮演着试图攻击系统的角色 尝试去通过外部的手段来获取系统的密码 使用可以瓦解任何防守的客户软件来攻击系统 把系统 瘫痪 使得其他用户无法访问 有目的地引发系统错误 期望在恢复过程中侵入系统 通过浏览非保密的数据 从中找到进入系统的钥匙系统的安全测试要设置一些测试用例试图突破系统的安全保密措施 检验系统是否有安全保密的漏洞 案例 纸杯测试 微软公司的一道面试题 面试官随意选取一个物品 让应聘者在规定的时间内说出测试策略或是写出测试用例要求应聘者有一定的生活常识 了解常用的测试方法 并且思维要敏捷 有发散性 可以从 基本功能测试 易用性测试 界面测试 稳定性测试 安全性测试 本地化测试 对设计的改进建议 等角度思考 本地化测试包括 功能性 数据格式 可用性 翻译验证性 兼容性 文档的本地化测试 包括对不同语言版本的测试 纸杯测试的测试策略 1 需求测试 查看杯子使用说明书基本功能测试 用水杯装水看漏不漏 水能不能被喝到易用性测试 装入饮水机开水档下的饮用水后杯子是否烫手 是否有防滑措施 方便饮用界面测试 查看杯子外观兼容性测试 杯子是否能够容纳果汁 白水 酒精等常见液体疲劳测试 将杯子盛上水 放24小时检查泄漏时间和情况安全性测试 杯子有没有毒或细菌可靠性测试 杯子从不同高度落下的损坏程度 纸杯测试的测试策略 2 可移植性测试 杯子在不同地理位置的城市内 不同温度等环境下是否都可以正常使用用户文档测试 使用手册是否对杯子的用法 限制 使用条件等有详细描述跌落测试 杯子加包装 有填充物 在多高的情况摔下不破损震动测试 杯子加包装 有填充物 六面震动 检查产品是否能应对恶劣的铁路 公路 航空运输本地化测试 查看杯子上的文字 语言的本地化情况 测试软件的文档 软件一般会有哪些文档 联机帮助文档 用户手册向导 如Office助手安装 设置指南示例 样例 模板等错误提示信息授权 注册登记表 用户许可协议标签 不干胶条软件包装 图形 市场广告宣传材料等 测试软件的文档 如何测试文档 对非代码的文档 如用户手册 外包装等 采用静态测试 主要检查文档的正确性 完整性 一致性 可理解性等对于软件驱动的文档 如超链接的联机手册 是否跳转到正确页面等 要进行动态测试 错误的提示信息或安装指导会将用户引入歧途而使他们认为软件难以使用 这是缺陷 测试文档的简化检查单 通用部分 听众 文档是否针对合适的听众术语 术语是否适合于听众内容和主题是否合适 是否丢失 正确性 所有信息是否真实 技术是否正确 逐步执行 仔细阅读文字 完全根据提示进行操作检查的内容 拼写和语法样例和示例 载入和使用每个样例图表和屏幕抓图 检查图表和屏幕抓图来源及准确性 回归测试 什么是回归测试 regressiontesting 指对软件的新的版本测试时 重复执行上一个版本测试时的测试用例 以验证系统的变更没有影响正确的功能 回归测试是指缺陷被修正后 或软件的功能运行环境发生改变后进行的重测试 其难点在于确定哪些内容应该被重新测试 哪些无需 什么时候进行回归测试 可以在任何测试阶段进行 单元测试 集成测试 系统测试 验收测试等 既有黑盒测试的回归 也有白盒测试的回归 怎样进行回归测试 可以是人工地重新执行所有测试用例或其一个子集 也可以通过捕获回放工具来获取测试用例 然后再回放和比较 回归测试范围 应设计为只对出现错误的模块的主要功能进行测试 冒烟测试 冒烟测试 smoketesting 是指在对一个新版本进行系统大规模的测试之前 先验证一下软件的基本功能是否实现 是否具备可测性 例如拿到一个新版本时 首先进行冒烟测试 如果通过 则进行其他测试 当项目开发时间比较紧的时候 可以考虑冒烟测试 随机测试 猴子测试 当软件公布后 可能会有成千上万的人使用 因为不能穷举测试 有可能遗漏某些bug随机测试 randomtesting 是指测试中所有的输入数据都是随机生成的 其目的是模拟用户的真实操作 并发现一些边缘性的错误 此类自动化工具称为测试猴子 testmonkey 不同测试分类之间的关系 什么是验收测试 指在系统测试的后期 以用户测试为主 或有测试人员等质量保障人员共同参与的测试 它也是软件正式交给用户的最后一道工序 验收测试内容 验证系统是否达到需求规格说明要求 验收测试的目的 确保软件准备就绪 并且可以让最终用户使用 验收测试 1 正式验收测试 是一项管理严格的过程 通常是系统测试的延续 但计划和设计的周密和详细程度不低于系统测试 2 非正式验收测试 不象正式验收测试那样严格 仅对需要重点解决的功能和业务进行的测试 3 测试和 测试 有用户参与的验收测试 验收测试的常用策略 测试步骤 P57 1 测试计划在需求分析阶段建立 明确验收项目 规定验收测试通过的标准 确定测试方法 决定验收测试的组织机构和可利用的资源 选定测试结果分析方法 指定验收测试计划并经过用户参与的计划评审 2 建立测试环境 根据验收测试计划 产品验收准则设计测试用例 并经过评审 3 执行测试用例 记录测试结果 4 分析测试结果 根据验收通过准则 明确通过验