系统测试计划方案.doc

国库信息处理系统国库信息处理系统国库信息处理系统国库信息处理系统国库信息处理系统国库信息处理系统 测试计划方案测试计划方案测试计划方案测试计划方案测试计划方案测试计划方案 文件标识 JD TIPS IT PLAN 当前版本 1 0 1 作 者 靖雪峰 文件状态 草稿 正式发布 正在修改 完成日期 2004 8 2 机密机密 机密资料 请遵照公司的保密规定保存使用 国库信息处理系统 测试计划 中国金融电子化公司 2005第 2 页 共 45 页 版版版 本本本 历历历 史史史 版本 状态作者参与者起止日期备注 1 0 0靖雪峰韩宏 李桂芹 2005 8 1 1 0 1靖雪峰2005 8 26增加测试资源内容 增加测试用 例编写方案及相关约定内容 国库信息处理系统 测试计划 中国金融电子化公司 2005第 3 页 共 45 页 目目目 录录录 1 概述概述 6 2 适用对象和范围适用对象和范围 6 3 术语 名词定义术语 名词定义 6 3 1 系统测试 6 3 2 黑盒测试 功能测试 6 3 3 白盒测试 6 3 4 灰盒测试 7 3 5 健壮性测试 容错能力 恢复能力测试 7 3 6 接口测试 7 3 7 强度测试 7 3 8 压力测试 7 3 9 性能测试 7 3 10 安全测试 8 3 11 可靠性测试 8 3 12 安装 反安装测试 8 3 13 文档测试 8 4 测试工作流程测试工作流程 9 4 1 测试管理总流程 9 4 2 制定测试计划工作流程 9 4 3 设计测试用例工作流程 10 4 4 执行测试工作流程 10 4 4 1 测试工作总体流程 10 4 4 2 单元测试工作流程 11 4 4 3 集成测试工作流程 12 4 4 4 系统测试工作流程 13 4 4 5 验收测试工作流程 15 4 5 缺陷管理与改错流程 16 5 测试参考文档和测试提交文档测试参考文档和测试提交文档 16 5 1 测试参考文档 16 5 2 测试提交文档 17 6 测试资源测试资源 17 6 1 人力资源 17 6 1 1 人员 角色及职责 17 6 1 2 人员培训计划 17 国库信息处理系统 测试计划 中国金融电子化公司 2005第 4 页 共 45 页 6 2 测试环境 18 6 2 1 软件环境 18 6 2 2 服务端列表 19 6 3 测试工具 20 7 测试方法和方式测试方法和方式 20 8 通过测试的标准通过测试的标准 21 9 测试中断与开始的标准测试中断与开始的标准 21 10 测试策略测试策略 22 10 1 数据和数据库完整性测试 22 10 2 接口测试 22 10 3 集成测试 23 10 4 功能测试 24 10 5 用户界面测试 26 10 6 性能评测 27 10 7 负载测试 28 10 8 强度测试 29 10 9 容量测试 30 10 10 安全性和访问控制测试 31 10 11 故障转移和恢复测试 32 10 12 配置测试 34 10 13 安装 反安装测试 35 10 14 文档测试 35 11 测试范围与测试任务测试范围与测试任务 35 11 1 测试范围 36 11 1 1 测试对象 36 11 1 2 需要测试的产品功能 36 11 1 3 不需要测试的产品功能 36 11 1 4 测试覆盖 36 11 2 测试任务 36 11 3 测试清单 38 12 测试进度测试进度 40 13 测试用例编写方案及相关约定测试用例编写方案及相关约定 41 13 1 编写原则 41 13 2 衡量测试用例设计的质量标准 41 13 3 测试用例管理 41 13 4 测试用例与开发的对应关系约定 42 国库信息处理系统 测试计划 中国金融电子化公司 2005第 5 页 共 45 页 13 5 测试用例类型约定 42 13 6 测试阶段 类型与执行角色的关系约定 43 13 7 测试用例清单 43 14 缺陷管理与改错计划缺陷管理与改错计划 43 14 1 流程图 43 14 2 缺陷管理手段 43 14 3 缺陷管理规则 43 15 实施建议实施建议 44 附录一附录一 缺陷分类缺陷分类 44 附录二附录二 缺陷严重程度缺陷严重程度 45 附录三附录三 优先级优先级 46 附录四附录四 测试计划审批意见测试计划审批意见 46 国库信息处理系统 测试计划 中国金融电子化公司 2005第 6 页 共 45 页 1 概述概述 为了提高检测出错误的几率 使测试能有计划地 有条不紊地进行 就必须要编制测试 相关文件 而标准化的测试文件就如同一种通用的参照体系 可达到便于交流的目的 文件 中所规定的内容可以作为对测试过程完备性的对照检查表 故采用这些文件将会提高测试过 程的每个阶段的能见度 极大地提高测试工作的可管理性 2 适用对象和范围适用对象和范围 主要针对对象为软件管理人员 软件开发人员和软件测试人员 3 术语 名词定义术语 名词定义 3 1 系统测试系统测试 系统测试是通过与系统的需求规格作比较 发现软件与系统需求规格不相符合或与之矛 盾的地方 它将通过确认测试的软件 作为整个基于计算机系统的一个元素 与计 算机硬件 外设 某些支持软件 数据和人员等其他系统元素结合起来 在实际运行 使用 环境下 对计算机系统进行的测试 3 2 黑盒测试 功能测试 黑盒测试 功能测试 黑盒测试是基于系统需求规格 在不知道系统或组件的内部结构的情况下进行的测 试 通常又将黑盒测试叫做 基于规格的测试 输入输出测试 功能测试或数据驱动测试 是基于用户观点出发的测试 主要是验证功能是否符合需求 包括原定功能的检验 是否有 冗余功能 遗漏功能 3 3 白盒测试白盒测试 白盒测试也叫结构测试 逻辑驱动测试或给予程序的测试 主要是分析程序的内部构造 并根据内部构造设计测试用例 国库信息处理系统 测试计划 中国金融电子化公司 2005第 7 页 共 45 页 3 4 灰盒测试灰盒测试 可以理解为静态的白盒测试或动态的黑盒测试 灰盒就是界于黑白之间 对软件内部有所 了解 但不见得到了如指掌的程度 却可以结合这些了解做些比黑盒多点的测试 3 5 健壮性测试 容错能力健壮性测试 容错能力 恢复能力测试 恢复能力测试 侧重于程序容错能力的测试 本测试在单元测试阶段和系统测试阶段都要进行 如数据 边界测试 非法数据测试 异常中断测试等等 主要是验证程序对各种异常情况是否进行正 确处理 3 6 接口测试接口测试 程序员对各个模块进行系统联调的测试 包含程序内接口和程序外接口测试 这个测试 在单元测试阶段进行了一部分工作 而大部分都是在集成测试阶段完成的 建议由开发人员 进行 3 7 强度测试强度测试 强度测试检查程序对异常情况的抵抗能力 强度测试总是迫使系统在异常的资源配置下 运行 例如 当中断的正常频率为每秒一至两个时 运行每秒产生十个中断的测试用例 定量地增长数据输入率 检查输入子功能的反映能力 运行需要最大存储空间 或其他 资源 的测试用例 运行可能导致虚存操作系统崩溃或磁盘数据剧烈抖动的测试用例 等 等 3 8 压力测试压力测试 对系统不断施加压力的测试 是通过确定一个系统的瓶颈或者不能接收的性能点 来获 得系统能提供的最大服务级别的测试 例如测试一个Web 站点在大量的负荷下 何时系统的 响应会退化或失败 3 9 性能测试性能测试 在交替进行负荷和强迫测试时常用的术语 性能测试关注的是系统的整体 它和通常所 说的强度 压力 负载测试有密切关系 所以压力和强度测试应该于性能测试一同进行 国库信息处理系统 测试计划 中国金融电子化公司 2005第 8 页 共 45 页 3 10 安全测试安全测试 主要是测试系统在没有授权的内部或者外部用户对系统进行攻击或者恶意破坏时如何进 行处理 是否仍能保证数据的安全 测试人员可以学习一些黑客技术 来对系统进行攻击 3 11 可靠性测试可靠性测试 这里是比较狭义的可靠性测试 它主要是对系统能否稳定运行进行一个统计 在实际工 作中如果没有条件可以不必特意去做 重点做好与之紧密相关的功能测试 健壮性测试就可 以了 3 12 安装安装 反安装测试反安装测试 安装测试主要检验软件是否可以正确安装 安装文件的各项设置是否有效 安装后能否 影响原系统 反安装是逆过程 测试是否删除干净 是否会影响原系统等 3 13 文档测试文档测试 主要测试开发过程中针对用户的文档 以需求 用户手册 安装手册等为主 检验文档 是否和实际应用存在差别 文档测试主要检查文档的正确性 完备性和可理解性 正确性是指不要把软件的功能和 操作写错 也不允许文档内容前后矛盾 完备性是指文档不可以 虎头蛇尾 更不许漏掉关键内容 文档测试不需要编写测试用例 国库信息处理系统 测试计划 中国金融电子化公司 2005第 9 页 共 45 页 4 测试工作流程测试工作流程 4 1 测试管理总流程测试管理总流程 制定测试计划 设计测试用例 执行测试用例 缺陷管理与改错 审批审批审批审批审批审批 迭代迭代迭代 4 2 制定测试计划工作流程制定测试计划工作流程 确定阶段的测试范围和任务 确定测试方法和方式 确定测试环境与辅助工具 确定测试完成准则 确定测试人员与任务表 确定测试相关规范和约定 输入需求规格说明书 输入项目计划书 测试计划测试计划测试计划测试计划 国库信息处理系统 测试计划 中国金融电子化公司 2005第 10 页 共 45 页 4 3 设计测试用例工作流程设计测试用例工作流程 需求分析阶段结束后系统测试对应的用例 概要设计阶段结束后 详细设计阶段 依据需求文档生成 集成测试对应的用例 单元测试对应的用例 依据概要设计 体系设计文档 依据详细设计文档生成 4 4 执行测试工作流程执行测试工作流程 4 4 1 测试工作总体流程测试工作总体流程 设计阶段 编码及单元 白盒测试阶 单元黑盒测试阶段 段 集成测试阶段 系统测试阶段 验收测试阶段 结项总结阶段 国库信息处理系统 测试计划 中国金融电子化公司 2005第 11 页 共 45 页 说明 集成测试和系统测试的反馈意见可能导致设计文档 需求或数据库 的修改 4 4 2 单元测试工作流程单元测试工作流程 详细设计 编码及白盒测试测试用例 编码审核测试用例审核 单元测试 单元总结测试报告 提交 Bug 报告 循环 达到测试要求 进入集成测试 国库信息处理系统 测试计划 中国金融电子化公司 2005第 12 页 共 45 页 4 4 3 集成测试工作流程集成测试工作流程 单元测试审核 集成测试 测试用例接上一阶段 测试用例审核提交 Bug 报告 达到集成测试要求 集成测试总结报告 进入系统测试 国库信息处理系统 测试计划 中国金融电子化公司 2005第 13 页 共 45 页 4 4 4 系统测试工作流程系统测试工作流程 业务测试用例 业务测试用例审核 接上一阶段 确认测试审核提交 Bug 报告 业务测试 达到业务测试要求 提交业务测试报告 进入压力测试 接上一阶段 业务测试审核模拟多用户准备数据库 压力测试 压力测试报告审核 进入性能测试 返回开发修改 说明 压力测试为模拟用户正常使用时 系统正常工作的最小时间 国库信息处理系统 测试计划 中国金融电子化公司 2005第 14 页 共 45 页 接上一阶段 压力测试审核模拟用户数量增加数据量 性能测试 系统崩溃 提交测试报告 进入安装测试 审核 返回开发修改 说明 测试系统的崩溃极限 最多使用人数和数据库的极限容量 接上一阶段 系统测试审核 安装测试 提交测试报告审核 返回开发修改 进入验收测试 国库信息处理系统 测试计划 中国金融电子化公司 2005第 15 页 共 45 页 4 4 5 验收测试工作流程验收测试工作流程 接上一阶段 安装测试审核 业务测试用例 准备测试人员业务测试用例审核 审核 验收测试 提交测试报告 审核 进入结项总结阶段 返回开发修改 说明 验收测试的人员应包含非本系统的人员 国库信息处理系统 测试计划 中国金融电子化公司 2005第 16 页 共 45 页 4 5 缺陷管理与改错流程缺陷管理与改错流程 测试员发现一个 bug 当前状态置为 NEW 由项目经理或测试组长 确认是否为 bug 将 bug 状态置为 OPEN REOPEN 开发人员修复 bug 将状 态置为 FIXED 将 bug 状态置为 CLOSE 否是 测试员回归测试 测试人员或项目经理再次再次确 认是否为 bug 是否 5 测试参考文档和测试提交文档测试参考文档和测试提交文档 5 1 测试参考文档测试参考文档 下表列出了制定测试计划时所使用的文档 并标明了各文档的可用性 文档 版本 日期 已创建或可用已被接收或已经过复审作者或来源备注 软件需求规格说明书是 否 是 否 软件概要设计是 否 是 否 国库信息处理系统 测试计划 中国金融电子化公司 2005第 17 页 共 45 页 软件详细设计是 否 是 否 模块开发手册是 否 是 否 测试计划及方案是 否 是 否 测试报告是 否 是 否 用户操作手册是 否 是 否 安装指南是 否 是 否 5 2 测试提交文档测试提交文档 文档 版本 日期 已创建或可用 已被接收或已 经过复审 作者或来源备 注 测试计划及方案是 否 是 否 测试用例是 否 是 否 可考虑通过 td 产生 测试报告是 否 是 否 可考虑通过 td 产生 6 测试资源测试资源 6 1 人力资源人力资源 6 1 1 人员 角色及职责人员 角色及职责 人员角色职责 任务备注 唐彬项目经理 靖雪峰测试小组长 测试设计员 韩宏测试设计员 测试员 李桂芹测试设计员 测试员 开发人员 6 1 2 人员培训计划人员培训计划 培训项参与人员授课人员计划培训 时间 国库信息处理系统 测试计划 中国金融电子化公司 2005第 18 页 共 45 页 编程技术 工具软件 网络 硬件环境 MQ MB 培训第三方 产品DB2 数据库培训 6 2 测试环境测试环境 下表列出了测试的系统环境 软件环境 相关软件 操作系统等 开发软件 运行支撑软件 系统软件 硬件环境 网络 设备等 客户端 服务端请参照服务端列表 网络 备注 具体参照需求规格说明书需求约定 概要设计说明书设计约定 6 2 1 软件环境软件环境 类别名称版本 生产厂商 自产 用途 备注 负责提 供并安排支持 人员 JBuilder2005Borland接口模拟器开 发 尹德明 WSAD5 1 2IBM后台应用开发赵新鹏 MB 消息流开发尹德明 MQ 尹德明 开发工具 PowerDesigner数据库设计时朋泉 国库信息处理系统 测试计划 中国金融电子化公司 2005第 19 页 共 45 页 JDK1 3 1IBMMQ 的运行环 境 尹德明 WAS5 1IBM应用服务器赵新鹏 Db28 2IBM数据库服务器时朋泉 MQ530 8 CSD08 IBM消息中间件尹德明 运行 支撑 平台 WBI MB5 0 4IBM信息总线尹德明 操作系统 6 2 2 服务端列表服务端列表 用途机器名 IP 用户 密码机器型号机器配制操作系统备注 数据库服务器Hxlw win 1 10 1 5 94 db2admin db2admin PC Server DELL 1425 2 2 8GHz 2GB 280GB Win2000Srv sp4 MB MQ 服务 器 Hxlw win 2 10 1 5 91 db2admin db2admin PC Server DELL 1425 2 2 8GHz 2GB 280GB Win2000Srv sp4 WAS WSAD 服务器 Hxlw was 10 1 5 93 administratorPC Server DELL 1425 2 2 8GHz 4GB 280GB Win2000Srv sp4 TD 服务器Ccsever 10 1 5 92 Administrator DELL 14252 2 8GHz 4GB 280GB Win2000Srv sp4 物理位置机器名机器型号 切换 器编 号 服务器配置用户名 密码操作系统用途IP 地址 自上而下第 5 台Hxlw win 1DELL 142522CPU 4GAdministrator 无密码 Win2000 Srv Ser pack4 DB210 1 5 94 自上而下第 6 台Hxlw win 2DELL 142532CPU 4GAdministrator 无密码 Win2000 Srv Ser pack4 MB MQ10 1 5 91 自上而下第 10 台 Hxlw linux 2DELL 142542CPU 4GRoot 123456Redhat AS3 0Linux未连接 自上而下第 11 台 Hxlw wasDELL 142552CPU 4GAdministrator 无密码 Win2000 Srv Ser pack4 WAS WSAD 10 1 5 93 自上而下第 12 台 ccseverDELL 142562CPU 4GAdministrator 无密码 Win2000Srv Ser pack4 Clear Case 10 1 5 92 国库信息处理系统 测试计划 中国金融电子化公司 2005第 20 页 共 45 页 6 3 测试工具测试工具 用途工具生产厂商 自产版本备注 测试管理TestDirectorMercury InterActive7 6具体使用约定请参照 测 试工具使用约定及软件开 发与测试配合工作规范 压力测试LoadRunnerMercury InterActive7 8 功能测试WinRunnerMercury InterActive7 6 XML 工具Xml Spy 2005解析 验证 XML 通过 XSD 生成 XML 文件 DB2 数据库工具DBTool自产1 0对 TIPS 数据库进行操作 日志文件监控工具LogFileMonitor自产1 0 MQ 队列监控工具Monitor自产1 0通过 MQ 的 BROWSE 或 GET 方式监控系统信息 7 测试方法和方式测试方法和方式 测试方式主要以手工测试为主 在条件允许的情况下使用自动化测试工具进行测试 测试方法 测试 覆盖率 执行人员描述 黑盒测试100 测试人员功能测试或数据驱动测试 灰盒测试10 20 测试或开发 人员 静态的白盒测试或动态的黑盒测试 白盒测试5 开发人员结构测试或逻辑驱动测试 说明 黑盒测试是依据用户能看到的规格说明 即针对命令 信息 报表等用户界面及体现 他们的输入数据与输出数据之间的对应关系 特别是针对功能进行测试 主要由测试小组人员完成执行黑盒测试 黑盒测试覆盖范围 国库信息处理系统 测试计划 中国金融电子化公司 2005第 21 页 共 45 页 黑盒测试 测试用例覆盖 输出覆盖 输入覆盖 测试用例覆盖 测试用例的没一个用例都被测试过 输入覆盖 测试过程中所输入的数据或资料必须一再的试验 如在程序安装过程中输入 用户名时 测试者必须反复输入不同长度的中文 英文或数字等来做测试 输出覆盖 测试过程中程序所产生的行为 反映及数据必须都一再地试验 如不同情况 的对话窗口的内容 运算结果数据等都必须反复地测试审核 8 通过测试的标准通过测试的标准 一般有 基于测试用例 和 基于缺陷密度 两种评比准则 在这里我们采用前者 准则如下 1 功能性测试用例通过率达到 100 2 非功能性测试用例通过率达到 95 3 沒有高于优先级 3 以上的问题 备选通过办法 根据实际情况由软件开发部门的经理 项目经理和测试负责人等共同讨论确定共同讨论确定本阶段是 否结束 9 测试中断与开始的标准测试中断与开始的标准 当优先级 1 的问题超过总体问题的 1 3 时 当优先级 2 的问题超过总体问题的 1 2 时 当优先级 3 的问题超过总体问题的 3 4 时 测试重新开始时的回归测试项目 国库信息处理系统 测试计划 中国金融电子化公司 2005第 22 页 共 45 页 10 测试策略测试策略 10 1 数据和数据库完整性测试数据和数据库完整性测试 测试目标 确保数据库访问方法和进程正常运行 数据不会遭到损坏 测试范围 技术 调用各个数据库访问方法和进程 并在其中填充有效的和无效的数据 或对数据的请求 检查数据库 确保数据已按预期的方式填充 并且所有的数据库事件已 正常发生 或者检查所返回的数据 确保正当的理由检索到了正确的数据 开始标准 完成标准 所有的数据库访问方法和进程都按照设计的方式运行 数据没有遭到损 坏 测试重点和优先级 需考虑的特殊事项 测试可能需要 DBMS 开发环境或驱动程序在数据库中直接输入或修改数 据 进程应该以手工方式调用 应使用小型或最小的数据库 记录的数量有限 来使所有无法接受的事 件具有更大的可视度 10 2 接口测试接口测试 测试目标确保接口调用的正确性 测试范围 所有软件 硬件接口 记录输入输出数据 技术 开始标准 完成标准 测试重点和优先级 需考虑的特殊事项 接口的限制条件 国库信息处理系统 测试计划 中国金融电子化公司 2005第 23 页 共 45 页 10 3 集成测试集成测试 测试目标检测需求中业务流程 数据流的正确性 测试范围 需求中明确的业务流程 或组合不同功能模块而形成一个大的功能 技术 利用有效的和无效的数据来执行各个用例 用例流或功能 以核实以 下内容 在使用有效数据时得到预期的结果 在使用无效数据时显示相应的错误消息或警告消息 各业务规则都得到了正确的应用 开始标准 在完成某个集成测试时必须达到标准 各模块接口都已完成编码 完成标准 所计划的测试已全部执行 所发现的缺陷已全部解决 测试重点和优先级 测试重点指在测试过程中需着重测试的地方 优先级可以根据需求及 严重来定 需考虑的特殊事项 确定或说明那些将对功能测试的实施和执行造成影响的事项或因素 内部的或外部的 国库信息处理系统 测试计划 中国金融电子化公司 2005第 24 页 共 45 页 10 4 功能测试功能测试 测试目标 确保测试的功能正常 其中包括 数据输入 报文发送 转发 接收 处理和检索等功能 测试范围 联网交换子系统 包括所有联网交易功能 信息整理子系统 包括所有 应用功能 运行管理子系统 包括所有管理功能 国库信息处理系统的运行 流程 其中包括日间 日切窗口 对帐 其中包括与高业银行的对帐 与 TBS 的 对帐 与税局的对帐 技术 利用有效的和无效的数据来执行各个用例 用例流或功能 以核实以 下内容 在使用有效数据时得到预期的结果 在使用无效数据时显示相应的错误消息或警告消息 各业务规则都得到了正确的应用 开始标准 各功能项都已完成开发 完成标准 具体参照本文通过测试的标准 测试重点和优先级 需考虑的特殊事项 1 功能是否符合需求 2 功能是否完整 3 功能是否有作用 4 功能是否无错误 国库信息处理系统 测试计划 中国金融电子化公司 2005第 25 页 共 45 页 10 5 用户界面测试用户界面测试 测试目标 核实以下内容 通过测试进行的浏览可正确反映业务的功能和需求 这种浏览包括窗 口与窗口之间 字段与字段之间的浏览 以及各种访问方法 Tab 键 鼠 标移动 和快捷键 的使用 窗口的对象和特征 例如 菜单 大小 位置 状态和中心 都符合 标准 测试范围 技术 为每个窗口创建或修改测试 以核实各个应用程序窗口和对象都可正 确地进行浏览 并处于正常的对象状态 开始标准 完成标准 成功地核实出各个窗口都与基准版本保持一致 或符合可接受标准 测试重点和优先级 需考虑的特殊事项 并不是所有定制或第三方对象的特征都可访问 10 6 性能评测性能评测 测试目标 核实所指定的事务或业务功能在以下情况下的性能行为 国库信息处理系统 测试计划 中国金融电子化公司 2005第 26 页 共 45 页 正常的预期工作量 预期的最繁重工作量 测试范围 技术 使用为功能或业务周期测试制定的测试过程 通过修改数据文件来增加事务数量 或通过修改脚本来增加每项事务 的迭代数量 脚本应该在一台计算机上运行 最好是以单个用户 单个事务为基准 并在多个客户机 虚拟的或实际的客户机 请参见下面的 需要考虑的特 殊事项 上重复 开始标准 完成标准 单个事务或单个用户 在每个事务所预期时间范围内成功地完成测试 脚本 没有发生任何故障 多个事务或多个用户 在可接受的时间范围内成功地完成测试脚本 没有发生任何故障 测试重点和优先级 需考虑的特殊事项 综合的性能测试还包括在服务器上添加后台工作量 可采用多种方法来执行此操作 其中包括 直接将 事务强行分配到 服务器上 这通常以 结构化语言 SQL 调用的形式来实现 通过创建 虚拟的 用户负载来模拟许多个 通常为数百个 客户机 此负载可通过 远程终端仿真 Remote Terminal Emulation 工具来实现 此技术还可用于在网络中加载 流量 使用多台实际客户机 每台客户机都运行测试脚本 在系统上添加负 载 性能测试应该在专用的计算机上或在专用的机时内执行 以便实现完 全的控制和精确的评测 性能测试所用的数据库应该是实际大小或相同缩放比例的数据库 10 7 负载测试负载测试 测试目标 核实所指定的事务或商业理由在不同的工作量条件下的性能行为时间 国库信息处理系统 测试计划 中国金融电子化公司 2005第 27 页 共 45 页 测试范围 技术 使用为功能或业务周期测试制定的测试 通过修改数据文件来增加事务数量 或通过修改脚本来增加每项事务 发生的次数 开始标准 完成标准 多个事务或多个用户 在可接受的时间范围内成功地完成测试 没有 发生任何故障 测试重点和优先级 需考虑的特殊事项 负载测试应该在专用的计算机上或在专用的机时内执行 以便实现完 全的控制和精确的评测 负载测试所用的数据库应该是实际大小或相同缩放比例的数据库 10 8 强度测试强度测试 测试目标 核实测试对象能够在以下强度条件下正常运行 不会出现任何错误 服务器上几乎没有或根本没有可用的内存 RAM 和 DASD 连接或模拟了最大实际 实际允许 数量的客户机 多个用户对相同的数据或帐户执行相同的事务 最繁重的事务量或最差的事务组合 请参见上面的 性能测试 注 强度测试的目标可表述为确定和记录那些使系统无法继续正常运 国库信息处理系统 测试计划 中国金融电子化公司 2005第 28 页 共 45 页 行的情况或条件 客户机的强度测试在 配置测试 的第 3 1 11 节中进行了说明 测试范围 技术 使用为性能评测或负载测试制定的测试 要对有限的资源进行测试 就应该在一台计算机上运行测试 而且应 该减少或限制服务器上的 RAM 和 DASD 对于其他强度测试 应该使用多台客户机来运行相同的测试或互补的 测试 以产生最繁重的事务量或最差的事务组合 开始标准 完成标准 所计划的测试已全部执行 并且在达到或超出指定的系统限制时没有 出现任何软件故障 或者导致系统出现故障条件的并不在指定的条件范围 之内 测试重点和优先级 需考虑的特殊事项 如果要增加网络工作强度 可能会需要使用网络工具来给网络加载消 息或信息包 应该暂时减少用于系统的 DASD 以限制数据库可用空间的增长 使多个客户机对相同的记录或数据帐户同时进行的访问达到同步 10 9 容量测试容量测试 测试目标 核实测试对象在以下高容量条件下能否正常运行 连接或模拟了最大 实际或实际允许 数量的客户机 所有客户机在 长时间内执行相同的 且情况 性能 最坏的业务功能 已达到最大的数据库大小 实际的或按比例缩放的 而且同时执行多 个查询或报表事务 测试范围 技术 使用为性能评测或负载测试制定的测试 应该使用多台客户机来运行相同的测试或互补的测试 以便在长时间 内产生最繁重的事务量或最差的事务组合 请参见上面的 强度测试 创建最大的数据库大小 实际的 按比例缩放的 或填充了代表性数 国库信息处理系统 测试计划 中国金融电子化公司 2005第 29 页 共 45 页 据的数据库 并使用多台客户机在长时间内同时运行查询和报表事务 开始标准 完成标准 所计划的测试已全部执行 而且达到或超出指定的系统限制时没有出 现任何软件故障 测试重点和优先级 需考虑的特殊事项 对于上述的高容量条件 哪个时间段是可以接受的时间 10 10 安全性和访问控制测试安全性和访问控制测试 安全性和访问控制测试侧重于安全性的两个关键方面 应用程序级别的安全性 包括对数据或业务功能的访问 系统级别的安全性 包括对系统的登录或远程访问 测试目标应用程序级别的安全性 核实 Actor 只能访问其所属用户类型已被授 权访问的那些功能或数据 系统级别的安全性 核实只有具备系统和应用程序访问权限的 Actor 才能访问系统和应用程序 测试范围 技术 应用程序级别的安全性 确定并列出各用户类型及其被授权访问的功 能或数据 为各用户类型创建测试 并通过创建各用户类型所特有的事务来核实 国库信息处理系统 测试计划 中国金融电子化公司 2005第 30 页 共 45 页 其权限 修改用户类型并为相同的用户重新运行测试 对于每种用户类型 确 保正确地提供或拒绝了这些附加的功能或数据 系统级别的访问 请参见以下的 需考虑的特殊事项 开始标准 完成标准 各种已知的 Actor 类型都可访问相应的功能或数据 而且所有事务都 按照预期的方式运行 并在先前的应用程序功能测试中运行了所有的事务 测试重点和优先级 需考虑的特殊事项 必须与相应的网络或系统管理员一直对系统访问权进行检查和讨论 由于此测试可能是网络管理可系统管理的职能 可能会不需要执行此测试 10 11 故障转移和恢复测试故障转移和恢复测试 测试目标 确保恢复进程 手工或自动 将数据库 应用程序和系统正确地恢复到预期的已知状态 测试中将包括以下各种情况 客户机断电 服务器断电 通过网络服务器产生的通信中断 DASD 和 或 DASD 控制器被中断 断电或与 DASD 和 或 DASD 控制器的通信中断 周期未完成 数据过滤进程被中断 数据同步进程被中断 数据库指针或关键字无效 数据库中的数据元素无效或遭到破坏 测试范围 技术 应该使用为功能和业务周期测试创建的测试来创建一系列的事务 一旦达到预期的测试起点 就应该分别执行 或模拟以下操作 客户机断电 关闭 PC 机的电源 国库信息处理系统 测试计划 中国金融电子化公司 2005第 31 页 共 45 页 服务器断电 模拟或启动服务器的断电过程 通过网络服务器产生的中断 模拟或启动网络的通信中断 实际断开通信线路的连接或关闭网络服务器或 路由器的电源 DASD 和 DASD 控制器被中断 断电或与 DASD 和 DASD 控制器的通信中断 模拟与一个或多个 DASD 控制器 或设备的通信 或实际取消这种通信 一旦实现了上述情况 或模拟情况 就应该执行其他事务 而且一旦达到第二个测试点状态 就应调用 恢复过程 在测试不完整的周期时 所使用的技术与上述技术相同 只不过应异常终止或提前终止数据库进程本身 对以下情况的测试需要达到一个已知的数据库状态 当破坏若干个数据库字段 指针和关键字时 应该以手 工方式在数据库中 通过数据库工具 直接进行 其他事务应该通过使用 应用程序功能测试 和 业务周 期测试 中的测试来执行 并且应执行完整的周期 开始标准 完成标准 在所有上述情况中 应用程序 数据库和系统应该在恢复过程完成时立即返回到一个已知的预期状态 此状态 包括仅限于已知损坏的字段 指针或关键字范围内的数据损坏 以及表明进程或事务因中断面未被完成的报表 测试重点和优 先级 需考虑的特殊 事项 恢复测试会给其他操作带来许多的麻烦 断开缆线连接的方法 模拟断电或通信中断 可能并不可取或 不可行 所以 可能会需要采用其他方法 例如诊断性软件工具 需要系统 或计算机操作 数据库和网络组中的资源 这些测试应该在工作时间之外或在一台独立的计算机上运行 国库信息处理系统 测试计划 中国金融电子化公司 2005第 32 页 共 45 页 10 12 配置测试配置测试 测试目标 核实测试可在所需的硬件和软件配置中正常运行 测试范围 技术 使用功能测试脚本 在测试过程中或在测试开始之前 打开各种与非测试对象相关的软件 例如 Microsoft 应用程序 Excel 和 Word 然后将其关闭 执行所选的事务 以模拟 Actor 与测试对象软件和非测试对象软件之间的交 互 重复上述步骤 尽量减少客户机工作站上的常规可用内存 开始标准 完成标准 对于测试对象软件和非测试对象软件的各种组合 所有事务都成功完成 没有出现 任何故障 测试重点和优先级 需考虑的特殊事项 需要 可以使用并可以通过桌面访问哪种非测试对象软件 通常使用的是哪些应用程序 应用程序正在运行什么数据 例如 在 Excel 中打开的大型电子表 国库信息处理系统 测试计划 中国金融电子化公司 2005第 33 页 共 45 页 格 或是在 Word 中打开的 100 页文档 作为此测试的一部分 应将整修系统 Netware 网络服务器 数据 库等都记录下来 10 13 安装安装 反安装测试反安装测试 测试目标核实在以下情况下 测试对象可正确地安装到各种所需的硬件配置中 首次安装 以前从未安装过 项目名称 的新计算机 更新 以前安装过相同版本的 项目名称 的计算机 更新 以前安装过 Project Name 的较早版本的计算机 安装后立即正常运行 测试范围 技术 手工开发脚本或开发自动脚本 以验证目标计算机的状况 首次安装 项目名称 从未安装过 项目名称 安装过相同或较早的版本 启动或执行安装 使用预先确定的功能测试脚本子集来运行事务 开始标准 国库信息处理系统可以正常运行 配置和设备齐备 完成标准 国库信息处理系统 成功执行 没有出现任何故障 测试重点和优先级 需考虑的特殊事项 应该选择 项目名称 的哪些事务才能准确地测试出 项目名称 应用程序已经成 国库信息处理系统 测试计划 中国金融电子化公司 2005第 34 页 共 45 页 功安装 而且没有遗漏主要的软件构件 10 14 文档测试文档测试 测试目标 主要检查文档的正确性 完备性和可理解性 测试范围 主要测试开发过程中针对用户的文档 以需求 用户手册 安装手册等为主 技术 浏览 开始标准 相关文档评审完成 完成标准 没有明显的遗漏 不一致 和描述的不准确 测试重点和优先级 文档内容前后矛盾 描述项遗漏 需考虑的特殊事项 11 测试范围与测试任务测试范围与测试任务 根据业务需求和用例 来确定测试项 并确定采用什么测试 并考虑优先级 软件测试是保证软件产品质量的重要手段 没有测试的开发是不完整的软件开发过程 在项目测试过程中 测试组在项目不同阶段都定义了相应的任务 包括前期计划 用例设计 到执行测试 充分保证了项目测试的完整性和充分性 国库信息处理系统项目的测试包括单 元测试 集成测试和系统测试三个主要部分 测试活动从 2005 8 月开始执行 直至项目生命 周期结束 整个测试过程严格遵守测试流程规定 为保证软件质量实施关键活动 测试过程 以项目内部测试为主 尽可能多地发现系统缺陷 并尽最大可能保证系统的稳定性 兼容性 可重复性以和强壮性 11 1 测试范围测试范围 11 1 1 测试对象测试对象 程序 相关文件 需求文档 安装手册 使用手冊 11 1 2 需要测试的产品功能需要测试的产品功能 产品使用功能 产品安裝 国库信息处理系统 测试计划 中国金融电子化公司 2005第 35 页 共 45 页 产品卸载 产品资料库 11 1 3 不需要测试的产品功能不需要测试的产品功能 第三方成熟产品功能 被删除的功能 被外包的功能 11 1 4 测试覆盖测试覆盖 功能 用例 覆盖 输入域覆盖 输出域覆盖 11 2 测试任务测试任务 本次测试主要包括单元测试 集成测试 系统测试 单元测试由开发人员互检为主 测 试人员提供相应的工具 以及测试知识的相关培训 集成测试和系统测试由开发人员同测试 人员联合完成 由测试人员编写测试计划 测试方案 测试用例以及测试报告 测试实施过 程需要开发人员的参与 制定测试计划制定测试计划 测试设计员 制定测试计划的目的是收集和组织测试计划信息 并且创 建测试计划 1 确定测试需求 根据需求工件集收集和组织测试需求信息 确定测试需求 2 制定测试策略 针对测试需求定义测试类型 测试方法以及需要的测试工具等 3 建立测试通过准则 根据项目实际情况为每一个层次的测试建立通过准则 4 确定资源和进度 确定测试需要的软硬件资源 人力资源以及测试进度 5 评审测试计划 根据同行评审规范对测试计划进行同行评审 设计测试设计测试 测试设计员 设计测试的目的是为每一个测试需求确定测试用例集 并且确 定执行测试用例的测试过程 1 设计测试用例 对每一个测试需求 确定其要的测试用例 对每一个测试用例 确定其输入及预期结果 确定测试用例的测试环境配 置 需要的驱动界面或稳定桩 编写测试用例文档 2 开发测试过程 根据界面原型为每一个测试用例定义详细的测试步骤 为每一 测试步骤定义详细的测 试结果验证方法 为测试用例准备输入数据 编写测试过程文档 在实施测试时 对测试过程进行更改 国库信息处理系统 测试计划 中国金融电子化公司 2005第 36 页 共 45 页 3 设计驱动程序或稳定桩 设计单元测试和集成测试需要的驱动程序和稳定桩 实施测试实施测试 开发人员和测试人员 实施测试的目的是创建可重用的测试脚本 并且实施 测试驱动程序和稳定桩 编写驱动程序和稳定桩 根据设计编写测试需要的测试驱动程序和 稳定桩 实施单元测试实施单元测试 开发人员 执行单元测试的目的是验证单元的内部结构以及单元实现的 功能 1 执行单元测试 按照测试过程手工执行单元测试或运行测试脚本自动执行单元 测试 2 记录单元测试结果 将单元测试结果作详细记录 并将测试结果提交给相关组 3 回归测试 对修改后的单元执行回归测试 实施集成测试实施集成测试 开发人员或测试员 执行集成测试的目的是验证单元之间的接口以及集 成工作版本的功能 性能等 1 执行集成测试 按照测试过程手工执行集成测试或运行测试脚本自动执行集成 测试 2 记录集成测试结果 将集成测试结果作详细记录 并将测试结果提交给相关组 3 回归测试 对修改后的工作版本执行回归测试 或者对增量集成后的版本执行 回归测试 实施系统测试实施系统测试 测试人员 执行系统测试的目的是确认软件系统工作版本满足需求 1 执行系统测试 按照测试过程手工执行系统测试或运行测试脚本自动执行系统 测试 2 记录系统测试结果 将系统测试结果作详细记录 并将测试结果提交给相关组 3 回归测试 对修改后的软件系统版本执行回归测试 11 3 测试清单测试清单 分阶段对应不同测试设计项和测试执行项 在需求阶段主要侧重设计功能测试用例 建 议按业务流程和系统功能分类 在设计阶段侧重设计界面测试用例 而在编码 或集成阶 段侧重执行单元测试和集成测试 建议按系统结构分类 可根据需要同步进行测试用例设计 而文档测试的执行 需求 设计 手册等 贯穿各 个阶段 可以不用写测试用例 测试阶段信息项 测试设计项测试策略优先级执行测试条件 实时扣税交易高系统编码完成 实时冲正交易高 与商业银行对账高 需求阶段 定时批量扣税交易 功能测试 中 国库信息处理系统 测试计划 中国金融电子化公司 2005第 37 页 共 45 页 定时批量撤销交易中 与税务机关对账中 查询交易状态中 自缴核销交易中 银行端缴款交易中 连接测试中 退库交易低 更正交易低 免抵调交易低 与 TBS 核对低 自缴核销 退库 更正 免抵调撤销低 磁盘提入应缴信息低 磁盘提出应缴信息低 磁盘提入扣款结果低 磁盘提出扣款结果低 磁盘提入退库信息低 磁盘提入更正信息低 磁盘提入免抵调信息低 下载税票信息高 录入划拨资金高 手工销号税票中 上传入库明细中 上传预算收入报表中 上传财政库存报表中 手工录入税票低 手工录入退库低 手工复核退库低 手工录入更正 手工复核更正 手工销号退库 手工销号更正 手工销号更正 下载退库信息 下载更正信息 导出本级 TIPS 数据 导入上级 TIPS 数据 导入纳税人变更资料 国库信息处理系统 测试计划 中国金融电子化公司 2005第 38 页 共 45 页 系统日切高 关键业务管理中 角色管理中 用户管理中 日志管理中 异常管理中 测试执行项测试策略优先级执行测试条件 需求文档测试文档测试 测试设计项测试策略优先级执行测试条件 界面操作界面测试 关注的性能问题性能测试 测试执行项测试策略优先级执行测试条件 界面设计文档测试文档测试 设计阶段 其他设计文档测试文档测试 测试设计项测试策略优先级执行测试条件 可以不设计或部分设计测试用例 单元 集 成测试 测试执行项测试策略优先级执行测试条件 模拟器 TIES 接口 缴款书录入 收入退还书录入 TISS 系统初始化 公共数据管理 系统运行参数管理 编码 集成 阶段 TIMS 系统监控 测试设计项测试策略优先级执行测试条件 安装 反安装测试安装测试 测试执行项测试策略优先级执行测试条件 系统实现 完成阶段 需求阶段的测试设计项 设计阶段的测试设计项 安装 反安装测试设计项 功能测试 性能测试 界面测试 按测试设计项 优先级执行 国库信息处理系统 测试计划 中国金融电子化公司 2005第 39 页 共 45 页 文档安装 反安 装测试 文档测试 12 测试进度测试进度 测试活动计划开始日期实际开始日期结束日期 制定测试计划 设计测试用例 集成测试 系统测试 性能测试 安装测试 用户验收测试 对测试进行评估 产品发布 13 测试用例编写方案及相关约定测试用例编写方案及相关约定 13 1 编写原则编写原则 1 基本的原则就是 一点多例 就是针对一个测试点或者功能点 编写多个测试用 例 从多个方面进行测试 各个部分的用例编写的都贯穿着这一基本思想 2 单元测试由开发人员执行 可以自身决定是否编写单元测试用例 3 对于每个用例事件流 测试需求的详细列表至少会包括一个测试需求 对于需求规格 说明书中的功能描述 将至少派生一个测试需求 4 测试项描述测试项描述 简要说明测试用例所要涉及的项和特性 对于每一项 可考虑引用以下文 件 需求说明书 设计说明书 用户手册 操作手册 5 输入说明描述输入说明描述 规定执行测试用例所需的各个输入 有些输入可以用值 允许适当的误 差 来规定 而另一些输入 如常数表或事务文件可以用名来规定 规定所有合适的数据库 文件 终端信息传送的值 6 输出说明描述输出说明描述 规定测试项的所有输出和特性 如 响应时间 提供各个输出或特性的正确值 7 测试用例的设计 始终要考虑测试的执行 同时测试发现的问题和总结的经验也可以 用来完善测试设计 国库信息处理系统 测试计划 中国金融电子化公司 2005第 40 页 共 45 页 13 2 衡量测试用例设计的质量标准衡量测试用例设计的质量标准 1 可测性 测试用例的所有步骤是可测的 测试的步骤是具体可实施后的 按照每个 步骤是可以走通的 2 可验证 测试的每个步骤验证点验证点是具体 可验证的 期望结果不是抽象的