溧阳市数字卫生信息管理系统测试及验收

附件四 验收测试标准及程序附件四 验收测试标准及程序 目目 录录 1 1 系统验收测试 2 1 1 1 测试流程 2 1 1 2 测试种类与范围 3 1 1 3 测试方式 4 1 1 4 测试角度 4 1 1 5 测试方法 4 1 1 6 测试结果评估标准 5 1 1 7 测试文档 7 1 2 系统验收流程 7 1 2 1 总体流程 7 1 2 2 初验 7 1 2 3 试运行 8 1 2 4 终验 8 溧阳市数字卫生信息管理系统测试及验收 2 1 1 系统验收测试系统验收测试 1 1 1 测试流程测试流程 开始 确定测试范围 搭建测试环境 通过评审 编写测试计划及评审 通过检测 设计测试用例 准备测试数据 通过评审 通过检测 测试通过否 制定测试执行计划 执行测试与记录结果 执行回归测试 编写测试总结 进行测试评估 结束 Y Y Y Y Y NN NN N 图表 1 验收测试流程 溧阳市数字卫生信息管理系统测试及验收 3 1 1 2 测试种类与范围测试种类与范围 验收测试主要从功能方面来进行测试 功能测试将依据系统需求中的标准 进行 同时将在一定程度上考虑安装测试 面测试和文档检查 包括以下几个 方面 正确性测试 a 正常功能 检测各模块的正常情况的处理是否能够正确执行 检测系统的正常业务处理 正常流程是否能够正确执行 检测相关联的各个子系统在正常情况下的协调运作情况 b 异常功能 检测模块的异常情况处理是否能够正确执行 检测系统的异常业务处理 容错处理是否能够正确执行 检测相关联的各个子系统在异常情况下是否能够协调运作 c 边界测试 检测当输入为最大 最小 临界值时模块或系统能否正确处理 d 接口测试 检测系统与其他软 硬件系统接口的正确性 e 安全测试 尝试登录 检查口令的有效性 尝试登录次数的有限性 试图进行登录角色以外的操作 检查权限设定的有效性 当一个终端在一个指定的时间段内没有鼠标和键盘输入时 是否有黑屏保 护或自动退出功能 以防非法用户的使用 以普通用户登录服务器来访问数据库的磁盘文件 检查能否直接访问 或 查询这些文件访问权限的设定是否有安全保障 视图的测试 以某一特定用户登录 查询由视图显示的数据 检查是否有 该用户不能看到的数据 错误处理测试 溧阳市数字卫生信息管理系统测试及验收 4 检查对不合法的输入以及错误数据 错误操作是否进行有效性检查和非法 性判断 检查错误提示的描述是否明确 是否容易进行错误定位 安装测试依据系统软件安装手册来进行 评测以下内容 安装步骤的合理性 安装过程的自动化程度 界面测试主要从界面风格一致性及友好性方面来进行 评测以下内容 所有的人机界面均应采用窗口或菜单方式 不允许使用命令行方式 界面风格的一致性 界面友好性 性能测试 检查软件在正常使用时的各项性能 包括各功能模块的响应时间 数据检 索速度 软件接口的性能等 负荷分担设备有异常时 单机运行系统的性能情况 压力测试 单台终端使用多个功能模块时系统响应情况 使用终端数达系统设计满负荷时系统响应情况 大量数据同时处理时系统响应速度 后台运行数据进程比如备份时 系统的响应情况 文档检查主要检查需求应答书中要求的各项文档的完备性及与实际系统的 符合性 1 1 3 测试方式测试方式 测试实施时 甲方业务专家参与重要测试文档的评审 甲方技术人员对测 试过程进行监督和跟踪 测试人员根据乙方提交的操作手册运行程序 执行测 试用例 记录执行结果 在测试人员要求的情况下 开发人员可以就软件使用 溧阳市数字卫生信息管理系统测试及验收 5 上的问题进行补充说明 甲方可以根据测试报告 随机重复乙方的测试过程 并且在测试过程中可 以不使用测试报告中的参数 如果测试结果有矛盾以甲方的测试为准 1 1 4 测试角度测试角度 验收测试的对象是应用系统 因此测试工作的角度是从 应用 出发 即 从软件使用者的角度对应用软件做出严谨 科学 客观 公正的评估 所测试 的功能均应通过用户界面与计算机系统进行交互 对于开放的接口测试可以不 通过用户界面进行 1 1 5 测试方法测试方法 采用黑盒方法 由于验收测试从应用的角度出发 所以测试用例设计方法采用黑盒方法 具体采用等价类划分 边界值分析 这里所说的边界 是相对于输入等价类和 输出等价类而言 稍高于其边界值及稍低于其边界值的一些特殊情况 错误推 测等方法 采用等价类划分法 附以边界值分析法与错误推测法 考虑到验收测试的目的 所以对于相对次要 错误处理要求不高的模块 测试用例的设计角度以 有效等价类 输入数据为主 而对于重要 错误处理 要求高的模块 附以用边界值分析方法与错误推测法设计的测试用例 做到既 要全面又要突出重点 预期的检测结果尽可能单一 测试用例设计时 所预期的检测结果尽可能单一 以防止在对测试用例执 行结果进行评估时遇到困难 1 1 6 测试结果评估标准测试结果评估标准 评估原则与策略 评估原则如下 溧阳市数字卫生信息管理系统测试及验收 6 客观化 测试的评估要经过多方会审 综合使用者 测试者以及业务专家的意见 对测试的结果以尽可能客观的评估 量化 尽量把各个测试用例的评估标准量化 如划分用例权值 量化每个用例的 得分 这可以对测试用例的整体执行结果量化 根据测试用例的实际情况 采用不同的评估策略 如果测试用例检测功能点单一 正确与否易于判断 则可只设两个评估级 别 正确 错误 量化评分对应 1 与 0 如果测试用例检测功能点较多 且不易分解 可考虑设多个评估级别 级 别可根据错误的影响 后果的严重程度区分 也可根据完成的功能点多少来区 分 如果分为 3 个级别 量化评分对应 0 0 5 与 1 如果对应 5 个级别 量化 评分可对应 0 0 25 0 5 0 75 与 1 另外需要考虑 尽量避免前后关联的用例 如果一个错误 导致另一个错误 若出现此种 情况时 事先制定评判原则 为了保证评判的客观性及严谨性 测试时 测试人员只记录测试结果的客 观描述 等所有测试完成后 由业务专家和测试人员统一确定评估级别 对于 测试过程中出现的对于业务实现的意见分歧 由业务专家做出决策 功能测试评估 进行综合评估 功能检测得分 SUM 用例得分 权值 不合格标准 达不到合格 或基本合格 标准 安装测试评估 合格标准 安装步骤合理 易于理解 安装过程自动化程度高 基本合格标准 可选 安装步骤较合理 较易于理解 安装过程自动化 程度较高 不合格标准 达不到合格 或基本合格 标准 溧阳市数字卫生信息管理系统测试及验收 7 界面测试评估 合格标准 界面风格完全一致 人机交互界面友好 易操作 容错能力强 基本合格标准 可选 界面风格基本一致 人机交互界面较友好 不合格标准 界面风格混乱 人机交互界面非常难以操作 文档评估 合格标准 文档齐全 文实相符 基本合格标准 有部分文档 文实基本相符 不合格标准 文档严重缺乏 或文实严重不符 整体评估 综合考虑各项的评估结果 制订合格与否的标准 1 1 7 测试文档测试文档 验收测试产生以下测试文档 测试计划 测试用例说明书 测试结果报告 1 2 系统验收流程系统验收流程 1 2 1 总体流程总体流程 在系统功能开发和系统调试完成后 乙方向甲方提交系统初验申请 由甲 方组织召开初验协调会 双方一起制定初验方案 确定验收时间 方法 标准 和步骤 并进行初验测试 在不影响系统性能和运行的情况下 测试的遗留问 题纳入验收备忘录 并约束各责任方限期解决 系统通过初验后 项目组按合同要求向用户安装应用程序并提交用户使用 手册等文档 对用户进行使用培训后进入试运行 溧阳市数字卫生信息管理系统测试及验收 8 在系统试运行期结束 功能稳定无误的前提下 由甲方组织召开系统终验 协调会 双方一起制定终验方案 确定验收时间 方法 标准和步骤 进行终 验测试 形成终验证明书 验收测试 初验 终验的依据为合同及所有附件 合同所采购设备的产品 手册 1 2 2 初验初验 乙方在初验前两周提供初验测试方案供甲方审核 并按甲方要求完成修改 初验由甲方进行操作完成 乙方负责提供指导 初验通过的标准由双方协商制定 初验完成后 由乙方提供测试报告 初验中出现的问题 乙方负责及时解决 若出现重大问题 在乙方完成修 改后重新进行初验 对于不影响系统性能和运行的遗留问题纳入验收备忘录 由各责任方在限期内解决 通过初验后 双方共同签署初验报告 1 2 3 试运行试运行 系统通过初验后 项目组按合同要求向用户安装应用程序并提交用户使用 手册等文档 对用户进行使用培训后进入试运行 必要时可向用户提交 试运 行启动报告 在试运行期间 由测试服务组培训工程师根据项目的要求组织用户培训 在试运行期间 用户提出故障申告后 由开发工程师详细记录下用户提出的问 题及现象 并填写 应用软件试运行记录 的相关部分 由项目负责人分析并 委派相关人员解决用户提出的问题 若用户无申告 项目负责人需定期 一般 为 1 2 周 1 次 与用户联系 对项目的进展情况和试运行情况与用户沟通 并 填写 试运行客户回访单 涉及到用户需求变化 项目负责人应填写 软件需求变更申请表 由事业 部经理或组长对 软件需求变更申请表 进行评审 必要时组织评审小组采用 溧阳市数字卫生信息管理系统测试及验收 9 评审会的方式 评审结束后应作出评审结论 形成 软件需求变更评估报告 并签字确认 审批通过后交用户签字确认 项目负责人应实施相应的设计更改 同时将