软件测试在某企业的实际应用制造企业软件测试质量分析.doc

软件测试在某企业的实际应用软件测试在某企业的实际应用 某制造企业软件测试质量分析某制造企业软件测试质量分析 目录目录 软件测试在某企业的实际应用软件测试在某企业的实际应用 1 某制造企业软件测试质量分析 1 某制造企业软件测试质量分析某制造企业软件测试质量分析 1 1 1 简介简介 2 2 2 测试内容测试内容 3 3 3 测试进度测试进度 4 4 4 功能测试功能测试 6 4 1 BUG 级别及状态定义 6 4 2 BUG 整体情况统计 7 4 3 BUG 修复情况 8 4 4 遗留 BUG 情况说明 9 5 5 性能测试性能测试 10 5 1 场景执行情况 10 5 2 业务平均响应时间 11 5 3 系统资源情况 13 6 6 文档测试文档测试 14 6 1 文档测试基本定义 14 6 2 文档测试结果 15 6 3 文档测试 BUG 分布情况 15 7 7 建议建议 16 8 8 测试结论测试结论 17 第 1 页 共 19 页 某制造企业软件测试质量分析某制造企业软件测试质量分析 摘要摘要 本文从实际的项目视角出发 基于公司 IndiOffice 产品 对一个实际的 系统项目的相关内容进行功能测试 性能测试 安全测试 文档测试 并 对测试出来的内容进行适当的修改建议 其中功能测试方面深入到具体系统的 业务细节如公司发文 公司收文等 对其进行各功能模块的详细测试以及相关 的流程测试 性能测试方面进行了压力测试 容错测试 稳定性测试 并进行 了单一场景和混合场景的多方面测试 安全测试方面 对服务器进行了安全漏 洞扫描 安全静态检查 在文档测试方面 对项目过程中按 进 行了相应测试 确保系统质量 关键词关键词 IndiOffice 办公自动化 公司发文 公司收文 OA 系统 第 2 页 共 19 页 1 1 简介简介 编写背景编写背景 某企业办公自动化系统 以下简称 办公自动化系统 OA 系统 是在局域网上 运行的 用于处理 传输和发布公司公文等信息的管理信息系统 在该系统处于上线试运 行前的验收阶段 慧点科技公司对该系统进行了验收测试工作 测试过程中进行了功能测 试 文档测试 性能测试和安全测试等四类测试 本文对这四类测试进行了概要的总结 测试目的测试目的 1 从最终用户角度 检验某企业 OA 系统是否符合各种功能和技术需求 为用户接收 OA 系统提供决策依据 2 通过验收测试 尽可能发现并协助排除系统中可能存在的缺陷 测试类型测试类型 功能测试 包括流程测试 性能测试 安全测试 文档测试 测试类型定义测试类型定义 1 验收测试 确定系统是否符合其验收准则 是客户确定是否接收此系统的正式测试 2 功能测试 在与真实环境相似的模拟环境上 测试系统是否逐项满足了业务需求 屏幕显示及打 印是否规范 准确 系统使用是否方便 界面是否友好等 测试要确保业务需求书中 的功能均被实现 没有遗漏的情况发生 本次的功能测试中包括典型流程的测试 3 性能测试 以真实的业务为依据 选择有代表性的 关键的业务操作设计测试用例 以评价系统 的当前性能 通过模拟大量用户的重复执行测试 可以确认性能瓶颈并优化和调整应 用 目的在于寻找到瓶颈问题 通过性能测试 可以得到与并发用户数相关联的系统 性能指标数据 4 文档测试 为保证系统的一致性和可维护性 对开发过程产生的所有文档的完整性 规范性 以 及与需求的一致性等方面进行审查 5 安全测试 主要通过多种安全检查工具以及一系列安全标准要求来验证系统或应用软件的安全防 护能力 并及时发现系统中存在的安全隐患 根据发现的安全隐患建议客户采取相应 的措施 某企业办公自动化系统验收测试报告 第 3 页 共 19 页 2 2 测试内容测试内容 测试类型测试类型测试方法测试方法功能点功能点备注备注 功能测试包括个人办公 公文管理 综合办公 模块管理 应用管理等模块办公自动化系统 功能测试 流程测试 公司发文 公司收文 签报等公文和文件流转流程 会议室预定 车辆 办公用品管理 通用审批 等日常事务处理流程 以及信息发布流程等 办公自动化系统 测试类型测试类型测试方法测试方法测试场景测试场景备注备注 单场景 打开 OA 公文OA 系统生产环境 压力测试 容量测试 混合场景 新建会议预定 打开待办文件 新建公文 打开通知公告 检索OA 系统生产环境性能测试 稳定性测试混合场景 新建会议预定 打开待办文件 新建公文 打开通知公告 检索OA 系统生产环境 测试类型测试类型测试方法测试方法测试范围测试范围备注备注 安全漏洞扫描OA 系统服务器 邮件服务器 安全测试 安全静态检查OA 系统服务器 邮件服务器 应用软件 domino 测试类型测试类型文档类型文档类型文档名称文档名称文档规模文档规模 页页 需求规格说明书 某企业办公系统需求说明书 114 安装配置手册Indi Office V5 办公自动化系统实施安装配置手册 73 Indi Office V5 系统管理员手册 57 文档测试 使用手册 Indi Office V5 办公自动化系统公文流转使用手册 93 某企业办公自动化系统验收测试报告 第 4 页 共 19 页 3 3 测试进度测试进度 序号序号任务名称任务名称工期工期开始时间开始时间完成时间完成时间资源资源备注备注 1 1 测试前期准备阶段测试前期准备阶段6 56 5 工作日工作日 1 1 前期调研 确定人员和工作方式5 工作日 1 2 建立工作环境1 5 工作日 配置管理组 2 2 测试需求分析阶段测试需求分析阶段4 54 5 工作日工作日 2 1 项目组接受业务培训 了解用户需 求 收集客户文档 0 5 工作日 开发方 客户 项目组全体 2 2 熟悉业务和系统 细化需求3 工作日 项目组全体 2 3 提交功能点列表1 工作日 功能组 3 3 测试计划制定阶段测试计划制定阶段7 57 5 工作日工作日 3 1 制定项目整体计划1 工作日 3 2 制定功能测试方案1 工作日 功能组 3 3 制定安全和可恢复测试方案1 工作日 非功能组 可恢复测试延 期执行 3 4 性能测试典型业务选择1 工作日 性能组 3 5 制定性能测试方案2 工作日 性能组 3 6 内部评审1 工作日 功能组 性能组 非功能组 3 7 计划评审0 5 工作日 客户 项目组全体 4 4 功能测试阶段功能测试阶段1313 工作日工作日 4 14 1 测试设计阶段测试设计阶段6 6 工作日工作日 功能组功能组 4 1 1 设计功能测试用例6 工作日 功能组 4 1 2 测试用例评审1 工作日 客户 功能组 4 24 2 第一轮功能测试执行阶段第一轮功能测试执行阶段6 56 5 工作日工作日 4 2 1 接收测试阶段0 5 工作日 开发方 项目组全体 4 2 2 执行功能测试5 工作日 功能组 某企业办公自动化系统验收测试报告 第 5 页 共 19 页 4 2 3 第一轮功能测试总结1 工作日 功能组 里程碑里程碑0 0 工作日工作日 4 34 3 功能测试回归阶段功能测试回归阶段6 6 工作日工作日 4 3 1 测试用例维护2 工作日 功能组 4 3 2 执行回归测试1 5 工作日 功能组 4 3 3 执行外网邮件遗留问题测试2 5 工作日 测试工程师 4 44 4 功能测试总结阶段功能测试总结阶段3 3 工作日工作日 4 4 1 总结功能测试报告2 工作日 功能组 文档组 4 4 2 评审功能测试报告0 5 工作日 项目组 4 4 3 外网邮件遗留问题测试后文档补充0 5 工作日 项目组 5 5 文档审查阶段文档审查阶段4 4 工作日工作日 5 1 执行文档审查3 工作日 功能组 5 2 总结 提交文档审查报告1 工作日 功能组 文档组 6 6 性能测试阶段性能测试阶段9 59 5 工作日工作日 6 1 测试环境搭建阶段1 工作日 性能组 6 2 测试准备阶段1 工作日 性能组 6 3 脚本录制和调试1 工作日 性能组 6 4 场景设计1 工作日 性能组 6 5 性能测试执行 压力 容量 1 工作日 性能组 6 6 性能测试执行 稳定性 1 工作日 性能组 6 7 编写性能测试报告3 工作日 性能组 6 7 评审性能测试报告0 5 工作日 项目组 7 7 安全测试阶段安全测试阶段3 53 5 工作日工作日 7 1 执行安全测试 漏洞扫描 静态检 查 2 工作日 非功能组 7 2 编写安全测试报告1 工作日 非功能组 7 3 评审安全测试报告0 5 工作日 项目组 某企业办公自动化系统验收测试报告 第 6 页 共 19 页 4 4 功能测试功能测试 4 14 1 BUGBUG 级别及状态定义级别及状态定义 BUGBUG 级别定义级别定义 级级 别别名名 称称描描 述述 一级致命性 BUG 具有严重破坏性 使得系统功能遗漏 引起系统崩溃 数据丢失 二级严重性 BUG规定的内容没有实现或者实现与设计不符 三级告警性 BUG与需求不符合 但是不影响业务正常运行 四级建议性 BUG 满足需求 但存在设计或者实现上的不合理之处 不影响业务正 常运行 BUGBUG 状态定义状态定义 名称名称操作者操作者描述描述 新建测试人员当测试人员新发现 BUG 时 将其置为新建 打开开发人员开发人员确认的 BUG 将其置为打开 已关闭测试人员测试人员确认 BUG 已经修改 将其置为已关闭 待验证开发人员开发人员确认已经修改的 BUG 将其置为待验证 待复现测试人员由测试人员提出 但无法再现的 BUG 将其置为待复现 重开测试人员 开发人员确认已经修改的 BUG 经测试人员回归测试 BUG 仍然 存在 将其置为重开 拒绝开发人员 由测试人员提出 但开发人员认为不是 BUG 的问题 经测试人 员 开发人员和客户方共同商讨确认后 将其置为拒绝 延期测试人员 测试人员和开发人员 客户方共同商讨 综合考虑后在该阶段不 处理需要延期的 BUG 将其置为延期 某企业办公自动化系统验收测试报告 第 7 页 共 19 页 4 24 2 BUGBUG 整体情况统计整体情况统计 所发现所有所发现所有 BUGBUG 的状态的状态有效有效 BUGBUG 功能模块功能模块测试用例数测试用例数 打开打开待复现待复现 待验证待验证拒绝拒绝延期延期已关闭已关闭重开重开BUGBUG 数小计数小计 致命性致命性严重性严重性告警性告警性建议性建议性 有效有效 BUGBUG 数数 小计小计 公共信息 990000000000000 公文管理 880010160802204 流程 公共信息 160000000000000 流程 公文管理 370000000000000 流程 综合办公 220000020201102 通用功能 320100050604105 首页面 11600000 00000000 系统管理 1630010040502215 总计总计 104610460 01 12 20 01 117170 021210 09 96 61 11616 注 注 1 1 上表中数值单位为个 上表中数值单位为个 2 2 有效有效 BUGBUG 是指除是指除 拒绝拒绝 和和 待复现待复现 外的外的 BUGBUG 遗留问题包括 遗留问题包括 打开打开 待验证待验证 重开重开 延期延期 四个状态 四个状态 某企业办公自动化系统验收测试报告 第 8 页 共 19 页 有效有效 BUGBUG 问题级别分布图问题级别分布图 所有发现的所有发现的 BUGBUG 问题状态分布图问题状态分布图 4 34 3 BUGBUG 修复情况修复情况 功能模块功能模块问题总数问题总数已修正已修正未修正未修正 某企业办公自动化系统验收测试报告 第 9 页 共 19 页 个人邮箱 000 公共信息 000 公文管理 871 流程 公共信息 000 流程 公文管理 000 流程 综合办公 220 通用功能 660 首页面 000 系统管理 550 总计总计 212120201 1 4 44 4 遗留遗留 BUGBUG 情况说明情况说明 OA 系统验收测试结束后遗留 BUG 总数是 1 个 延期延期 BUGBUG 处理方式处理方式 缺缺 陷陷 IDID 测试测试 类别类别 功能模块功能模块子系统子系统摘要摘要处理方式处理方式 开发方建议开发方建议 454 公文管理发文 套打错误提交后重 新套打的解决思路 某企业办公自动化系统验收测试报告 第 10 页 共 19 页 5 5 性能测试性能测试 5 15 1 场景执行情况场景执行情况 并发策略并发策略执行结果执行结果 业务选取业务选取测试时间测试时间场景场景执行脚本执行脚本 并发用并发用 户数户数 思考时间思考时间 时间间隔时间间隔 同步点设置同步点设置成功成功失败失败 500 混合业务 混合业务 2012 6 23 22 03 53 至 23 00 47 2012 6 27 11 15 06 至 15 15 17 内网混合 50 内网混合 10 1 打开待办文件 2 新建会议预定 3 新建发文 4 打开通知公告 5 检索 1 打开待办文件 50 3 无 无 无 无 无 无 42470 测试类型测试类型 2 新建会议预定 1 无无无 7370 3 新建公文 1 无无无 6800 4 打开通知公告 3 无无无 55350 5 检索 2 无无无 43580 稳定性测试 某企业办公自动化系统验收测试报告 第 11 页 共 19 页 5 25 2 业务平均响应时间业务平均响应时间 以下为各测试场景下业务的评价响应时间曲线 单单点点登登录录平平均均响响应应时时间间 0 0 0 0 5 5 1 1 1 1 5 5 2 2 2 2 5 5 3 3 2 20 04 40 06 60 08 80 01 10 00 0 用用户户数数 个个 时时间间 秒秒 平平均均响响应应时时间间 0 0 1 10 0 2 20 0 3 30 0 4 40 0 5 50 0 6 60 0 7 70 0 8 80 0 时时间间 秒秒 进进入入办办公公系系统统 新新建建 提提交交 确确认认提提交交信信息息 发发文文检检索索 打打开开通通知知公公告告 打打开开通通知知公公告告列列表表 打打开开待待办办文文件件 事事务务点点 5 50 0用用户户压压力力测测试试混混合合业业务务平平均均响响应应时时间间 平平均均响响应应时时间间 0 0 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 时时间间 秒秒 查查看看公公告告明明细细 打打开开代代办办文文件件明明细细 打打开开通通知知公公告告主主页页 发发文文检检索索 会会议议室室预预定定主主持持人人查查找找 会会议议预预定定流流转转信信息息 会会议议预预定定提提交交 会会议议预预定定新新建建 会会议议预预定定主主办办部部门门查查找找 新新建建发发文文提提交交 事事务务点点 1 10 0用用户户稳稳定定性性混混合合业业务务平平均均响响应应时时间间 平平均均响响应应时时间间 查查看看内内网网邮邮件件平平均均响响应应时时间间 0 1 2 3 4 5 6 7 102030405060708090 100 用用户户数数 个个 时时间间 秒秒 打打开开邮邮箱箱 打打开开邮邮件件 某企业办公自动化系统验收测试报告 第 12 页 共 19 页 执行混合场景用户压力测试时两个响应时间较长的业务梯度及响应曲线 执行混合场景用户压力测试时两个响应时间较长的业务梯度及响应曲线 用户数用户数 单位 单位 个 个 5101520253035404550 检索检索 19 26 6 39 3 86 59 26668 92273 99879 12581 07485 984 86 98 4 86 0 32 打开通打开通 知公告知公告 22 89 9 59 6 68 77 19979 76280 93680 17281 05380 98481 26 81 1 98 检索检索 业务平均响应时间曲线业务平均响应时间曲线 发发文文检检索索 0 20 40 60 80 100 5101520253035404550 用用户户数数 事事务务平平均均响响应应时时间间 事事务务平平均均响响应应时时间间 打开通知公告打开通知公告 业务平均响应时间曲线业务平均响应时间曲线 打打开开通通知知公公告告 0 10 20 30 40 50 60 70 80 90 5101520253035404550 用用户户数数 事事务务平平均均响响应应时时间间 事事务务平平均均响响应应时时间间 某企业办公自动化系统验收测试报告 第 13 页 共 19 页 5 35 3 系统资源情况系统资源情况 混合场景稳定性测试混合场景稳定性测试 通过定时对服务器资源监测 服务器 CPU 磁盘 内存总体运行良好 但 是在每天用户上班时间 服务器并发量大 服务器内存占用变大 服务器性能 降低 建议升级内存 某企业办公自动化系统验收测试报告 第 14 页 共 19 页 6 6 文档测试文档测试 6 16 1 文档测试基本定义文档测试基本定义 文档测试基本定义文档测试基本定义 阶段阶段1 1 级级2 2 级级3 3 级级4 4 级级 需求说明书需求遗漏 需求描述错误 存在二 义性 文档字面错误冗述或过于简单 设计文档遗漏需求 逻辑错误 或描述不清 存在二义性 文档字面错误冗述或过于简单 用户手册功能遗漏 操作描述方法错误或 描述不清 文档字面错误冗述或过于简单 安装配置手 册 主要安装步骤 或配置遗漏 操作描述方法错误或 描述不清 文档字面错误冗述或过于简单 文档测试检查点文档测试检查点 文档完备性 文档内容充分性 文字明确性 文档描述的正确性 联机帮助文档中链接的正确性 易读性 检查文档和文档的一致性 检查程序和文档的一致性 检查文档间的可追溯性 检查文档是否符合指定的相应模板和规范 某企业办公自动化系统验收测试报告 第 15 页 共 19 页 6 26 2 文档测试结果文档测试结果 文档类型文档类型1 1 级级2 2 级级3 3 级级4 4 级级 安装配置手册 0013435 管理员手册 10146 设计说明书 00213 使用手册 31435658 需求规格说明书 419216 8 8151548484747118118 6 36 3 文档测试文档测试 BUGBUG 分布情况分布情况 30 5 2 49 14 文文档档测测试试B BU UG G分分布布图图 安装配置手册 管理员手册 设计说明书 使用手册 需求规格说明书 图 7 1 文档测试 BUG 分布图 某企业办公自动化系统验收测试报告 第 16 页 共 19 页 7 7 建议建议 功能测试功能测试 根据 OA 系统的验收测试结果 建议在被测系统的后续开发和维护过程中不断加 强对系统的 GUI 规范 操作易用性 设计合理性和安全性方面的完善 如界面风格统 一性问题 包括界面的文字 功能按钮 选择列表 提示信息等要素 使系统更加美 观 易用 还存在删除 退出操作时没有询问提示等易用性方面的问题 系统登录密 码 邮箱密码没有输错次数限制将在后续开发中实现 另外 对系统中可输入字符的 编辑框做必要的控制 如字符的长度 格式 非法字符也等可进一步增强系统的健壮 性 性能测试性能测试 通过压力 容量和稳定性测试 系统性能指标基本可满足目前系统的使用 但由 于在混合场景的稳定性测试时发现系统有 CPU 较高的情况 故建议在系统的实际运行 中注意监控系统的资源利用情况 当出现资源利用率较高 或者系统的实际用户数较 大幅增加的情况时 考虑对系统进行软件的调优 调优从以下方面建议 1 修改性能测试过程中发现的存在问题的页面组件 2 建议调整 OA 系统 http 线程数配置 减少此进程的 CPU 占用率 若软件方面调优后系统的性能指标仍不能满足系统发展的需求 建议增加 CPU 数 量 另外 在调整软硬件后进行需要进行相应的测试工作以检查系统的性能情况 安全测试安全测试 建议完善主机管理工作部分内容 如 补丁更新机制 形成相应的管理制度 也可以 在内网部署升级服务器 并安排专门的人员来管理 建立内网连接服务器端口开放制 度及策略 并安排专门的人员来管理 文档测试文档测试 建议进一步完善文档 为系统今后的维护工作打好基础 需求规格说明书较实际系统 滞后 建议进一步更新 安装配置手册写的比较简单 建议进一步完善 某企业办公自动化系统验收测试报告 第 17 页 共 19 页 8 8 测试结论测试结论 功能测试功能测试 经过两个轮次的功能及典型流程测试 后续的所有遗留 BUG 回归测试 共发现功能和 流程的有效 BUG 的总数为 166 个 通过测试发现 系统的致命性 BUG 很少 严重性 BUG 共 44 个 占有效 BUG 总数的近 35 经过开发人员的修改 已关闭 的 BUG 总数为 161 个 占有效 BUG 总数的 97 修复率比较高 这部分 BUG 的修改使得系统功能得到了 进一步的完善 目前系统遗留 BUG 总数为 5 个 状态全部是 延期 其中两个遗留 BUG 涉及的功能 点在目前的系统中已经不存在 不会给系统带来任何潜在的危害 另两个遗留 BUG 是关于 系统的安全问题的 中国投资有限公司已经专门立项解决这两个问题 最后两个遗留 BUG 属于功能小瑕疵 这两个问题的存在并不影响系统的正常使用 并且已经提交到开发方产 品部门解决 整个验收测试结束后 系统的易用性 健壮性 功能安全等方面均有一定程度的提高 性能测试性能测试 OAOA 系统生产环境 系统生产环境 本次生产环境测试针对 打开 OA 公文 业务进行性能测试 并对被测服务器的资源 情况进行全程监控 通过测试 单点登录场景用户并发数可以达到 100 个 内网场景的业 务稳定点在 50 个并发用户 通过对目前系统用户数及未来可能的发展趋势的估算 这两 个业务的性能指标基本可以满足一定时间系统用户的需求 打开公文的 CPU 的资源利用率维持在 10 左右 资源情况良好 打开公文的 CPU 的资源利用率维持在 10 左右 资源情况良好 OAOA 系统内测环境 系统内测环境 在 OA 系统的测试环境上 测试人员针对打开通知公告 发文检索 打开待办文件 新建发文及新建会议预定五个典型业务进行了混合场