软件评测报告(国家标准样例GIS产品).doc

*信息中心 编号： / * * * * * * * * * * * * * * * *集集成成系系统统 软软件件 评评 测测 报报 告告 生生产单产单位：位： 送交送交单单位：位： 测试类测试类型：型：系系统测试统测试 提交日期：提交日期： 年年 月月 日日 *信息中心信息中心软软件件评测评测中心制中心制 *集成系统软件评测报告 第 1 页 共 31 页 文档名称文档名称 集成系统软件评测报告 文档文档编编号号/ 文档状文档状态态 草稿； 审核； 发布 起草人起草人 审审核人核人 批准人批准人 发发布日期布日期 关关键词键词评测报告 总页总页数数共 31 页 声声 明：明： 1.本报告无本评测中心评测专用章无效； 2.本报告涂改无效； 3.未经本评测中心书面批准，不得复制报告（完整复制除外） ； 4.本报告检测数据仅对来样负责。 = 评测中心全称： 软件评测中心 中心地址： 邮编： 电话： 网址： *集成系统软件评测报告 第 2 页 共 31 页 目目 录录 1 简述简述 4 1.1 名称.4 1.2 目的.4 1.3 背景.4 1.4 术语定义.5 1.5 参考资料.5 2 测试概要测试概要 6 2.1 测试范围.6 2.2 充分性评价.8 2.3 组织.9 2.4 测试环境.9 2.5 测试流程.10 3 测试统计分析测试统计分析 11 3.1 软件首页.11 3.2 文件.11 3.3 编辑.12 3.4 显示.12 3.5 选择.13 3.6 查询.14 3.7 数据处理.14 3.8 现状分析.15 3.9 供需预测.16 3.10 供需平衡.16 3.11 规划编制.17 3.12 乡（村）镇建设用地 CAD 辅助规划18 3.13 乡（村）镇建设用地 ARCGIS 辅助规划.18 3.14 地图整饰.19 3.15 输出.19 3.16 成果管理.20 3.17 事务.20 3.18 集成系统数据备份与还原.21 3.19 工具栏.21 3.20 安装卸载.21 3.21 界面测试.22 3.22 遗留缺陷影响.22 4 测试结果测试结果 24 4.1 功能性.24 4.2 可靠性.25 4.3 易用性.26 *集成系统软件评测报告 第 3 页 共 31 页 4.4 可维护性.27 4.5 可移植性.28 4.6 效率.28 4.7 中文特性.29 4.8 用户文档.29 5 结论结论 31 *集成系统软件评测报告 第 4 页 共 31 页 1 简述简述 1.1 名称名称 受*（单位名称）的委托，*信息中心软件评测中心于 20*年 月 日至 20*年 月 日，对其*（单位名称）开发的 *集成系统软件进行了严格的系统测试。 1.2 目的目的 本测试报告依据 GB/T 17544-1998信息技术 软件包 质量要求 和测试国家标准及参考*管理暂行办法（国科发计字 20*）和*集成系统软件用户手册，由测试人员严 格按照测试计划进行测试，根据实测的结果编写出此评测报告。 本测试报告目的是依据测试结果，为评价分析*集 成系统软件存在的问题和需要改进的地方提供参考和依据。本文的 预期读者包括：软件开发项目人员、验收人员、软件测试相关人员等。 1.3 背景背景 为促进*（项目名称）重大项目中软件系统的研发 工作；保证软件成果的适用性、可用性和功能完整性；提高软件质量， 推动成果应用，项目办公室确定：对*集成系统开展软 件成果的第三方软件测评工作，并在此基础上形成评测结论。 *集成系统软件评测报告 第 5 页 共 31 页 1.4 术语定义术语定义 URLCRS： ：*集成系统软件标识。 回回归归率：率： 缺陷实际是否进行回归的比率，排除挂起、拒绝的缺陷。 关关闭闭率：率： 在修复缺陷中，回归通过的比率。 1.5 参考资料参考资料 序号序号名称名称备注备注/版本版本 1 软件用户手册 V1.0 2 软件测试需求说明 V1.0 3 软件测试计划报告 V1.0 4 软件测试用例报告 V1.0 5 软件测试问题报告 V1.0 6 软件回归测试问题报告 V2.0 *集成系统软件评测报告 第 6 页 共 31 页 2 测试概要测试概要 2.1 测试范围测试范围 本次测试包括第三方系统测试和系统项目符合性验收测试，针对 *集成系统软件的用户文档、功能性、可靠性、可维护 性、易用性、可移植性、效率和中文特性八个方面进行了测试。 其中功能项包括：软件首页(鹰眼图操作区、图层控制区、状态栏 显示区、窗口界面)、文件（另存为Shape文件、另存为图片、保存工作 环境、退出、打开工作环境、选择结果另存为Shape文件、用户信息）、 编辑（开始编辑、属性编辑、显示节点、捕捉点、辅助编辑层、清空辅 助层、保存辅助层、编辑工具、编辑选项）、显示（图形过滤、区划跳转、 指定地图中心、显示选项）、选择（目标设置、按区划选择、按条件选择、 按图形关系选择、高级选择工具、可选图层设定、清除目标、清除选择 对象、清除查询信息）、查询（集成系统查询、土地利用信息查询、建设 用地信息查询）、数据处理（代码设定、代码维护、图形检查处理、属性 检查更新、数据提取保存、数据入库、社会经济情况调查登记、人口情 况调查登记、工作文档登录、工作图件登记、工作数据建库管理、属性 表维护、样式库管理工具、空间分析工具、二调码转规划分类编码、规 划分类转二调编码、参考基期面积维护）、现状分析（按区划地类汇总、 现状指标分析）、供需预测（社会经济情况预测登记、人口情况预测登 记、建设用地预测）、供需平衡（规划控制指标登记、用地布局冲突检 *集成系统软件评测报告 第 7 页 共 31 页 查、规划控制指标分解、用地调整模拟分析、地类构成汇总（当前层）、 地类构成汇总（覆盖区）、供需方案管理）、规划编制（属性统计、分类 统计、现状地类覆盖分析、编制图形属性修改、县级土地利用总体规 划、乡级土地利用总体规划、村级土地利用总体规划、县级土地利用 专项规划、乡级土地利用专项规划、村级土地利用专项规划、编制方 案生成、编制方案管理）、乡（村）镇级建设用地CAD辅助规划（总体规 划数据入库、分类标准转化、建设用地提取、导出CAD底图、CAD规 划成果入库、图层自动渲染、属性表重构、规划再编辑）、乡（村）镇级 建设用地ArcGIS辅助规划（现状图叠加、规划范围确定、用地布局规 划、生成统计表、图表统计分析、规划成果存档）、地图整饰（添加标题、 指北针、比例尺、图例、文本）、输出（简单输出、按比例尺输出、按纸 张大小输出）、成果管理（独立规划图件入库、规划文档入库、规划文 档查询、相关规划文档查询、规划文档维护、集成系统规划实施动态 管理）、事务（工作日记、工作文档记录、工作文档浏览、工作图件记录、 工作图件管理）、数据库备份与还原、工具栏等。 测试项目列表： 表 2.1 测试项列表 编号编号测试项名称测试项名称概述概述是否测试是否测试 01 用户文档 提供的用户手册内容、基本信息、与软件 实际运行情况的符合度，用户文档是否易 理解、易浏览。 是 02 功能性 系统提供的基本功能包括：软件首页、文 件、编辑、显示、选择、数据处理、现状 分析、供需预测、供需平衡、规划编制、 成果管理、事务、工具栏等。 是 *集成系统软件评测报告 第 8 页 共 31 页 编号编号测试项名称测试项名称概述概述是否测试是否测试 03 可靠性 测试过程中，系统运行行为的成熟度、容 错性、恢复性、数据校验功能。 是 04 可维护性 软件运行错误、缺陷或失效原因的判断， 对出现的缺陷或失效现象给出分析性提示， 软件对于环境、资源和文档变更的适应能 力。 是 05 易用性 软件产品被学习、使用和操作的能力。系 统各种信息被理解度；支持标准的鼠标、 键盘操作，软件操作满足用户使用习惯。 是 06 可移植性系统在不同环境配置下运行。是 07 效率 系统在时间特性、资源利用性方面的能力。 是 08 中文特性 系统对于中文的支持度。系统中文显示正 常，文档符合中文使用习惯，系统支持 GB 2312 和 GB 13000.1 编码。 是 2.2 充分性评价充分性评价 针对*集成系统软件测试，本次测试中定义了如下 测试类型：功能测试、人机交互界面测试、边界测试、安装性测试、性 能测试、强度测试、容量测试。测试涵盖了软件的用户文档、功能性、 可靠性、可维护性、易用性、可移植性、效率和中文特性八个方面软件 质量特性，测试类型的定义是充分的。 1）测试用例执行率要到 100%，测试用例经过最终的回归通过率 要达到 95%。 2）功能测试用例的覆盖率达到用户提出的所有的功能点。 3）所有测试用例至少要执行 2 次。 4）致命问题和严重问题的 bug，全部关闭；一般问题和建议改进 *集成系统软件评测报告 第 9 页 共 31 页 的 bug 关闭率达到 95%。 本次测试的充分性符合所规定的相应标准，测试的结果有效。 2.3 组织组织 下表 2.3 为中心项目测试人员配置: 表 2.3 测试人员列表 项目测试人员项目测试人员数量数量职责职责 项目负责人 1 评审并批准测试计划及有关报告；组织并确保团队工作；控制 项目进度；评估测试绩效；与有关人员、进行沟通。 高级测试工程师 2 测试计划编制；协调并实施项目计划中确定的活动；识别测试 环境需求；负责设计测试用例；为其他人员提供技术支持。 测试工程师 4 测试环境搭建；执行系统功能性测试和非系统功能性测试；执 行回归测试，验证缺陷修复情况 2.4 测试测试环境环境 针对*集成系统软件的实际情况，在测试过程中采 用的是递交方协助中心搭建模拟实际场景的方法。 软件环境配置如下: 表 2.4.1 软件环境表 终端类别终端类别操作系统操作系统支撑组件支撑组件/ /软件软件共存软件共存软件 台式 PC 机 Microsoft Windows XP Professional 版本 2002 Service Pack2 MicroSoft .NET FrameWork2.0/ ArcGIS 9.3/ Office 2003/ *测试管理平台 卡巴斯基 8.0/360 安全卫士 笔记本 Microsoft Windows XP Professional 版本 2002 Service Pack2 MicroSoft .NET FrameWork2.0/ ArcGIS 9.3/ Office 2003/ *测试管理平台 卡巴斯基 8.0/360 安全卫士 硬件环境配置如下: 表 2.4.2 硬件环境表 *集成系统软件评测报告 第 10 页 共 31 页 终端类别终端类别机器名机器名处理器处理器内存内存/ /硬盘硬盘/ /其他其他 台式 PC 机PC1PC6 Intel(R) Pentium(R)4 CPU 3.00GHz 3.00GHz 1GB/80G 笔记本Trtd1Trtd4 Intel(R)CPUT16001 .66GHz 1.66GHz 1GB/160G 2.5 测试流程测试流程 评测实施包括以下环节： 1）由递交单位配合，测试组进行测试需求分析，功能模块的划分。 2）由递交单位协助完成对被测系统的业务培训。 3）由递交单位协助评估单位搭建测试场景。 4）由评测小组负责*集成系统功能、可用性、可靠性等 方面测试，提交软件问题报告。 5）递交单位确认软件问题，修改软件。 6）评测小组负责*集成系统软件回归测试。 7）拟写出测试报告。 8）正式签发测试报告。 *集成系统软件评测报告 第 11 页 共 31 页 3 测试统计分析测试统计分析 3.1 软件首页软件首页 软件首页测试包括：窗口界面显示、图层控制区、鹰眼图操作区、 状态栏显示区等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 窗口界面 验证软件窗口界面的正 确性、格式统一性 14100%3100%66% 图层控制 区 验证图层控制区功能的 正确性 80100%9100%100% 鹰眼图操 作区 验证鹰眼图操作区功能 的正确性 6100% 状态栏显 示区 验证状态栏显示区功能 的正确性 39100%63100%100% 3.2 文件文件 文件测试包括：打开工作环境、保存工作环境、另存为图片、另存 为 Shape 文件、选择结果另存为 Shape 文件、用户信息、退出等功能 的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 打开工作 环境 验证打开工作环境功能 的正确性 3100% 保存工作 环境 验证保存工作环境功能 的正确性 2100%2100%100% 另存为图 片 验证另存为图片功能的 正确性 4100% 另存为 Shape 文 件 验证另存为 Shape 文件 功能的正确性1100% *集成系统软件评测报告 第 12 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 选择结果 另存为 Shape 文 件 验证选择结果另存为 Shape 文件功能的正确 性 1100% 用户信息 验证用户信息功能的正 确性 1100%1100%100% 退出验证退出功能的正确性3100% 3.3 编辑编辑 编辑测试包括：开始编辑、属性编辑、显示节点、捕捉点、辅助编 辑层、清空辅助层、保存辅助层、编辑工具、编辑选项等功能的正确性 性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 开始编辑 验证开始编辑功能的正 确性 36100% 属性编辑 验证属性编辑功能的正 确性 1100% 显示节点 验证显示节点功能的正 确性 1100% 捕捉点 验证捕捉点功能的正确 性 1100% 编辑工具 验证编辑工具功能的正 确性 83100%7100%100% 编辑选项 验证编辑选项功能的正 确性 2100% 3.4 显示显示 显示测试包括：图形过滤、区划跳转、指定地图中心、显示选项等 功能的正确性验证。 *集成系统软件评测报告 第 13 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 图形过滤 验证图形过滤功能的正 确性 12100% 区划跳转 验证区划跳转功能的正 确性 4100% 指定地图 中心 验证指定地图中心功能 的正确性 8100% 显示选项 验证显示选项功能的正 确性 9100%1100%100% 3.5 选择选择 选择测试包括：目标设置、按区划选择、按条件选择、按图形关系 选择、高级选择工具、可选图层设定、清除目标、清除选择对象、清除 查询信息等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 目标设置 验证目标设置功能的正 确性 1100% 按区划选 择 验证按区划选择功能的 正确性 3100% 按条件选 择 验证按条件选择功能的 正确性 4100% 按图形关 系选择 验证按图形关系选择功 能的正确性 6100%1100%100% 高级选择 工具 验证高级选择工具功能 的正确性 7100% 可选图层 设定 验证可选图层设定功能 的正确性 6100% 清除目标 验证清除目标功能的正 确性 1100% 清除选择 对象 验证清除选择对象功能 的正确性 1100% 清除查询 信息 验证清除查询信息功能 的正确性 1100% *集成系统软件评测报告 第 14 页 共 31 页 3.6 查询查询 选择测试包括：集成系统查询、土地利用信息查询、建设用地信 息查询等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 集成系统 查询 验证集成系统查询功能 的正确性 2100% 土地利用 信息查询 验证土地利用信息查询 功能的正确性 2100% 建设用地 信息查询 验证建设用地信息查询 功能的正确性 2100% 3.7 数据处理数据处理 数据处理测试包括：代码设定、代码维护、图形检查处理、属性检 查更新、数据提取保存、数据入库、社会经济情况调查登记、人口情况 调查登记、工作文档登录、工作图件登记、工作数据建库管理、属性表 维护、样式库管理工具、空间分析工具、二调码转规划分类编码、更新 编码转规划分类编码、规划分类转二调编码、参考基期面积维护等功 能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 代码设定 验证代码设定功能的正 确性 13100%3100%100% 代码维护 验证代码维护功能的正 确性 15100% 图形检查 处理 验证图形检查处理功能 的正确性 55100%91100%100% 属性检查 更新 验证属性检查更新功能 的正确性 26100%61100%100% 数据提取 保存 验证数据提取保存功能 的正确性 6100%1100%100% *集成系统软件评测报告 第 15 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 数据入库 验证数据入库功能的正 确性 12100% 社会经济 情况调查 登记 验证社会经济情况调查 登记功能的正确性7100%2100%100% 人口情况 调查登记 验证人口情况调查登记 功能的正确性 1100% 工作文档 登记 验证工作文档登记功能 的正确性 4100%1100%100% 工作图件 登记 验证工作图件登记功能 的正确性 1100% 工作数据 建库管理 验证工作数据建库管理 功能的正确性 18100%6100%100% 属性表维 护 验证属性表维护功能的 正确性 13100% 样式库管 理工具 验证样式库管理工具功 能的正确性 4100% 空间分析 工具 验证空间分析工具功能 的正确性 13100%2100%50% 二调编码 转规划分 类编码 验证二调编码转规划分 类编码功能的正确性4100%1100%100% 规划分类 转二调编 码 验证规划分类转二调编 码功能的正确性1100% 3.8 现状分析现状分析 现状分析测试包括：按区划地类汇总和现状指标分析功能的正确 性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 按区划地 类汇总 验证按区划地类汇总功 能的正确性 3100%1100%100% 现状指标 分析 验证现状指标分析功能 的正确性 8100%1100%100% *集成系统软件评测报告 第 16 页 共 31 页 3.9 供需预测供需预测 供需预测测试包括：社会经济情况预测登记、人口情况预测登记、 建设用地预测、公共供需图层管理、土地变化情况预测、生成供需预 测方案等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 社会经济 情况预测 登记 验证社会经济情况预测 登记功能的正确性24100%41100%50% 人口情况 预测登记 验证人口情况预测登记 功能的正确性 2100%11100%100% 建设用地 预测 验证建设用地预测功能 的正确性 16100%2100%100% 3.10 供需平衡供需平衡 供需平衡测试包括：规划控制指标登记、用地布局冲突检查、规 划控制指标分解、用地调整模拟分析、地类构成汇总（当前层）、地类 构成汇总（覆盖区）、供需方案管理等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 规划控制 指标登记 验证规划控制指标登记 功能的正确性 9100%1100%100% 用地布局 冲突检查 验证用地布局冲突检查 功能的正确性 8100%1100%100% 规划控制 指标分解 验证规划控制指标分解 功能的正确性 2100% 用地调整 模拟分析 验证用地调整模拟分析 功能的正确性 8100%2100%100% 地类构成 汇总（当 前层） 验证地类构成汇总（当 前层）功能的正确性7100% *集成系统软件评测报告 第 17 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 地类构成 汇总（覆 盖区） 验证地类构成汇总（覆 盖区）功能的正确性2100% 供需方案 管理 验证供需方案管理功能 的正确性 4100% 3.11 规划编制规划编制 规划编制测试包括：属性统计、分类统计、现状地类覆盖分析、编 制图形属性修改、编制方案生成、编制方案管理等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 属性统计 验证属性统计功能的 正确性 3100%1100%100% 分类统计 验证分类统计功能的 正确性 5100% 现状地类覆 盖分析 验证现状地类覆盖分 析功能的正确性 4100% 编制图形属 性修改 验证编制图形属性修 改功能的正确性 3100% 县级土地利 用总体规划 验证县级土地利用总 体规划功能的正确性 4100% 乡级土地利 用总体规划 验证乡级土地利用总 体规划功能的正确性 5100% 村级土地利 用总体规划 验证村级土地利用总 体规划功能的正确性 3100% 县级土地利 用专项规划 验证县级土地利用专 项规划功能的正确性 4100% 乡级土地利 用专项规划 验证乡级土地利用专 项规划功能的正确性 3100% 村级土地利 用专项规划 验证村级土地利用专 项规划功能的正确性 4100%10100%100% 编制方案生 成 验证编制方案生成功 能的正确性 4100% 编制方案管 理 验证编制方案管理功 能的正确性 1100% *集成系统软件评测报告 第 18 页 共 31 页 3.12 乡（村）镇建设用地乡（村）镇建设用地 CAD 辅助规划辅助规划 村镇建设用地 CAD 辅助规划测试包括：总体规划数据入库、分 类标准转化、建设用地提取、导出 CAD 底图、CAD 规划成果入库、图 层自动渲染、属性表重构、规划再编辑等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 总体规划 数据入库 验证总体规划数据入库 功能的正确性 5100% 分类标准 转化 验证分类标准转化功能 的正确性 4100% 建设用地 提取 验证建设用地提取功能 的正确性 3100% 导出 CAD 底图 验证导出 CAD 底图功 能的正确性 2100% CAD 规划 成果入库 验证 CAD 规划成果入 库功能的正确性 3100% 图层自动 渲染 验证图层自动渲染功能 的正确性 2100% 属性表重 构 验证属性表重构功能的 正确性 4100% 规划再编 辑 验证规划再编辑功能的 正确性 3100% 3.13 乡（村）镇建设用地乡（村）镇建设用地 ArcGIS 辅助规划辅助规划 村镇建设用地 ArcGIS 辅助规划测试包括：现状图叠加、规划范 围确定、用地布局规划、生成统计表、图表统计分析、规划成果存档等 功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 现状图叠 加 验证现状图叠加功能的 正确性 6100% *集成系统软件评测报告 第 19 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 规划范围 确定 验证规划范围确定功能 的正确性 3100% 用地布局 规划 验证用地布局规划功能 的正确性 4100% 生成统计 表 验证生成统计表功能的 正确性 2100% 图表统计 分析 验证图表统计分析功能 的正确性 6100% 规划成果 存档 验证规划成果存档功能 的正确性 5100% 3.14 地图整饰地图整饰 地图整饰测试包括：添加标题、指北针、比例尺、图例、文本等功 能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 添加标题 验证添加标题功能的正 确性 1100% 添加指北 针 验证添加指北针功能的 正确性 1100% 添加比例 尺 验证添加比例尺功能的 正确性 1100% 添加图例 验证添加图例功能的正 确性 1100% 添加文本 验证添加文本功能的正 确性 1100% 3.15 输出输出 输出测试包括：简单输出、按比例尺输出、按纸张大小输出等功 能的正确性验证。 *集成系统软件评测报告 第 20 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 简单输出 验证简单输出功能的正 确性 4100% 按比例尺 输出 验证按比例尺输出功能 的正确性 4100% 按纸张大 小输出 验证按纸张大小输出功 能的正确性 4100% 3.16 成果管理成果管理 成果管理测试包括：独立规划图件入库、规划文档入库、规划文 档查询、相关规划文档查询、规划文档维护等功能的正确性验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 独立规划 图件入库 验证独立规划图件入库 功能的正确性 1100% 规划文档 入库 验证规划文档入库功能 的正确性 11100%51100%80% 规划文档 查询 验证规划文档查询功能 的正确性 6100% 相关规划 文档查询 验证相关规划文档查询 功能的正确性 1100% 规划文档 维护 验证规划文档维护功能 的正确性 1100% 集成系统 规划实施 动态管理 验证集成系统规划实施 动态管理功能的正确性1100% 3.17 事务事务 事务测试包括：工作日记、工作文档记录、工作文档浏览、工作图 件记录、工作图件管理等功能的正确性验证。 *集成系统软件评测报告 第 21 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 工作日记 验证工作日记功能的正 确性 11100%2100%50% 工作文档 记录 验证工作文档记录功能 的正确性 2100% 工作文档 浏览 验证工作文档浏览功能 的正确性 2100% 工作图件 记录 验证工作图件记录功能 的正确性 1100%1100%100% 工作图件 管理 验证工作图件管理功能 的正确性 1100% 3.18 集成系统数据备份与还原集成系统数据备份与还原 集成系统数据备份与还原测试是对数据备份与还原功能正确性 的验证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 数据备份 与还原 验证数据备份与还原功 能的正确性 5100% 3.19 工具栏工具栏 工具栏测试是对软件工具栏上的各个工具按钮功能正确性的验 证。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 工具栏按 钮 验证软件工具栏上各按 钮功能的正确性 54100%41100%75% 3.20 安装卸载安装卸载 安装卸载测试是对系统的安装和卸载功能的正确性验证。 *集成系统软件评测报告 第 22 页 共 31 页 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 安装卸载 验证软件安装、卸载功 能的正确性 4100%1100%100% 3.21 界面测试界面测试 界面测试主要是针对软件界面进行的内容正确性、格式统一性、 友好性、合理性、美观与协调性、独特性及安全性等多方面进行测试。 测试项测试项测试内容测试内容用例用例 数数 执行率执行率缺陷缺陷 数数 致命严重致命严重 缺陷数缺陷数 回归回归 率率 关闭率关闭率 界面显示 验证软件各界面内容显 示的正确性 14100%12100%90% 3.22 遗留缺陷影响遗留缺陷影响 本项目执行测试用例 814 个，发现缺陷 104 个，其中发现 95 个 一般和建议缺陷、发现 5 个致命严重缺陷，约占总缺陷数的 5。 回归后用例通过率 100。缺陷关闭率 95。遗留缺陷数量为 5 个，其中严重缺陷 0 个。 产生遗留缺陷原因主要有： 1）开发人员未进行修改 本项目少量缺陷未能修改或者进行挂起，部分缺陷需要进行 重新的风险评估，不影响系统的整体功能。 2）软件错误对软件整体影响较小 本项目少量缺陷未能修改或者进行挂起，且集中在建议性缺 *集成系统软件评测报告 第 23 页 共 31 页 陷上，不影响系统的整体功能。 *集成系统软件评测报告 第 24 页 共 31 页 4 测试结果测试结果 4.1 功能性功能性 表 4.1 功能性测试项列表 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 软件首页 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 文件 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 编辑 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 显示 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 选择 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 数据处理 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 现状分析 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 *集成系统软件评测报告 第 25 页 共 31 页 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 供需预测 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 供需平衡 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 规划编制 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 成果管理 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 事务 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 根据用户手册列出所有功能点，检验其正确性，满足 用户要求的基本功能 通过 工具栏 验证程序与产品描述、用户文档中的全部说明相对应， 一致性 通过 4.2 可靠性可靠性 表 4.2 可靠性测试项列表 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 *集成系统软件评测报告 第 26 页 共 31 页 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 使用的容量达到规定的极限时,系统不会崩溃、不会异 常退出也不丢失数据 通过 试图使用的容量超出规定极限时，系统不会崩溃、不 会异常退出也不丢失数据 通过 产品描述中列出的其他程序或用户造成的错误输入时， 系统不会崩溃也不丢失数据 通过 输入用户文档中明确规定的非法指令时，系统不会崩 溃也不丢失数据 通过 成熟性 不会因掉电、异常退出、网络异常中断等原因而使软 件或数据遭到破坏 通过 能屏蔽用户的误操作通过 对错误有正确提示通过 输入错误数据时，系统不会崩溃、不会异常退出也不 丢失数据 通过 容错性 有错误操作时，系统不会崩溃、不会异常退出也不丢 失数据 通过 系统运行失效后，应能较快重建系统通过 易恢复性 系统恢复重建的数据未丢失、错误通过 应对数据项之间的逻辑关系进行校验，保证数据的有 效性 通过 应保证数据的完整性和一致性，不会因删除或反复的 更新而被破坏或留下垃圾数据 通过数据校验机制 对不符合要求的输入数据，系统应使用中文给出简洁、 准确的提示信息，必要时应给出帮助 通过 4.3 易用性易用性 表 4.3 易用性测试项列表 *集成系统软件评测报告 第 27 页 共 31 页 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 通过选择适当的术语、图形表示、背景信息和帮助， 帮助用户理解、使用 通过 易理解性 出错消息中提供差错产生的原因和纠正的详细信息通过 数据媒体具有产品标识，可辨别编号或文本通过 具有必要的信息，指导用户使用程序通过 输入、输出设计规矩，输出结果应简洁、直观、美观、 方便阅读、易懂和使用 通过 人机界面简洁、美观、实用，风格相对一致，符合办 公习惯 通过 易浏览性 在界面、人机交互、输出中的用语应与业务用语一致通过 具有严重后果的功能执行可逆，或者给出明显警告， 执行前要求确认 通过 软件操作简便，系统支持标准的鼠标、键盘操作，支 持鼠标的单击、双击和右键操作，支持快捷键操作 通过 提供辅助输入手段（如选择输入、默认值等） ，数据检 索方便、灵活 通过 安装参数应当给出默认值或提示，需要用户干预的地 方应尽量少，操作方便 通过 易操作性 根据用户熟练程度（外行、初学、熟练）和使用频度， 能提供不同的操作方式或用户界面 通过 4.4 可维护性可维护性 表 4.4 可维护性测试项列表 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 *集成系统软件评测报告 第 28 页 共 31 页 测试子项测试子项测试过程说明测试过程说明是否验证通过是否验证通过 系统可以正确判断缺陷或失效原因通过 易分析性 对于软件运行错误，应当提示清晰，为用户和系统管 理员自己解决问题提供可能 通过 对相关配置文件、库、表的参数可以提供方便的修改通过 对于非程序内部错误，由数据元素属性设置、控制规