上海“电子统计”工程测试报告

1、上海市统计局政府上海市统计局政府上海市统计局政府上海市统计局政府“电子统计电子统计电子统计电子统计”工程工程工程工程 wd_shtjj_stsr_wd_shtjj_stsr_wd_shtjj_stsr_ 080820_ymx080820_ymx080820_ymx 测试报告测试报告测试报告测试报告 1.01.01.01.0 上海市统计局上海市统计局上海市统计局上海市统计局 万达信息股份有限公司万达信息股份有限公司万达信息股份有限公司万达信息股份有限公司 版权所有，保留所有权利版权所有，保留所有权利版权所有，保留所有权利 2008-8-202008-8-202008-8-202008-8-20

2、修订记录修订记录修订记录修订记录 日期日期修订内容修订内容修订人修订人版本版本备注备注 2008-07-20 建立文档。 于敏v1.0 建立文档模版。 2008-08-25 编写文档 孙晓明v1.1 目录目录 第 1 章引言 .1 1.1目的 .1 1.2背景 .1 1.3参考资料 .2 第 2 章测试概要 .3 2.1测试用例设计 .3 2.2测试环境与配置 .3 2.3测试时间 .3 2.4测试方法 .3 2.4.1单元测试.4 2.4.2组合测试.4 2.4.3系统测试.4 第 3 章测试过程 .5 3.1功能测试部分 .5 3.2性能测试部分 .5 3.2.1综合处理数据加载.5 3.

3、2.2综合处理数据导出.6 3.2.3全市名录库数据加载.6 3.2.4区县、专业处名录库数据加载.7 3.2.5名录库区县待查任务导出.7 3.2.6名录库区县查询结果导出.8 3.2.7测试审核速度.8 3.2.8名录区县多人操作最大负载.9 3.2.9加载导出审核查询四大功能并发.9 第 4 章测试结论 .11 4.1功能测试部分 .11 4.2性能测试部分 .11 第第 1 章章 引言引言 1.1目的目的 针对 08 年电子统计系统交付验收的项目阶段性目标，详细规划电子统 计项目的测试活动，排除测试的随意性； 在计划的时间和资源范围内，尽可能多地发现系统中的缺陷，提高各 子系统的交付质

4、量； 明确测试阶段项目组相关人员的职责，以及应当产生的工作产品。 1.2背景背景 上海市国民经济和社会信息化“十五”规划纲要指出：“实现国民经济和 社会信息化是上海进入新世纪之后再创辉煌的一项重大战略任务。 ”同时，对于 政府信息系统明确指出其“十五”期间的主要任务为：“建立和完善政务专用 网，基本实现宽带到办公室，进一步建设和完善各部门的管理信息系统，共享 各部门、各领域的基础数据库和综合业务数据库，积极开发建设数据仓库、知 识库和模型方法库，建设和完善辅助决策、管理与分析信息系统。 ” 目前的上海市统计局的信息系统在应用需求、网络平台、主机系统和数据 库容量等方面已经无法满足目前统计新的业

5、务需求。因此，根据市领导提出的 统计业务改革要求，为了加快上海市政府电子政务系统建设步伐，进一步用现 代信息技术装备本市各级人民政府统计机构，使本市国民经济、社会、科学综 合统计信息网络建设在全国处于领先地位，为上海市经济建设和社会提供现代 化的信息服务，上海市政府“电子统计”工程项目被列入上海市信息化建设 “十五”主要建设项目计划，同时作为电子政务的示范工程。 1.31.3参考资料参考资料 上海市统计局政府“电子统计”工程-测试计划 wd_shtjj_tuc_061019_ymx 上海市统计局电子统计系统 测试用例.doc wd_shtjj_ter_080407_ymx 测试问题管理表.do

6、c 上海市统计局政府“电子统计”工程-使用手册 第第 2 章章 测试概要测试概要 2.1测试用例设计测试用例设计 详见上海市统计局政府“电子统计”工程-测试用例.doc中“用例描述” 部分。 2.2测试环境与配置测试环境与配置 服务器环境详见上海市统计局政府“电子统计”工程-测试用例.doc中 “资源”部分。 2.3测试时间测试时间 测试开始时间：2008-7-20 测试结束时间：2008-8-23 2.4测试方法测试方法 采用专门的软件工具，模拟普通用户访问应用平台典型功能，将应用系统、 应用服务器和数据库服务器等全部贯穿起来，从而测试应用平台的整体性能。 由于运行应用平台的服务器性能要远远

7、超过一般的测试机（pc 机） ，我们将在 测试中使用多台测试机模拟大并发量和大数据量，最终由测试工具自动生成相 关测试数据。 根据测试结果，分析获得服务器在正常工作情况下及大并发量下的工作效 率，系统能承受的最大并发量（导致服务器满负荷工作） ，并分析系统可能的瓶 颈所在，如果问题出在系统配置或代码级别上则对系统进行调优，并对结果进 行性能回归测试，检查产生瓶颈的问题是否被正确解决，最终形成测试报告。 2.4.1 单元测试单元测试 测试目标程序模块在设定的条件下能正常的运行，对输入 的合理数据和可预见的不合理数据都能正确地处 理，不出现死机或死循环现象且返回正确的信息。 技术黑盒测试、白盒测试

8、。 需考虑的特殊事项无。 2.4.2 组合测试组合测试 测试目标 系统的部分或整体能够正常地运行，对输入的有 效和无效数据、正确的和不正确的操作、正常和 不正常的工作环境等都能正确地处理，并给出合 理的信息或结果。 技术黑盒测试。 完成标准 组合测试中发现的缺陷 90%已修正，且未修正的 缺陷都是属于低级别缺陷。 需考虑的特殊事项无。 2.4.3 系统测试系统测试 测试目标 系统在真实软硬件环境下，使用生产中实际业务 数据运行正常，功能实现符合需求说明要求，无 重大功能缺陷。 技术黑盒测试。 完成标准能够满足基本业务功能要求。 需考虑的特殊事项性能压力测试。 2.5测试工具测试工具 工具产商/

9、自产 测试管理 测试计划 自产 性能测试load runner 8.0mercury interactive 缺陷跟踪bugfree 自产 第第 3 章章 测试过程测试过程 3.1功能测试部分功能测试部分 跟随开发进度，进行功能自测，使用缺陷管理工具 bugfree 进行跟踪管理、 回归测试。 3.2性能测试部分性能测试部分 3.2.1 综合处理数据加载综合处理数据加载 数据准备： 用例名称用例名称功能模块功能模块具体数据具体数据加载文件数据量加载文件数据量 测试用例 1综合处理数据加载批发零售 06 年报 07 定报2000 测试用例 2综合处理数据加载批发零售 06 年报 07 定报100

10、00 测试用例 3综合处理数据加载批发零售 06 年报 07 定报15000 场景一：三个用例同时并发，模拟客户端用户数量分别依次为 8、8、8； 场景二：执行用例三，模拟客户端用户数量为 50。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务器应用服务器 cpu 负载负载 数据库数据库 cpu 负负 载载 场景一244 分 35 秒58.36658.36653%3% 考虑到专业处室用户实际工作中的数据量，在此选择了 2000、10000、15000 三种数据文件进行加载，其中

11、 2000 条是较为常见，10000 和 15000 属于较大的数据文件。场景一模拟了专业处室日常工作中的情况，故 仅模拟了 24 个客户端，在此三个用例并发执行，总的来说此场景中性能已经达 到了预期目标。 第二轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景二5030 秒1.862.30484%5% 场景二选取了较大的数据量 15000 条来进一步测试综合处理-数据加载的性 能。模拟客户端为 50 个用户并发的

12、前提下，完成加载的总用时仅为 30 秒，这 个测试结果较为理想。 3.2.2 综合处理数据导出综合处理数据导出 数据准备： 用例名称用例名称功能模块功能模块具体数据具体数据 测试用例 1综合处理-分组查询导出建筑业 07 季报财务汇总报表 测试用例 2综合处理-汇总报表导出本市建筑业主要经济指标（年报） 测试用例 3综合处理-汇总报表导出建筑业企业生产情况一览表 月度表（月报） 场景一：三个用例同时并发，模拟客户端用户数量各为 5； 场景二：三个用例同时并发，模拟客户端用户数量各为 10。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务

13、用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一151 分 39 秒34.85534.57645%6% 此时为模拟用户正常工作情况，性能已经达到了预期目标。 第二轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景二302 分 3 秒65.25659.23252%6% 三个用例同时并发 30 个用户，总用时为 2 分 3 秒，性能达

14、到了预期目标。 3.2.3 全市名录库数据加载全市名录库数据加载 数据准备： 用例名称用例名称功能模块功能模块加载文件数据量加载文件数据量 测试用例 1全市名录数据加载6000 测试用例 2全市名录数据加载12000 场景一：二个用例同时并发，模拟客户端用户数量各为 3。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一61 分 26 秒41.77141.77137%4% 考虑到此功能仅为普查中心用户使用，

15、故在此模拟 6 个客户端同时并发进 行加载，总用时为 1 分 26 秒，性能达到了预期目标。 3.2.4 区县、专业处名录库数据加载区县、专业处名录库数据加载 数据准备： 用例名称用例名称功能模块功能模块加载文件数据量加载文件数据量 测试用例 1名录库区县数据加载2000 测试用例 2名录库区县数据加载6000 测试用例 3名录专业处数据加载2000 测试用例 2名录专业处数据加载6000 场景一：四个用例同时并发，模拟客户端用户数量各为 10。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间

16、（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一404 分 34 秒29.48329.62451%6% 区县、专业处同时进行数据加载，在四个用例同时并发的情况下用时为 4 分 34 秒，应用服务器 cpu 负载为 50%左右，性能在可接受范围内。 3.2.5 名录库区县待查任务导出名录库区县待查任务导出 数据准备： 用例名称用例名称功能模块功能模块导出数据量导出数据量 测试用例 1以黄浦区用户登录待查任务下载页面2345 测试用例 2以闵行区用户登录待查任务下载页面7899 测试用例 3以浦东新区用户登录待查任务下载页面10554 场景一：三个用例同时

17、并发，模拟客户端用户数量分别依次为 3、9、3。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一152 分 30 秒62.85762.85746%5% 性能完全达到了预期目标。 3.2.6 名录库区县查询结果导出名录库区县查询结果导出 数据准备： 用例名称用例名称功能模块功能模块导出数据量导出数据量 测试用例 1以崇明区用户登录维护页面9721 测试用例 2以闵行区用户登录维护页面24785 测试用例 3

18、以嘉定区用户登录维护页面52701 场景一：三个用例同时并发，模拟客户端用户数量分别依次为 2、5、3。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一106 分 55 秒241.166227.57789%7% 全市有 19 个区县，在此设置了 10 个区县同时并发进行查询导出操作，总 用时为 6 分 55 秒。考虑到数据量的因素（9721、24785、52701） ，名录查询结 果导出在尚可接受的范围内

19、，但若继续增 0 大用户量，则此部分存在性能瓶颈。 3.2.7 测试审核速度测试审核速度 数据准备： 用例名称用例名称功能模块功能模块具体数据具体数据 测试用例 1综合处理-数据审核建筑业统计报表制度 06 年报 07 定报 测试用例 2综合处理-数据审核房地产开发、经营统计报表制度 06 年报 07 定报 测试用例 3名录库-数据审核基本单位统计报表制度 测试用例 4名录库-重名重码审核基本单位统计报表制度 场景一：四个用例同时并发，模拟客户端用户数量各为 10。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响

20、 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一408 分 51 秒235.596278.99881%10% 此场景结合了综合处理逻辑审核部分和名录库数据审核部分，录制了 4 个 脚本，设置 40 个模拟客户端同时并发，用时 8 分 51 秒，基本满足性能需求。 3.2.8 名录区县多人操作最大负载名录区县多人操作最大负载 数据准备： 用例名称用例名称功能模块功能模块具体数据具体数据 测试用例 1名录库-区县数据录入待查任务录入 测试用例 2名录库-名录加载闵行 6000 条数据加载 测试用例 3名录库-待查任务下载闵行 7899

21、条待查任务 测试用例 4名录库-名录查询 测试用例 5名录库-汇总出表静安汇总出表 场景一：五个用例同时并发，模拟客户端用户数量分别为 30、20、20、20、10。 第一轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景一1005 分144.595141.35875%7% 性能基本达到了预期目标。 3.2.9 加载导出审核查询四大功能并发加载导出审核查询四大功能并发 数据准备： 用例名称用例名称功能模块功能模块具

22、体数据具体数据 测试用例 1综合处理-数据审核房地产开发、经营统计报表制度 06 年报 07 定报 测试用例 2综合处理-数据加载批发零售 06 年报 07 定报，数据量为 15000 条 测试用例 3名录库-数据导出嘉定区 52701 条的待查任务到处 测试用例 4名录库-汇总出表静安汇总出表 场景一：四个用例同时并发，模拟客户端用户数量分别为 20、40、20、40； 场景二：四个用例同时并发，模拟客户端用户数量分别为 15、40、10、40。 第一轮性能测试的系统性能主要指标如下： 由于均是比较费时的操作，故用例 1 综合处理数据审核在测试的过程中超 时，在用户数量未做调整的情况下测试结

23、果不理想，故未做记录。 第二轮性能测试的系统性能主要指标如下： 场景场景模拟客户模拟客户 端数量端数量 总用时总用时事务用时事务用时事务平均响事务平均响 应时间（秒）应时间（秒） 应用服务应用服务 器器 cpu 负负 载载 数据库数据库 cpu 负载负载 场景二10513 分 8 秒145.439428.23695%10% 在这一轮测试中，105 个客户端同时并发四个用例用时 13 分 8 秒，效果不 是很理想。通过执行过程中对四个用例的实时监控发现，测试用例 1 综合处理- 数据审核和测试用例 3 名录库嘉定区 50000 条数据导出为较为费时的操作。在 用例 1 设置用户 15、用例 3 设置用户 10 的情况下系统仅能勉强满足需求。故 建议对综合处理-数据审核及名录库-查询结果导出两个功能进行进一步优化。 第第 4 章章 测试结论测试结论 4.1功能测试部分