《软件测试在某企业的实际应用制造企业软件测试质量分析》

软件测试在某企业的实际应用某制造企业软件测试质量分析目录软件测试在某企业的实际应用1某制造企业软件测试质量分析1某制造企业软件测试质量分析11简介22测试内容33测试进度44功能测试641BUG级别及状态定义642BUG整体情况统计743BUG修复情况844遗留BUG情况说明95性能测试1051场景执行情况1052业务平均响应时间1153系统资源情况136文档测试1461文档测试基本定义1462文档测试结果1563文档测试BUG分布情况157建议168测试结论17第1页共20页某制造企业软件测试质量分析摘要本文从实际的项目视角出发，基于公司INDIOFFICE产品，对一个实际的系统项目的相关内容进行功能测试、性能测试、安全测试、文档测试，并对测试出来的内容进行适当的修改建议。其中功能测试方面深入到具体系统的业务细节如公司发文、公司收文等，对其进行各功能模块的详细测试以及相关的流程测试；性能测试方面进行了压力测试、容错测试、稳定性测试，并进行了单一场景和混合场景的多方面测试；安全测试方面，对服务器进行了安全漏洞扫描、安全静态检查；在文档测试方面，对项目过程中按进行了相应测试，确保系统质量。关键词INDIOFFICE、办公自动化、公司发文、公司收文、OA系统1简介编写背景某企业办公自动化系统（以下简称“办公自动化系统”、“OA系统”）是在局域网上运行的，用于处理、传输和发布公司公文等信息的管理信息系统。在该系统处于上线试运行前的验收阶段，慧点科技公司对该系统进行了验收测试工作。测试过程中进行了功能测试、文档测试、性能测试和安全测试等四类测试。本文对这四类测试进行了概要的总结。测试目的1从最终用户角度，检验某企业OA系统是否符合各种功能和技术需求，为用户接收OA系统提供决策依据。2通过验收测试，尽可能发现并协助排除系统中可能存在的缺陷。测试类型功能测试（包括流程测试）、性能测试、安全测试、文档测试测试类型定义1验收测试确定系统是否符合其验收准则，是客户确定是否接收此系统的正式测试。2功能测试在与真实环境相似的模拟环境上，测试系统是否逐项满足了业务需求，屏幕显示及打印是否规范、准确，系统使用是否方便、界面是否友好等。测试要确保业务需求书中的功能均被实现，没有遗漏的情况发生。本次的功能测试中包括典型流程的测试。3性能测试以真实的业务为依据，选择有代表性的、关键的业务操作设计测试用例，以评价系统的当前性能；通过模拟大量用户的重复执行测试，可以确认性能瓶颈并优化和调整应用，目的在于寻找到瓶颈问题。通过性能测试，可以得到与并发用户数相关联的系统性能指标数据。4文档测试为保证系统的一致性和可维护性，对开发过程产生的所有文档的完整性、规范性，以及与需求的一致性等方面进行审查。5安全测试主要通过多种安全检查工具以及一系列安全标准要求来验证系统或应用软件的安全防护能力，并及时发现系统中存在的安全隐患，根据发现的安全隐患建议客户采取相应的措施。某企业办公自动化系统验收测试报告第3页共20页2测试内容测试类型测试方法功能点备注功能测试包括个人办公、公文管理、综合办公、模块管理、应用管理等模块办公自动化系统功能测试流程测试公司发文、公司收文、签报等公文和文件流转流程；会议室预定、车辆、办公用品管理、通用审批等日常事务处理流程；以及信息发布流程等办公自动化系统测试类型测试方法测试场景备注单场景打开OA公文OA系统生产环境压力测试容量测试混合场景新建会议预定、打开待办文件、新建公文、打开通知公告、检索OA系统生产环境性能测试稳定性测试混合场景新建会议预定、打开待办文件、新建公文、打开通知公告、检索OA系统生产环境测试类型测试方法测试范围备注安全漏洞扫描OA系统服务器、邮件服务器安全测试安全静态检查OA系统服务器、邮件服务器、应用软件DOMINO测试类型文档类型文档名称文档规模页需求规格说明书某企业办公系统需求说明书114安装配置手册INDIOFFICEV5办公自动化系统实施安装配置手册73INDIOFFICEV5系统管理员手册57文档测试使用手册INDIOFFICEV5办公自动化系统公文流转使用手册933测试进度序号任务名称工期开始时间完成时间资源备注1测试前期准备阶段65工作日11前期调研，确定人员和工作方式5工作日、12建立工作环境15工作日配置管理组2测试需求分析阶段45工作日21项目组接受业务培训，了解用户需求，收集客户文档05工作日开发方,客户,项目组全体22熟悉业务和系统，细化需求3工作日项目组全体23提交功能点列表1工作日功能组3测试计划制定阶段75工作日31制定项目整体计划1工作日32制定功能测试方案1工作日功能组33制定安全和可恢复测试方案1工作日非功能组可恢复测试延期执行34性能测试典型业务选择1工作日性能组35制定性能测试方案2工作日性能组36内部评审1工作日功能组,性能组,非功能组37计划评审05工作日客户,项目组全体4功能测试阶段13工作日41测试设计阶段6工作日功能组411设计功能测试用例6工作日功能组412测试用例评审1工作日客户,功能组42第一轮功能测试执行阶段65工作日421接收测试阶段05工作日开发方,项目组全体422执行功能测试5工作日功能组某企业办公自动化系统验收测试报告第5页共20页423第一轮功能测试总结1工作日功能组里程碑0工作日43功能测试回归阶段6工作日431测试用例维护2工作日功能组432执行回归测试15工作日功能组433执行外网邮件遗留问题测试25工作日测试工程师44功能测试总结阶段3工作日441总结功能测试报告2工作日功能组,文档组442评审功能测试报告05工作日项目组443外网邮件遗留问题测试后文档补充05工作日项目组5文档审查阶段4工作日51执行文档审查3工作日功能组52总结、提交文档审查报告1工作日功能组,文档组6性能测试阶段95工作日61测试环境搭建阶段1工作日性能组62测试准备阶段1工作日性能组63脚本录制和调试1工作日性能组64场景设计1工作日性能组65性能测试执行（压力、容量）1工作日性能组66性能测试执行（稳定性）1工作日性能组67编写性能测试报告3工作日性能组67评审性能测试报告05工作日项目组7安全测试阶段35工作日71执行安全测试（漏洞扫描、静态检查）2工作日非功能组72编写安全测试报告1工作日非功能组73评审安全测试报告05工作日项目组4功能测试41BUG级别及状态定义BUG级别定义级别名称描述一级致命性BUG具有严重破坏性，使得系统功能遗漏、引起系统崩溃、数据丢失。二级严重性BUG规定的内容没有实现或者实现与设计不符。三级告警性BUG与需求不符合，但是不影响业务正常运行。四级建议性BUG满足需求，但存在设计或者实现上的不合理之处，不影响业务正常运行。BUG状态定义名称操作者描述新建测试人员当测试人员新发现BUG时，将其置为新建。打开开发人员开发人员确认的BUG，将其置为打开。已关闭测试人员测试人员确认BUG已经修改，将其置为已关闭。待验证开发人员开发人员确认已经修改的BUG，将其置为待验证。待复现测试人员由测试人员提出，但无法再现的BUG，将其置为待复现。重开测试人员开发人员确认已经修改的BUG，经测试人员回归测试BUG仍然存在，将其置为重开。拒绝开发人员由测试人员提出，但开发人员认为不是BUG的问题，经测试人员、开发人员和客户方共同商讨确认后，将其置为拒绝。延期测试人员测试人员和开发人员、客户方共同商讨，综合考虑后在该阶段不处理需要延期的BUG，将其置为延期。某企业办公自动化系统验收测试报告第7页共20页42BUG整体情况统计所发现所有BUG的状态有效BUG功能模块测试用例数打开待复现待验证拒绝延期已关闭重开BUG数小计致命性严重性告警性建议性有效BUG数小计公共信息990000000000000公文管理880010160802204流程公共信息160000000000000流程公文管理370000000000000流程综合办公220000020201102通用功能320100050604105首页面1160000000000000系统管理1630010040502215总计10460120117021096116注1上表中数值单位为个；2有效BUG是指除“拒绝”和“待复现”外的BUG，遗留问题包括“打开”、“待验证”、“重开”、“延期”四个状态。有效BUG问题级别分布图所有发现的BUG问题状态分布图43BUG修复情况功能模块问题总数已修正未修正某企业办公自动化系统验收测试报告第9页共20页个人邮箱000公共信息000公文管理871流程公共信息000流程公文管理000流程综合办公220通用功能660首页面000系统管理550总计2120144遗留BUG情况说明OA系统验收测试结束后遗留BUG总数是1个。延期BUG处理方式缺陷ID测试类别功能模块子系统摘要处理方式开发方建议454公文管理发文套打错误提交后重新套打的解决思路5性能测试51场景执行情况并发策略执行结果业务选取测试时间场景执行脚本并发用户数思考时间时间间隔同步点设置成功失败500混合业务混合业务2012623220353至230047（2012627）111506至151517内网混合_50内网混合_101打开待办文件2新建会议预定3新建发文4打开通知公告5检索1打开待办文件503无无无无无无42470测试类型2新建会议预定1无无无73703新建公文1无无无68004打开通知公告3无无无553505检索2无无无43580稳定性测试某企业办公自动化系统验收测试报告第11页共20页52业务平均响应时间（以下为各测试场景下业务的评价响应时间曲线）单点登录平均响应时间005115225320406080100用户数（个）时间（秒）平均响应时间01020304050607080时间（秒）进入办公系统新建提交确认提交信息发文检索打开通知公告打开通知公告列表打开待办文件事务点50用户压力测试混合业务平均响应时间平均响应时间0123456789时间（秒）查看公告明细打开代办文件明细打开通知公告主页发文检索会议室预定主持人查找会议预定流转信息会议预定提交会议预定新建会议预定主办部门查找新建发文提交事务点10用户稳定性混合业务平均响应时间平均响应时间查看内网邮件平均响应时间01234567102030405060708090100用户数（个）时间（秒）打开邮箱打开邮件执行混合场景用户压力测试时两个响应时间较长的业务梯度及响应曲线用户数（单位个）5101520253035404550检索19266393865926668922739987912581074859848698486032打开通知公告2289959668771997976280936801728105380984812681198“检索”业务平均响应时间曲线发文检索0204060801005101520253035404550用户数事务平均响应时间事务平均响应时间“打开通知公告”业务平均响应时间曲线打开通知公告01020304050607080905101520253035404550用户数事务平均响应时间事务平均响应时间某企业办公自动化系统验收测试报告第13页共20页53系统资源情况混合场景稳定性测试通过定时对服务器资源监测，服务器CPU，磁盘，内存总体运行良好。但是在每天用户上班时间（服务器并发量大）服务器内存占用变大，服务器性能降低。建议升级内存。6文档测试61文档测试基本定义文档测试基本定义阶段1级2级3级4级需求说明书需求遗漏需求描述错误；存在二义性。文档字面错误冗述或过于简单设计文档遗漏需求逻辑错误，或描述不清，存在二义性。文档字面错误冗述或过于简单用户手册功能遗漏操作描述方法错误或描述不清文档字面错误冗述或过于简单安装配置手册主要安装步骤或配置遗漏操作描述方法错误或描述不清文档字面错误冗述或过于简单文档测试检查点文档完备性文档内容充分性文字明确性文档描述的正确性，联机帮助文档中链接的正确性易读性检查文档和文档的一致性检查程序和文档的一致性检查文档间的可追溯性检查文档是否符合指定的相应模板和规范某企业办公自动化系统验收测试报告第15页共20页62文档测试结果文档类型1级2级3级4级安装配置手册0013435管理员手册10146设计说明书00213使用手册31435658需求规格说明书419216815484711863文档测试BUG分布情况30524914文档测试BUG分布图安装配置手册管理员手册设计说明书使用手册需求规格说明书图71文档测试BUG分布图7建议功能测试根据OA系统的验收测试结果，建议在被测系统的后续开发和维护过程中不断加强对系统的GUI规范，操作易用性、设计合理性和安全性方面的完善如界面风格统一性问题，包括界面的文字、功能按钮、选择列表、提示信息等要素，使系统更加美观，易用；还存在删除、退出操作时没有询问提示等易用性方面的问题；系统登录密码，邮箱密码没有输错次数限制将在后续开发中实现；另外，对系统中可输入字符的编辑框做必要的控制，如字符的长度、格式、非法字符也等可进一步增强系统的健壮性。性能测试通过压力、容量和稳定性测试，系统性能指标基本可满足目前系统的使用。但由于在混合场景的稳定性测试时发现系统有CPU较高的情况，故建议在系统的实际运行中注意监控系统的资源利用情况。当出现资源利用率较高，或者系统的实际用户数较大幅增加的情况时，考虑对系统进行软件的调优，调优从以下方面建议1、修改性能测试过程中发现的存在问题的页面组件。2、建议调整OA系统HTTP线程数配置，减少此进程的CPU占用率。若软件方面调优后系统的性能指标仍不能满足系统发展的需求，建议增加CPU数量。另外，在调整软硬件后进行需要进行相应的测试工作以检查系统的性能情况。安全测试建议完善主机管理工作部分内容，如补丁更新机制，形成相应的管理制度，也可以在内网部署升级服务器，并安排专门的人员来管理；建立内网连接服务器端口开放制度及策略，并安排专门的人员来管理。文档测试建议进一步完善文档，为系统今后的维护工作打好基础；需求规格说明书较实际系统滞后，建议进一步更新；安装配置手册写的比较简单，建议进一步完善。某企业办公自动化系统验收测试报告第17页共20页8测试结论功能测试经过两个轮次的功能及典型流程测试、后续的所有遗留BUG回归测试，共发现功能和流程的有效BUG的总数为166个，通过测试发现，系统的致命性BUG很少，严重性BUG共44个，占有效BUG总数的近35。经过开发人员的修改，“已关闭”的BUG总数为161个，占有效BUG总数的97，修复率比较高，这部分BUG的修改使得系统功能得到了进一步的完善。目前系统遗留BUG总数为5个,状态全部是“延期”。其中两个遗留BUG涉及的功能点在目前的系统中已经不存在，不会给系统带来任何潜在的危害；另两个遗留BUG是关于系统的安全问题的，中国投资有限公司已经专门立项解决这两个问题；最后两个遗留BUG属于功能小瑕疵，这两个问题的存在并不影响系统的正常使用，并且已经提交到开发方产品部门解决。整个验收测试结束后，系统的易用性、健壮性、功能安全等方面均有一定程度的提高。性能测试OA系统生产环境本次生产环境测试针对“打开OA公文”业务进行性能测试，并对被测服务器的资源情况进行全程监控，通过测试，单点登录场景用户并发数可以达到100个，内网场景的业务稳定点在50个并发用户。通过对目前系统用户数及未来可能的发展趋势的估算，这两个业务的性能指标基本可以满足一定时间系统用户的需求。打开公文的CPU的资源利用率维持在10左右，资源情况良好。打开公文的CPU的资源利用率维持在10左右，资源情况良好。OA系统内测环境在OA系统的测试环境上，测试人员针对打开通知公告、发文检索、打开待办文件、新建发文及新建会议预定五个典型业务进行了混合场景的压力和稳定性测试。通过压力测试得到混合场景的并发点为15个用户，该时业务均可正常实现，但有两个业务的平均响应时间较长，大约在一分钟左右。在稳定性测试中对10个用户的混合场景进行了长时间负载的测试，测试结果表明被测业务的性能指标基本可以满足目前系统用户的需求。网