标准云听测试报告

2.7.4标准云听测试总结报告测试人员：***目录TOC\o"1-5"\h\z\o"CurrentDocument"1引言 3\o"CurrentDocument"编写目的 3\o"CurrentDocument"背景 3\o"CurrentDocument"用户群 3\o"CurrentDocument"定义 3\o"CurrentDocument"测试对象 4\o"CurrentDocument"测试阶段 4\o"CurrentDocument"测试工具 4\o"CurrentDocument"参考资料 4\o"CurrentDocument"2测试概要 4\o"CurrentDocument"进度回顾 5\o"CurrentDocument"测试执行 5测试用例 5功能性 5\o"CurrentDocument"易用性 5\o"CurrentDocument"3测试环境 6\o"CurrentDocument"4测试结果 6Bug趋势图 6Bug严重程度 .7\o"CurrentDocument"BUG分类统计占比 8\o"CurrentDocument"5测试结论 9\o"CurrentDocument"功能性 9\o"CurrentDocument"易用性 9\o"CurrentDocument"可靠性 10\o"CurrentDocument"兼容性 10\o"CurrentDocument"安全性 10\o"CurrentDocument"6分析摘要 106.1建议 10\o"CurrentDocument"7度量 11\o"CurrentDocument"7.1资源消耗 11\o"CurrentDocument"8典型缺陷引入原因分析 111引言1.1编写目的编写标准云听测试报告主要目的罗列如下：.通过对测试结果的分析，得到对软件质量的评估.分析测试的过程，产品，资源，信息，为以后制定测试计划提供参考.评估测试执行和测试计划是否符合.分析系统存在的缺陷，为修复和预防bug提供建议背景客户需求用户群主要使用者：（1）电台主播（主持人）⑵频道负责人⑶媒体负责人（4）电台听众定义.出现以下缺陷，定义为致命bug（1级）：（1）系统出现闪退、崩溃；⑵系统无响应，处于死机状态，需要其他人工修复系统才可复原;'⑶操作某个功能出现报错或者返回异常错误；⑷进行某个操作（增加、修改、删除等）后，出现报错或者返回异常错误；⑸实现功能和需求不符等；.出现以下缺陷，定义为严重（功能）bug（2级）：（1）当对必填字段进行校验时，未输入必输字段，出现报错或者返回异常错误⑵系统定义不能重复的字段输入重复数据后，出现报错或者返回异常错误⑶系统刷新加载不正常，不能正确显示；（4）显示信息与配置信息不一致等；.出现以下缺陷，定义为一般bug（3级）：（1）显示问题；⑵提示问题；⑶按钮摆放位置等;1.5测试对象2.7.4标准云听app；2.7.4标准云听后台；2.7.4标准云听UI；2.7.4标准云听接口；1.6测试阶段系统测试1.7测试工具GOOGLE浏览器postman接口测试插件1.8参考资料《云听APP2.7.4原型方案》《标准云听2.7.4-后台原型》《标准云听2.7.4设计稿》《标准云听2.7.4测试用例（包含冒烟）》《标准云听2.7.4项目工作计划表》《标准云听2.7.4需求》2测试概要2.7.4标准云听2.7.4系统测试从2016年12月13日开始到2016年12月22日结束，共持续8天，测试功能点44个，执行279个测试用例，平均每个功能点执行测试用例6.34个，测试共发现527个bug，其中1级bug85个，2级bug185个，3级bug203，无效bug58个，平均每个测试功能点10.7个bug。2.7.4标准云听总共发布26个测试版本，其中Android为12个，IOS为14个，其中：（1）Android的B1—B5为测试环境版本（包含回归测试版本），B6-B10为灰度测试版本，B11-B12为线上版本。B1—B5测试进度依照项目计划时间准时完成测试完成并提交报告,B6-B10测试通过增加一个人日，准时完成测试并提交报告，B11-B12线上版本准时上线。⑵IOS的B1-B5为测试环境版本（包含回归测试版本），B6-B12为灰度测试版本，B13-B14为线上版本。B1-B5测试进度依照项目计划时间准时完成测试完成并提交报告，B6-B12测试通过增加一个人日，准时完成测试并提交报告，B13-B14线上版本准时上线。2.7.4标准云听测试通过禅道缺陷管理工具进行缺陷跟踪管理，每个测试阶段都有详细的bug分析表和阶段测试报告。进度回顾版本/时间计划开始时间实际开始时间计划完成时间实际完成时间加班时间增加资源测试环境内侧(B1〜B5)2016-12-132016-12-132016-12-142016-12-1418小时/2人次无Android灰度环境测试(B6〜B10)2016-12-152016-12-152016-12-162016-12-2218小时/3人次2天/1人次IOS灰度环境测试(B6〜B12)2016-12-152016-12-152016-12-162016-12-2218小时/3人次2天/1人次测试执行此次测试严格按照项目计划和测试计划执行，按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略，在测试执行中都有体现，在测试执行过程中，依据测试计划和测试用例，对系统进行了完整的测试测试用例功能性系统实现的主要功能，包括后台流程、数据查询，添加，修改，删除、接口、app功能和数据显示。系统实现的次要功能，包括为后台配置数据显示，需求规定的输入输出字段，以及需求规定的输入限制易用性操作按钮提示信息正确性，一致性，可理解性；限制条件提示信息正确性，一致性，可理解性；必填项标识；输入方式可理解性；中文界面下数据语言与界面语言的一致性；

3测试环境软硬件环境后台环境配置服务器为CentOSrelease5（Final）（64位）操作系统或linux系统数据库mysql数据库版本：5.0jdk1.7App安装环境IOS支持8.0以上的操作系统Android支持4.0以上的操作系统4测试结果4.1Bug趋势图此次黑盒测试总共发布26个版本，由于具体的每个版本的BUG数量未做统计，所以只针对阶段性的BUG做出了统计。B1—B5测试环境版本（针对项目计划的基线标识），B6-B12为进行灰度测试回归测试版本。bug版本趋势图如下图所示:第一阶段，测试环境测试：时间从2016年12月13日开始到2016年12月22日。从Bug趋势图中可以看出，每个版本阶段的bug数差别比较大。测试环境B1~B5：从图中看到共有226个BUG,因为2.7.4标准云听增加了新功能，属于一个新的项目，测试过程中发现的BUG数量包含了继承的旧版本的BUG和新增需求的BUG，所以在测试环境中的BUG数量比较多。第二阶段，灰度环境测试：灰度环境B6~B12：灰度环境测试的BUG包含了灰度环境BUG和灰度整合环境的BUG，因为在之前测试环境中测试出的263个BUG之后，进行了灰度环境的测试，新增BUG数量为63,明显比第一阶段降低不少；因为在已测试的版本中增加了新需求“抢红包”的功能，所以后续的“灰度整合环境”中的BUG数量呈现之前灰度环境的3倍的增长数量，而且出现了之前测试完成、功能正常的地方再次出现问题，所以BUG数量极度增大。Bug严重程度测试发现的bug主要集中在2级和3级阶段，属于一般性的缺陷，但是测试的时候,出现了85个严重级别的bug，出现严重级别的bug主要表现在以下几个方面：app中数据刷新或者操作后出现闪退、崩溃现象；⑵功能实现与需求不符合；⑶后台流程不符合设计要求；⑷后台页面刷新后操作后出现报错或找不到页面；⑸权限控制异常问题；严重级别bug按版本分布如下:

由严重bug版本分布图可以看出，严重级别的bug版本趋势和bug版本趋势基本是一致的，但是，在灰度整合版本中，严重级别的bug明显增多，主要原因是灰度整合环境增加了“发/抢红包”的功能，与之前功能整合在一起又出现了一些修改引入的BUG。BUG分类统计占比根据测试过程中所提BUG进行了分类，如下图:根据上图显示，分析总结如下:1、功能问题占比47.5%,是所有问题中占比最大的，功能问题包括功能异常、与需求不符等；2、显示问题包含了app和后台显示不符、app图片未显示出来、显示错误等问题；3、兼容问题虽然只是占比0.4%，并不能说明无兼容问题，而是兼容性方面的测试未展开进行；4、操作失败的问题占比5.3%，这种问题属于严重的BUG类型，占比重太大了；5、崩溃问题占比4.2%，这类问题在BUG中属于致命的问题了，4.2%的比重确实是太高了，对于用户来说是无法接受的现象；6、优化的问题包含不稳定、加载慢、体验差等，这些问题占比不大，是因为未做这方面的专门测试，更多的优化问题未提问题单。5测试结论5.1功能性系统正确的实现了通过配置数据字典管理的基础数据的功能，正确实现了需求所要求的功能，实现了基础数据的管理，用户权限，用户管理的增删改查功能，实现了权限控制细化到菜单模块的功能；系统在实现用户管理权限功能的同时，存在重大的缺陷：(1)未实现多语言功能；⑵未实现中英文界面；⑶app崩溃现象较多；⑷版本更新后存在影响数据流程的严重问题；⑸app是面向广大听众和用户的，重要的兼容性未实现；5.2易用性现有系统实现了如下易用性：(1)查询，添加，删除，修改操作相关提示信息的一致性，可理解性⑵输入限制的正确性⑶输入限制提示信息的正确性，可理解性，一致性⑷输入有解释性说明现有系统存在如下易用性缺陷：(1)界面排版不美观⑵部分输入，输出字段的可理解性差⑶中英文无对应的正确性(4)中英文混排5.3可靠性现有系统的容错性不高，如果系统出现错误，返回错误类型为找不到页面错误，无法回复到出错前的状态5.4兼容性现有后台系统支持google浏览器和火狐浏览器，IE浏览器部分不支持。现有后台系统未进行其他兼容性测试；现有app未进行终端兼容性测试；5.5安全性现有系统控制了以下安全性问题：把某一个登录后的页面保存下来，不能单独对其进行操作不进行登录直接输入某一页面的Url能否打开页面并进行操作不应该允许。现有系统未控制以下安全性问题：(1)用户名和密码应对大小写敏感⑵登陆错误次数无限制6分析摘要此次测试，所有测试用例都是在中文界面下执行，未在英文界面下执行，测试不包括英文界面下的测试，也不包括正对英文翻译的测试。此次测试，过程中，测试是根据输入字段含义，测试人员理解，以及和项目经理，开发人员沟通获得测试依据，无法保证测试依据的正确性和完整性，因此，没有进行完整的，正确的无效数据的测试，测试覆盖率不够，无法保证测试的有效性和正确性。6.1不足与建议(1)开发应该严格按照需求来做项目，测试也应该按照需求来制定测试计划和测试用例，避免开发和测试制定计划的依据不一致，导致重复和无用工作；⑵在项目开始的时候应该制定编码标准，数据库标准，需求变更标准，开发和测试人员严格按照标准进行，可以在后期减少因为开发，测试不一致而导致的问题，同时也可以降低沟通成本。⑶发布版本的时候，正确布置测试环境，减少因为测试环境，测试数据库数据的问题而出现的无效bug。开发人员解决bug的时候，填写bug原因以及解决方式，方便bug的星艮踪；测试人员应该熟悉了解业务流程，避免提出误认为的bug。⑷开发人员在开发版本上发现bug,可以通知测试人员，因为开发人员发现的bug很有可能在测试版本上出现，而测试人员和开发人员的思路不同，有可能测试人员没有发现该bug,而且，这样可以保证发现的bug都能够被踉踪。7度量7.1资源消耗测试时间2016-12-13至2016-12-22共计8天测试人力2人*8天+1人*3天=19人天硬件资源服务器：PC3台测试终端：OPPOR7Plusm5.1.1Iphone6plus9.3.2Iphone610.28典型缺陷引入原因分析测试过程中发现的缺陷主要有以下几个方面：（1）需求定义存在不清楚：需求文档中，存在功能定义不清楚，输入输出字段描述错误，输入输出字段限制定义错误，输入输出限制定义缺失这几种类型的缺陷。使得开发人员根据需求进行设计时，没有考虑相关功能的关联性，以及需求错误的地方，在测试过程中，需求相关的问题表现出来。需求做改正，设计必须踉着做改动，浪费时间。⑵功能性错误功能没有实现，导致无法进行需求规定的功能的测试。如权限模块功能未实现，需要通过后续刷脚本。功能实现错误，实现了需求未定义的功能，执行需求定义的功能时系统出现错误。主要是活动报名审核和评论审批等。⑶页面设计和需求不一致页面设计没有根据需求进行，输入，输出字段文字错误，用户无法理解字段含义。页面设计没有完成需求规定的输入限制验证，导致用户可以输入错误