android tablet产品软件测试规范.docx

产品软件测试规范产品软件测试规范2修 改 履 历版本号/修改号发布日制定、修改内容起草部门备注V1.02014-8-20新规制定研发质量管理部V1.12014-8-21根据评审意见修改研发质量管理部2产品软件测试规范1 Purpose 目的本程序文件定义了产品软件测试规范，是软件测试人员的工作指南。本文档中描述了软件测试活动、执行步骤、输出文档。2 Scope适用范围本程序文件适用于产品软件测试。3 软件测试活动3.1 概述 软件测试包括四项活动，按顺序分别是：测试计划、测试用例设计、测试执行、测试报告。3.2 测试计划【执行步骤】a) 编写测试计划，测试计划需要明确测试范围，测试资源（硬件资源，软件资源，人力资源），测试进度计划，测试策略，测试人员安排等。b) 组织对测试计划进行评审，如果评审通过则提交海信进行测试计划文档验收，否则继续修改测试计划直至评审通过。【文档验收】 评审通过的测试计划文档需要提交海信方进行文档验收，验收通过后则可以按照测试计划进行测试，否则继续修改测试计划直至验收通过。【输出】 测试计划文档3.3 测试用例设计【执行步骤】a) 编写测试用例，测试用例时需要明确用例标题，目的，前置条件，步骤，期望结果，优先级等。b) 组织对测试用例进行评审，如果评审通过则提交海信进行测试用例文档验收，否则继续修改用例直至评审通过。【文档验收】 评审通过的测试用例文档需要提交海信方进行文档验收，验收通过后则可以使用测试用例进行测试，否则继续修改测试用例直至验收通过。【输出】 测试用例文档3.4 测试执行测试执行阶段至少需要包括如下测试项：功能测试、稳定性测试、压力测试、网络测试。 功能测试：对产品的软件功能进行全面测试。至少需要包括：全部功能测试，TOP100应用兼容性测试（外销产品为Play Store内的TOP100应用；内销产品为360应用商店内的TOP100应用）。 稳定性测试：对产品的软件系统进行稳定性测试。至少需要包括：Monkey测试（通过标准：运行50轮，平均每轮需要达到20000次），充放电时间测试（通过标准：1.长时间待机测试（连续12小时），无电量突变；2.充放电测试，充放电时间符合产品技术规格书）。 压力测试：对产品的软件常用功能进行压力测试。至少需要包括：开关机压力测试（至少2台设备，每台各600次），相机压力测试（至少2台设备，每台设备前后摄像头各10000次）。 网络测试：对产品的网络的稳定性，吞吐量进行测试。至少需要报告：WIFI网络吞吐量测试（测试报告模板见附录C）。【执行步骤】a) 根据测试计划完成计划的各测试项，至少需要包括：功能测试、稳定性测试、压力测试、网络测试。b) 获取测试结果，判定测试是否已经完成。如果各测试项均已经完成，则将各测试项的测试结果提交海信进行文档验收；否则继续修改和测试直至测试全部完成。c) 获取缺陷报告，判定软件成熟度。如果软件成熟度达到软件测试完成质量目标（见附录B 5.2.2章节），则结束测试；如果软件成熟度未达到软件测试完成质量目标，则软件继续修改和测试，直到软件成熟度达到软件测试完成质量目标。【文档验收】 各测试项的测试结果和缺陷列表需要提交海信进行文档验收，验收通过后则结束测试，否则继续测试直至各测试项的测试结果和缺陷列表验收通过。【输出】 各测试项测试报告文档 软件缺陷报告文档3.5 测试报告【执行步骤】d) 完成测试报告，测试报告需要明确测试结论，遗留主要问题，各测试项测试情况，测试过程（测试版本情况，测试人力投入），风险和建议等。e) 组织对测试报告进行评审，如果评审通过则提交海信进行文档验收，否则继续修改测试报告直至验收通过。【文档验收】 评审通过的测试报告文档需要提交海信进行文档验收，验收通过后则提交软件验收，否则继续测试直至测试报告验收通过。【输出】 测试报告文档4 附录4.1 附录A 软件缺陷等级判定准则4.1.1 缺陷等级 缺陷等级英文对照描述致命Critical多数用户经常会遇到的灾难性故障此类问题必然导致服务率数据的显著变差严重Major就发生的可能性和影响性而言，低于致命性问题带来的风险，但将影响产品的稳定性和用户体验，影响服务率指标一般Normal少数用户偶尔会遇到，会影响到用户对品牌的评价轻微Minor在易用性、方便性和用户习惯方面，给用户带来不便4.1.2 缺陷等级定义缺陷类型业务场景类型故障影响出现概率等级定义功能类缺陷法令/规范/需求标准相违背Critical造成危害/伤害Critical功能失效/不可恢复Critical常用场景或操作功能失效/用户易察觉Critical常用场景或操作功能瑕疵/用户不易察觉高概率Major常用场景或操作功能瑕疵/用户不易察觉低概率Normal一般场景或操作功能失效/用户易察觉高概率Major一般场景或操作功能失效/用户易察觉低概率Normal一般场景或操作功能瑕疵/用户不易察觉Minor特殊操作功能失效/用户易察觉Minor特殊操作功能瑕疵/用户不易察觉Minor死机/重启/死锁类缺陷功能失效/不可恢复Critical常用场景或操作高概率Critical常用场景或操作低概率Major一般场景或操作高概率Major一般场景或操作低概率Normal特殊操作高概率Major特殊操作低概率Normal性能类缺陷常用场景或操作性能差距大Critical常用场景或操作性能差距较小Major一般场景或操作性能差距大Major一般场景或操作性能差距较小Normal特殊操作性能差距大Normal特殊操作性能差距较小Minor用户体验类缺陷常用场景或操作体验极差Critical一般场景或操作体验极差Major特殊操作体验极差Normal常用场景或操作体验较差Major一般场景或操作体验较差Normal特殊操作体验较差Minor常用场景或操作体验不令人满意Normal一般场景或操作体验不令人满意Minor特殊操作体验不令人满意Minor4.2 附录B 软件质量目标4.2.1 缺陷的权重及DI值计算A.1.1 缺陷的权重各等级缺陷的权重定义如下：缺陷等级致命严重一般轻微权重10310.5A.1.2 DI值计算方法软件版本的DI值由版本中未关闭缺陷的等级及数量确定，计算公式如下：DI = 缺陷的权重缺陷数量。4.2.2 软件测试完成质量目标序号评价项质量目标1用例执行率用例执行率：100%2DI值150（Critical*10+Major*3+Normal*1+Minor*0.5）3缺陷数量致命：0严重：104CTS测试合格5测试计划文档验收通过6测试用例文档验收通过测试结果和缺陷列表文档验收通过测试报告文档验收通过其他最后一个版本由于修改新引入严重以上缺陷数为0。所有未关闭严重缺陷已逐一评估，并有后续应对措施。4.3 附录C WIFI吞吐量测试报告模板请在RX(Mbps)和TX(Mbps)列填写实际测试数据：如第一行的样例Test caseChannelDistanceRX(Mbps)TX(Mbps)11g 20Mhz 无加密 16m28-3030-3211n 20Mhz 无加密 16m11n 20Mhz WPA2-AES16m11n 20Mhz WPA-TIKP16m11n 20Mhz WEP 16m11n 20Mhz WPA2/WPA-PSK Auto16m11n 40Mhz 无加密16m11n 40Mhz WPA2/WPA-PSK Auto16m11g 20Mhz 无加密 66m11n 20Mhz 无加密 66m11n 20Mhz WPA2-AES66m11n 20Mhz WPA-TIKP66m11n 20Mhz WEP 66m11n 20Mhz WPA2/WPA-PSK Auto66m11n 40Mhz 无加密66m11n 40Mhz WPA2/WPA-PSK Auto66m11g 20Mhz 无加密 116m11