手机黑盒测试测试方案与测试报告

学号：8 班级：B 专业：软件工程 姓名：申金萍手机黑盒测试测试方案和测试报告1、 简介手机作为专用的消费类电子产品需要进行以下测试：可靠性测试（对于硬件则是RQT；对于软件则是field trial）；标准符合性测试（FTA）；互操作性测试（IOT）；安全性测试（安规测试）；强度测试等。1.1编写目的1.由于现在软件的规模越来越大，一个人或者少数几个人已经不可能在一定的时间内完成一个软件，所以软件开发的过程越来越复杂，层次越来越深。这就导致开发人员之间的沟通有了一定的隔阂。所以，软件测试越来越有单立出来的必要和重要性。 2. 由于软件开发的过程的复杂性，软件必然存在着无数的Bug。而且大多数是在软件上市前必须解决的，而开发者有不定能发现这些问题，故而测试就显得非常必要。测试是开发成功的必要保障。 3. 由于软件开发的层次性，所以开发的结果很可能与初衷不一样，这就需要测试者去发现这些差异。因此，测试是软件成功的重要保证。 4. 软件不仅要实现一些功能，更要完善它的性能。这就需要测试人员对软件进行评测，从而不断地完善软件的性能。 1.2项目背景 在计划制定好之后，在执行之前，必须将测试所需的人力资源，硬件资源，软件资源，文档资源以及环境和人文资源准备充分 。1.3术语 时间相关的性能测试可分为长时间保持测试和限定时间反应测试。 次数相关的性能测试是测试终端重复稳定地进行某项功能的能力。 并发测试主要是测试终端同时进行多项业务时表现出的处理能力。 负载测试主要是验证系统的负载工作能力。2、 测试概要2.1测试用例设计测试项目测试方法判断标准手机呼叫拨通率测试 在同一地点、同一网络运营商的条件下，分别拨打当地的1860或1001各50次，测试机与对比机、座机（市话与长话）互相拨打50次，记录拨不通或拨号失败的次数，计算出对应的拨通率。主叫 被叫主叫 被叫要求拨通率在95以上。测试机（移动）对比机(移动)测试机（移动） 对比机（联通）测试机（联通）对比机(移动)测试机（联通） 对比机（联通）测试机（移动） 对比机（本地座机） 测试机（移动） 对比机（本地座机）测试机（联通） 对比机（外地座机） 测试机（联通） 对比机（外地座机）手机来电接通率测试 在同一地点、同一网络运营商的条件下，分别用座机（市话与长话）、不同型号的手机（联通与移动卡）分别拨打测试机（分别用联通和移动）各50次，记录测试机来电接通与接通失败的次数。测试机（移动）对比机(移动)测试机（移动） 对比机（联通）要求接通成功率在95以上。测试机（联通）对比机(移动)测试机（联通） 对比机（联通） 对比机（本地座机）测试机（移动） 对比机（本地座机）测试机（移动）对比机（外地座机）测试机（联通）对比机（外地座机） 测试机（联通） 手机信号强度测试 具体的信号强度可用S1000的*#*#1705#的DEBUG模式进行测试，画面会进入当前所处的网络情况，总共有四页（00、01、02、03），在00页中的第一行第二列中显示当前所处的绝对信道及信号强度（总共有六位数，后面两位代表信号强度（RX），数值越大、信号越强，一般弱信号的值在20数值以下）。 测试时的状态分为静止和移动，信号分为强信号（RX:4060）、中信号（RX:2040）、弱信号（RX:020）三档次。 手机通话音质测试 音质测试主要是在同一地点、同一网络运营商的条件下，在每个静止测试点和每个移动测试点测试通话时必须有回音和背景音，在每个静止测试点，主测机和主测机，主测机和对比机相互进行通话一分钟，检测通话中必须有回音和背景音；在移动测试点，主测机和座机，对比机和座机进行通话一分钟，检测必须有回音和背景音，呼叫次数暂定为5次，呼叫距离至少相隔100米，按照以下的判定标准进行判断，主测手机和对比手机必须都对第四对比机进行对比通话，并记录等级。等级判定标准0完全不能理解的讲话。1有很大回音或者很大背景杂音或者两者都有，难以听懂。2部分回音，没有杂音，或者有部分杂音，没有回音通话质量不好。3没有回音、可以听懂但有大的背景杂音。4时而有较小背景杂音或者较小的回音，但是可以听清楚对方讲话。5通话声音清晰，声音完全不失真。注：判定为03级者为不合格。长时间通话测试 在同一地点、同一网络运营商的条件下，在每个静止测试点和每个移动测试点测试通话时必须有回音和背景音，在每个静止测试点，主测机和主测机，主测机和对比机相互进行通话十分钟以上，检测通话过程中必须有回音和背景音；在移动测试点，测试机和座机，对比机和座机进行通话十分钟以上，检测必须有回音和背景音，呼叫次数暂定为5次，呼叫距离至少相隔100米，按照以下的判定标准进行判断，主测手机和对比手机必须都对第四对比机进行对比通话，并记录等级。测试内容： 同上1、长时间（10分钟以上）持续通话能力。记录掉线率（次数可自定）2、通话过程中的回音问题。记录（比率）3、通话过程中的音质问题，见判别标准并记录。4、通话时语言的连续性问题，见判别标准并记录。5、接通电话后，对方听不到您的声音，或您听不到对方的声音的现象的几率问题。记录（比率）。6、通话过程中音量的大小。（主观记录）铃声音量/通话音量测试 设置手机的来电默认为提示铃声，并将音量调到最大值，测试手机的铃声大小；手机拨通电话后，将通话音量调到最大值，测试手机的通话声音大小。发音孔距分贝仪10厘米和30厘米时测试手机铃声大小，发音孔距分贝仪10厘米处测试手机通话声音大小。判断标准：铃声音量在10cm处大于90dB，在30cm处大于85dB。通话音量在10厘米处大于75dB。通话音量在10cm处大于70dB。信息收、发送成功率误码率测试使用用户卡或与CMU200相连接测试手机短信功能，每台手机收、发短信各100次，手机应能正确显示收、发内容，并应有正确短信发送成功提示、短信收到提示和短信溢出提示。100次，保证每次通讯过程成功完成，短信有效期限与有效期设置相符，与不同型号的手机和运用不同网络进行测试，要求100的成功率（排除网络原因）实际待机(通话)时间测试通话时间测试可分人工和机械两种，机械测试可用不同的信道或不同的信号强度来测试手机的最大通话时间，人工采用不同的通讯网络（如：虚拟网等）来测试手机的通话时间；待机时间测试可分两种情况：登陆网络、不登陆网络两种按该机型最小电池容量，手机的待机时间和通话时间需满足下面两个条件：待机时间应不小于100小时，连续通话时间应不小于80分钟。识卡能力测试能识别一般普通卡（如中国移动的全球通、神州行以及相应的充值卡和中国联通的普通卡、如意通和充值卡等)，若卡开通了STK功能，手机也应能够识别（现有容量有16K、32K、64K等）。即能够在规定的搜寻网络的时间内寻找到正确的网络，且待机状态时的网络运营商名称显示正确。 对于STK卡的增值功能不能覆盖手机原有菜单功能，例如不能与WAP功能有冲突，不能覆盖WAP功能的菜单等考虑市场需求和手机设计方面，如有需求需要手机需识别STK卡等特殊卡，手机需能识别号码识别能力测试不同的手机设计识别号码的位数不同，像与SAGEM公司合作生产的系列手机其能够识别手机号码的后8位（即如果两个电话号码的后面8位都相同，则此手机不能将其区分），实际选用后8位相同的测试卡对手机进行测试，确定手机的识别能力测试手机识别电话号码的位数，其位数应与手机设计的位数相同呼叫业务功能测试1、实现国际功能 电话电话卡开通了拨打国际电话功能后，其手机的拨打过程如下：“+”或“00”加上“国家代码”加上“区号”再加上“电话号码”。否则会听到语音提示：“对不起，您没有申请国际长途业务”2、紧急呼叫 允许用户在以下紧急情况时（无SIM卡、SIM卡被锁、键盘加锁、手机被锁、找不到正确的网络等）能够拨打112实现紧急呼叫。网络开通国际长途业务后，手机能实现国际通话功能，手机在左侧罗列的情况下能实现紧急呼叫国家政策、法律法规符合性测试1、ROC测试：用综测仪设定搜寻网络，手机屏幕不能显示“ROC”等与国家政策法规不符的文字；2、铃声歌曲版权测试：振铃音乐不能有国歌、革命歌曲和还在受法律保护的中国民族乐曲、民歌等。符合政策、法规要求，不侵权显示性能测试人工测试手机屏幕的显示质量，能不能正常的实现其显示功能（如显示缺划、背景度等）显示画面清晰，不能出现缺显、显示不清等现象，背景灯亮度能实现正常调节2.3测试环境与配置操作系统：windows XPCpu：Intel(R) Core(TM)2 Duo T5470内存：1G2.4测试方法v 正确性测试 1. 正确性测试又称功能测试，它检查软件的功能是否符合规格说明。 2. 测试基本的方法是构造一些合理输入（在定义域内） ，检查是否得到期望的输出。 3. 由于定义域是一个连续区间， 所以不可能枚举所有可能的值， 那么等价测试就很必要了 （将定义域分成若干个等价区间） 。 4. 等价区间的概念可表述如下： 记（A, B）是命题f(x)的一个等价区间，在（A, B）中任意取x1进行测试 。如果f (x1) 错误，那么f (x) 在整个（A, B）区间都将出错。 如果f (x1) 正确，那么f (x) 在整个（A, B）区间都将正确。v 容错性测试 容错性测试是检查软件在异常条件下的行为（输入不同的数据类型或者定义域之外的值进行测试） 。v 边界性测试 因为边界一直是比较敏感的地方，而且是程序员最容易忽略的地方，所以，这种测试也往往最容易奏效。 v 性能与效率测试 性能与效率测试主要是测试软件的运行速度和对资源的利用率。 性能与效率测试中很重要的一项是极限测试，因为很多软件系统会在极限测试中崩溃。 v 易用性测试 易用性测试没有一个量化的指标，主观性较强。这主要是从End User的角度去考虑软件是否会有一定的使用缺陷。如果对此有任何看法，可以向Team Leader反应或者与客户负责人直接交流。 3、 测试结果及缺陷分析3.1测试执行情况与记录Title 标题一般会描述出当前要执行的case是哪个功能模块的，能实现怎样的一个操作。标题下面有当前case的ID号和软件的版本号，如 Phonebook-Memory Save-Selected memory is Phone and SIM ID: EK907 Version: 1.1.0 2 Description 整体地描述这个case的测试目的，能实现什么功能。例如： The purpose of this test case is check out that the phone number can be saved to phonebook when selected memory is Phone and SIM. 3 Required test environment and accessories 必需的测试环境和附件。测试环境包括硬件环境和软件环境。例如：HW, ESIM，Headset. 4 Precondition 描述执行case的前提条件。例如： Select memory in use to be Phone and SIM. Return to the Idle State. 5 Action 详细描述执行case时的每一步操作。一般每一步操作都对应着一个期望中的结果。执行时可参照下面的期望结果。例如： Start the procedure to add a new item to the Phonebook. Enter some name and press Ok. Enter some number such as 12345 and press Ok. 6 Expected result 描述执行该case的期望中的结果，与上面的操作Action是相对应的。例如： Name: query is displayed. Number: query is displayed. Saved to phone memory information note is shown. Phone goes to detailed memory screen。 3.2缺陷统计与分析Title: 标题是Error Report中非常重要的一部分，它要求简单明了地对Error作一个整体的描述，让不知道这个Error的人看了之后能够很清楚地知道这是个怎样的Error。记得曾经有人提过“3W1H”的概念。也就是说，标题里面应该包括What is the error, When will the error appear, Where may the error appear and How to make the error appear. 在Title后面，一般要写上Feature Group的名字。 例如： Title: Call register: The phone doesnt remain in the same state after rejecting a call when viewing items under full window choice items in call register. 8 Severity (Fatal/Severe/Minor): Severity用来描述Error的严重程度，有三个级别：较小的、严重的、致命的。Fatal Error一般来说是指影响手机系统工作的Error；Server Error指的是影响用户操作的或者某些功能实现的Error；Minor Error指的是微小的、不影响手机功能正常使用的Error。一般的Error如中文界面中的某个字不正确，或者是英文界面中的某个单词拼写不正确；左右功能键显示有误等等都属于Minor。若手机的某个功能不能实现，如不能发短信，不能存电话号码，不能进行充电等等都属于Severe；若手机开不了机，或经常死机、重启等则是Fatal。Severe和Fatal两种Error对手机来说都是很严重的问题，这个具体在做项目时可请示项目经理。 例如：Minor 9 Reproducible Error? (Yes/No, if No, how many times?) in English UI or Chinese UI? 描述Error是否可再现，如果每次操作都能出现，就是可再现的。如果只是某一次操作才会出现这个Error，则是不可再现的。如果是不可再现错误，要记录一共出现过多少次，是在英文界面还是在中文界面。每个Error都有发生的前提条件和操作步骤。严格的说，每个Error都是可重现的。但是，发现这个Error的人可能没有能够找到这个error的完整的前提条件或者完整的操作步骤。所以，现实中就有了很多不可重现的Error。对于一个手机而言，硬件，软件，语言包和SIM卡都是其重要的组成部分。所以，在一个手机中用某种SIM卡在某种语言的UI上发现了某个Error，有可能在同样的手机，同样的SIM卡，不同的语言的UI上就没有这个Error;也有可能在同样得手机上用不同的SIM卡也会没有这个Error；同样，在不同的手机上也有可能发现不了这个Error。总之一句话，是否可重现，要考虑手机硬件、软件版本、SIM卡类型、UI类型等等相关的影响，不能简单的说某个Error可重现，有的时候要加上注释。 例如：Yes, both in English UI and Chinese UI 10 Precondition: 这里写的是在错误发生之前，手机的状态。为了保证步骤的简洁，这里要尽可能的详细。当然，也不要写的很罗嗦。 11 How did you get to the state just before the error: 详细描述在错误发生之前你是如何到达这个状态的，要具体到每一步的操作。在这个部分，步骤一定要清晰、 简洁， 让别人能够轻松的理解并完成操作这个可以分成几个步骤来写， 如步骤1、步骤2、步骤3等。例如： 1. Menu - Call register - enter one of full window choice items; 2. Receive a call; 3. Reject it or remote end terminats the call. 12 Description of the error: 对发生错