测试执行及测试报告

1、测试执行,课程目录,Chapter 1,测试执行,Chapter 2,软件缺陷,Chapter 3,测试报告,Chapter 1,测试执行,1.1,什么是执行测试用例,1.2,用例的状态；,什么是执行测试用例,?,根据已有的测试用例，按照里面的步骤一步一步的执行，,查看预期结果与实际结果是否一致。,1.,2.,3.,4.,5.,明确要在被测软件的哪个版本上执行？,确认要验证的测试点，在被测版本上已经实现了。,按照测试用例的预置条件、步骤进行执行,按照测试用例的预期结果进行结果判断,如果结果失败，说明找到了缺陷,1.,2.,3.,4.,当用例还尚未被执行时，是,No,Test,未执行状态,当执行

2、结果与预期结果相符时，是,Pass,通过状态,当执行结果与预期结果不符时，是,Fail,失败状态,当因为软件有缺陷而妨碍了用例步骤的执行，且该缺陷,并不是我们的测试点，则用例是,Block,阻碍状态。,5.,当用例正在执行中，但是需要耗较多时间去观察其结果，,是,Investigate,观察中状态。,Chapter 2,软件缺陷,2.1,缺陷的理论基础,2.2,缺陷的生命周期,2.3,缺陷的流程,2.4,缺陷的状态,2.5,缺陷的等级,2.6,缺陷实例与练习,缺陷理论基础,2.1.1,缺陷的定义,2.1.2,缺陷的原因,2.1.3,缺陷的修复成本,2.1.4,缺陷的分布特征,2.1.5,缺陷的

3、抗药性,2.1.6,并非所有缺陷都要修改,缺陷的定义,?,?,?,?,?,软件未实现需求和规格要求的功能,软件出现了需求和规格指明不该出现的错误,软件实现了需求和规格未提及的功能,软件未实现需求和规格未明确提及但应该实现的内容,软件难以理解，不易使用，运行缓慢，或者最终用户,(,估计会,),认为不,好。,?,测试用例执行中发现的与预期结果不符的现象,缺陷又名为,BUG,（臭虫）,缺陷的原因,比例,其它,编码,需求与规格,设计,需求与规格,设计,编码,其它,缺陷的修复成本,缺陷的分布特征,?,集结（二八定理）,缺陷往往喜欢扎堆，一个模块已经发现的缺陷比别的模块多，,通常不是代表这个模块已经把缺陷

4、暴露完了，而是意味着这个模块还,存在有同样多的缺陷尚未被发现。这就是著名的二八定理：,80%,的缺,陷出现在,20%,的模块。,并非所有的缺陷都需要修复,?,有一些原因，使得有些缺陷我们不修复：,?,没有足够的时间,?,不算真正的软件缺陷,?,修复的风险太大,?,不值得修复,缺陷的生命周期,缺陷的流程,缺陷生命周期,状态,缺陷状态,New,Open,Fixed,Rejected,Reopen,Closed,测试中新报告的软件缺陷，等待分派,已确认的缺陷，等待开发人员修改,描述,已经被开发人员修改的缺陷，等待测试人员校验,不是缺陷或不需要修复,没有修复，重新打开返回开发人员,已经被测试人员确认得

5、到正确修复，可以关闭,缺陷的等级,缺陷严重程度,描述,4-,致命,软件无法运行，或者软件的主要功能丧失，或者很大可能性会造成严重不良后果,3-,严重,软,件的次要功能丧失，或者主要功能在一些特定情况下会出错,，比如金额计算等,2-,一般,软,件在某些情况下会出错，但是造成的后果影响不大,?,1-,轻微,在某些情况下会出错，但是造成的后果影响很小,缺陷单的编写,?,一个好的缺陷单，是你提交之后就再也没人联系你，然后过了一段时间,已经被完美地修复，转回到你手上进行验证测试这样的一个单子,?,要做到这样，你应该怎么做呢,1,、提供足够的错误环境信息，使得开发人员既能够明确如何重现故障,现象，又有足够

6、的信息定位到问题的根源,2,、书写良好的重现步骤；,3,、上传附件，例如软件运行日志，抓图，网络抓包，声音，视频等。,4,、使用特殊的颜色对重点词语进行标记；,5,、使用关键词进行强调,6,、特殊标记,一个缺陷的基本要素,缺陷,ID,缺陷复现步骤,缺陷标题,期望结果,测试环境,实际结果,缺陷发现的日期和时间,附件,缺陷提交人,缺陷的优先级,缺陷的严重等级；,测试类型,发现缺陷的软件版本,例子,-excel,表,例子,-bugfree,如何写好每部分（,1,）,?,标题：创建一个简短的标题，让问题看起来更清晰。“应用崩溃”是一个很,恼人的标题因为它没有足够的信息包括在这份报告里面。取而代之的是标

7、题,应该包含错误消息和消息码，或者是结果的名称以及失败时你正在做的事,情。例如：,Error 402:,访问拒绝当点击“发送邮件”这个例子就提供了缺陷系,统的上下文信息。,差：“程序崩溃”，“报错”，“Bug”,好：“从Kifu中打印时,5C79,错误”，“Kifu honors报表为空”,产品：用名称标识产品，告知你使用的是哪个版本。绝大部分软件都包含有,版本信息。,web,应用的版本信息通常在页脚。,差：“你的应用”,好：”Kifu v1.01,平台：告诉我们软件运行在什么平台。尤其是操作系统的名字及版本和游览,器名称版本。特别是,web,应用，这些信息对我们很重要。,差：“Windows

8、”,好：“Windows7,IE9”,是否能重现：有些恼火的,Bug,是间歇性的出现，我们想预先知道，如果我们,正在处理一个灵异事件或者正逢,Bug,出现时。,差：留空白,好：“每次”，“偶然”，“不重现”,?,?,?,?,?,?,?,?,?,?,?,如何写好每部分（,2,）,?,?,?,?,?,?,?,?,?,?,?,?,总结：用简洁的语言概括出,Bug,出现时你正在做的事情。从上下文开始，,在操作应用的哪个部分。聚焦在你做的时候软件做了什么？,差：“系统不能用了”,好：在“honor report”页面单击“打印按钮”，但是报表是空的。,发生了什么：一步一步描述你做的事情当,bug,出现时

9、，为什么你认为是错,误的。事无巨细，打印出菜单的名称，页面标题，点击时的按钮或者链接的,名称。做相同的操作是不是出现一样的错误。,差：“空白报表”,好：“点击,File/Save as，Save对话空弹出，然后点击OK按,钮，但是文件没有保存”,错误时什么：如果错误消息出现时，拷贝粘贴整个信息，这样更有利于我,们跟踪错误。,差：“有个错误，点击它始终读不出”,好：“,Error 403,：访问拒绝”,复现的步骤：如果你可以让,bug,重现，那太好了，这能提供很大的帮助。,一步步描述如何重现次,bug,。,差：“打印没法使用”,好：“从Honors Report页面，点击打印按钮”,如何写好每部

10、分（,3,）,?,预期结果：描述你预期发生的结果当,bug,发生时，这部分特别有用,如果程序没有按照你期待的结果发生时，因为它很诡异。,?,差：“我期待能正常工作”,?,好：“我期待能看到Honors Reports的,PDF,文件”,?,真实结果：当,bug,发生时是怎么发生的，什么错误，为什么有错，或,者如果错误抛出，抛出什么错。,?,差：“没法用”,?,好：“我收到是空的,PDF,文件，或者,403,错误，访问拒绝”,?,?,附件：如果你知道怎么截屏，做吧，附上一个简短的错误，截屏可,以是错误之前或者发生错误之后，我们的开发者能够看到究竟发生了,什么。如果应用有崩溃的日志，同样附上它。,

11、Chapter 3,测试报告,3.1,测试报告的主要内容,实例,3.2,测试结果分析,3.3,测试总结,测试报告的主要内容（掌上书院）,3.1.1,数据统计,3.1.2,遗留,bug,情况,3.1.3,测试风险,3.1.4,测试对象评估,3.1.5,测试结论,数据统计,-,人力投入,投入项,测试人员,工作量（人天）,测试用例维护,测试执行,XXX,XX,、,XXX,1,天,/,人,9.5,天,/,人（,XX,：,5.5,天，,XXX,：,4,天）,合计,XX,、,XXX,9.5,天,/,人,数据统计,-,用例覆盖率,用例总数,通过用例数,（,OK,）,未通过用例数（,NG,）,尚未测试（,NT

12、,）,无测试条件，暂时,尚未开发（,ND,）,通过率（）,不能测试（,NC,）,备注,263,251,0,0,1,11,1,新增加,19,个,用例,数据统计,-,问题单分类统计,1,、,Bug,严重级别统计,致命,严重,一般,提示,合计,0,7,26,2,、,BUG,类型统计,4,37,功能,UI,异常,体验,合计,26,3,、,Bug,状态统计,未解决,1,0,10,37,打回,挂起,已解决,打开合计,关闭合计,37,4,、,Bug,根源分析表,需求类,0,0,0,0,0,设计类,编码类,其他,4,0,0,0,遗留,bug,情况,序号,BugID,缺陷描述,影响程度,后续解决措施,当前规避方

13、法,1,224,Web,页面下载热门推荐，中间的节日专区，配置,new,，,hot,标识时，在,IE6,下将产生换行。,未,影,响,功,能,暂时忽略,（,兼,容,性,问,题）,在下载热门推荐时，不采用,new,、,hot,配置,2,314,后台管理图片管理，点击上传图片在,IE6.0,下，随,比较小,机出现上传窗口无法打开的情况。,暂时忽略,后台维护时，请采用,IE7.0,浏览器,测试风险,暂停的问题：,1,、,出现概率比较低，用户操作不易复现的问题，后续由客户端修改；,2,、,3,是本地阅读定位问题，修改比较困难，不影响使用，后续优化；,5,、属于遗留问题；,4,、,6,、,7,属于内容平台

14、问题，内容优化；,暂停问题是产品人员、开发人员与测试人员沟通后暂停的。,测试对象评估,1.,基本功能评估,5.4,版本在本地阅读,txt,格式章节提取、在线阅读预加载、下载管理重实现、用户反馈功能实,现、图书内容分享、网络连接、,UI,上做了一些修改、优化、调整，增加了一些新功能，本地,阅读、在线阅读等基本功能改动不大，且都已实现稳定。,2.,性能评估,性能主要体现在：,1.,本地阅读设置方面，设置后本地阅读界面都能正常显示；,2.Txt,格式图书章节提取，是否精确；,3.,下载管理重实现，在线小说的下载，多任务的下载是否顺畅；,4.,在线阅读，连续阅读是否顺畅；,5.Wifi,和,GPRS,网络连接下，客户端的使用是否顺畅；,3.,稳定性评估,软件各基本功能稳定,4.,易用性评估,易用性较,5.3,版本好，在功能和界面上做了很多优化,5.,其他评估,功能上简单易用，界面友好悦目，功能上在,txt,格式章节提取、下载速度上做了很大优化,测试结论,1.,版本功能基本实现且运行稳定，问题修改及时，在预定日期内完成开发和测试进度,质量评价,测试结论,通过，可以发布及系统上线,通过，可以发布及系统上线,不通过，需要进行重大修改更新版本重新测试,XX,评估人员,审核人员,XXX,测试结果分析,?,