软件测试的艺术(第3版)第07章-可用性(用户体验)测试

7.1可用性测试的概念7.2可用性测试的基本要素7.3可用性测试过程7.4可用性测试注意事项7.5小结,第7章可用性（用户体验）测试,7.1可用性测试的概念,7.1.1什么是可用性测试？,7.1可用性测试的概念,7.1.1什么是可用性测试？,简单的一句话即可概括：观察用户使用产品的情况。,通过观察有代表性的用户，完成产品的典型任务，而界定出可用性问题，并解决这些问题，目的是让产品用起来更容易。,7.1可用性测试的概念,研发完成了新的产品功能或是创造了新的产品特性之后，总是有这样的疑问：最新的版本是不是比以前的版本更好？我们的产品与竞争对手的产品使用起来一样容易吗？用户是否能够按照我们设计的流程完成他们所要完成的工作？我们的设计师是否按照用户的操作习惯和产品的特性设计排版了？,7.1.2为什么要进行可用性测试？,7.1可用性测试的概念,7.1.3可用性测试的指标,7.1可用性测试的概念,7.1.4可用性测试的主要类型,用户可用性测试的测试点可以从以下方面来考虑：1.是否每一个用户交互设计都考虑到最终用户的理解力、教育背景以及环境压力？2.程序的输出是否有意义、没有侮辱性的词语，以及是否含糊不清？,7.2可用性测试的基本要素,3.用来错误诊断的提示信息（errormessage）是直白易懂，还是需要计算机博士才可以读懂？比如，程序有没有输出这样的报错信息：“IEK022AOPENERRORONFILESYSINABENDCODE=102“。在20世纪七八十年代，程序输出这样的报错信息到处可见。今天大众化的软件系统在这一方面做得比以前强多了，但是用户还是会碰到没有任何帮助价值的错误提示信息，诸如“发生了一个未知错误”或“程序发生错误需要重新启动”。若是你自己设计程序，则应该避免输出这类没有意义的错误信息。即使程序不是你设计的，作为程序的测试人员，也应该帮助改进这些人机交互的地方。,7.2可用性测试的基本要素,4.用户界面上是否保持概念的一致、内部的连贯性、语法的一致性？是否符合约定的使用习惯、语义和句法规律、格式、样式以及缩写习惯？5.需要高精确性和准确度的软件系统是否提供了足够有效的输入验证？以网上银行系统为例，登录时应该要求提供账户号码、账户名以及PIN码（个人识别密码），以用来检测用户的合法性。,7.2可用性测试的基本要素,6.系统是不是包含了选项，或者包含的一些选项不会使用？基于软件测试的设计和考虑，现在软件的一个发展趋势就是只提供这些最常用功能的菜单项。于是一个设计良好的软件能够从用户的使用行为得到启发，设计出用户经常使用的一些功能的菜单选项。即使拥有这样智能的菜单系统，成功的软件设计还必须考虑如何使得软件的功能更符合人的思维逻辑和直觉。,7.2可用性测试的基本要素,7.对于来自用户的输入，系统是否能够及时做出反应？比如，当用户单击鼠标时，选中操作生效需要耗费一些时间（访问远程系统的时候通常都这样），则需要显示一些信息，告知用户需要等待。有时也称这样的测试为组件测试，用以组件交互以及用户反馈、做出合理的选择。,7.2可用性测试的基本要素,8.程序的操作是否很容易上手？如是否有效提示用户需要输入大小写敏感的文本（例如：常见的密码输入）？再如，一项创新如果设计一连串的菜单和选项操作，它能轻松返回到主界面（例如：常见的游戏菜单选项都有一个主菜单）用户是否能够轻易返回上一级或者下一级？,7.2可用性测试的基本要素,9.软件的设计是否有助于用户准确输入？通过分析用户在输入数据或者操作软件时遇到的错误，测试可以统计出哪些属于可以被用户订正的错误，而哪些会导致软件异常。10.用户的操作可以轻松重复？换一句话说，你的软件是否能够让用户学会更好地使用该系统？,7.2可用性测试的基本要素,11.用户是否确定那个在众多的功能和菜单中来回切换而不发生意外？对软件主观的评价可能会导致用户是否会继续选择使用该软件。使用结束时的输出结果会让用户担心还是满意？用户会推荐给其他人使用该软件，还是仅仅自己用就算了？12.软件的功能实现是否达到了设计规格要求？最终可用性测试需要包含一项软件规格说明书与产品实际使用情况所做的评估。从用户的角度来看，在实际使用环境中软件的表现是否真的不负众望？,7.2可用性测试的基本要素,可用性或基于用户的测试基本上属于黑盒测试的范畴。如果由于软件设计不够优美、交互界面繁琐难用、规格缺失或被忽视等原因，而导致用户感觉该软件未能按照规格正常操作，这就等于宣判这一项目开发失败。用户可用性测试应该从功能缺陷到不符合人机工程学的设计失误来揭示软件设计存在的问题。,7.2可用性测试的基本要素,7.3可用性测试的过程,以极简电视可用性测试为例,获得问题的背景，识别可用性问题：用户更喜欢哪种操作界面？XX电视界面评测用户使用飞梭是不是提高了操作效率？XX遥控器可用性测试在Android系统下，用户是更喜欢海信还是TCL？XX与XX产品比较测试各功能模块是否好用？XX电视可用性测试,7.3可用性测试的过程,7.3.1项目启动会,7.3可用性测试的过程,7.3.2招募被试,找什么样的用户来？避免过度关注人口统计学数据！Step1:从描述开始：尝试描述你想要什么样的用户来参与测试；该产品的目标用户是哪些？Step2：优先关注产品使用经验和行为与该产品相关的经验，例如：相关的知识技能水平，相关产品的相关经验，例如手机，游戏机；用户的网络使用经验，例如：上网频率，网络应用等；用户的电视使用经验：,7.3可用性测试的过程,7.3.2招募被试,样本量,样本条件,年龄25-45岁，性别不限；使用触屏智能手机（安卓系统尤佳）；思维活跃，善于表达；非敏感职业者（软件、硬件工程师），财务、行政、前台等尤佳；对网络依赖度高，平均每天下班后累计上网时间不低于1个小时（通过pc或手机、平板电脑上网）；经常使用手机、平板电脑观看视频、电影电视剧或通过usb下载到电脑上观看。,7.3可用性测试的过程,7.3.2招募被试,选择角色筛选调查（问卷筛选）招募渠道内部员工招募代理机构鼓励机制外部项目提供礼品或现金内部项目提供小礼品或免费食品被试安排时段候补被试,7.3可用性测试的过程,7.3.2招募被试,7.3可用性测试的过程,7.3.2招募被试被试安排,测试大纲测试目的介绍保密协议测试情景操作评分表（主试打分）问卷（被试评分）结束性提问对被试进行简要小结工具记录工具（写字板，笔记本、录音、录像、软件）任务卡片手表如果需要，平衡不同设计或产品的展示顺序记住要做预测试,7.3可用性测试的过程,7.3.3创建测试大纲,测试情景应为支持可用性问题而设计是一个简单的故事般的场景要求被试执行一个任务使用用户的术语任务是清晰明确的不提供操作任务的步骤,7.3可用性测试的过程,7.3.3创建测试大纲,被试：实际的或潜在的用户并非设计者或开发者,主持者：从计划、实施到报告，监督整个测试过程,观察者：记录发生的事件不与被试互动协助测试报告撰写,7.3可用性测试的过程,7.3.4准备测试设备和角色安排,哈哈，又到了周末了，可以肆无忌惮的看电视咯。,情景设计,任务流程,7.3可用性测试的过程,7.3.5进行测试,测试前,5min,7.3可用性测试的过程,7.3.5进行测试主持人做什么,测试中,3050min,7.3可用性测试的过程,7.3.5进行测试主持人做什么,测试后,1h,7.3可用性测试的过程,7.3.5进行测试主持人做什么,7.3可用性测试的过程,7.3.5进行测试主持人做什么,用户能执行要求的任务么？期望的信息有没有找到？用户找到有效的途径了么？他们理解自己正在做的事情吗？他们碰到了什么问题？术语不知道接下来要去哪里做什么没有找到他们要找的东西他们能从错误中恢复吗？,测试中观察,倾听和试探,仔细地倾听被试如，表示意外的感叹词“哎呀”是一个很重要的数据。注意任何犹豫不决的情况探寻以获得深层次动机提醒他们把所想的说出来（有声思维）提防暗示性的问题如，你会如何关闭一个文件？（问题透漏了答案），应该说“这个文档已经处理完了，现在你会做什么？”,7.3可用性测试的过程,客观：1.参加者完成任务所需的时间2.对于某一任务，能正确完成任务的参加者个数3.参加者完成任务时所犯错误的次数4.试验员提供提示的次数5.参加者完成任务时不得不借助外界协助的次数6.参加者是否使用了最佳的完成任务的方法7.参加者使用用户手册或联机帮助的次数主观：1.参加者表示感到迷茫的次数2.参加者的注意力被转移而不能集中在真正的任务上的次数3.情景后问卷调查的分数4.参加者对产品的观感、判断及评价5.比较两个或几个系统时，每个参加者的喜好,7.3可用性测试的过程,7.3.6数据分析测试数据,完成笔记总结测试结果汇总和将数据列表分析发现按问题严重性级别排列生成建议生成最终文档或演示,7.3可用性测试的过程,7.3.7将测试结果排序并提出建议,用户第一反应按下键翻页正确翻页方式太费时,留白让用户以为只有这么多,“1/24页”提示太不明显,7.3可用性测试的过程,结果示例,测试前需要跟用户说明本次测试持续的时间；要求用户尽可能的进行发声思维（对他看到的、想做的以及怎么想的）；与用户说明“我们要测试的是网站，并不是用户”；不要问用户“为什么”；在测试过程中用户提的关于如何使用的问题，不能立刻回答，可以在测试完成之后做回答；我们要测试的是用户在没有人帮忙的情况下将如何完成任务的；在用户不能完成任务的情况下，切换到下一个任务，本次任务做不能完成处理；说明本次测试屏幕、声音将被录制，并且得到用户许可；录制的内容将被作为网站改进的依据，不会被该项目无关的人员看到。,7.4可用性测试注意事项,测试前,1.项目计划书2.测试脚本3.问卷4.被试安排表5.测试任务卡片6.记录表7.保密协议8.请勿打扰,测试中,9.数据收集（定量和定性）10.照片、录音、录像,测试后,11.小结撰写12.报告撰写13.礼物收单,7.5小结,7.5.1可用性测试文档,机器的配合产品的改进,针对需求方,针对测试者,每天小结规范的建立学习（讨论，看书）,7.5小结,7.5.2感想,参加者编号：了解你所参与的试验目的你现在所参与的产品试验的目的是为了帮助我们测试我们的产品是否简单、易学、好用。这个产品试验研究的目的是研究你将要用到的产品，我们不是在测试你，或是你的能力。试验收集的数据试验的观察人员将记录你是怎样使用本产品的，例如，本产品的某一部分是否简单易用。在实验中你需要回答一些问卷调查，在试验后还有一个口头调查。在试验中你提供的信息，再加上其他参加者的信息，将帮助我们找出改进产品设计的方法。同意和弃权声明你使用本产品和口头调查的过程将被录像和录音。在这个同意书上签名表示你同意我们公司在评估和演示产品时可以使用你的声音、讲话和录制的图像。但我们将不会使用你的名字。舒适如果需要，你在试验的任何时候都可以要求暂停，你只需要告诉试验员你要求暂停就可以了。保密在试验中你所得到的任何关于产品的信息都是保密的，并归公司所有。你在试验中得到的信息仅仅是为了试验的目的，在这个同意书上签字表明你同意保守秘密，不将产品的信息泄露。退出试验的自由你参加本试验完全出于自愿，你可以在任何时候退出试验。如果你同意以上的条款，请在下面签字。签字：日期：,7.5小结,7.5.3知情同意书样例,情景后问卷调查请根据您刚刚完成的任