第9章可用性分析与评估II

1、山东大学软件学院n可用性测试q可用性测试是指在设计过程中被用来改善易用性的一系列方法。通过为用户提供一系列操作场景和任务让他们去完成，这些场景和任务与产品或服务密切相关。通过观察，发现过程中出现了什么问题、用户喜欢或不喜欢哪些功能和操作方式，原因是什么。针对问题所在，提出改进的建议。 n1 计划可用性测试n2.1 招募测试参与者n2.2 创建情景与任务n3. 处理可用性测试n4. 分析可用性测试数据n5. 编写与演示可用性测试报告n6. 逐条探讨报告中的建议是否采纳n行为观察室n眼动跟踪仪用户是关键n“铁匠如何打造出完美的马蹄铁”？n可用性测试关键q找到合适的用户q准备测试方案，测试任务文档q

2、得出正确的结论用户体验测试方案n产品可用性测试，是观察用户使用产品的、最自然的状态。q换句话说，就是把用户扔进可用性实验室，然后你藏到一边，通过监控屏幕，偷看用户怎么折腾产品的全过程。q但是，往往发现用户总是在漫无目的地随手在页面上乱点。我们希望用户在打开页面时的第一反应是是先听歌还是先搜索，用户却用鼠标轻轻一点从导航直接发进入了社区。用户体验测试就让用户这些折腾的吗？显然不是，这样太漫无目的，太费时费力了n如何避免上述状况？q首先对参加可用性测试的用户（尽管有可能老用户），但也要弄清楚的他们心理状态和期望值。因为用户会揣摹你的心思：到底想测试什么呢？所以，在进入体验测试环节以前，最好先了解一

3、下用户。q然后，再将预拟定的体验测试任务书发给参与测试的用户，任务书不要太笼统，最好将大任务分解成一个一个的小任务，就样顺理成章地，这些用户就会根据任务书，一项一项的完成任务，最后发现他们在完成任务的过程中有可能出现的问题。在任务过程中，要让用户处于单独的环境，也不要提醒。n评估重点q易用性q安全性小A是名很敬业的保安，负责保护客户放在保险库里的钱。保险库的门上有一把防盗锁，客户有钥匙，应该说很安全。不久，小A发现一些聪明的偷盗者可以打开防盗锁。于是，小A在保险库的门上又加了一把锁，他心里踏实了。客户每次取钱的时候，需要分别打开两把锁，客户觉得小A做的很好，很有安全感。不久，小A又发现一些更聪

4、明的偷盗者可以同时打开两把锁。于是，小A就又加了一把锁，他心里更踏实了。但，客户每次取钱变得麻烦起来，不过至少钱没丢客户还是满意的。不久，小A再次发现一些顶尖的偷盗者可以同时打开三把锁。于是，小A就又加了一把锁，而且锁的开法和以前的还不一样，这次他心里又踏实了。很快，保险库的门上挂了几十把锁。而且每把锁的开法都不一样，什么锁用什么钥匙打开也没有记号。小A终于可以彻底踏实了。因为，连客户都打不开自己的保险库了。最终，客户换了一个保险库。和保安。n得出正确结论q“话说：小明做了个实验 把蚂蚱放到桌子上，冲它喊：跳。它跳了。 把蚂蚱的腿切下来，冲它喊：跳。它不动。 结论：蚂蚱的耳朵是长在腿上的。”q

5、需要广泛、长期、有效地调查研究山东大学数字博物馆可用性评估n以山东大学考古数字博物馆网站（http:/）为例，说明应用启发式评估、用户测试、问卷调查和放声思考法等方法进行可用性评估的过程。1 评估指标体系的建立n网站可用性为：q内容/服务：n用来评估Web 界面所包含的信息和服务以及将这些信息和服务传递给用户的能力。q效率：n用户完成任务的正确和完整程度与所使用资源（如时间）之间的比率。q满意度：n指用户喜欢该网站的程度，即系统的目标用户或其他人在使用过程中感受到的舒适性和可接受性以及用户的意见、感知、心里感受等。网站可用性的因素分类可用性因素可用性因素下级因素下级因素描述描述内容/服务关联性

6、表示内容与核心用户的相关性，即网站所提供的信息是否和该网站的核心用户紧密关联。表达方式文字要简洁明了，多元信息能够用多媒体来辅助表达。深度和广度用来检查网站信息的深度和广度。网站的内容应该既要有一定的详细程度，又要有一定的覆盖面。实时性网站的内容是否及时更新，以及提供相关的时间信息。服务提供动态的、能满足特定用户独特需求的能力。效率交互效率用户使用该网站能多快完成任务。易用性新老用户能很容易地使用网站各项功能。容错性帮助用户识别、诊断及从错误中恢复。具备帮助和文档用户满意度用户使用过程中感受到的舒适性和可接受性以及用户的意见、感知、心里感受等。网站可用性评估的体系模型2 启发式评估n优点q简单

7、易用，使用较少的评估者就能够发现较多的问题n缺点q评估者并没有使用界面来执行真正的任务，所以评估者只能发现一部分的可用性问题。q虽然在发现界面的大问题和小问题上都很有效果，但是启发式评估在发现大问题的能力不强。q对评估者要求较高，评估者要求是可用性专家或至少是具有可用性应用背景的专业人员。q评估者要将遇到的问题与可用性原则进行匹配，如果评估者对问题违反的可用性原则判别不清，有可能就会忽略该问题或不给该问题评分，这就使得最终的评估结果不能反映发现的所有可用性问题。启发式评估n改进q评估者记录下遇到的所有问题后，首先对这些问题进行评分，然后再与可用性原则进行匹配，如果对于此问题违反的可用性原则判别

8、不清，将结果统一汇总到评估者处再次进行匹配。这样就可保证评估者发现的所有问题都能在结果中反映出来。q减弱对评估者可用性方面专业资历的要求，但至少保证评估者对可用性有一定了解。启发式评估n数字博物馆站点的启发q1)清晰的导航：使用户无论从何处进入页面都可知道当前所处位置，并可方便到达站点中的其他页面。q2)易用：用户容易使用网站提供的各项功能。对新技术的应用不增加用户的额外负担，对于使用不同连接方式连入互联网的用户给出相关提示信息，如文件类型、文件大小、下载进度等，并提供易于发现的帮助信息。q3)及时的反馈：让用户了解他们操作的结果。反馈信息清楚易见，能反映操作结果。q4)使用能够区分已访问和未

9、访问的链接的颜色：在内容较多的情况下，区分已经访问和尚未访问的链接，使用户在使用过程中不需记忆已到过何处，已访问过哪些内容。启发式评估q5)尽量避免错误：避免无效链接及错误链接，所有页面及程序在提交之前进行仔细的全面的测试。q6)指向本页面的链接：用户会误以为该链接指向新地址，点击之后会使用户无所适从。q7)使用反映页面真实内容的标题：设计页面与页面标题，使得便于链接或在书签中标明，标题与内容统一。q8)最小下载时间：长的页面需要更长的下载时间，所以除非必要每页不要包括过多的信息。影响下载速度的主要有：图片、多媒体信息、三维信息。q9)帮助用户识别、诊断及从错误中恢复：错误信息要易于理解，要有

10、对问题的建议解决方法，例如链接到一个对错误页面解决的页面。q10)清晰易用的搜索功能：使用户在丰富的内容、多种多样的资源中轻松找到需要的内容。启发式评估n对问题的严重性进行评分评价分值评价分值评价标准评价标准0这根本不是个可用性问题1只是一个表面的可用性问题-除非项目有额外的时间，否则不必进行纠正2轻微的可用性问题-纠正这一问题的优先级较低3重要的可用性问题-需要重视该问题的纠正，应当给以高优先级4可用性灾难-在设计提交之前必须要考虑的严重的可用性问题启发式评估n评估者q本案例中选择三位评估者，所有的评估者都会熟练地使用互联网，一位评估者具有较多的可用性方面的专业知识，另两位评估者对可用性有一

11、般性的了解。启发式评估n评估过程q每位评估者有一份包括启发以及如何进行评估的文档。q首先他们要浏览站点来感觉一下其设计如何，大致了解站点的主要内容及界面主要组成。q然后他们要阅读启发列表并检查这个站点有没有这样的可用性问题。对于他们发现的每个问题都要记下来并对这个问题进行评分。q接着将可用性问题与启发进行匹配。q最后写下他们对这个站点的总体设计的观点。启发式评估n评估结果分析q体现可用性原则的设计n启发nW3C提出的Web设计指导原则设计设计体现的可用性原则体现的可用性原则1)使用标准的链接颜色，容易区分已访问和未访问的链接符合一致性和标准原则2)清楚地标注日期3)导航清楚，用户可清楚了解当前

12、所处位置符合系统状态可视性原则4)使用易于发现、易于使用的链接符合识别而非记忆原则5)文博快讯包括多页内容，页面定位信息清楚易用，用户使用方便符合用户控制与自由原则6)页面美观大方符合美学及最小化设计原则7)文本与背景对比明显符合美学及最小化设计原则8)整个页面字体一致，易于阅读符合美学及最小化设计原则9)使用静止的正文为Web阅读设计文字10)用户找到所需内容点击链接的次数较少符合最小化设计原则11)提供易于使用的搜索功能12)使用能够反映页面内容的标题13)页面布局合理，结构清晰启发式评估n评估结果分析q存在的可用性问题n使用大图片，下载速度很慢；n在浏览三维场景及三维文物时需要下载插件，

13、页面上无相关提示，用户不知如何操作，站点未提供有效的帮助。可用性问题总数严重性1严重性2严重性33623 （64%）11 （30%）2 （6%）3 用户测试n测试过程q1)测试对象：山东大学考古数字博物馆。q2)测试目的：通过观察“用户如何在网上实现特定的目的或完成特定的任务”，结合用户的体验，来评价山东大学考古数字博物馆对用户而言，是否好用，以此确定网站可用性方面的内容哪些需要保留、扩展或改变，并提出改进的建议。q3)测试时间和地点：测试地点由用户自行安排，预计测试时间为1小时。q4)测试用户：测试用户为10人，其年龄以中青年为主：学历、计算机和因特网水平分布较均匀。q5)测试的操作步骤：让

14、测试用户在网站上完成5个指定的任务，并记录下执行结果。完成任务以后，让测试用户回答问卷中设定的的问题。q6)测试结果：用统计学的方法统计结果，对网站的可用性进行分析，提出改善的建议。用户测试n可靠性保证q1)在选择测试用户时尽量控制新手用户与熟练用户的比例，在此新手用户与熟练用户是按照他们使用互联网的经验来划分的。q2)尽可能多地招募测试用户，以期提高数据的可信度及可靠性。q3)使用标准统计学的方法对测试结果进行量化的分析。用户测试n有效性保证q1)在选择用户时充分考虑到不同背景、不同专业的用户测试时的差异，所以用户的选择范围较广泛。q2)在确定测试任务时，不仅对用户的访问情况进行分析，而且还

15、进行了先验测试，以确保测试任务能够最大限度地反映真实用户访问的实际情况。q3)让用户尽可能地在真实的使用环境下进行测试，确保测试结果能够反映用户的真实情况。用户测试n明确测试目标q对山东大学考古数字博物馆网站的用户界面、交互、网站功能等进行评估，从可用性的角度分析山东大学考古数字博物馆网站在界面设计、交互设计、内容设计、功能设计等方面的优点及不足，得到山东大学考古数字博物馆网站的可用性的总体评估。用户测试n测试计划q测试时间和地点：测试地点由用户自行安排，测试时间不统一确定，但是有一个最后截止时间。q每一次测试预期使用时间：本案例中用户测试和问卷调查同时进行，用户在执行了测试任务后立即填写调查

16、问卷，预期使用时间为60分钟。q测试时需要的计算机设备：无论使用何种计算机，只要能够访问Internet即可，不限制所使用的硬件。q测试之前要准备好的软件：可以访问网站的浏览器软件。q开始测试时网站所处状态：确保网站24小时均可访问。q测试人员：一位具备较多可用性知识的人员，一位对可用性有一定了解的人员。n测试计划q测试用户及如何找到这些用户：测试用户通过以下途径招募：1)山东大学人机交互实验室对测试感兴趣的同学；2)山东大学校内对测试感兴趣的同学；3)某电脑培训学校对测试感兴趣的人员。q需要的测试用户：计划需要120位。q让用户完成的测试任务共12项：见下表9-6。 q确定用户正确地完成任务

17、的标准：用户进入正确的页面，并成功访问所要求的内容q测试用户可以使用的辅助手段：网站提供的帮助信息。q测试人员在测试期间可以给测试用户提供的帮助：为用户解释典型任务中用户有疑问的任务。不提供其他帮助。q需收集的数据及数据分析：用户完成每项任务的开始时间和完成时间，由此得到用户完成每项任务的时间。在分析数据时最大限度地考虑网络负载的因素、个体差异影响的因素，采用统计学的方法统计结果。用户测试n招募测试用户q使用教育网的+不使用教育网的q不同经验、专业背景、不同年龄的用户q实际招募用户41人，校内用户25人，校外用户16人n专业：理工科35人，占 85 %，文科4人，占10 %，其他2人，占 5

18、%；n上网经验：1年以内 3人，占7% ，1年-3年15人，占37%，3年-5年19人，占46%，5年以上4人，占10%；n上网频率：偶尔上网的3人，占7%，每月上几次4人，占10%，每周上几次的 10人，占25% ，每天都上的24人，占58%；用户测试n试点测试q用户是否能够在分配的时间内完成测试任务。q测试任务的描述是否清楚，用户是否容易理解。q用户对问卷调查的措词是否满意，问卷是否能够反映用户测试时及测试后的所想所感。用户测试n测试任务的确定q测试任务能涵盖网站的所有栏目。q测试任务不太容易，用户在完成任务时会有成就感和满足感。测试任务不太难，用户基本可以在不需帮助的情况下独立完成。q测

19、试任务以容易的任务开始，逐渐过渡到较难的任务，使用户由简到难地执行任务，有一个循序渐进的过程，增加用户的自信心。以容易的任务结束，增加用户的成就感。q通过对4位用户试点测试结果的分析，确定用户访问时最感兴趣的栏目，并在测试任务中体现。q通过对试点测试结果的分析，修订测试任务，使得任务的表述明确、具体、无歧义。q为了解用户完成任务的情况，设计测试任务表格，包括测试任务、开始时间、完成时间。记录用户完成任务花费的时间的目的有如下四个：了解用户是否完成任务。为分析用户执行任务过程中的可能情况提供依据。了解用户访问的真实情况，保证测试数据的真实性及客观性。对于不同的测试任务，如果执行时间超过某一特定值

20、时就认为用户在完成这一任务时非常困难。记录用户执行任务花费的时间可帮助我们分析导致用户遇到困难的原因。用户测试n测试任务表格执行任务开始时间完成时间1)浏览博物馆动态中的“博物馆人员到大辛庄遗址参观” 2)与网站制作者联系，找到联系信息即可3)利用查询功能访问新石器时代陶器圈足壶4)访问日照两城遗址，观看出自该遗址的精美文物5)访问全景图中的“校史展馆新山大”6)浏览虚拟场景中的博物馆的虚拟场景 7)观看文物演变中的“龙山高柄杯”的演变8)在考古论坛中注册用户并发表一个帖子9)访问出自长清仙人台遗址的3D文物编钟10)访问考古实景中的“田野考古考古全程展示”11)访问古典音乐“化蝶”12)了解

21、文物鉴赏的有关知识用户测试n任务6，7，11效率低q需下载插件才可访问。q页面或文件较大，需下载较长时间才可访问。q用户在无法执行任务时注明了打不开，或打开出错等信息，结合问卷调查的结果分析主要是由于访问速度较慢的缘故。3 问卷调查n问卷调查与用户测试同时进行，用户在进行完测试之后立即填写调查问卷，因为这时用户回忆起访问网站时的体验比较容易。问卷调查n调查问卷的设计q1) 您的专业qO理工科O文科O其他q2) 您上网的频率是：qO偶尔 O每月上几次 O每周上几次O每天都上q3) 您已经有多长时间的上网经验了？qO1年以内O13年O35年O5年以上用户的专业知识背景、上网的程度均会影响到用户处理

22、测试任务的能力q4) 您经常通过何种方式上网？qO校园网O宽带O拔号上网O其他（请写明）q5) 您以前是否访问过我们的网站？qO未访问过 O访问过q如果以前您访问过我们的网站请做此题，否则请继续做第7题。q6) 您访问网站的频率是：qO每天都访问 O一周几次 O一月几次O几月一次 不同的上网方式会影响用户的访问速度，因此影响到用户对整个网站的满意程度对网站的熟悉程度会影响到用户执行测试任务的快慢，影响用户对网站的满意度及用户处理问题的能力q7) 您觉得这个网站好用吗?qO很好用O好用O一般O不好用O难用q8) 您对网站浏览速度的满意程度？qO很满意O满意O一般O不满意O很不满意q9) 您觉得网

23、站的栏目设置清楚吗？qO很清楚O清楚O一般O不清楚O非常不清楚q10)您觉得从网站的栏目名称是否容易知道其中的内容？qO很容易O容易O一般O不容易O非常不容易易用性网站的浏览速度是影响用户体验的一个很重要的因素。q11)您觉得网站的文字设计是否容易阅读？qO很容易 O容易 O一般O不容易O非常不容易q12)您觉得网站的美工设计是否能吸引您的兴趣？qO能O一般O不能O不确定q13)您觉得网站提供的搜索功能是否能满足您的需求？qO能O一般O不能O不确定强大的搜索功能可读性颜色搭配与整体风格一致q14)您觉得是否易于找到所需要的信息？qO很容易O容易O一般O不容易O非常不容易q15)您觉得在不同的页面之间移动是否方便？qO很方便O方便O一般O不方便O非常不方便导航系统q16)您觉得是否容易找到网站提供的提示信息及帮助信息？