（设计艺术学专业论文）网络产品简化可用性评估方法的评测及改进.pdf

网络产品简化可用性评估方法的评测及改进 摘要 本研究实验数据来源于与淘宝网( 中国) 公司合作的淘宝新产品的可用性评 估项目。基于此实验，探讨设计中、后期产品可用性评估的有效途径，为项目开 发过程中可用性评估方法的价值、时机和有效性作初步的讨论。 论文分析了互联网企业实际开展的简化可用性工程及其价值和存在的问题， 并通过网络产品开发中后期的各种主要可用性评估方法的实际案例，得到有关不 同评估方法的实际数据。而后通过比对和分析，对网络产品可用性评估方法进行 改进。研究最后通过实践案例，对改进后评估方法的易操作和有效性进行验证。 研究本质上是对评估方法本身的理论探讨和评价改良。从实施该方法能获取 的收益和需要付出的代价这两方面，来分析评估方法的优劣。评价实验中采取了 项目内、外专家经验性评估和目标用户测试等方法，而后对比分析了组内和组外 专家之间、专家和用户之间的评估差异，获知可用性知识和产品知识对于“人 发现“产品 可用性问题的影响程度。 研究通过比对实验和验证性评价的测试、比对和分析，得到并验证了对于网 络产品中后期简化可用性评估的三个改进点： 1 不做用户测试； 2 仅做经验性评估； 3 做改进的经验性评估 改进后的评估方法，注重深入、全面、规范地专家评估( 经验性评估) 。在挖 掘类似高级操作和认知逻辑关系这两类的深层可用性问题方面，表现非常突出。 关键词：网络产品；简化可用性工程；经验性评估 a b s t r a c t in l sr e s e a r c hw a sb a s e do nt h ee x p e r i m e n t a ld a t a f r o mt h eu s a b i l i t ye v a l u a t i o n 3 t e m c o o p e r a t e d w i t h t a o b a o c o ma b o u tt h en e w p r o d u c t “p i c t o r i a l ，a n di n v e s t i g a t e d i n t oi tt od e s i g na na v a i l a b l ea p p r o a c ho f t h eu s a b i l i t ye v a l u a t i o no nt h em e d i u m t e r m a n du p p e r - t e r mp r o d u c t s i na d d i t i o n ，t h i s p a p e rh a sp r e l i m i n a r i l yd i s c u s s e dt h er e a l v a i u e so ft h eu s a b i l i t ye v a l u a t i o ni ni t e m s e x p l o i t i n gp r o c e s sa sw e l ia st h ep r a c t i c a l o c c a s i o na n dt h ev a l i d i t yo f t h ee v a l u a t i o nm e t h o d s 1 nt h l sp a p e r t h es i g n i f i c a n c et os i m p l i f yt h e u s a b i l i t yp r o c e s sc o n s i s t i n gi nt h e i n t e r n e tc o m p a n i e sa n dt h ee x i s t e n tp r o b l e m s h a sb e e ns t u d i e d ；i tp r o p o s e da d i s c o u n t ：竺j 锣掣u 8 石0 n m e 也甜a b o u t t h eu s a b i l i t yp r o b i e m s 。fn e t p r o d u c t s t h r o u g h 川1 j l i i l gt h ep r i m a r yu s a b i l i t y e v a l u a t i o nm e t h o d so f m e d i u m t e r ma n du p p e r - t e r mi n n e tp r o d u c t e x p l o i t a t i o n m o r e o v e r , b yc o m p a r i s o na n da n a l y s i st h ee v a l u a t i o nr e s u l t s o td l f f e r e n tm e t h o d s , s o m e b e n e f i c i a ls u g g e s t i 。n sw e r ep r o v i d e df o rt h em e d i u m t e r m a n d u p p e r t e r m e v a l u a t i o nw o r ki nn e tp r o d u c te x p l o i t a t i o n b a s e do nt h e s e m e r i t s , t n el m p r o v e de v a l u a t i o nm e t h o d sa n d v a lid a t e dt h ep e r f o r m a n c eh a v eb e e nc a r r i e d jn ee x p e r l m e n th e r e i na i m e d t oe v a l u a t et h ep e r f o r m a n c eo ft h ee v a l u a t i n g s t r a t e g yb yc o m p a r i n gt h ev a l u ea n dc o s t o ft h et e c h n i q u ea p p l i e d t a k i n go n e e x a m p l eo ft h es a m eo b je c ta to n et i m ef r o mo n e t e a m ，ac o m p a r is o nb e t w e e nt h r e e e v a l u a t l n gm e t h o d si nt e r m so fv a l i d i t ya n do p e r a t i n g s i r e p i e n e s s ，i e ，e x p e r i e n c e ? v a m a t l o n f r o me x p e r t si nt h ei t e m ，e x p e r i e n c ee v a l u a t i o nf r o m e x p e r t sn o ti nt h e i t e m , a n dt a r g e tc o n s u m e rt e s t ，w a sp e r f o r m e dt o a n a l y z et h ed i f f e r e n c e sb e t w e e n t n e s ee x p e r t sa n dc o n s u m e r sf o r i n v e s t i g a t i n gt h ee f f e c to fp r o d u c ti n f o r m a t i o no ni t s a t t r a c t i o nf o ro n ec o n s u m e r b a s e do nt h e c o m p a r i s o na n da n a l y s i si n t h e e x p e r i m e n t ， t h r e e i m p r o v e d s u g g e s t i o n st os i m p l i f yt h ee s t i m a t i o n so fe a c hu s a b i l i t y e v a l u a t i o nm e t h o d c a nb e e n a c h i e v e d , v a l i d a t e da n ds h o w na st h r e er u l e sm e n t i o n e di nt h i s p a p e r jn e1 啦p r o v e de v a l u a t i o nm e t h o d sf o c u s em o r e o nd e t a i l e d ，c o m p r e h e n s i v ea n d f ? r m a lm e t h o d , a n d “p e r f o r m s w e l li nt h ec a s eo f s e a r c h i n g t h ed e e p - s e a t e du s a b i i i t y a b o u tt h eo p e r a t i o ns i m i l a rt oa d v a n c e do n e a n d e x p e r i e n c e 1 0 9 i cr e l a t i o n s h i p k e yw o r d s ：n e t p r o d u c t ；d i s c o u n tu s a b i l i t ye n g i n e r r i n g ；e x p e r i e n c ee v a l u a t i o i l - i i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名： 日期：劬扩年苦月刁日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 作者签名：爿钧日期：加髫车舌月刁日 作者签名：力为日期：加彩年6 月z 日 导师签名：蓦陪日期：细谚年6 月刁日 按钮不够明显 3 4 搜索框的“关键字，画报名字”太突出；频道分类是不是过长了? 不容易点击 1 0 “暂无图片”文字不清晰 1 1 图片和编辑之间建议有斑马线或者一行昆示多个画报。 d 编辑页 2 3 “”应该出现在l a b e l 附近且要对齐；频道分类是不是过长了? 不容易点击 4 “挑选标签”的位置要调整；再次修改时要默认钩选之前的选择。 5 6 权重仅一位数字输入框太长了? ；封面图片下的上传图片实际是上传封面。 8 “添加u r l ”t a b 下面的那条线不是正常的t a b 样式 1 1 相关u r l 与详情是一个东西! 1 2 图片排序：目前没有被移动的感觉。 1 3 1 5 错误提示回跳到页顶或出错信息在当前屏：修改画报成功后，没有反馈提示 3 2 2 项目外专家经验性评估 与项目内专家相对，项目外专家，即不对本项目负责的，不了解新产品的可 用性专家。可以是企业内部其它用户研究员或者是交互设计师，也可以是其它企 业的可用性专家，或者独立的可用性工程公司。 较项目内专家而言，项目外专家知识更单纯。仅具有可用性方面的专业知识， 网络产品简化可用性评估方法的评测及改进 对产品本身不了解。可以把这样的角色理解为有可用性专业知识的低阶用户。 但同时要注意的是，是产品知识的低阶用户但不是交互方面的新手用户，毕 竟，可用性专家是网络产品或者计算机的熟练用户。可以预期，项目内专家能比 被试用户能发现更多有关可用性细节、交互视觉设计细节的问题。 a 画报首页 1 有否首页的感觉? 分块之间的关系能否理解? 2 目前没有区分相册和图片的不同。【b 4 也是】 3 全部画报的顶排翻页不能跳转首末页。 翻到后儿页再返回第一页】 b 看画报页 1 2 b 页回跳a 页& 本画报全部图片回跳b 页需求? ；右上，2 1 0 是否够明显， 3 同d 7 封面不显示在第一张，点开会觉得和想看的不符合。 4 右侧推荐画报和左侧图片滚动条关系的理解。 a 1 也k k 组& 画报的关系的理解? 目前设定的用法能否接受? 上下一组与上下一画报分时复用是否接受。上下一页，上下一画报，是否注意到。 5 6 点卜一组是全页刷新? ! 不能直接返回本组第一张 7 看不到下一画报的缩略图，不知总体。 9 b 页回跳a 页& 本画报全部图片同跳b 页需求? c 后台首页 3 5 搜索框的“关键字，画报名字”太突出；反选功能没实现 6 7 上右侧向前翻页按钮位置不固定；点击图片默认应该是编辑( 目前是看画报) 8 9 标题长时和分类连起来了；要显示画册内共有多少图片 1 1 图片和编辑按钮，隔太开。建议有斑马线或者一行显示多个画报。 d 编辑页 1 3 退同后台首页的按钮；“挑选标签”的位置要调整； 6 封面图片上传图片和上传内容容易混淆。 7 封面不显示在内容中? ! 要是只挑内容中某张做封面呢? 【同b 3 1 9 上传后- 新上传保存前中间两环节的文字编辑是无效的，但都没有提醒。 1 0 输入框很大目前是所有图片文字之和是1 2 0 这是问题1 1 1 相关u r l 与详情都是指画报宣传的那个网站网址仅第一个提示h t t p ： 1 2 1 3 图片排序：目前没有被移动的感觉。：错误提示只有头上一条，保存出错时页面不见。 1 4 点击删除没有立即消失。实际已去除。保存后再次进入编辑已经去除。 硕士学位论文 3 2 3 目标用户测试 目标用户测试，就是找寻产品的真正使用者，在尽量真实的环境中，观察和 学习用户与产品的互动行为。如前所述，本次测试选用真实的运营团队中的用户 作为测试对象，在其工作的真实环境中试用产品。 用户和专家相比，心理上没有新产品的功能模型，对计算机和软件都没有专 家熟练，因此对用户的测试就是在了解产品的门槛是不是太高，产品够不够通俗 易懂，容易掌握。用户测试是最接近真实的可用性评家手段，因此被广泛重视， 是最基本的可用性测试手段。 本次用户测试的测试过程，按照通行的简化可用性评估方法的一般模式展开。 测试拟进行一个工作日，选取四名运营部门的目标用户，先后独立的对同一产品 进行可用性被试。测试拟采用访谈一测试一用后回访的模式，通过情景化任务、 简化边做边说、行为观察等技术。具体详细的用户测试过程的文字记录、测试后 报告和最终的产品可用性改进建议，参看附录b ，c ，d 。 3 2 3 1 测试脚本 目标用户测试前需要做好如下准备：测试对象调试、场地设备准备、被试用 户确认、时间安排和测试脚本。 测试脚本是对用户测试整个流程的计划，使对测试人员实际测试的提醒。因 为实际测试时被试操作流连贯，往往没有大量时间阅读脚本，在实际操作中，测 试脚本必须且只能是测试节点的简短的提示，提供重点信息包括测试的主要阶段， 各阶段时间、目标、任务等信息。建议脚本制作时，将测试目标明确，并列在显 眼位置。便于在测试进行时起到清单的作用，防止测试者遗漏测试重点。 针对此次画报产品四个页面的用户测试，通过前期的专家测试，总结出以下 重点测试的可用性问题： 测试重点问题对应的页面及编号 相册和图片概念是否明确 a 1b 4 首页感觉及推广栏是否明确、明显 a 2 组与画报的关系b 4 封面与内容的关系 b 3 用户上传、编辑图片习惯 c 11d 1 0c 2 c 7 d 6 通过经验性评估，专家对产品本身有了比较全面的了解。本次的用户测试拟 针对四个页面的主要特点和预估的重点可用性问题展开，依照访谈专用户测试 网络产品简化可用性评估方法的评测及改进 使用后访谈的三步骤模式展开测试。测试脚本的提纲总结如下，实际测试按以下 步骤展开： o 、开场说明一5 m i n 目标1 自我介绍 2 研究目的 3 总体安排 一、测试前访谈一1 0 m i n 目标1 用户背景信息 2 既有经验 访谈陈述已知，不谈建议，只谈感受和经验 二、可用性测试4 0 m i n 任务一：进入和浏览画报一1 5 m i n 目标1 首页感和推广栏，是否明确、明显 a 2 2 相册和图片概念是否明确 a lb 4 3 组与画报的关系 b 4 4 封面与内容的关系 b 3 测试展示a 页；用b 页浏览图片 访谈b 页功能及侧边栏、滚动栏、独立图片之间的关系；a 页功能及评价 任务二：上传& 编辑图片一2 5 m i n 目标 1 【用户上传习惯】 c 11c 2c 7 2 【用户编辑习惯】 d lod 6 测试上传一组图片；编辑图片及排序 访谈c 页的功能；d 页的整体感受 三、测试后反馈一1 0 m i n 目标1 用户上传习惯 cl lc 2c 7 2 用户编辑习惯 d 1 0d 6 访谈对本产品功能评价；平时使用同类产品目标、感受、意见 四、专家交流 3 2 3 2 测试过程记录 测试的详细过程记录，参见附录b 。测试进行了一个工作日，四名运营部门 的目标用户，先后对同一产品进行了可用性被试。测试主要采用访谈一测试一用 硕士学位论文 后回访的模式，通过情景化任务、简化边做边说、行为观察等技术，通过对四个 用户在四个页面浏览和上传画报的流程、出错、决策等的测试，将用户测试过程 做记录。希望由此获取相关产品经验、用户的界面操作心理模型和用户对网页视 觉的主观感受及其他一些功能需求。 通过对实际产品的用户测试，对于可用性测试方法本身和在企业中的应用， 总结出如下主要特点和操作注意：测试的意义之一，就是去了解用户既有概念既 有习惯。而测试开始需要知道用户既有的相关经验。能更好理解用户之后的操作 是系统问题还是老系统经验的遗留。更关注操作行为，会得到更多使用体验上的 信息，对提升使用友好有利。设计评论和建议属于需求。对完善产品功能有利。 有差别，对产品都有好处。取决于测试目标，阶段；用户操作时，迟疑犹豫的时 刻，就是和他预期不一致的地方，就是不符合用户既有经验习惯的地方，应立即 引导说出即刻感受( 怎么了? 有什么疑惑吗? ) ；用户提问时，同上，确实与系统 无关，可以帮助，否则不应直接回答，而要引导他说出自己的理解和预期( 你觉 得呢? 你试试看。往往会对结果惊讶，正好引导说出心理的预期) ； 需要增加一些数据帮助判断。如某按键使用次数、顺序、相同操作习惯人数、 错误详细次数、持续时间 3 2 3 3 测试报告 测试后两个工作日内，完成了测试的整理和书面报告工作。按照页面顺序， 归类统计出所有的严重可用性问题。测试报告参见附录b ，c ，d ，其思路如下： 1 行为记录和归纳专2 需求问题分析专3 设计改进要点 1 现象：分出关键问题区严重和其他。结合实际页面标重点行为 2 问题：指出行为错误背后，深层的页面逻辑问题 3 建议：无需具体设计建议分析逻辑上的错误提供改进的准则 测试报告最终通过演示文档的形式同项目相关人员进行了分享，见附录c 、d 。 其中包括了问题陈述和改进建议两个部分，一共八个页面。前四页分别归纳了在 测试中发现的a b c d 四个主网页的严重可用性问题，其详细内容参见附录c ；另 外，关于分析和设计改进建议的内容，见附录d 。这四页图片，也是按照a b c d 四个页面的顺序排列。 报告分享后，设计团队即时讨论改进方案。至此“画报”产品本阶段的评估 工作告一段落。 网络产品简化可用件评估方法的评测及改进 3 3 简化可用性评估方法比对及结果 作为对评估方发本身的评价，可以从实施该方法所能发挥的作用、取得的收 益和实施该技术需要付出的代价这两方面来评价方法本身的优劣性和介入时机的 恰当性。简言之，就是将技术的有效性和技术实施的难易度这两方面综合起来， 用以对方法进行评价。本节参照如下思路，对比分析各方法： 收益专有效性专发现问题的数目、广度、严重度等 成本易用性专费用和是否易于操作等 3 3 1 项目内、外专家发现的可用性问题差异分析 项目内专家和项目外专家的主要差别，在于对测试产品的了解，即产品知识 的掌握。值得注意的是，项目内专家不仅具有可用性方面的专业知识，也同时具 备了产品相关知识。而且由于参与了产品的开发过程，应该归为高级用户的行列； 较项目内专家而言，项目外专家知识更单纯。仅具有可用性方面的专业知识，对 产品本身不了解。可以把这样的角色理解为有可用性专业知识的新手用户。但同 时要注意的是，是新手用户但不是初级用户。可用性专家依然是网络产品或者计 算机的熟练用户。 将章节3 2 1 与章节3 2 2 的两个测试结果进行比对，得到如下结果： 专项目内专家没有发现( 而项目外专家发现了) 的可用性问题： a 画报首页 1 有否首页的感觉? 分块之间的关系能否理解? 2 目前没有区分相册和图片的不同。 b 4 也是】 3 全部画报的顶排翻页不能跳转首末页。 翻到后儿页再返回第一页】 b 看画报页 2 右上，2 1 0 是否够明显， 3 【同d 7 封面不显示在第一张，点开会觉得和想看的不符合。 6 不能直接返同本组第一张 7 看不到下一厘报的缩略图，不知总体。 c 后台首页 5 反选功能没实现 6 上右侧向前翻页按钮位置不i 司定 7 点击图片默认应该是编辑( 目前是看画报) 8 9 标题长时和分类连起来了；要显示画册内共有多少图片 硕七学位论文 d 编辑页 1 退同后台首页的按钮 9 上传后一新上传一保存前中间两环节的文字编辑是无效的，但都没有提醒。 1 0 输入框很大目前是所有图片文字之和是1 2 0 ；保存和取消位置只能到页底点击 1 4 点击删除没有立即消失。实际已去除。保存后再次进入编辑已经去除。 项目外专家没有发现( 而项目内专家发现了) 的可用性问题： a 画报首页 b 看画报页 c 后台首页 2 发布新画报 按钮不够明显 4 频道分类是不是过长了? 不容易点击 1 0 “暂无图片”文字不清晰 d 编辑页 2 “应该出现在l a b e l 附近且要对齐。 周c 8 】 4 “挑选标签”的位置要调整：再次修改时要默认钩选之前的选择。 5 8 权重仅一位数字输入框太长了? ；“添加u r l ”t a b 下面的那条线不是正常的t a b 样式 1 2 图片排序：目前没有被移动的感觉。 1 5 修改画报成功后，没有反馈提示 3 3 2 专家与用户发现的可用性问题差异分析 用户和专家的差据在于可用性和设计专业知识的方面，将章节3 2 1 与3 2 2 结合后的专家评估结果与章节3 2 3 的用户测试结果比对，得到如下结果： 专用户测试( 4 用户) 未发现的可用性问题： a 画报首页 1 有否首页的感觉? 分块之间的关系能否理解? 2 3 目前没有区分相册和图片的不同。；全部画报的顶排翻页不能跳转首末页。 b 看画报页 1 b 页同跳a 页& 本画报全部图片同跳b 页需求? 面包削是否足够? 2 3 右上，2 1 0 是否够明显，；【同d r 封面不显示在第一张，点开会觉得和想看的不符合。 6 7 不能直接返回本组第一张；看不到下一画报的缩略图，不知总体。 网络产品简化可用性评估方法的评测及改进 c 后台首页 1 3 后台和前台如何切换? ；搜索框的“关键字，画报名字”太突出 4 5 频道分类是不是过长了? 不容易点击；反选功能没实现 6 上右侧向前翻页按钮位置不陋| 定 7 点击图片默认应该是编辑( 目前是看画报) 8 9 1 0 标题长时和分类连起来了，要显示画册内共有多少图片：“暂无图片”文字不清晰 1 1 图片和编辑按钮，隔太开。建议有斑马线或者一行显示多个画报。 d 编辑页 1 5 退回后台首页的按钮权重仅一位数字输入框太长了? 2 3 幸应该出现在l a b e l 附近且要对齐。；频道分类是不是过长了? 不容易点击 4 “挑选标签”的位置要调整；再次修改时要默认钩选之前的选择。 7 封面不显示在内容中? ! 要是只挑内容中某张做封面呢? ( 同b 3 ) 8 “添加u r l ”t a b 一卜面的那条线不是正常的t a b 样式 1 0 一行一个图片? 输入框很大目前是所有图片文字之和是1 2 0 。 1 4 ， 点击删除没有立即消失。实际已去除。( 保存后再次进入编辑已经去除) 1 5 修改画报成功后，没有反馈提示 专经验评估( 2 专家) 未发现的可用性问题： ( 中括号“【】”中的文字是对这些可用性问题所作的归类) b 看画报页 4 看到本画报全部图片页面第一印象是回到了a 页。 3 5 推荐画报仅5 个【既有工作经验】；没找到按频道的分类 既有工作经验】 c 后台首页 1 没看到编辑按钮，首先点击文字链，以为会进入编辑后台。 1 保存后找不到画报。以为保存失败。【冈为权重没发现 【要有反馈! 】 d 编辑页 1 标题，首先问字数限制是多少。【既有工作经验】 2 跳过分类不选。因为一心填补必填的空白，分类栏已填黑色“请选择”因此被忽略【! 】 3 选标签无迟疑，想选多个时迟疑，终无果。 4 点击“浏览”后，双击图片完成添加 既有工作经验专使用习惯】 6 上传和保存按钮上下紧贴。用户迷惑先操作谁。【专家是聪明的用户】 7 上传等待时无反馈。后台慢，上传的图片无法及时显示缩略， ， j 户看到缩略图空白，以为上传错误，直接删除后重复上传。【及时反馈! 】 1 0 经提示后尝试z i p 格式批量上传。终未成功 设计者是高级用户】 2 8 硕士学位论文 3 3 3 比对结果统计与分析 专项目内专家未发现的可用性问题归类： a 页3 个，b 页4 个，c 页5 个，d 页4 个。这1 6 个可用性问题，主要可划 分为两类：交互设计细节；非产品主要功能的附属控制细节。 专项目外专家未发现的可用性问题归类： a 页o 个，b 页1 个，c 页3 个，d 页6 个。这1 0 个可用性问题，主要可划 分为两类：平面设计细节；企业规范。 项目内专家，不仅具有可用性方面的专业知识，也同时具备了产品相关知识。 而且由于参与了产品的开发过程，应该归为高级用户的行列。但他同时也是熟练 用户。这两方面的知识决定了项目内专家能保证产品重要部分被遍历；但同时， 其对产品本身的熟悉，也必将在诸多方面，影响其评估工作的展开。 较项目内专家而言，项目外专家知识更单纯。仅具有可用性方面的专业知识， 对产品本身不了解。可以把这样的角色理解为有可用性专业知识的新手用户，但 不是初级用户。可用性专家依然是网络产品或者计算机的熟练用户，他们能比用 户发现更多有关可用性细节、交互视觉设计细节的问题。 专用户测试未发现的可用性问题归类： a 页3 个，b 页5 个，c 页1 0 个，d 页1 0 个。共2 8 个可用性问题。与经验性 评估相比，所有平面设计细节；所有交互、控件细节；半数严重可用性问题都未 被用户尝试到。 专经验评估未发现的可用性问题归类： a 页0 个，b 页4 个，c 页2 个，d 页7 个。共1 3 个可用性问题。与用户测试 。相比，专家没有发现所有与用户既有使用模式、经验规范相关的可用性问题；忽 略了网速慢、页面长时的系统反馈问题；没有区分系统的提示和用户的输入。 用户测试是最接近真实的可用性评价手段，因此被广泛重视，成为了最基本 的可用性测试手段。但由比较可以看出，用户和专家相比，心理上没有新产品的 功能模型，对计算机和软件都没有专家熟练，用户唯一拥有的，值得学习的，是 用户的心理模型，即用户的既有经验和习惯。 网络产品简化可用件评估方泫的评测及改进 从方法本身的耗费与成效的角度来分析以上两个比对结果，即以各评估方法 所花费的时间、费用、易操作性和发现问题的数目、广度、严重度这两个方面， 对评估结果作如下分析： 在时间和花费方面。 经验评估花费时间为数小时，而用户测试花费时间为数天；经验评估仅需几 名可用性专家分别进行，用户测试则需要多位专家合作并邀请多名用户加入。经 验评估的“成本 明显优于用户测试。 在方法的实际效果方面。 项目内专家忽略了大部分的次要功能和交互细节，更关注主要功能和视觉评 价。而项目外专家缺少对产品的了解，其对交互功能的熟练和产品知识的缺乏的 特性，更接近有可用性和设计专业知识的高级用户。被其忽略的是与企业规范相 关的方面。 在经验评估相当充分的情况下，仍有1 3 的严重可用性问题未能被发现，都 是反馈问题。另外未预计到的可用性问题，大部分是源于专家缺少对用户既有经 验的了解，即源于专家与用户的着眼角度和既有经验、习惯不同。而这些不符合 用户经验的设计，一般是同类型用户的共性可用性问题。更为重要的是，这些用 户的共性经验不会引发严重影响操作的可用性问题。而了解用户的既有操作模式 和经验，正是用户测试与经验性评估这两种方法最大的、本质的不同。也就是说， 用户测试可以用来专攻与用户既有经验相关的可用性问题。而这些知识，有利于 交互设计及后续的经验性评估工作更全面。 从“人产品之间的关系的角度，即操作者对于设计专业知识和产品功 能知识的掌握程度的角度，对评估结果作如下分析： 掌握产品功能相关知识的“人”，即参与该项目的专家或熟悉该产品各项功能 的高端用户，他们对产品知识的掌握有利于他们更好的把握“产品 的重点，重 点可用性问题会被重视。而与此同时，产品知识也阻碍了他们去关注产品非重点 功能和细微处的问题，而这些正是专家不同于普通用户的专业价值所在，正是专 家可以为产品的用户体验提升带来的价值； 掌握产品设计专业知识的“人 ，即所有的设计师和可用性专家。他们的专业 知识，对于发现可用性问题有正面影响，但严重可用性问题的发现，无需这些知 识；设计方面的专业知识对于次要的可用性问题的发现起到了关键性作用，这些 关于交互和视觉细节的可用性问题，是提升产品用户体验的关键。 硕士学位论文 3 4 简化可用，l 生评估各方法的改进意见 知识如何影响人与产品之间关系的? 通过章节3 3 3 对此问题的讨论，揭示 出在企业实际开展的简化可用性评估工作中，各种评估方法之所以效利有优劣， 其根本原因是源于“人”的知识域的差异。也就是说，产品知识的掌握状况决定 了“人 发现可用性问题的能力和范围。 影响“人”与产品关系的这类知识，可分为两类，即“人 或使用者对于产 品本身各功能的理解和对于这些功能的使用方式方法的理解。将这两类知识概括 为：功能知识和交互知识。 将章节3 3 的统计和分析，直观的呈现在图3 1 中，将横轴和纵轴分别定义 为功能知识和交互知识；横轴远端定义为专业而深入的功能知识；纵轴远端定义 为复杂而高级的交互知识；将原点定义为直观浅显的产品知识。那么，该二维空 间里，围合出的一象限面定义的就是产品知识域( 如图3 1 中最大的方形区域。) 图3 1 “人”的产品知识域 在知识域内，纵向的分割线，表达了简单功能知识和复杂功能知识的质变点。 而横向的分割线，表达了简单交互知识和复杂交互知识的质变点。于是，产品知 识域被分割为四小区域。左下的小区域，代表了对产品不熟悉，且对产品操作没 有研究的知识群体，即用户：左上的小区域，代表了对产品不熟悉，但对产品各 类可能的操作有研究的知识群体，即项目外专家；一样的道理，右上的小区域中 的知识群体，比项目外专家更加熟悉产品本身的功能，他们就是项目内专家。 由前述章节1 1 1 和2 3 1 的讨论可知，网络产品是简单功能复合而交互较 复杂的大众消费品。因此，其知识域应处于产品知识域中偏向功能浅显而交互专 网络产品简化可用性评估方法的评测及改进 深的区域。在图3 1 中绘出大致的椭圆区域，其围合区间就是网络产品的知识域。 进一步来说，章节3 3 3 中比对出的各类“人”遗漏的可用性问题的数量分 别为：项目内、外专家之间比较为l6 和l0 ；用户与专家之间比较为2 8 和1 3 。对 应到图3 1 中，椭圆不与用户知识重叠的部分是用户没有掌握的产品知识区域， 其问题量为2 8 个，而横向分割线以下的椭圆应包含13 个可用性问题依此类推 最终推导出，有1 1 个可用性问题必须依靠用户掌握的产品知识才可发现，而必 须依靠项目内、外专家才能发现的可用性问题分别为1 0 个和1 6 个。 通过结合以上的讨论和数据，最终得到网络产品知识域椭圆的定位。 而由图3 1 可以看出，用户的产品知识处于通用的、浅泛的功能和交互区域， 用户无法涉及更深入，不会关注到产品的深层内容和设计细节。通过用户进行的 测试，关注的是产品的浅层，大部分的有关产品深层和细节的可用性问题会被忽 略。而兼具高级用户知识和设计专业知识的专家，有能力通过遍历产品，获取大 部分的可用性问题，尤其可以关注到专深和细节之处。 以上对图表的分析，实际上反映出一个浅显的道理，即，方法本就各有利弊， 如何利用才能发挥更好的效力，需视情况而定。而在章节2 3 中己讨论到，源于 “以用户为中心 的设计思想的影响，人们更看重有用户参与的测试活动。国内 互联网企业现行的可用性工作，也顺理成章的关注和依赖用户测试。专家仅被用 于观察用户，专家评估的效益没有受到关注。但对于功能浅显、交互复杂、时效 性强的消费型网络产品，简单通用得浅层产品知识很容易被有经验的专家所把握， 而专深和细节的产品知识较普通产品丰富，而且往往是同质化严重的网络产品用 以提高品质、体现体验价值的关键之处。这部分专业知识只能依赖专家的评估来 发现和改进。用户测试是毫无作用的。 总之，对于不够成熟的国内互联网企业的大众消费型网络产品，其可用性评 估工作以“足够为目标，希望以尽量少的付出来避免那些严重的可用性问题。 又因为，在成本上，经验性评估远远低于用户测试；在收益上，经验性评估 能发现几乎所有的严重可用性问题，仅难于发现与用户既有经验相关的问题，而 这些疑惑又是必须在产品功能和交互构思的初期，就需要探明并有所把握的。 因此，在不追求“最好”或“完美的前提下，结合之前讨论的简化可用性 工程在实际应用中的不当变通，本研究对网络产品简化可用性评估中后期的方法， 概括出三个改进点： 一、用户测试未发现严重可用性问题，可简化不做用户测试，符合简化可 用性工程方法的原则； 二、经验性评估可发现严重性问题，是符合可用性工程方法的重点； 三、深入的经验性评估可发现复杂交互和认知逻辑问题，始简化可用性工程 的要点。 即，如图32 表示的。以低成本、高效率、仪防l l ，t ”再町用性问题为前提， 在j 。品开发中后划的可用性评估中，无需用户测试，仪进行经验性评估( 专家评 “i ) 就已足够，且砰估者应是项目外家、评f 占过程应遍历所有的卡次功能和控 什。而用户既有经验的获取应在产品开拉前期充分完成。 图32 改进后的评估方法 网络产品简化可用性评估方法的评测及改进 第4 章改进后可用性评估方法的验证评价 4 1 改进后方法的验证评价思路 通过第三章，对网络产品简化可用性评估各方法的实践，以及对各方法的易 操作性和有效性两个方面的比对，最终提出对网络产品简化可用性评估方法的三 条改进意见。而对本研究所提出的此创新点，需要通过更多的实践来验证和评价 其有效和可重复性。 如何验证前述的改进后可用性评估方法，正是本章的主要工作。第四章拟通 过对改进后的新评估方法的实践，对改进后方法的效果进行评价，进而达到验证 其有效性和可重复性的目的。即，在网络产品设计后期的可用性测试中，实际应 用改进后的简化可用性评估方法，而后借鉴前章节所采用的收益一一成本分析方 法，对改进后的方法发现的可用性问题进行统计和分析，进而评价出改进后方法 的易用性和有效性水平，以达到验证目的。因此，对于改进后评估方法的验证评 价，需要首先对该方法进行实际操作。 本章后续的改进后可用性评估，选取了刚上线的新网络产品：“谷歌金山词霸 合作版”作为评估对象。 选取已上线的谷歌产品是出于以下几方面的考虑：首先，此产品刚刚上线， 没有大量用户实际操作。因此产品的性能能反映出企业真实的可用性评估能力。 在此阶段产品的身上，能清晰地看到目前主流企业可用性评估工作开展的程度和 效力。其次，谷歌产品质量很有保障，在业界属于标杆型产品，其上线产品可视 为经历过完备的用户测试和普通经验性评估的网络产品，对其进行的改进后经验 性评估，结果可直接对比普通经验性评估和改进后经验性评估方法，反映出改进 后方法的优势和不足。同时，改进后方法发现的问题越多，越能清楚地说明完备 的用户测试在可用性评估中的缺陷和不足。 谷歌金山词霸合作版，是依赖互联网的桌面应用程序，谷歌官方提供正版产 品的免费下载，网址：h 丛p ；g ：逝鱼垦：q q 堡 硕上学位论文 4 2 验证性评价的实施 在章节4 1 的分析和考虑中提到，对改进后方法的评价需要首先进行实际的 改进后经验性评估。再通过对评估效果的分析，评价出该方法的易用性和有效性。 为了尽可能真实地展开评估工作，实际评估开始前，对此款网络产品的实际 应用人群和应用环境作了分析。考虑到此款“词霸 是面向桌面的联网软件，而 主要客户群是需要经常与英文打交道，而并不十分熟悉英文的人，本评估选择了 高校在校学生的个人电脑环境，作为实际的评估环境。即大学学生宿舍，学生台 式组装机，网络为校园网。考虑到通常的使用时间，测试选择在晚间进行，而此 时校园网络速度一般会有很大问题。 评估工作由一名淘宝可用性工程师独立展开，以安装软件开始，观察软件的 所有细节，各种操作，并设定了可能的任务，实际测试了带任务操作。通过详细 全面的试用，发现该产品突出的优势、劣势和一些交互细节问题。使用改进后的 经验性评估方法的专家，其意见记录如下： 4 2 1 该产品可能吸引用户使用的主要特色 在线翻译软件日渐普及，在众多功能相近的同类产品中，谷歌金山词霸在以 下两个方面的创新功能，特别能便利用户的操作，具有极高的吸引力： 。 双击该产品界面中的任意中、英文单词，软件便自动提取并翻译被双击的词 汇。此功能很便利，是有别于其他同类型软件的一大特色优势； 用户不用在鼠标和键盘问来回切换，直接用键盘输入就被默认填写到输入框； 按下回车键就会翻译；翻译后不使用鼠标，再次直接输入，该产品会自动清空输 入框中的内容，默认翻译新输入的内容。 4 2 2 可能促使用户最终放弃使用的产品缺陷 即使经过完备而严格的设计和可用性评估环节，谷歌的产品仍然存在一些较 为严重的问题。这些缺陷可能导致产品无法满足用户需求，也可能影响用户的使 用感受，最终可能导致用户放弃该产品，转投其他品牌。 首先，对于用户来说，大都在阅读英文网页或英文文献时使用翻译软件，因 此绝大部分情况下，仅用屏幕取词【希望快速提示一两个词的大概意思就行】，偶 尔用主界面【希望看到详尽，不常见的解释以及遇到大段生词需要翻译】。因此， 对用户来说，词霸合作版屏幕取词的翻译内容不够简洁。单词重复了两行，音标 占了一行总之是复杂了，得花更多时间看到所有内容，如图4 1 右。而同类型 的翻译软件l i n g o e s ，其优势在于单词和解释各占一行，很简练，有“大概翻译一 下 的感觉，如图4 1 左。 塑兰兰坌塑些型! ! 兰兰查篓塑兰竺垒兰垡 图4 i 词条版式比较 其次，在翻译质量方面，出现了屏幕取词不全的情况。比如：m i c r o s o f t 被提 取成m i ，而同类型翻译产品l i n g o e s ，没发生这种情况。而月当单词是复数或者 过去式时，会自动翻译其原形。 4 2 3 交互细节的可用性问题 谷金词霸，除了存在以上指出的较为突出的优势和严重的问题外，改进后的 经验性评估还发现了许多在产品开发过程中没有关注到的细节问题： 在软件的安装首页，硝两行小字的软件功能说明，版式太紧密。而文寨方面， “谷歌会山词霸台作版”这个长名字重复出现，理解起来很费劲，不利快速辨汉： 在安装后的初次使用中，首先需要设置翻译软件的屏幕取词功能“不提取中 文进行翻译”，但该项设置隐藏较深，比较难找到。最初，专家曾把“开启译中译” 误解成该项功能，即理解为关闭列“中译”的翻译。后采测试者还通过删除取词 的中译英词典，问接达到关闭中文取词功能的目的。究其原因，是测试者以为这 项功能一定会有快捷方式来设置，而不一定要在软件底层的设置毋完成； 按照商业需求，词霸的首页即初始页，需要提供爱词霸的推广。但初始贝的 版式效果缺乏常见网页的首页感觉，总体不像是爱词霸的推广页而，没有专业、 资讯推荐的整体被果。看起来更像是广告，而且是质量不好的文宁广告： 代表“更多”这一含义的小箭头，是时常会迷惑用户的细节。如图42 左， “翻译”按钮有侧的小箭头，让人觉得是“翻译”功能的拓展，但实际上，点击 小三角，展开后硅示的生词本和迷你背单词功能，并不隶属于“翻译”功能而 是表达了“更多平行功能”的含义。而如图42 右所示，g o o g l e 首页是这样用小 箭头表达“更多”的： 图42 表达“更多”的箭头 翮剧 * 一 t e z 由图42 右和图43 对比，可以看出，英文版的两个“更多”，层级关系更加 清晰：“m o r e ”选项是小写，平衡了与奠他功能的“区分