（应用心理学专业论文）手机界面可用性评价的研究.pdf

浙江理工大学硕士学位论文 摘要 可用性是指特定产品在特定使用背景下用于特定的目的时所具有的有效性、效率和用 户主观满意度。从目前来看，我国正处于可用性研究的引入阶段，主要涉及可用性研究理 论、技术与方法的介绍，在以往文献中很少涉及手机可用性的实证研究，手机可用性的评 价指标体系不够完善，手机可用性的研究范式不够完整。 本研究将在手机的可用性评价中引入路径长度这个操作负荷指标并论证其有效性，论 证手机界面原型的可用性评价的有效性，结合可用性相关文献，提出适合我国现状的手机 可用性工程模型。 本研究进行三个阶段的实验：实验一：真实手机的可用性评价；实验二：计算机模拟 手机界面，对手机界面原型的进行可用性评价；实验三：改进诺基亚3 1 0 0 手机界面原型， 并与诺基亚3 1 0 0 进行可用性对比评价。 、 根据这三个实验，得出以下结论： ( 1 ) 引入手机操作路径长度这个操作负荷评价指标，可以更准确的评价产品的可用性 水平。 ( 2 ) 手机界面原型的可用性评价是有效的可用性研究策略，通过手机界砸原型的可用 性评价，可以改进手机界面的设计。 ( 3 ) 经可用性评价改进后的手机界面可以减少可用性问题，提高可用性水平，但可能 会引入新的可用性问题，迭代测试是获得高可用性水平手机界面的有效途径。 ( 4 ) 就我国目前状况而言，基于绩效的手机可用性工程模型是进行手机可用性研究的 有效策略。 与以往研究相比，本研究在手机可用性评价中，引入了路径长度这个操作负荷评价指 标；用实证的方法论证了手机界面原型的可用性评价的有效性，并结合相关的文献提出了 适合我国现状的手机可用性工程模型。这些结果对于进步完善手机可用性评价指标体 系，指导手机可用性评价的实践有着重要的意义。 关键词：手机可用性；绩效；原型；手机操作路径长度；操作负荷评价指标 浙江理工大学硕士学位论文 t h er e s e a r c ho fu s a b i l i t yt e s t i n go fm o b i l et e l e p h o n e si n t e r f a c e a b s t r a c t u s a b i l i t yi st h ee x t e n tt ow h i c hap r o d u c tc a nb eu s e db ys p e c i f i e du s e r st oa c h i e v e s p e c i f i e dg o a l sw i t he f f e c t i v e n e s s ，e f f i c i e n c ya n d s a t i s f a c t i o ni nas p e c i f i e dc o n t e x to fu s e s of a r , c h i n ai so ns t e po fi n t r o d u c t i o no fu s a b i l i t y , f o c u s i n go nt h e o r i e s ，t e c h n i q u e sa n dm e t h o d so f u s a b i l i t yr e s e a r c h s o t h e r ei sf e wl i t e r a t u r er e f e r st ot h ep o s i t i v er e s e a r c ho nu s a b i l i t y i nt h e u s a b i l i t yr e s e a r c h e so fm o b i l et e l e p h o n e ，t h es y s t e mo fi n d e x e si sf a u l t y t h em o d e lo fu s a b i l i t y r c s e a r c hi si m p e r f e c t 。 i nt h er e s e a r c h ，t h el e n g t ho fp a t hi st a k e na st h ei n d e xo fw o r kl o a di nt h eu s a b i l t yt e s t i n g o fm o b i l et e l e p h o n e ，a n dw ed e m o n s t r a t ei t sv a l i d i t y d e m o n s t r a t et h ev a l i d i t yo fu s a b i l i t y t e s t i n go fm o b i l et e l e p h o n e sp r o t o t y p i n g i n t e g r a t i n g w i t hr e l a t i v el i t e r a t u r e s am o b i l e t e l e p h o n e su s a b i l i t ye n g i n e e r i n gm o d e l ，w h i c hi ss u i t a b l ef o rc h i n ap r e s e n t l y , i sa d v a n c e d 1 h er e s e a r c hi sc o m p o s e do ft h r e ee x p e r i m e n t s t h ef i r s te x p e r i m e n ti st h eu s a b i l i t yt e s t i n g o fr e a lm o b i l et e l e p h o n e s t h es e c o n de x p e r i m e n ti st os i m u l a t et h ep r o t o t y p e i n go fr e a lm o b i l e t e l e p h o n e s t h e nt e s tt h e m n et 1 1 i r de x p e r i m e n ti s t oi m p r o v et h ed e s i g no fn o k i a31 0 0 s i n t e r f a c e t h e nt e s tt h ed e s i g no fn o k i a3 1 0 0 si n t e r f a c ea n dt h ei m p r o v e dn o “a3 1 0 0 s i n t e r f a c e b a s eo nt h e s ee x p e r i m e n t s ，t h ec o n c l u s i o n sa r eg o ta sf o l l o w i n g ： ( 1 ) i nt h eu s a b i l i t yt e s t i n go fm o b i l et e l e p h o n e t h el e n g t ho fp a t ht a k e na si n d e xo fw o r k l o a d ，t h el e v e lo f u s a b i l i t yc a nb em e a s u r e dm o r ea c c u r a t e l y ( 2 ) u s a b i l i t yr e s e a r c ho f p r o t o t y p i n gi st h ee f f e c t i v eu s a b i l i t yr e s e a r c hs t r a t e g y , t h ed e s i g no f i n t e r f a c eo f m o b i l et e l e p h o n ec a r lb ei m p r o v e dw i t l lt h er e s u l t so f u s a b i l i t yt e s t i n g ( 3 ) i nt h ei m p r o v e dd e s i g no fm o b i l et e l e p h o n e si m e r f a c e ，t h eu s a b i l i t yp r o b l e m sa r e d e c r e a s e da n dt h eu s a b i l i t yl e v e li se n h a n c e d ，b u tt h en e wu s a b i l i t yp r o b l e m sm a yb eb r o u g h t i n t ot h ei m p r o v e dd e s i g no fm o b i l et e l e p h o n e si n t e r f a c e ，i t e r a t i v et e s t i n gi sa ne f f e c t i v ew a yt o g e tt h ei n t e r f a c eo f h i g hu s a b i l i t yl e v e l ( 4 ) p r e s e n t l y , t oo u rc o u n t r y , t h eu s a b i l i t ye n g i n e e r i n gm o d e lo f m o b i l et e l e p h o n eb a s e do n p e r f - o n n 舳c ei sa ne f f e c t i v es t r a t e g yo f u s a b i l i t yr e s e a r c h c o m p a r e dw i t ht h ep r e v i o u sr e s e a r c h e s ，i nt h i sr e s e a r c h , t h el e n g t ho f p a t hi st a k e na si n d e x o fw o r kl o a d ，t h ev a l i d i t yo fu s a b i l i t yt e s t i n go fm o b i l et e l e p h o n e sp r o t o t y p i n gi sd e m o n s t r a t e d ， a n dam o b i l et e l e p h o n e su s a b i l i t ye n g i n e e r i n gm o d e lw h i c hi ss u i t a b l ef o rc h i n ap r e s e n t l yi s a d v a n c e d t h o s er e s u l t sa r eo fs i g n i f i c a n c et op e r f e c tt h es y s t e mo fu s a b i l i t yi n d e x e so fm o b i l e t e l e p h o n ea n dg u i d et h ep r a c t i c eo f u s a b i l i t yt e s t i n go f m o b i l et e l e p h o n e k e y w o r d s ：u s a b i l i t yo f m o b i l et e l e p h o n e ；p e r f o r m a n c e ；p r o t o t y p i n g ；t h el e n 昏ho f o p e r a t i o n p a t h ；i n d e xo f w o r kl o a d i i 浙江蓬工六学学位论文原钟性声翡 本八耀声明：霉恪守学术道德，番尚严谨学风t 所呈交静学位论交，是 本人在导师的指导下，独立进行研究工作所取得的成暴。除文中b g b 确注暇和 引用豹内容外，本论文不包禽任何其他个人或集体已经发表或撰写过鹩作品及 成果的内窖论文为本人亲自撰写，我对所写的内容负责，并完全意识到凑声 明的法律结果由本人承担 学位论文作梆；警 可 日期岬年溯嘲 渐江理工大学学位论文版权使用授粳书 学位论文作者完全了解学校有关保留、使用学位论文的艇定，同意学校保留 并向犀家有关部门或机构送交论文的复印件和电子版，允许论文被查圈或借阅。 本人授权浙江理工大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采甩影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适甩本版权书。 本学位论文属于， 不保密压 学位论文作者签名： 期寸 醐：工呷年潮t 妒日 指导教师签名：殳乞户 日妇：l 司年3 月汐日 f 浙江理工大学硕士学位论文 1 1 研究背景 1 绪论 1 1 1 可用性研究 可用性是指特定产品在特定使用背景下用于特定的目的时所具有的有效性、效率和用 户主观满意度【1 1 。产品通过可用性研究，其产品的设计一定是较好地符合了产品特定用户 的认知思维、行为习惯和消费需求，提高产品的可用性水平、用户的满意度。 近五年来，可用性研究在中国得到了快速的发展。这种发展的直接动力来源于三个方 面：国外诸如诺基亚、西门子、摩托罗拉等大公司在中国的子公司在他们产品的本土化 研究中大量地采用了产品可用性研究，给其他公司起到了一种规范和引导的作用。市场 需求的直接推动。我国的经济发展为产品可用性开拓了一个非常巨大的市场1 2 1 。中国光 华科技基金会用户体验研究中心( d d f u p a ) 在我国积极推广可用性研究。自从2 0 0 4 年 开始，在我国举行u s e rf r i e n d l y 年会，并且举行不同规模的学术论坛【3 1 。总的来说，经济、 产品技术的发展和市场的需求构成了我国产品可用性研究的发展的基础，在d d f u p a 积 极推广下，促使可用性研究在中国的快速发展。 1 1 1 1 研究意义 可用性研究的目的是：发现产品设计中存在问题，改进设计，符合终端用户的认知思 维和操作习惯，满足消费者的需求，提高产品的使用效率与用户的满意度 4 1 1 5 。 可用性研究的意义主要体现在以下几个方面： ( 1 ) 投入的高效能。可用性研究的投入不是一项短期行为，给企业带来的经济利益， 对于开发组织来说并不是直接可见的，在较短的一段时间内，可能表现不出来。但从长远 来看，其产出是高效的，通过对以往实际研究的产出与投入分析发现，可用性研究产出与 投入的比值在3 ：1 到1 0 0 ：1 之间1 6 1 。 ( 2 ) 节省成本。经过可用性研究，提高了产品的使用效率和学习性，特别是功能复杂 的产品，可以缩短产品使用的培训时间 7 1 ，减少产品的维护与售后服务的支出【8 1 。 ( 3 ) 降低产品开发风险。以往产品的开发设计是直线性的，在这种设计模式的支配下， 那么用户需求要有精确的定义，但在实际的设计过程中，我们前期的用户需求分析是不充 浙江理工大学硕士学位论文 分的f 9 】。因而，设计出的产品往往不符合目标用户的需求，产品开发的风险较大。在产品 开发设计过程中进行可用性研究，是一种以用户为中心的设计方法，在开发过程中进行迭 代设计与测试，检验我们的设计是否符合目标用户的需求，修正用户需求，最终设计必定 能够很好符合目标用户的需求，降低产品的开发风险。 ( 4 ) 提高用户的忠诚度，树立企业良好形象。产品的体验可以划分为三个层次：本能 层、行为层和反思层。本能层是用户对产品的本能第一反应。追求本能层是众多厂商的焦 点之一，通过第一印象设计，来吸引用户的关注；第二层是行为层，相当于，产品效用和 效能对脑活动的一种影响，这种行为层是通过操作和使用才能体会得到，在行为的影响里， 外观和设计原理已不重要，功能、可用性和用户体验成为考虑的关键，行为层将最终判定 这个产品能否便于长期拥有；反思层是脑思考，相当于前面两层的一个综合的印象。通过 第三层，产品的忠诚度就可以体现【i o l 。 企业形象是一种无形资产。经过可用性研究，设计出的产品更好的符合用户的认知思 维、行为习惯和用户需求，提高了产品的满意度与美誉度。产品美誉度与企业形象具有联 动关系，产品的美誉度可以促进企业的知名度和形象【1 1 】。 1 1 1 2 研究内容 可用性研究其主要内容有以下三个方面： ( 1 ) 用户模型研究 用户模型研究主要涉及到产品的市场定位和用户特点、需求分析，通过对用户的工作 环境、产品的使用习惯等研究，建立产品的用户模型，使得在产品设计过程中，根据用户 的不同特点设计不同的产品，满足不同用户的需求。目前国内的用户研究大多和市场研究、 市场调研等同起来，所以使得调研的有效数据减少，其实在可用性设计范畴里的用户研究 是主要针对可用性设计的用户研究，它需要有自己独特的方法和途径。 ( 2 ) 产品的可用性设计 产品的可用性设计是指，在产品的设计过程中，根据产品的用户模型、可用性设计准 则以及其它相关的标准，来设计产品。产品可用性设计的目的是，提高产品的可用性水平、 用户满意度和用户体验水平。目前大多数公司都还只是注重创意，在可用性方面却考虑甚 少。像工业设计方面的就多数注重造型，界面设计则强调平面设计，对于用户的体验设计 考虑甚少。 2 浙江理工大学硕士学位论文 ( 3 ) 设计的可用性水平评价 设计的可用性评价主要是通过可用性测试，评价设计可用性水平的过程，它能评估用 户实现任务的效率性和效力性。它是一个标准化的方法使得每个应用的各个方面都能满足 用户的友好性、功能性和艺术性。设计的可用性分析的目的在于评价设计是否达到我们的 设计目标。 1 1 1 3 研究方法 可用性研究的目的是发现产品存在的可用性问题，改进产品设计，提高产品的可用性 水平。为了提高产品的可用性，就需要对产品进行可用性评价。目前，较为常用的可用性 评价的方法主要有焦点小组( f o c u sg r o u p ) 1 2 】、启发式评估( h e u r i s t i ce v a l u a t i o n ) 1 1 3 , 1 4 1 、 出声思维法( t h i n ka l o u d ) 0 5 , 1 6 1 和用户绩效测试( u s e rp e r f o r m a n c et e s t i n g ) 1 7 , 1 s l 这4 种。 焦点小组是在1 名主持人( m o d e r a t o r ) 的主持下，由一定数量的用户对产品特定主 题进行讨论，发表自己意见。而没有进行严格的原型典型任务的操作f 1 9 1 ，对可用性评价指 标只进行主观评价，不能作为一般的可用性评价方法，适合用于低精度的原型。焦点小组 关注的主要是用户对产品特定主题的观点、看法、态度与建议【2 0 1 。 启发式评估中，通过对用户完成特定操作任务过程的观察，评估者来评估判断产品是 否达到已经确定的可用性准则。要取得好的评估效果，需要3 到5 个的评估专家；评估者 关注的是违背可用性准则的产品可用性问题，并解释产生这些可用性问题产生的原因。 出声思维法是要求被试在完成操作任务的同时以口头语言的形式报告出任务的操作 情况。使用出声思维法可以了解用户在操作时的实时认知思维过程，可以理解用户操作心 理模型。但是，出声思维法会增加用户在操作时的认知压力【2 1 1 ，干扰用户的操作绩效【2 2 1 。 用户绩效测试是在实验室条件下，邀请用户使用产品完成特定操作任务，通过观察和 分析用户或被试操作绩效来对产品可用性水平进行评价的一种方法。用户绩效测试适用于 高保真的原型，既可以用于产品可用性水平的对比评价，也可以发现产品的可用性问题， 是一种简单的、客观的可用性评价方法【矧。与其它可用方法可用性评价方法相比，用户绩 效测试具有以下优点： ( 1 ) 以操作时间为绩效评价指标，测试结果数据更稳定、更具可重复性； ( 2 ) 用户绩效测试可以减少主试与被试之间的交互影响，在测试过程中，主试不给予被 试任何提示； 3 浙江理工大学硕士学位论文 ( 3 ) 用户测试成本低，整个测试过程只需一个可用性研究专家i 每个被试测试时间都比 其它可用性评价方法都要少，可以进行大样本的可用性量化研究； ( 4 ) 用户绩效测试既可以用于产品可用性水平的对比评价，也可以发现产品的可用性问 题。 1 1 1 4 评价指标 根据i s o d i s9 2 4 1 1 1 ，产品的可用性可以从有效性、效率和满意度这三个指标来评价 。但我们可以看出，这三个评价指标不具有可操作性。因而，在实践中，通常将可用性 评价指标分为主观评价指标和客观评价指标。 主观评价指标主要通过主观问卷获得，常用的主观评价指标有：有效性、效率、满意 度、学习性、记忆性、控制感、出错性等，在具体的可用性研究中，研究者会根据研究对 象，选用合适的主观评价指标。 客观评价指标主要通过统计用户在操作过程中的行为表现来获得，常用的客观评价指 标有：任务完成率、操作时间、出错【2 4 】。 不同的可用性评价方法各有优势和不足。在实践中，研究者会根据研究的实际情况选 用适当的研究方法或方法组合，综合使用主观评价捂标和客观评价指标，提高研究效度口5 1 。 1 1 2 手机的可用性研究 1 1 2 1 研究内容 目前，手机的可用性研究主要围绕着以下几个方面： ( 1 ) 手机定位研究 用户的需求是千差万别的，一个手机不能满足所有用户的需求，但从整体上分析，特 定群体的用户需求具有相似性。因此，企业要对用户的需求进行细分，设计不同的手机满 足不同用户群体的需求。市场定位是企业在全面了解、分析竞争才在目标市场上的位置， 企业根据用户的不同需求设计不同的手机，使本企业的手机与竞争者的产品区分开来，在 用户心中树立良好的形象 2 6 1 。 目前，已经出现了不同定位的手机 2 7 1 。例如：诺基亚走实用路线( n o k i a1 1 1 0 ) ，三星 手机走时尚路线( s g h d 9 0 8 ) ，索爱手机走娱乐路线( w 8 0 0 ) ；最近，出现了专门为特殊 群体而设计的手机( 熊猫t 1 6 0 m 盲人手机) 。 o 可用性评价指标的介绍请详见文献综述6 i 4 浙江理工大学硕士学位论文 ( 2 ) 软件界面研究 手机的用户界面可分软件界面( u i ，u s e ri n t e r f a c e ) 和硬件界面( p u i ，p h y s i c a lu s e r i n t e r f a c e ) 这两个部分。软件界面研究主要包括单一显示界面的设计和不同界面的交互设 计。单一显示界面主要研究不同的手机显示界面组成要素的自身设计，以及各组成要素之 间的布局设计；不同界面的交互设计主要研究任务的操作流程设计，提高整体的操作效率。 ( 3 ) 硬件界面研究 手机的硬件界面研究包括手机键盘、接口和外观的设计。随着手机功能的不断增加， 以往的手机键盘的按键已经不能满足功能丰富的现代手机的要求，如何增加按键或采用其 它的交互方式在手机设计中应该考虑的问题。手机键盘和接口的设计主要包括按键的形 状、尺寸、布局、操作阻力和材质这些方面，提高手机的整体满意度。 手机的外观设计是影响用户购买决策的重要因素之一，特别是对第一次购买某一品牌 手机的用户。优秀的外观设计，能引起用户在情感上的共鸣，当用户第一眼看到这个手机， 就会产生即时购买的冲动。外观设计通过视觉传达，提高与用户审美观的匹配程度。 1 1 2 2 存在的问题 可用性研究在手机界面设计中的应用主要是存在像诺基亚、摩托罗拉等这些跨国公司 企业。直到2 0 0 4 年1 2 月，可用性研究首次应用到国内企业的手机界面设计中【2 引。 手机界面设计的可用性研究中存在的问题主要体现以下几个方面： ( 1 ) 手机可用性的实证研究少 2 0 0 6 年1 2 月1 5 日，检索中国期刊网可以发现，在已有的可用性研究文献中，主要是 介绍可用性研究的理论、方法和技术，例如，张侃等人在人类工效学上发表了焦点小 组讨论【1 2 】、启发式评价【1 4 】、出声思维法等文章【1 6 1 ；手机可用性的实证研究只有1 篇，张学 民等人研究了手机显示屏的背景颜色对操作效率的影响【冽。因而，对手机的深入研究产生 不利影响。 ( 2 ) 手机可用性评价指标体系不够完善 根据可用性的研究文献，在产品可用性研究中，使用主观评价指标和客观评价指标来 衡量产品可用性水平。以任务的完成率和出错来评价有效性，用操作时间来评价效率。但 是，用户使用不同产品进行相同任务的操作时，虽然操作时间相同，但用户操作负荷嗍是 不相同的。在相同的操作时间下，较低的操作负荷的产品具有较高的可用性水平。因而， 只用出错和操作时间等指标来评价手机可用性水平，那是有问题的。 5 浙江理工大学硕士学位论文 ( 3 ) 手机可用性的研究范式不够完整 可用性研究是一项可用性工程，应该贯穿于产品的整个“市场( 经济) 生命周期”。 现在企业往往只进行界面设计前的市场调研，以及对最终产品进行可用性评价。如果只对 最终产品进行可用性研究，来检验设计的产品有没有符合用户的操作习惯，是否满足消费 者的需求。如果发现产品设计中存在严重的问题，此时再改进产品设计，那成本是非常高 的。更重要的是可用性测试的工作还没有和产品的设计有机的结合起来，这相对减少了可 用性测试的作用。 1 2 研究构思 i 2 1 研究的提出和构思 综上所述，手机研究存在在实证研究少，评价指标不完善，研究范式不完整三个问题。 这些问题对于深入开展手机的可用性研究带来很多不利的影响。基于这样的考虑，本研究 针对以上问题，通过实证研究，论证路径长度这个操作负荷评价指标在手机可用评价中的 有效性，论证手机界面原型的可用性评价的有效性，并结合相关的可用性文献，提出适合 我国现状的手机可用性工程模型。 基于以上几个问题，本研究由手机的可用性实验、手机界面原型的可用性实验和手机 改进界面的对比实验性这三个实验组成，图1 1 是本研究的研究流程图。 图1 1 手机菜单界面的研究流程图 6 浙江理工大学硕士学位论文 r 实验一：手机的可用性实验 针对手机可用性评价指标体系的不完善这个问题，在实验中，除了任务完成率和操作 出错这两个客观评价与主观评价指标之外，引入了操作路径长度这个负荷评价指标，以用 户绩效测试的方法对诺基亚3 1 0 0 与托普m t 5 8 这两款手机进行可用性测试，完善手机可 用性的评价指标体系，更全面、准确的评价手机可用性水平。 实验二：手机界面原型的可用性实验 对原型进行可用性评价是交互设计的关键步骤【3 0 1 。在本实验中，以完成典型任务的操 作时间、操作路径长度、任务完成率出错和主观评价为评价指标，通过以用户绩效测试的 方法对诺基亚3 1 0 0 与托普m t 5 8 这两款手机的原型分别进行可用性测试，分析手机的可 用性实验与手机界面原型的可用性实验中的评价指标的相关性，论证手机界面原型的可用 性评价的有效性。在每位被试完成手机界面原型的测试任务后，填写相关的问卷。了解手 机短信息功能设计与使用现状，为改进手机界面设计提供依据。 实验三：手机界面改进前后对比实验 可用性研究的一个重要目的是通过可用性研究，发现存在并改进其设计，减少设计中 存在的问题。在本实验中，根据诺基亚3 1 0 0 存在的可用性问题，改进诺基弧3 1 0 0 短信息 界面的设计。以完成典型任务的操作时间、操作路径长度、任务完成率出错和主观评价为 评价指标，通过以用户绩效测试的方法对诺基亚3 1 0 0 与改进界面的这两款手机的原型分 别进行可用性测试，论证改进后界面原型是否减少了设计中的问题，是否提高了手机界面 设计的可用性水平。 适合我国现状的手机可用性工程模型 根据以往的可用性文献为基础，结合本研究的实验结果，试图提出适合我国现状的手 机可用性工程模型，为企业在进行手机可用性研究时提供参考。但这个手机的可用性工程 模型是一个假想的模型，需要以后更多的实证研究来进行验证和完善。 1 2 2 研究的创新点 本论文的创新在于： ( 1 ) 在手机的用户绩效测试中，引入操作路径长度这个评价指标，更准确的评价手机 可用性水平，完善手机可用性评价指标体系； ( 2 ) 论证了手机界面原型的可用性评价的有效性； ( 3 ) 提出适合我国现状的手机可用性工程模型。 浙江理工大学硕士学位论文 2 1 实验目的 2 手机的可用性实验 针对手机可用性评价指标体系不完善这个问题。在本实验中，除了任务完成率、出错、 操作时间这三个客观评价指标和主观评价指标外，引入操作路径长度这个负荷评价指标， 以期更准确的评价手机的可用性水平。 2 2 实验方法 2 2 1 被试 本实验被试共有2 0 名，均为大学本科在校生，男女各半，年龄为1 9 到2 3 岁，平均年 龄2 0 9 5 岁，这些被试都没有拥有过诺基亚和托普手机。 2 2 2 实验装置 手机测试实验仪器包括装有2 块n o l d u s 公司的专用图像采集卡以及n o l d u s 公司的 e t h o v i s i o n 系统的p 4 计算机动作测量系统( 见图2 1 左) ，彩色摄像头1 个( 见图2 1 右) 、 自制手机固定架1 个( 见图2 2 ) 。 p 4 计算机系统用于记录、分析被试具体操作手机情景；彩色摄像头用于采集被试具体 操作手机情景；自制手机固定架用于固定测试手机。 图2 1e t h o v i s i o n 系统的计算机动作测量系统( 左) 和彩色摄像头( 右) 8 浙江理工大学硕士学位论文 e t h o v i s i o n 系统是一个集运动和行为的自动监测、记录和分析于一体的综合系统。该 系统每秒钟采样2 5 次，使用该软件进行手机可用性测试可获得操作时间、操作路径等蕃 观指标。 图2 2 自制手机固定架 2 2 3 实验材料 本次实验材料是诺基亚3 1 0 0 与托普m t 5 8 这两款手机，见图2 3 。 2 2 4 实验任务 图2 3 诺基亚3 1 0 0 和托普m t 5 8 手机外观图 被试的实验任务是按照制定的手机典型任务进行操作。这些典型任务共分为两大类， 基本上包括了与短信息和电话号码相关的主要操作，具体典型任务见表2 1 9 浙江理工大学硕士学位论文 表2 1 手机可用性实验的操作典型任务 编号典型任务的具体内容 l 给“张三”发一条短信息，内容为“1 ”。 2 找到“张三”的具体内容为“你好”短信息并回复，回复内容为“l ”。 3 将收件箱内的第一条短信息群发给“红一”“黄二”“绿三”这三个人。 4找到“张三”的具体内容为“你好”这条短信息，在“你好”后加“1 ”转发给“黑五”这个人。 5 删除收件箱内第一条短信息。 6 杏找张建华的电话号码，并拨打。 7 查看最近的未接屯话并保存为“1 ”。 8 删除电话本中的姓名为“刘英”这个人的电话本记录。 9将王强的号码最后一位数字删除并保存。 1 0 将号码“1 ”保存为“l ”。 2 2 5 评价指标 ( 1 ) 任务完成率：典型任务操作失败有两种情况：如果被试在2 分钟内没有完成这 个典型任务的操作，那么这个典型任务操作失败；没有按照典型任务的要求结束操作。 典型任务完成率是指在每一个典型任务中，典型任务操作成功的被试所占的比例。 ( 2 ) 操作出错：各个典型任务都有一个正确的操作路径，凡是与相应典型任务的正确 操作路径不一致，记出错一次。在同一个典型任务中，同一出错不进行累计，只计一次。 如果达到2 0 的被试出现了同一出错，这个出错为严重出错m l 。 ( 3 ) 操作时间：被试开始操作起到被试操作完成这个任务为止的时间过程。被试操作 失败的典型任务的操作时间数据，不纳入统计范围。 图2 4 手机的操作路径轨迹图 1 0 浙江理工大学硕士学位论文 ( 4 ) 操作路径长度：被试开始操作起到操作完成这个任务为止，被试手指移动的路径 长度。被试操作失败的典型任务的操作路径长度数据，不纳入统计范围。手机的操作路径 轨迹图见图2 4 ( 5 ) 主观评价：每个典型任务操作完成后，被试依据典型任务的操作情况，在满意度、 效率、学习性与出错性这四个维度上进行主观评价。 ， 2 2 6 实验流程 整个实验共分成实验准备与实验操作这两个阶段。本实验须两主试：主试一操作 n o l d u s 记录系统，主试二协助被试完成实验。 实验准备阶段： ( 1 ) 被试看指导语( 见附录2 1 ) ，在主试指导下明了整个实验过程。主试二将手机 放置于正确的位置。 ( 2 ) 被试填写用户背景资料问卷( 见附录2 4 ) 。 ( 3 ) 被试看实验注意事项与典型操作任务( 见附录2 2 ) 。 ( 4 ) 主试二讲解实验注意事项。 实验操作阶段： ( 5 ) 被试将操作手机的手放置在预备状态。 ( 6 ) 主试一说“实验开始”，按下n o l d u s 记录系统的“开始”按钮；被试开始操作 第一个典型任务。 ( 7 ) 主试观看被试的操作过程，等被试操作完成第一个任务，主试一按下n o l d u s 系统“停止”按钮，第一个任务操作结束。 8 ) 被试填写任务的主观评价问卷( 见附录2 5 、附录2 6 ) 。 ( 9 ) 重复5 到8 的实验流程完成第一个手机的其它的9 个典型任务。 第一个手机操作完成后，被试休息3 分钟；期间主试二将第二个手机放置于正 确的位置。 o d 重复5 到9 的实验流程完成第二个手机的操作。 结束实验。 为了抵消手机间操作的学习效应，有一半被试先完成诺基亚3 1 0 0 手机的操作，然后 完成托普m t 5 8 手机的操作，另外一半被试顺序相反。 实验过程中， e t h o v i s i o n 系统直接得出被试的完成典型任务的操作时间和操作路径长 l i 浙江理工大学硕士学位论文 度。 2 3 实验结果与讨论 2 3 1 任务完成率与出错分析 表2 2 诺基亚3 1 0 0 与托普m t 5 9 手机在1 0 个典型任务上操作完成率的结果。表2 3 是在手机可用性实验中，诺基亚3 1 0 0 与托普m t 5 8 手机的出错分析结果。 表2 2 手机可用性实验的典型任务完成率的结果 短信息操作 电话号码相关操作 l23 4 56 7 8 1 1 0 诺基亚3 1 0 0 ( ) 9 5l o o6 0l o ol o o9 09 53 0l o ol o o 托普m t 5 8 ( ) 1 0 01 0 09 51 0 09 51 0 0l o ol o o 6 01 0 0 表2 3 手机可用性实验的出错分析结果 诺基亚3 1 0 0托普m t 5 8 累计出错严重出错累计出错严重出错 出错个数 1 0 2 7 1 0 99 从表2 3 中可以看出，有3 个任务完成率没有达到9 0 ：诺基亚3 1 0 0 在任务3 ( 群发) 和任务8 ( 删除电话本记录) 这两个任务中，任务完成率分别只有6 0 、3 0 ；托普m t 5 8 在任务9 ( 修改电话号码) 的任务中，任务完成率只有6 0 。分析被试的操作行为发现： 在诺基亚3 1 0 0 的任务3 出错中有3 个严重出错，任务8 出错中有1 个严重出错：在托普 m t 5 8 的任务9 出错中有3 个严重出错。因此，这3 个任务是手机界面设计改进的重点。 进一步分析操作出错，诺基亚3 1 0 0 在任务3 短信息操作上的任务完成率只有6 0 的 原因是：有1 1 个被试在操作过程中找不到群发功能菜单选项，如果将“发送选项”命名为“群 发”或“发送到多人”等与群发功能相关的名称，就可以避免这个严重的可用性问题。 托普m t 5 8 在任务9 修改电话号码操作上的任务完成率只有6 0 的原因是：在这个典 型任务操作失败的8 个被试中有6 个被试在操作过程中找不到删除键。分析发现托普m t 5 8 在按键设计上比普通的手机多了一个按键，这个按键设计在电话“接通”与“挂断”这两个键 的中间，在按键的表面写着“c l r ，被试在操作过程申不知道这个按键的作用，而按了其 它的按键进行操作。去掉这个键会使操作错误下降。 浙江理工大学硕士学位论文 2 3 2 操作绩效与操作负荷分析 表2 4 是典型任务的操作时间与操作路径长度配对t 检验统计结果。 表2 4 手机可用性实验的典型任务操作绩效和操作负荷的结果 短信息操作电话号码相关操作 l23 4 主 6789 l o a2 7 7 93 7 4 8 6 4 2 53 6 2 91 44 53 3 1 72 1 9 83 0 4 3 2 0 2 5 9 1 3 日寸 间 b3 2 5 83 9 1 84 9 3 74 8 5 91 3 5 41 9 1 62 4 3 91 9 9 04 3 8 0i o 0 2 t 值 1 5 5 - o 3 l 32 2 33 9 1 0 84 9 5 - o8 63 8 7 *3 5 2 *1 1 5 路a 2 30 5 3 8 5 0 4 8 3 73 6 2 l1 6 6 62 7 o o1 9 3 32 7 7 42 0 9 19 1 3 径 长 b4 1 5 25 3 5 25 4 3 66 6 1 9 1 5 9 22 4 0 03 37 83 1 6 87 7 4 81 7 3 l 度t 值 58 8 2 2 7 *1 5 75 1 3 o 4 21 1 2 65 1 3 - 0 7 355 4 6 8 7 注：在本论文中a 代表诺摹亚3 i o o 手机b 代表托普m t 5 8 ；i 代表手机的可用性实验，i i 代表界面原型实验；时间 的单位都是秒，手机的可用性实验、手机界面原型实验的操作路径长度的单位分别是厘米、像素。 + 表示在0 0 5 的水平上达到显著性，表示在00 1 的水平上达到显著性。( 以下同) 从表2 4 中可以看出在每一个操作任务中，被试操作的正确率和正确操作时间趋势明 显：操作正确率低的，操作时间也较长，例如操作任务3 。没有出现正确率和操作时间“权 衡”的情况。 就表2 4 的数据分析，得出以下四种不同的情况： ( 1 ) 诺基亚3 1 0 0 和托普m t 5 8 在操作绩效和操作负荷上都有显著性差异( p 0 0 5 ) ，但在操作负荷 上有显性差异( p o 0 5 ) 。如 任务5 ：在操作绩效上，诺基亚3 1 0 0 和托普m t 5 8 的操作时间分别为1 4 4 5 秒、1 3 5 4 秒， 没有达到显著性水平；在操作负荷上，诺基亚3 1 0 0 和托普m t 5 8 的操作路径长度分别为 1 6 6 6 厘米、1 5 9 2 厘米，没有达到显著性水平。 在所有任务中，任务5 属于这种类型。 综合以上任务完成率、操作出错、操作时间和操作路径长度这个4 个客观评价指标， 诺基亚3 1 0 0 的可用性水平在整体上要高于托普m t 5 8 手机。 2 3 3 主观评价分析 表2 5 是在手机可用性实验中，分别在满意度、效率、学习性和出错性四个维度上， 诺基亚3 1 0 0 与托普m t 5 8 这两款手机在每个典型任务上的主观评价及配对t 检验的结果。 表2 5 手机可用性实验的单任务主观评价的分析结果 短信息操作电话号码相关操作 l2三 4 量 67891 0 一 满 a 3 9 53 8 03 3 03 8 54 3 03 6 04 1 03 8 04 3 04 4 5 意 b 3 7 53 5 03 3 03 6 54 3 53 4 038 53 4 02 6 54 5 0 度 t 值 o8 91 1 40 0 01 4 5- 0 4 41 0 7l3 l 1 8 0 6 4 9 - o 3 7 a 4 0 03 5 02 9 54 o o4 4 03 7 54 3 03 9 54 1 54 6 5 效 室 b 3 5 53 8 53 2 03 7 54 2 53 3 53 8 53 7 02 9 04 5 0 t 值 1 5 3- 1 1 6 - o 8 7 1 2 3l1 4i4 l 2 1 3 1 0 53 2 l o 6 8 学 a 4 4 04 3 03 符4 4 04 6 54 o o 4 4 0 4 2 54 2 54 6 5 习 b 4 0 5 4 1 03 9 03 ，9 5 4 6 54 0 0 4