（设计艺术学专业论文）手机自适应用户界面生成与模型构建.pdf

手机用户界面自适心性实现过程的模型构建 摘要 手机的广泛应用使其越来越多的融入于人们的日常生活当中，全球超过4 1 亿手机用户( i t u ，国际电信联盟，2 0 0 9 年1 月) 的庞大数字表明了其应用的广 阔前景。手机伴随其信息处理能力的不断增强，无疑将成为今后个人计算领域和 互联网应用平台的主要发展趋势。硬件的发展不可避免带来软件的革新。如何在 移动情境下和手机设备当中实现更加易用的界面设计是用户及设计者所关心的一 个重要问题。论文通过诺基亚研究中心用户界面用户体验组的m a g n i f y 智能界 面设计项目，结合基于模型的用户界面生成方法，探讨了手机自适应用户界面的 生成和实现问题。本文分析了基于模型的用户界面生成方法在m a g n i f y 界面设 计过程中的应用，基于用户界面生成模型的概念层、逻辑层、表现层，探讨了手 机自适应用户界面生成过程中，环境背景信息、用户背景信息、手机软件特性的 作用，构建了手机自适应用户界面的生成模型，提出一套用于指导手机自适应用 户界面设计的解决方案，并通过m a g n i f y 智能界面设计项目初步验证了这种方 法的可行性及实用价值。 “自适应用户界面”是软件工程领域中的概念。它相对传统静态用户界面可 以更好的实现可用性目标及改善用户体验。但手机用户界面的自适应问题不同于 软件工程的计算机界面问题。手机因为需要应对比传统个人电脑设备更为复杂的 环境背景信息，所以自适应用户界面应用于手机上具有重要的研究价值。本论文 探讨了自适应用户界面在移动情境下的发展空间及实用价值，并通过多个自适应 界面设计实例对新构建的手机自适应用户界面生成模型的通用性进行验证。另外， 交互界面的硬件层次是当今用户界面发展的前沿和一个重要趋势，论文通过联系 硬件层与界面层，完善了手机自适应用户界面的生成模型。 关键词：自适应；用户界面；手机；模型 i l 硕十学位论文 a b s t r a c t t o d a y , m o b i l ep h o n e sp l a ya ni m p o r t a n tr o l e i np e o p l e sl i f e o n eo ft h em a i n c o n c e r n sw h e nw eu s em o b i l ep h o n e si sh o wt h eu s e ri n t e r f a c e si nt h e s ed e v i c e s w o r k sa n dw h a tc h a r a c t e r i s t i c sa r ei m p o r t a n ti nc r e a t i n gag o o du s e ri n t e r f a c e b a s e o nt h ed e v e l o p m e n to fm a g n i f yp r o je c ti nn o k i ar e s e a r c hc e n t e r ( n r c ) u i u x g r o u p as o l u t i o nw h i c hu s e st h et h e o r yo f a d a p t i v e u s e ri n t e r f a c e i ns o f t w a r e e n g i n e e r i n gf o rc r e a t i n gb e t t e ru s e ri n t e r f a c e si nm o b i l ep h o n ei sp r o p o s e d i tt a k e s f u l la d v a n t a g eo ft r a d i t i o n a lu s e ri n t e r f a c ed e v e l o p m e n tm o d e lt oc r e a ta d a p t i v eu s e r i n t e r f a c e si nm a g n i f yp r o je c tw i t hf u l l yc o n c e r no nu s e rc o n t e x ta n ds e n s o r - b a s e d c o n t e x ti nc o n c e p tl e v e l 1 0 9 i c ll e v e la n dp r e s e n tl e v e lo ft h em o d e l an e wm o d e l b a s eo nt h ed e v e l o p m e tp r o c e s so fm a g n i f yp r o je c tw a sp r o p o s e dt h a tc o u l db ea r e f e r e n c ef o rt h ef u t u r ed e s i g ns t u d y g e n e r a l l yb e l i e v e dt h a ta d a p t i v eu s e ri n t e r f a c e ( a u i ) c a nb e t t e rm e e tu s a b i l i t y g o a l sa n di m p r o v e su s e re x p e r i e n c eb yc o l l e c t i n gc o n t e x ti n f o r m a t i o nt oa d a p t t ot h e e n v i r o n m e n ta n di n d i v i d u a lu s e r a l s o ，a u ih a sb e e nd i s c u s s e da n da p p l y e di n s o f t w a r ee n g i n e e r i n g & d e s k t o pa p p l i c a t i o n s b u tr a r e l yc o n c e r n sm o b i l ec o n t e x t s t h i sp a p e ra l s od i s c u s s e sh o wt od e v e l o pa d a p t i v eu s e ri n t e r f a c ei nm o b i l ep h o n e ，a n d c r e a t eam o d e lt ob r i n gt h ea d a p t i o nc o n c e p ti n t or e a l i t yi nt h ec o n t e x to fm o b i l i t y a l s o ，p h y s i c a ll e v e lo fu s e ri n t e r f a c ei s v a r i o u sa c c o r d i n gt ov a r i e t yo ff o r m so f m o b i l ep h o n e ，a n dt h et r a d i t i o n a lu s e ri n t e r f a c er a r e l yc o n c e r nt h ep h y s i c a ll e v e ln o r t h er e l a t i o n s h i pb e t w e e np h y s i c a ll e v e la n ds o f t w a r el e v e t h i sp a p e rt a k e sp h y s i c a l l e v e lo fu s ei n t e r f a c ei n t ot h ep r o c e s so fc r e a t i n ga d a p t i v eu s e ri n t e r f a c e k e yw o r d s ：a d a p t i o n ；u s e ri n t e r f a c e ；m o b i l ep h o n e ；m o d e l i i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名： 日期：叫年岁月1 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“、”) 作者签名：掀 导师签名! 盥， _ g = ；，1 。一 日期：叫年岁月1 日 日期：州年5 月7 日 硕士学位论文 1 1 论文研究的背景 第1 章绪论 1 1 1 论文研究的时代背景 人类社会的进步同时带动了工具的演进，同时工具复杂度和使用难度也随之增 加，从简陋的石器到工业时代布满按钮的操作台最终发展到今天数字信息主宰的图形 用户界面，人类使用工具的方式经历了一次次变革。社会的进步离不开技术的发展， 然而，在完成任务目标的过程中，人类与实现目标过程中使用的工具之间却渐行渐远。 用钢笔书写一封书信，手上的每一个动作都直接反映出人最为直接的意图，可以认为 是人与目的之间通过工具产生直接的“映射”。而相比之下，应用2 6 个字母的按键输 入方式透过点阵的屏幕上显示出字母图像，进而通过打印机实现最终的输出是我们现 今更为普遍的“书写”任务完成方式。在人与任务目的之间的映射关系显然是非直接 的。这些间接的映射在完成复杂任务中有时是不可避免的，而界面( i n t e r f a c e ) 是人 与工具之间的“接口，界面设计的目的就是通过这一接口尽量缩短人与目的之间的 距离。界面设计智能化是界面设计发展的前沿，这种智能化主要表现之一就能够根据 环境背景与使用者的不同信息，自动作出适应性变化来提高界面使用效率和改善用户 体验。自适应用户界面( a d a p t i v eu s e ri n t e r f a c e ，a u i ) 作为其中的一种方法是界面 设计研究的热点之一【3 】。 技术进步赋予手机以强大的计算能力，全球4 l 亿手机用户的庞大用户群也表明 了手机必将成为今后网络应用、个人计算平台的重要发展趋势。在用户越来越多的 将日常生活和工作任务转移到手机之上时，诸多问题也随之而来，除了使用习惯因 系统的差异而有所不同之外，屏幕大小，计算能力，网络状况等都与传统界面技术 应用有明显的区别1 4 j ，同时手机是在一个复杂多变和移动的环境中使用，使用人群 也千差万别。这些内部与外部情境的区别必将反映到系统的实现和界面形式上，其 中用户界面在移动情境下的功能实现和应用是用户及设计者所关注的一个重要问 题。在手机中设计实现自动适应情境变化的用户界面也逐步成为手机开发的重要理 论和技术课题。 1 1 2 论文研究的理论基础 本文研究的主要内容是自适应用户界面在手机上的实现问题。对于所谓界面实 现技术，基于模型的用户界面开发方法( m o d e l b a s e du s e ri n t e r f a c ed e v e l o p m e n t ， m b u i d ) 瞵j 是界面实现技术的重要基础。这一方法的主要内容可被描述为：对交互 手机用户界面自适应件实现过程的模型构建 系统及其界面设计的属性进行抽象，构建包括概念层、逻辑层和表现层的界面生成 模型，并通过实例化或迭代的过程生成最终的用户界面。图1 1 中展示了界面生成 模型。 图1 1 用户界面生成模型。图片来源：文献1 4 本论文应用了基于模型的用户界面开发方法进行了m a g n i f y 智能界面设计项 目，在实现最终界面设计的过程中，发现这一方法的局限和不足，并通过手机自适 应用户界面的设计过程对这一方法进行优化和改进。 1 1 3 论文研究的课题来源 “m a g n i f y 是诺基亚研究中心的一个界面开发项目，它源于借鉴w i n d o w s 操作系统下“放大镜”应用程序在手机界面上的应用，针对诺基亚s y m b i a no s 系 统，基于“缩放这一界面行为，开发用于解决用户可视性问题的智能界面程序。 这里“缩放”的对象不仅指图像和文字，同时也包含对信息内容本身缩放的含义， 即缩放的本质是在手机的较小显示界面上对信息的一种处理。这一项目中同时又包 含了多个自适应用户界面组件的开发。本文将以这一项目作为论文研究的载体，研 究针对于手机的自适应用户界面及其开发过程。 除m a g n i f y 项目，论文的研究还涉及作者在诺基亚研究中心的两个工作阶段 的研究工作。一个阶段的研究工作重点是模块化移动终端的概念开发，项目组为适 配终端课题组( a d a p t i v et e r m i n a lg r o u p ) 。模块化设计是适配终端课题组的一项主要 研究任务。对于移动终端而言，模块化意味着一个系统的多个状态，不同的状态即 存在不同的背景信息( c o n t e x ti n f o r m a t i o n ) ，需要构建不同的模块来表达，同时这 种模块的匹配实现可以通过被动改变或主动推送的方法实现【5 1 。 另一个阶段是在用户界面与用户体验课题组( u i u xg r o u p ) 从事用户研究及界 2 面设计相关的研究工作。用户界面与用户体验课题组的主要研究课题是 “r i c h c o n t e x t m o d e l i n g ”，称为“丰富情境建模”或“背景信息建模”，也可以被 解释为对手机环境信息的数据挖掘和建模。手机具有极其丰富背景信息，人与手机 的交互远不限于通过传统的拨号键盘完成电话功能的交互过程，而是通过更加智能 便捷的方式来实现复杂功能的交互过程。如拍摄一张照片，手机可以通过g p s 获取 数据并自动记录下拍摄的地理位置信息，同时也可加入一些语音说明，这些都可看 作是手机对任务本身的环境背景信息进行处理的应用方式。在u i u x 课题组的研究 中，社会形式，文化，消费观等都被视为人们使用手机的背景信息，涉及“服务设 计”范畴。 通过以上课题研究的领域，可以发现不管是模块开发还是背景信息模型构建的 研究都是对一种“动态系统”的设计，而动态系统都存在“自适应”的问题。同时 这种自适应又具有软件“自适应”与硬件“自适应”的相互关系。本论文有关硬件 层次的研究就是以这种软硬件共同产生自适应的问题出发的。 人的基本活动可以概括为“人通过工具完成某项任务( 或称为达成某目标) ”。 人与其使用的工具之间都存在所谓交互界面，界面的概念通常隐含了工具与人的关 系。图1 2 中右图可以表明界面硬件层次的重要性以及人与工具、工具与任务的关 系在日常生活中重要性。 j 图12 广义用户界面示倒。图片来源：绘制 12 新技术背景下的自适应用户界面 1 21 自适应用户界面的概念解析 自适应用户界面，可理解为对应不同的情境( c o n t e x t ) ，界面具有自行调整从而 手机用户界面自适应件实现过程的模型构建 满足实现任务目标功能性要求的特性。其中情境是指“可用于描述、判定一个整体 情况的所有信息，整体指交互过程中相关的人、地点、物体及用户和产品本身 【d e y ，2 0 0 1 】。作为用户界面的一个子集，自适应用户界面大多数情况下可以看作是 交互界面的一种优化。 自适应功能实现的简要过程如图1 3 所示，现实世界中的情境事件包含了大量 背景信息，背景信息决定自适应的“起因 ；“检测”表示在背景信息中提取关键信 息( 背景信息存在大量的噪音) ，获得情境感知；“结果 表示自适应的实现。起因j 检测、结果三个部分均是一个高度抽象的表示，每一部分的背后分别对应着一个复 杂的系统。 结果 二冷 情境感知自适应实现情境事件 图1 3 自适应实现的过程。图片来源：绘制 自适应用户界面必须具或部分具有有以下特性：情境感知( c o n t e x t a w a r e ) 、智 能化( i n t e l l i g e n t ) 、个人化( p e r s o n a l i z e ) 、跨平台( c r o s s p l a t f o r m ) 【9 】，自适应用 户界面可依据情境的变化动态调整自身的内容、布局、模式，同时这种调整是实时 的，并不需用户进行直接干预的。传统自适应用户界面根据研究方向不同，主要有 两个分支：一，从个人化( p e r s o n a l i z e ) 的角度出发。自适应用户界面对应的用户 个体，称为“宿主用户 ( a c c o m m o d m i n gu s e r ) 1 4 】，用户具有不同的技能、年龄、 文化背景、兴趣爱好等等，用户在某一时间段所表现出的操作习惯、使用频率、个 人偏好设置等等都有所不同，。界面实现白适应性表现为适应使用者的个体差异，例 如适合使用者偏好，体验层次等情节性( r u n t i m e ) 背景信息；二，大量应用实时的 物理背景信息( r e a l t i m ec o n t e x ti n f o r m a t i o n ) 来实现自适应。所如光线、速度、噪 音、方位等等物理性质的实时( r e a l t i m e ) 的背景信息。目前研究的总趋势是，两个 分支不断融合，同时实现自动适应内部( 用户的) 及外部( 物理环境的) 的背景信 息变化，这种变化又可称为“诱发事件( t r i g g e re v e n t ) 【l 0 1 。 自适应用户界面的背景信息有内部因素和外部因素之分，内部因素同用户所要 执行的任务及所关注的事件有关。用户可能在某一时间段将精力完全集中于某一任 务在另一时间段完成其他任务，而且用户必须在任务间进行切换。比如，当用户驾 驶车辆时，又需要拨通一个电话号码，这时用户与在办公室环境使用手机就有很大 不同，用户界面的适应性就要确保这两个任务间的关系，比如提高通话的音量。外 部因素取决于手机使用的物理环境及支持设备的特性( 如手机硬件及手机网络) 。设 计出能实时根据情境的变化生成动态用户界面的系统是自适应用户界面研究的重要 任务。 除上述内部因素和外部因素的区分方法外，自适应用户界面的背景信息也可按 情节性( 在时间段内考察) 及实时性( 在时间点考察) 进行区分。情节性背景信息 对应内部情境，它与用户的使用频率、操作习惯、特定事件相关，需在一个时自j 段 内进行数据的收集才能被应用。实时性背景信息大多对应于外部情境，它描述在一 个时间点的环境信息。如上述的光线，噪音，温度，( 对手机而言的) 屏幕分辨率， 处理器频率等等。 122 自适应用户界面应用案例分析 在桌面操作系统的软件界面中，很多都具一定的自适应性。例如w i n d o w s 操作 系统下的记事本，当在设置中打开自动换行时，文字将根据屏幕分辩率及窗口大小 自动排版而利于阅读，但记事本程序并不被称为自适应用户界面。自适应用户界面 通常是指程序可以应对更加复杂的背景信息，动态的进行界面生成。 以下通过两个自适应用户界面设计案例进一步分析自适应概念。 传统p c 平台：m i c r o s o f t 0 佑c e w o r d 2 0 0 3 是应用非常广泛的字处理软件，对 应不同的硬件平台有多个版本，并支持包括s y m b i a n o s 在内的手机应用。在经过多 个版本演变之后，其自适应界面设计在实际得到了广泛的应用。其中长短菜单 ( f r e q u e n c y - b a s e d m e n u ) 是一个典型的自适应用户界面实例：因功能繁多，在w o r d 的每项主工具下拉菜单中往往有较多的选项( 可达2 0 项) ，w o r d 会根据使用者的使 用频率自动将常用的选项组台为短菜单( 图14 左) 其它选项则可以通过下拉箭头 或延时的方式显示。对于非专业用户而言这种方式可以减少误操作，提高效率。 类似的自适应用户界面包括记录最后一次操作，并将其嚣于菜单最上层、高亮或加 粗显示使用频率较高的选项、根据使用频率调整字体大小等等。这种自适应性的实 现机制本质上是通过收集情节性背景信息或内部背景信息进行特定的处理，其适应 性也是相对的。如对于熟练用户而言，静态界面更有助于他们效率的提高，即使选 项数量很多或结构复杂，他们的熟练程度足以迅速在静态界面中完成定位。目前手 机的系统中w o r d 应用还未加入太多的自适应界面技术。 图14 m i c r o s o f t w o r d 2 0 0 3 中的自适应长短菜单图片来源：g o o g l e 图片搜索 警萋暮 一 譬三 手机用p 界面自适应性实现过程韵模型构建 手机平台：n o k i a $ 6 0 智能手机操作系统。手机系统已不限于完成传统的话音 和信息服务。同时它也是一个智能的感应系统。其中加速度传感器、六轴方位传感 器、光线传感器、g p s 定位系统的应用使外部实时背景信息的检测得以实现。手机 的传感技术可以保证这些原始数据( r a w d a t a ) 是准确的并拥有较高精确度。而手机 的自适应需将原始数据经过特定的算法进行加工，实现程序的自适应行为，最终显 示到用户界面之上。较为简单的例子为应用加速度传感器检测手机方向( 图l5 ) ， 自动调整主菜单界面方向，这个过程其实只涉及一种传感器数据处理便可实现。另 一个更复杂的应用是根据一个或多个传感器判定手机相对用户的的具体位置生成对 应的通知类型，手机在上衣口袋，裤袋，公文包的不同位置中，自动生成不同的振 动响铃方式以实现有效及适宜的提醒( 通知) 功能。这种自适应的实现要求相对复 杂的计算，通过对加速度，运动，光线传感器的数掘加以综合处理，算法的优化及 传感器精度将影响自适应的准确度。目前n o k i a 实现的的判断准确率为9 0 以上， 已具有良好的实用性。 固i5n o k i n 8 2 的重力自适应程序菜单图片来源：实拍 】2 3 自适应用户界面的研究现状 自适应用户界面在诸多领域及应用中都有广泛的研究，主要集中在软件工程领 域。实现界面自适应性的三个主要研究方向分别为人工智能( a r t i f i c i a li n t e l l i g e n t ， a i ) 、用户模型( u s e r m o d e l ，u m ) 、人机交互( h u m a n c o m p u t e r i n t e r a c t i o n ，h c i ) ， 这几种方法各有不同的优势和弱点。 人工智能( a i ) a i 围绕着建立一种创新的认知机制去解决用户行为及交互过程的适应性问题。 人工智能技术是自适应用户界面设计的一种广被接受的方法，传统的人工智能设计 的范围从产品生产系统、指令操作系统( r u l e b a s e ds y s t e m ) 到诸如统筹、网络指挥 平台等高级程序应用，这些智能系统提供了相应的自适应用户界面以辅助人们完成 工作，改善了用户体验。 从人工智能的角度看，用户界面的自适应特性可以概念化为软件的一个组件， 硕1 + 学位论文 这个组件通过构建基于智能的认知模型来改善用户的交互能力。这种适应性通过对 用户在一段时间内的行为和交互信息收集和计算生成界面，实现交互过程的智能化 辅助。 人工智能方法生成用户界面的适应性可以应用以下两种用户反馈方法： 通知型( i n f o r m a t i v e ) ：这种类型的界面通过自动筛选等方法提供用户可能感 兴趣或与交互活动相关的信息，类似于一个推荐型的系统，亚马逊书店的运作 系统可以看作“通知型”系统，它的用户信息通过要求用户提供评估( 如打分) 获取。这种方法的缺点是它可能分散用户完成任务时的注意力。 生成型( g e n e r a t i v e ) ：这种类型的界面更加注重于信息的生成。自适应信息来 源于交互过程本身，如系统直接更改或去除用户不需要的行为。通过对用户行 为的记录获取用户交互信息，建立自适应界面。 人工智能方法是建立在大量数据收集的基础之上的，数据量过大和数据噪声过 多是研究的难点，所以建立一个高效、准确的处理机制，实现数据架构的规范性或 模型化是研究的重要方面。 用户模型( u s e rm o d e l ，u m ) 用户模型的方法更注重于界面个人化( p e r s o n a l i z e ) 的研究，将用户行为及特 征作为研究自适应问题的主要根据。系统交互研究关注的是一个人机交互的过程，。 用户模型的方法是一个用户界面个人化的解决方案。从用户角度出发，解决方案最 终服务于用户。( 图1 6 ) 。 图1 6 依据用户模型的自适应系统图片来源：绘制 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ，h c i ) h c i 的方法通过优化不同的模态来建立人与系统之间的交互过程。人机交互的 方法更加注重解决交互中产生的模态问题。人的感知( 视觉，听觉，触觉等) 与系 统硬件之间构建映射关系，通过基于认知的技术去判定人的行为进而实现用户界面 的自适应性。另外，新兴的多模态界面，引入了多媒体及虚拟现实技术，交互方式 7 手机用户界面白适应性实现过程的模型构建 也由传统的键盘输入方式改变为自然的语音、手势等输入方式，这种新型的交互系 统也给自适应用户界面带来了新的挑战。 1 2 4 自适应用户界面的发展趋势及面临的挑战 自适应用户界面的发展趋势和挑战 接替用户任务：自适应用户界面系统能识别用户当前的任务状态，理解用户的 意图，自动接管相应的工作。从而减少用户注意力的分散，使用户在系统的辅 助下将主要精力用于决策性问题。 减少冗余信息：自适应用户界面系统具有自动查找、过滤现有庞杂数据的能力， 并将其在最终的界面表现层表达。未来自适应用户界面系统将应对越来越庞大 复杂的系统及数据处理工作，过多的冗余信息问题是自适应用户界面系统需要 解决的重要问题。 为复杂系统提供用户支撑：对先进的软件而言，即使较为简单的办公软件，随 着功能的不断增强，用户将意图转化为有效操作也变得愈加复杂，如在复杂菜 单中完成导航的工作。在此情况下，过滤的方法并不足以应对，自适应用户界 面系统在第一时间给用户以直接的帮助，如新的版本及功能更新等都适时和在 合理的界面位置“推送 给用户，智能纠错、解释功能等是自适应界面系统发 展的重要方向【3 】。 背景信息模型的构建，在一个情节性情境及实时性情境交织的环境中，统筹及 管理背景信息变量，优化整体任务是自适应界面系统发展的一个重要方向。对 于系统而言，应用一个独立的组件对这些信息进行统筹及管理，进而简化自适 应所需的底层数据是自适应用户界面发展的必然需求。 自适应用户界面面临的挑战为： 第一，构建精确预判用户行为的用户模型。这种模型的精度一部分取决于用户 应用系统时，系统的反应时间( 数据收集必须在一个时间段内完成) ；又取决于从有 限的用户数据中生成达到使用精度的用户模型。 第二，如何有效评估自适应用户界面的可用性和用户体验。传统的访谈、问卷 等调查方法，是否真j 下适合于评价自适应用户界面还有待研究。 第三，新型的交互界面技术对现有自适应用户界面提出了挑战。新兴的用户界 面技术越来越多的脱离传统的屏幕显示方式，不同于传统的的键盘鼠标输入，语音 识别、重力识别等新技术产生了多种新的交互方式和技术，同时提供了新的交互方 式及用户体验。用户完成任务的过程中，用户行为发生了很大变化。例如个可通 过触觉控制的全新系统中，触觉对用户认知心理的作用、用户体验将直接影响到自 适应用户界面模型的生成。如何构建一个更为有效且具有普遍适用性的模型是重大 的界面技术挑战( 将在第四章做进一步探讨) 。 8 硕士学位论文 1 3 论文研究的目标和组织方法 1 3 1 论文研究的目标 论文研究的主要目标是通过诺基亚研究中心用户界面用户体验组的m a g n i f y 智能界面设计项目，结合基于模型的用户界面生成方法，解决手机自适应用户界面 的生成和实现问题。目前手机自适应用户界面还没有成熟的生成方法。但自适应用 户界面作为用户界面的一个分支，可参照传统的基于模型的用户界面生成方法 ( m b u i d ) 进行开发。本文将基于模型的用户界面生成方法应用于m a g n i f y 界 面开发项目之中。在完成实际开发的同时，致力完善并优化现有的基于模型的用户 界面的生成方法，提出一套新的应用于手机的自适应用户界面的生成模型，为今后 类似的界面开发项目提供指导和参考。 同时论文对硬件界面自适应问题与软件界面自适应的结合进行了初步的探讨。对 论文结论中自适应用户界面的生成模型进行了补充和扩展。相关硬件层次的研究借鉴 了新兴的可触用户界面( t a n g i b l eu s e ri n t e r f a c e ，t u i ) 领域的相关理论。可触用户界面 作为用户界面的一个新的分支，已成为界面设计的发展趋势，对其在模型层次的探讨 是具有前瞻性和现实意义的。 1 - 3 2 论文研究的组织方法 论文从现有的生成方法出发，将其应用于诺基亚研究中心的实际开发项目，在 实际的开发过程中发现现有方法的不足并进行优化。运用头脑风暴，角色( p e r s o n a ) ， 打分等方法构建和确定前期概念，通过对现有方法和实际开发过程分析，采用递进 的方式从现有方法的概念层次、逻辑层次、表现层次按照开发流程展开研究，提出 改进后的自适应界面生成模型，并对其进行论证和扩展。 9 于机用户界面白适j 够性实现过程的模型构建 第2 章基于模型的用户界面生成方法 2 1 用户界面生成模型及其层次结构 用户界面生成模型是对真实世界的一种抽象方式，对于真实世界中的任一概念， 根据用户任务的不同，有多种抽象的表示形式【1 4 】。用户界面生成模型是对界面生成 过程的一种抽象，使用者可以基于模型通过实例化或迭代的过程生成最终的用户界 面。 2 1 1 用户界面生成模型 本文采用了传统的用户界面生成模型【1 4 】。这个模型是为软件工程中通用用户界 面设计构建的，具有普遍适用的特性。模型如图2 1 。 此用户界面生成模型采用了层次化的结构。它将用户界面生成过程抽象为三个 层次。 概念层( c o n c e p tl e v e l ) ：包括任务处理器和界面设计的本体概念。 逻辑层( 1 0 9 i cl e v e l ) ：包括概念编辑器和概念处理器两个部分， 表现层( 1 a y o u tl e v e l ) ：基于模型的u i 生成器生成过程。 本论文中的模型构建是对开发过程中大量的关键信息和流程节点的提取和归 1 0 硕十学位论文 纳。概念层是对用户界面概念推理过程的抽象，从任务的分析到概念的确定，这个 过程也包含着迭代等子过程。逻辑层和表现层执行同样的构建过程。 用户界面生成模型为一种层级结构，以便形成“概念子概念”的生成形式，提 供渐进和细化的生成方法。用户界面生成模型的各要素都有名称、描述、属性加以 区分和分类。各要素根据角色确定相互之间的关系。一般而言，用户界面生成模型 必须具有“理想预期属性 才能有效解决界面生成问题，如表2 1 所示。 表2 1 模型的理想预期属性 属性 定义 完整性 连续性 正确性 直觉性 分离性 协作性 整合性 模型通过适宜的概念和关系，完整地抽象出真实世界各个方面的能力 模型以某种方式合理抽象出系统行为的能力 模型准确重建真实世界的能力 模型能高度抽象化真实世界的能力 模型可合理分类各抽象要素的能力 两个或多个模型间建立无缝关联的能力 模型及模型之间可合并或拆分的能力 图2 1 的模型是一个高度抽象的模型，主要提供用户界面生成的宏观流程，但 并不能直接用于用户界面生成过程，需要对概念层、逻辑层和表现层进一步深入分 析并获得具体数据才能构建实用层面的模型。 2 1 2 用户界面生成模型的概念层 用户界面生成模型的概念层包括任务、概念、本体、关联、属性等要素。概念 层主要指通过任务分析、处理获得概念的功能性定义的过程。但通常概念层的要素 是隐藏于方法及应用工具中的，即概念层处理的内容具有最高的抽象性。在这种情 况下，遗漏重要和关键的任务和概念信息是概念层应用的关键问题。概念层的目的 就是组织、确定、分类用户交互过程的任务、概念和相应的功能要素。在抽象层面 上，概念层是对交互界面进行概念性设计，并为逻辑层分析提供基础。 概念层中的“本体 源于人工智能领域，本体指知识的本体。为了便于知识的 获取，需要对某个领域进行通用概念上的描述，即就某领域而言，有些什么样的对 象、过程、属性和关系? 它们之间如何构成体系? 这正是知识的领域本体性内容， 也称为知识本体( o n t o l o g y ) 。在实际的开发过程中本体是指对系统功能模块的一种 陈述。 用户界面生成模型概念层的应用大体分为三个步骤：概念的发散、概念的收敛、 概念的确定。 手机用户界面白适应件实现过程的模型构建 2 1 3 用户界面生成模型的逻辑层 经过概念层生成的概念可以理解为功能模块定义或陈述，功能模块通常包含多 个特征( f e a t u r e s ) ，逻辑层的作用就是分解和重组这些功能特性。分解的过程涉及： 域、用户、任务三个子模型。同时也采用诸如交互设备，计算平台，程序表层等模 型，对话，帮助，指引，教学，组织环境等进行初步定义，这个过程与界面交互系 统的内部软硬件环境和外部物理社会环境相关。 域模型：域模型定义了用户通过用户界面可以查看，存取，操作的目标数据。 可以简单地将它理解为“信息条目按规则的分解。通过迭代而得到更为具体和优化 的子条目。 任务模型：任务模型是基于层级的任务与子任务的分解，并获得最终子任务可 执行的子任务模型。任务模型可能具有一系列的参数，如任务权重，任务结构，任 务紧要度等。 用户模型：对用户群进行层级化的逐步分解，同一类别的用户具有共同的参数 集。对用户的基本分类下依语言，熟练程度，偏好等再进行子分类，最终确定用户 参数。 2 1 4 用户界面生成模型的表现层 模型表现层的主要任务是将在逻辑层处理分类好的信息条目，通过具体的图像 化的方法生成图形用户界面。表现层也是直接与硬件软件环境的相关的设计层次。 对于本论文中的m a g n i f y 项目而言，将依据诺基亚采用的g u i l d l i n e ，p a t t r e n s 的 方法完成最终界面的开发。 2 2 用户界面生成模型的应用方法 2 1 描述了用户界面生成模型，从中不难发现，模型中概念层、逻辑层、表现等 的描述是高度抽象的。从某种意义说，界面生成模型是一个描述性和流程性模型， 这与数学模型的可推理性和可预测性不同，因此，实现基于模型的界面生成，需要 研究具体的技术和方法层面的问题，以便解决实际界面生成的流程和方法。 2 2 1 用户界面生成模型概念层的应用 图2 2 用户界面生成模型的概念层图片来源：文献 14 1 2 硕l j 学位论文 用户界面生成模型的的概念层次包括两个部分，如图2 2 所示，任务处理器和 界面设计的本体概念。任务处理器是一个基于任务选择概念的过程，本身包含一个 迭代的挑选规则。本体概念是一种通用概念上的描述，具体由任务分析出发获得概 念的陈述，然后定义功能，它可以被理解为由任务确定的功能模块。由以上两个步 骤可确定任务处理器和界面设计的本体之间的承接关系。除此之外，概念本体也有 自己的规则，这些规则同样约束任务处理器的处理过程，在模型中用反向的箭头表 示。 图2 2 中的模型概念层虽然指示出用户界面生成的宏观框架，根据用户界面生 成模型概念层的含义，可将其细化为如图2 3 的流程。 图2 3 用户界面生成模型的概念层的应用方法图片来源：基于模型的u i 开发规范 任务目标下的概念生成是一个发散的过程，通常采用头脑风暴，访谈，角色设 定等方法保证发散过程的科学性和数据的完整性，获得多个“关键发现”( k e y f i n d i n g ) 。发散的过程也是一个根据预期目标进行筛选最后收敛的过程。通过迭代， 不满足条件的概念将被筛选，直至获得满足预期目标的概念数量和精度。 概念确定之后进一步生成本体概念，这个过程是对确定后的概念进行精确陈述 的过程，用于明确概念的含义。本体概念用功能模块来表示，目的是与逻辑层保持 良好的接口。 2 2 2 用户界面生成模型逻辑层的应用 图2 4 用户界面生成模型的逻辑层图片来源：文献 1 4 手机用户界面自适应件实现过程的模型构建 用户界面生成模型的逻辑层是将概念进一步转化为具体用户界面的关键步骤， 如图2 4 它有概念编辑器和概念处理过程两个部分组成。这两个部分同样具有一定 的抽象性，以下为细节分析。 概念编辑器用于整理概念层生成的功能模块，将这些功能模块应用域、用户、 任务等等子模型进行分解和重组，产生一系列子功能条目，这些条目对应于程序的 用户操作和系统响应。这个过程涉及模块条目和子条目的组合和分解，因而会产生 相应的功能子条目，图2 5 展示了这一过程。 一j ”7 。j 。徽黼| 1 j ：”。l j 。7 玛秒j 。= | 。? “礅溉徽i 糍i ? | 7 j j j l | 。j ? ? ：警 沥5 貌磊荔赫自锄渤i 彘澎；巍# ，貔! 蠹澎z ；女搿么磊荔貔i 数凝l ；荔+ 缓谚j 毫瓣虢锄蛾_ 蟊锄锄旗虢* ； d 一j 。? 。t “# 磊铭锄搋锄藏编巍撼赭靛i 灞 任务用户予嚷黜 上上 j 一 f 模模 模 功能模块1 功能摸块2功能横块i 块块 块 占占占 子子 子 条条条 目 目目 l2k 图2 5 用户界面生成模型逻辑层的应用方法图片来源：基于模型的标准u i 开发规范 基于用户界面生成模型逻辑层进行界面生成的过程主要为分解和重组两个部 分。分解是指功能模块依据任务、用户、域等子模型细化为具体的操作、反馈、信 息显现等子条目。而重组是指功能模块分解为子条目之后，各子条目按照定的规 则进行重新整合，以及明确各功能子条目之间的逻辑关系。规则建立与系统平台的 特性相关( 将在第三章的实际应用中进一步说明) 。 2 2 3 用户界面生成模型表现层的应用 图2 6 用户界面生成模型的表现层图片来源：文献 1 4 用户界面生成模型的表现层( 如图2 6 ) 是界面生成的最后一个层次，也是将 用户界面转换为可以传递文字，图片，动画等等最终信息的层次。在这个层次之前， 信息都以抽象的形式存在。而表现层的目的就是将这些抽象的界面信息处理为可以 1 4 硕十学位论文 与用户进行直接交互的界面。 表现层同样分为两个部分，第一部分为：基于模型的u i 生成器，用于归类逻 辑层产生的信息条目，对应每一个功能模块产生的信息条目，按照一定标准的分类 方法进行条目分类。分类标准的应用方式主要为两种：g u i l d l i n e ( 规范式) 和p a t t e r n s ( 风格指南或风格模式) ，本文以风格指南研究为重点，而且具有普遍意义和实用价 值。 依据表现层的基本含义，可将其细化为以下的流程，如图2 7 所示。 图2 7 用户界面生成模型表现层的应用方法图片来源：基于模型的标准u i 开发规范 在表现层的应用过程中，逻辑层的功能模块子条目按照风格指南进行分类，并 对照风格指南进行匹配，再依照风格指南具体流程为各个功能模块子条目创建用户 界面表现形式。 茎墨星呈量些! 堡璧篁兰銎堡堡墼篓墨塑兰 第3 章基于模型的m a g n i f y 自适应用户界面生成 31 基于模型的m a g n i f y 概念层及其实现 m a g n i f y 是诺基亚研究中心的界面开发项目之一。它源于肘w i n d o w s 操作 系统下“放大镜”应用程序的借鉴及其在手机上应用的可行性。项目基于诺基亚 s y m b i a n o s 系统平台，通过“缩放”这个交互界而概念，开发用于解决用户1 5 1 常生 活中可视性相关问题的智能界面。这里“缩放”的概念不仅是指图像和文字的放大 缩小，同时包台着对信息内容本身进行缩放的古义。作为一个智能界面程序， m a g n i f y 同时义包含了多个自适应功能组件，这是本文研究的重点之一。 项目研究丌发组织形式： 用户调查：诺基亚研究中，i i , 委托清华大学进行。 界面设计：诺基亚研究中心。 程序实现：诺基亚研发部( n o k i a r & d ) 。 m a g n i f y 在概念开发至图形用户界面设计阶段应用了基于模型的用户界面生 成方法。分别依照用户界面生成模型的概念层、逻辑层、表现层三个层析依次进行， 最终实现界面的生成。 31 1m a g n i f y 项目概念的发散 依据用户界面生成模型概念层的流程，“任务处理”的模块主要通过清华大学采 用“焦点组”方法进行任务研究，获取了任务概念，任务概念以“关键发现”( k e y f i n d i n g s ) 的形式提供给诺基亚研究中心。举例说，对“缩放”任务的前期研究的 关键发现之一是：“缩放”是指向信息本身的，而不仅仅是显示内容的放大缩小。 m a g n i f y 项目开发以任务目标为基础进行概念发散。采用在任务目标下，总结清 华大学和诺基亚研究中心用户研究数据，进 步获取和解释“关键发现”( k e y f i n d i n g s ) 。结合m a g n i f y 项目任务进行概念的发散，概念发散采用头脑风暴的方 法。同时发散这个步骤会迭代的进行，在项目规划的周期内进行几轮的概念发散， 并采用前几轮被淘汰的概念仍保留在概念列表的方法，以便最大程度地保留创意和 改良的可能性。 实际m a g n i f y 项目概念发散过程： 参与人员：王巍、刘颖、l y n d a 、高歌等。地点：s a