（计算机软件与理论专业论文）基于pibg范式的笔式表单相关技术研究.pdf

摘要 摘要 笔式用户界面作为后w i m p 界面的一个主要形态成为了研究的热点，它基 于纸笔的隐喻，提供给人们自然高效的交互方式。现实生活中人们大量地使用 纸笔方式自然地表达和交流各种信息，它可以帮助人们方便地捕捉想法、记录 事件、进行抽象思考和形象地描述等。笔式用户界面研究力求使得这些传统的、 无处不在的活动可计算，在保持传统工作方式自然性的同时，使人们高效地利 用计算资源，实现对信息的各种维护，如修改、检索、传输、分析和再加工等 脑 守。 表单是信息的载体和表现形式，人们利用表单进行日常工作，管理各项任 务。表单拥有高质量的数据采集功能，方便信息的收集和管理。笔式表单是笔 式用户界面的一个特例，是w i m p 界面下表单用户界面的隐喻改进，能以清晰、 自然的表现形式使人们迅速的获取所需信息，有效的将表单信息转化为人脑所 能接受的信息形式，因此，无论从外观上、还是交互方式上它都更加自然。 本文的研究目标是：以笔式用户界面为背景，基于p i b g 范式及其工具箱， 深入分析表单的基本概念，应用领域和表单的结构语法等。表格是实现纸面效 果的一个重要组件，目前已有的表格制作方式均采用鼠标和键盘作为交互设备， 显然不符合用户的思维模型，本文研究实现了基于数字笔的表格正式制作和草 图制作，并着重研究了制作过程中使用的笔交互技术。并针对草图表格，介绍 了一种自适应的字线分离方法，使其能转换成正式表格。增加表格制作的灵活 性和可用性，为笔式表单界面的制作提供了合理的解决方案。同时根据上述表 单的设计要素实现了笔式表单的原型系统，并对该系统进行了用户评估试验。 本文受到国家8 6 3 高技术项目( 2 0 0 6 a a 0 1 2 3 2 8 ) 和中科院计算机科学国家 重点实验室开放基金( s y s k f 0 7 0 4 ) 资助。 关键词笔式界面，界面隐喻，p i b g 范式，表单 a b s t r a c t a b s t r a c t p u i ( p e n b a s e du s e ri n t e r f a c e ) ，a st h em a i ni n t e r f a c es t y l eo fp o s tw l m p ( w i n d o w + i c o n + m e n u + p o i n t i n gd e v i c e s ) i n t e r f a c es t y l e ，i st ob et h ef o c u so f r e s e a r c ho fh c i p u i ，b a s e do np e n - p a p e rm e t a p h o r , p r o v i d e san a t u r a la n dh i g h l y e f f i c i e n ti n t e r a c t i v em o d et ou s e r s ，s oi tc a nr e d u c eu s e r s c o g n i t i o nb u r d e n i nt h e r e a ll i f e ，p e o p l eu s et h ew r i t t e nr e c o r d sw a yt oe x p r e s sa n dt oe x c h a n g ee a c hk i n d o fi n f o r m a t i o nn a t u r a l l ym a s s i v e l y i tc a n h e l pp e o p l et oc a t c hi d e a s ，e v e n t s ，t oc a r r y o nt h ea b s t r a c tp o n d e ra n dt h ei m a g ed e s c r i p t i o nc o n v e n i e n t l ya n ds oo n t h e p e n - b a s e du s e ri n t e r f a c e sr e s e a r c hm a k e se v e r ye f f o r tt oc a l c u l a t ee a c ha c t i v i t y w h i l ek e e p i n gt r a d i t i o n a lw o r k - s t y l en a t u r a l l y , p e o p l ec a nu s et h e c o m p u t i n g r e s o u r c e e f f e c t i v e l yt o m a i n t a i na l l i n f o r m a t i o n ，s u c ha sr e v i s i o n ，r e t r i e v a l ， t r a n s m i s s i o n , p r e t r e a t m e n ta n da n a l y s i sa n ds oo n f o r mi sa ni m p o r t a n tm a n n e rf o rr e c o r d i n ga n dp r e s e n t i n gi n f o r m a t i o n i ti sz i l s o w i d e l yu s e di nt h em a n a g e m e n to fd a i l yw o r ka n db u s i n e s s f o r mh a st h eh i 曲g r a d e d a t aa c q u i s i t i o nf u n c t i o n ，s oi tc a nc o l l e c ta n dm a n a g ei n f o r m a t i o nc o n v e n i e n t l y , w h i l ei ti sa l s ot h em e t a p h o r i m p r o v e m e n to ff o r mu s e ri n t e r f a c eo fw i m pi n t e r f a c e p e n - b a s e df o r mc a nh e l pp e o p l er a p i d l yg e ti n f o r m a t i o na n de f f e c t i v e l yt r a n s l a t ef o r m i n f o r m a t i o ni n t os p e c i a li n f o r m a t i o nt h a tc a nb ea c c e p t e db yp e o p l e sb r a i ne a s i l y t h e r e f o r e ，r e g a r d l e s so fe x t e m a l l y , i n t e r a c t i o ns t y l e s ，i ti sv e r yn a t u r a l t h ep a p e rr e s e a r c ha i mi s ：t a k et h ep e nt y p eu s e ra st h eb a c k g r o u n d ，b a s e do n p i b gm o d e l ( p a r a d i g m ) a n dt o o l b o x ( t o o l k i t ) ，d e e p l ya n a l y z et h eb a s i cc o n c e p to f f o r m ，t h ea p p l i c a t i o nd o m a i na n dt h ef o r m ss t r u c t u r a lg r a m m a ra n ds o o n t a b l e f o r mi sa l li m p o r t a n tc o m p o n e n ti nf o r m i nt h ee x i s t i n gs o f t w a r et o o l s ， k e y b o a r da n dm o u s ea r eu s e da si n t e r a c t i v ed e v i c e sf o rm a k i n gt h et a b l e f o r m s ，w h i c h d o e s n ta c c o r dw i t hp e o p l e sh a b i t so f u s i n gp a p e ra n dp e n i nt h et h e s i s ，w ep r e s e n t t h ep e n b a s e dd e v e l o p i n gm e t h o df o rm a k i n gt h ef o r m a la n ds k e t c h e dt a b l e f o r m f o r t h es k e t c h e dt a b l e f o r m ，as e l f - a d a p t i v em e t h o di sp u tf o r w a r dt os e p a r a t et h ew o r d s i i a b s t r a c t a n df r a m e l i n e s b a s e do nt h em e t h o d ，t h es k e t c h e dt a b l e f o r mc a nb et r a n s f o r m e dt o t h ef o r m a lt a b l e - f o r m s u c c e s s f u l l ys o t h a tt h ef l e x i b i l i t yu s a b i l i t yo ft a b l e f o r m m a k i n gi si n c r e a s e d a c c o r d i n gt ot h ea b o v ef o r m sf a c t o r s ，t h ea u t h o rm a k e st h e p r o t o t y p es y s t e mc o m et r u ea n dc a r r i e do nt h eu s e ra p p r a i s a le x p e r i m e n tt ot h i s s y s t e m t h i sp a p e rw a ss u p p o r t e db yt h en a t i o n a lh i g h - t e c hr e s e a r c ha n dd e v e l o p m e n tp r o g r a m o fc h i n a ( 8 6 3p r o g r a m ) ( n o 2 0 0 6 a a 0 1 2 3 2 8 ) a n dt h eo p e nf o u n d a t i o no fs t a t ek e yl a b o r a t o r y o fc o m p u t e rs c i e n c e ，t h ec h i n e s ea c a d e m yo f s c i e n c e s ( n o s y s k f 0 7 0 4 ) k e y w o r d s p e n b a s e du s e ri n t e r f a c e ，m e t a p h o r ，p i b gp a r a d i g m ，f o r m i i i 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 j 描等复制手段保在和i 编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名：隧錾宙垒一指导教师签名： 堡痉二 多夕名年月乃e t哪年6 月曲日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含其他人已经 发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名：诺新此l 2 7 ，万年月2 口e t 第一章绪论 1 1 引言 第一章绪论 传统的w l m p ( w i n d o w ，i c o n ，m e n u ，p o i n t i n gd e v i c e s ) 界面是目前占据统 治地位的人机交互方式，但是随着信息多样化和信息量的急剧膨胀，这种界面 范式的缺点也日益显示出来【l 】。例如：用户输入的低效率和机器处理高效率之间 的矛盾，文本输入和操作分别基于不同的输入设备造成了人手在键盘和鼠标之 间频繁的切换从而大大降低了用户输入的效率；过多的界面构件无形中大大增 加了用户的认知负荷，阻碍了计算机应用的推广；计算机的输入输出带宽不匹 配，而且用户的大部分输入所含的信息量都比较低。在这种背景下自然、高效、 以人为中心、降低用户的认知负荷逐渐成为了用户界面研究的方向。 计算机技术的发展使得人们不满足于传统的w m p 交互方式。为了更好地 适应人机交互的新特点，人们对各种新式交互技术( 三维交互技术、语音技术、 视线跟踪技术、手写识别技术、手势输入技术等) 进行了广泛的研究，而笔式 交互是其中重要的一个方面。笔式用户界面通过纸和笔( p e n p a p e r ) 的交互隐 喻给人以极大的自然性，通过自由勾画、手势等交互方式，用户可以实现自然 高效的交互，它作为p o s t w i m p 界面的一个主要形态逐渐成为用户界面研究的 热点。人们对笔式用户界面的需求和研究使它得到广泛的应用，包括便于携带 和交互的平板电脑t a b l e tp c 、使用手写笔与触摸屏的p d a 及其它移动设备，以 及电子教学或智能办公环境下的电子白板、电子笔记本等。很多大学和研究机 构也对笔式用户界面进行了深入的研究，开发了一大批具有创新性和使用价值 的笔交互系统，例如：x e r o xp a r c 研制的l i v e b o a r d 、加州大学b e r k e l e y 分校 g u i r 小组开发的m u l t i p o i n t 【1 】以及用于设计图形用户界面原型的工具 s i n k 2 、g e o r g i at e c h 的未来计算环境实验室设计的f l a t l a n d 等。 本文把计算机支持的表单绘制引入到笔式用户界面，允许用户像在纸上草 绘一样，通过输入笔自由地表达头脑中一闪而过的概念形象，得到的模糊表单 草图可以自动地规整，转换成规则的能够理解的表单图形。 第一章绪论 1 2 研究现状 表单输入复杂而且实现起来非常繁琐，在仅使用鼠标与键盘输入的w i m p 风格系统中，由于缺乏连续信息的输入机制，要求使用者提供精确的输入，因 而人们往往仅在他们对于设计有了比较精确而详尽的考虑之后才使用某软件系 统进行绘制。在刚开始进行设计时，他们更习惯使用笔和纸来描绘模糊的概念 与意图，等到这些意图明朗化和精确化之后再用系统绘制出来。这样一来，设计 信息流产生了中断，概念设计与后续设计过程无法得到自然的接续；同时，将 设计中间结果从一种媒介转换到另一种媒介，也增加了额外的工作量，提高了 生产成本。如何快速高效的自动生成笔式输入的表单界面是一个急待解决的问 题。 笔式用户界面与传统用户界面有着很大的不同。首先，人同计算机之间的 交互方式不再模拟桌面环境，而是模拟人在纸笔环境下进行交互。与w i m p 交 互方式相比，界面的隐喻( m e t a p h o r ) 有桌面环境( d e s k t o p ) 变为纸笔环境 ( p e n p a p e r ) 。在p e n p a p e r 隐喻下，w i m p 交互方式不再适用。其次，由于笔式 交互同基于鼠标和键盘的交互相比具有信息连续性、信息多维性、交互隐含性 等新的特征，如何在新的交互范式中利用新的交互特性也是需要研究的问题。 针对这两个方面，介绍了p i b g 交互范式【2 , p i b g 范式采用p e n p a p e r 隐喻， 模拟人们数千年来形成并熟悉的纸笔交互环境来构造笔式用户界面，从信息的 呈现和交互方式两个方面有了根本性的改变。p i b gt o o l k i t 是一个基于p i b g 交 互范式构造而成的笔式应用开发平台。作者开发的表单设计系统正是基于该平 台，是具有很好应用前景的笔式应用系统。 1 3 本文的动机和所做工作 表单是企业日常任务和人们日常工作信息化的基础，可以帮助人们提高工 作效率和工作效益，是信息化建设的重要内容。随着信息化的发展，基于传统 用户界面的表单绘制的弊端逐渐显现出来，笔式界面是p o s t w l m p 界面的一个 重要形态，模拟纸笔环境，帮助人们在保持自然工作方式的同时可以充分利用 2 第一章绪论 强大的计算资源。本文的研究工作可总结如下： ( 1 ) 笔式用户界面研究概述 分析了笔式用户界面的发展史；对w i m p 界面的批判，由此来分析w i m p 的缺点与不足：通过分析笔式用户界面的交互环境，阐述了笔式用户界面蕴含 的基本界面隐喻。基于此笔式用户界面的界面隐喻，总结了笔式用户界面所具 有的交互特征。最后介绍了新的笔式用户界面下的界面交互范式：p i b g 范式。 ( 2 ) 表单的分析和总结 总结了表单开发面临的问题，然后从表单的基本概念、应用领域及特征、 主要应用形式和表单的结构和语法，说明了笔式用户界面作为表单用户界面的 优势，为后续工作提供基础。 ( 3 ) 基于数字笔的表格制作 表格是表单实现界面效果的核心元素。分析了表格制作方法和现状，利用 数字笔作为交互设备实现了表格的正式制作和草图制作。提出了一种自适应的 字线分离方法，基于此方法实现了草图表格到正式表格的转换。 ( 4 ) 笔式表单的开发实例 介绍了p i b g 工具箱的框架结构，并以此为开发平台实现笔式表单系统。 同时阐述了该系统的具体呈现。 ( 5 ) 给出了笔式表单系统的评估过程及结果分析 1 4 论文的组织 本分通过分析笔式用户界面的先进性、电子表单的特征及表格的制作方法， 根据上述理论知道，基于p i b g 工具箱，实现了笔式表单应用系统，并对该系统 给出评估过程及结果分析。全文共分为六章。 1 第一章：绪论。w i m p 下表单的开发所面临的问题，下一代的笔式用户界面 是未来用户界面的重要组成组分，介绍把绘制表单引入笔式用户界面的必 然性，最后提到p i b g 范式及其p i b g 工具箱，本文表单系统的开发平台。 2 第二章：笔式用户界面的研究。从w i m p 界面风格的缺点和不足，引出笔式 用户界面概念、基于笔式界面隐喻，重点阐述了笔式用户界面的交互特征 第一章绪论 并介绍一种新的笔式用户界面交互范式- p i b g 范式。 3 第三章表单的分析。针对本文的目标，从表单结构，主要应用领域，主要 应用形式，表单系统的主要特征等几方面对表单进行了分析总结，说明了 笔式用户界面的优势，对后续研究工作有指导作用。 4 第四章：表格的制作。表格是笔式电子表单中的一个核心组件。通过对现 有表格的制作分析，利用笔式用户界面，实现了表格的正式制作和草图制 作，着重论述了其中的交互技术。针对草图表格，提出了一种字线分离的 方法，使其能转换成正式表格。 5 第五章：表单应用实例。分析p i b g 工具箱的框架结构，呈现所用到工具箱 的类层次结构，列举几个核心类的组成结构，讲述原型系统，并给出表单 设计效果的例子。 6 第六章：评估。给出评估过程及评估数据。 在本文的最后，对本文论述的内容进行了总结，并依据相关课题研究存在 问题做了进一步的描述，指出了其中需要迸一步研究的内容和环节。 4 第二章笔式用户界面研究 第二章笔式用户界面的研究 2 1 笔式用户界面的发展 2 1 1 用户界面的发展 自7 0 年代开始，苹果公司推出图形用户界面以来，以微软公司的 w i n d o w s 系统为代表的图形用户界面，以直接操作的对象可视化、语义极小 化和快速语义反馈等特性1 3 】迅速成为了当时乃至目前主流的用户界面，并衍生 出网络用户界面【4 】、多媒体用户界面等同样基于桌面隐喻的图形用户界面。 然而随着个体用户处理信息的指数级增长，信息在网络以及移动计算设备 上的跨设备、跨平台分布，以及用户对计算机应用的技能、需求与期望的提高， w i m p 界面已经无法完全满足界面设计、软件体系结构和界面交互技术等方面 的需要【5 】。研究者不断减小用户操作和用户认知之间差距的同时，出现了一种 新的用户界面风格：p o s t w i m p 界面。p o s t w i m p 界面是a n d r i c sv a nd a m 于 1 9 9 7 年提出的至少包含一项不基于传统交互组件的交互技术的界面【6 】。 如表2 1 ，p o s t w i m p 界面与传统的w i m p 界面的交互特征存在较大区别【7 】： j 淡 w m p 界面p o s t w i m p 界面 交互特征 交互连续性离散事件离散与连续事件并存 交互顺序线性方式并行方式 交互设备键盘+ 鼠标多通道交互设备 交互时序离线处理在线处理，实时反馈 交互模糊性精确事件交互模糊输入 表2 一l ：p o s t w i m p 界面与w i m p 界面交互特征比较 p o s t w i m p 界面概念被提出后，迅速出现了多种新型界面交互风格，交互 设备及与之对应的交互技术。 多通道用户界面通过笔、语音等自然交互设备作为输入输出，充分利用了 第二章笔式用户界面研究 人的视觉、听觉等感知器官，在改变传统w i m p 界面在输入通道与输出通道感 知不平衡的同时，采用新的交互技术对不同通道的信号进行整合，拓展用户与 计算机的交互带宽，提高用户的使用效率【引。 交互系统硬件设备的发展，使计算机也逐渐拥有了自己的感知。基于计算 机感知的用户界面称为感知用户界面p u i t 9 1 。感知用户界面期望计算机能够象 人一样基于多种感知器官完成各种任务。p u i 使计算机在人类社会中角色慢慢 从一个帮助人们完成工作的工具向辅助人们工作的智能代理转化。n o n w i m p 界面概念的提出要早于p o s t w i m p 界面，在n o n - w i m p 界面中完全摒弃了 w i m p 界面的交互方式。同p o s t w i m p 界面一样，n o n - w i m p 界面的研究目标 也是实现自然高校的交互。由于软件和硬件技术的制约n o n w i m p 界面还没有 得到真正应用。随着移动计算以及可穿戴计算等无处不在计算技术的发展， n o n w i m p 界面也将逐渐步入人们的生活中。 2 1 2 笔式用户界面的发展 基于纸笔隐喻的笔式用户界面以其自然高效的交互方式和便携轻巧的物理 特征成为了新一代用户界面的主要研究方向之一。纸笔交互的自然性使笔式用 户界面出现的时间甚至要早于鼠标的出现。在e n g e l b a r t 发明鼠标的前一年即 1 9 6 3 年，m i t 的s u t h e r l a n d 开发了第一个笔式用户界面系统s k e t c h p a d 1 0 】，该 系统可以通过手持物体( 如光笔) 直接在显示屏幕上创建图形图像。可视的图 样随即被存入计算机内存，它们可以被重新调用，并同其他数据一样进行后期 处理。随后r a n d 公司开展了相应的工作，他们较多地关注手写体和图形识别【1 1 1 。 1 9 7 1 年x e r o xp a r c 的a l a nk a y 描述了第一台笔式用户界面的计算机 d y n a b o o k ，并开发了d y n a b o o k 的原型。1 9 8 7 年g o ! 公司推出了笔式操作系 统p e n p o i n t ，并与c o m p a q 公司共同推出了第一台笔记本电脑l t e 。微软公司 在w 扑d o w s 3 o 的基础上推出了适于p d a 和s u b n o t e b o o k 的w d d o w sf o r p e n c o m p u t i n g 。随后m m 也研制出其第一款基于笔交互的计算机t h i n k p a d 。 然而随着7 0 年代光栅显示器以及鼠标键盘等设备的广泛应用，以桌面隐喻 为基础的图形用户界面迅速兴起。当时软硬件技术都没有达到成熟应用水平的 6 第二章笔式用户界面研究 笔式用户界面发展陷入了低谷。此时对笔式用户界面的研究主要集中在c a d 设 计等方向基于笔迹的图形和文字识别算法的研究。 进入9 0 年代后，移动计算的发展为笔式用户界面的研究注入了新的活力。 笔交互的便携特性使它迅速成为了移动计算的主流交互方式。各种笔交互设备 也为传统p c 带来了新的特色。移动计算、无处不在计算等计算模式的发展更 加突出了纸笔交互对应用环境的适应能力。自1 9 9 3 年a p p l e 公司生产了第一部 个人掌上电脑n e w t o nm e s s a g ep a d 时，笔就成为了移动计算的主流输入设备。 支持n e w t o nm e s s a g ep a d 的是a p p l e 公司开发的基于笔交互的操作系统n e w t o n o s l l 2j 。随着手写识别技术的进步，以p a l m 公司的p i l o t1 0 0 0 为代表的移动计算 设备以及支持笔输入的p a l mo s 迅速进入了移动计算市场。微软公司同样在原 先w i n d o w sf o r p e nc o m p u t i n g 的基础上进行了w i n d o w sc e 的研发，并推 出了p o c k e tp c 系列便携计算设备。在2 0 0 0 年的c o m d e x 大会上，b i l lg a t e s 展示了微软开发的基于笔交互的t a b l e tp c 原型机。 图2 一l a ：n e w t o nm e s s a g e图2 一l b ：p a l mp i l o t1 0 0 0 l 萱 图2 - 1 c ：h pp 。c k e tp c 图2 - 1 d ：c 。m p a qt a b l e p c 在以笔式用户界面计算机为代表的笔式硬件设备发展过程中，各种笔式辅 助输入设备也出现在桌面、移动计算或无处不在计算环境中。日本的w a c o m 公 习副国 第二章笔式用户界面研究 司于1 9 8 3 年成立，开发了一系列用于笔输入的数码板、数码屏、电子白板以及 手写笔等硬件设备。通过手写笔，用户可以在数码设备上进行笔迹输入并得到 相应的显示反馈。 图2 - 2 a ：手写笔图2 - 2 b 数码板图2 2 c ：数码屏 19 9 3 年在瑞典成立的a n o t og r o u p 利用c p e n 和a n o t o 技术将传统的纸笔 交互加载到桌面和移动计算平台上。用户不需要任何学习过程，交互方式与传 统纸笔交互完全相同，用户使用专用的a n o t o 笔在一种印刷有特殊细微灰色墨 点的a n o t o 纸上进行书写。 ； 。 i 曩西云蚤瀚惫 图2 3 a ：a n o t o 笔图2 3 b ：a n o t o 纸 随着笔交互设备的发展，国内外多家机构也迅速展开了多项对于笔式用户 界面的研究工作。x e r o xp a r c 研究中心在1 9 9 3 年开发了t i v o l i t l 3 】电子白板系 统，用户可以通过勾画和手势进行交流。g e o r g i a 理工、东京大学和x e r o xp a r c 也联合开发了一个针对个人办公笔式电子白板系统f l a t l a n d t l 4 】。 b e r k l e y 大学g u i r 实验室开展了大量笔式用户界面研究，设计并实现了支 持笔交互的界面开发工具系统s a t i n h o n g2 0 0 0 ，并在此基础上开发了笔式网 站设计系统d e n i m 、d a m a s k ，基于笔的图形用户界面设计工具s i l k 以及面 向多设备多通道的界面设计工具c r o s s w e a v e r 1 5 】【1 7 】【1 8 】。 由c m u 大学的机械工程系完成的s k e t c h l t 是一个基于笔的支持概念设计 的工具 s t a h o v i c h1 9 9 6 a ，c m u 大学的人机交互学院将笔交互的支持嵌入了工 具箱系统g a r n e t t l 9 】【2 0 】。 b r o w n 大学1 9 9 8 年开发了基于笔的乐曲制作系统m u s i cn o t e p a d f o r s b e r g 第二章笔式用户界面研究 1 9 9 8 ，并于近期提出了开发基于t a b l e tp c 的笔式c h e m p a d 与m a t h p a d 的计划。 微软研究院( 亚洲) 在t a b l e tp c 上进行了大量有关智能数字墨水( s m a r td i s t i l i i l l ( ) 以及以人类手写模型为主的人机交互模型( m o d e l i n go fh u m a n c o m p u t e r i n t e r a c t i o n ) 的研究，并开发了内嵌于o f f i c e2 0 0 3 的笔迹便笺系统o n e n o t e2 0 0 3 。 2 2 基于纸笔的界面隐喻 界面隐喻( m e t a p h o r ) 指对界面组织和交互方式的比拟，通常以现实世界 中已经存在的事物为蓝本，将这些事物的知识( 如与这些事物进行交互的技能) 运用到人机界面中来，从而减少了用户必需的认知努力。界面隐喻是指导用户 界面设计和实现的基本思想。从另一个角度讲，将现实世界中事物的机理应用 于人机界面的设计，也是一个重要的继承。界面隐喻在大多数人机界面中被使 用，例如g u i 界面基于桌面的隐喻、w i n d o w s 基于窗口、按钮以及菜单的隐喻。 在用户界面的研究中，往往是先有了界面隐喻，然后形成交互范型，最后成为 交互模型。 笔式用户界面所基于的界面隐喻是人们所熟悉的纸笔工作方式( p e n p a p e r m e t a p h o r e ) 。这是一种被广泛使用的工作方式，在相当数量的应用领域占统治 地位。笔式用户界面的交互界面可以被称为交互纸( i n t e r a c t i v ep a p e r ) ，它既是 输入的部件又作为反馈的部分。人的交互意图是在连续的自由勾画中反映出来 的，或者通过数字墨水( i n k ) 本身，或者是显式的手势( g e s t u r e ) 。交互动作 以勾画( s k e t c h ) 为主，而并非w l m p 界面交互中的按键和点击【2 1 。用户可以 自由地勾画图形、文字或其它类型的信息。交互中，用户所关心的就是界面中 的内容，而不是对这些内容进行操作的方式。 用户界面设计经历了一个从v e r b n o n e 到n o n e v e r b 的转变【2 2 】。早期的用 户界面基于一种以应用为中心( a p p l i c a t i o n c e n t e r e d ) 的设计思想。在这种情 况下，用户为了完成一项目工作必须先设法启动相应的应用程序，因此不得不 关心相关内容的类型【2 1 】。随着各种类型信息的混合存在越来越突出，人们开始 研究各类信息相互嵌入的方法。用户可以先选择要操作的对象，然后再执行相 应的操作，这对于用户而言具有更大的自然性。通过有效的界面表示，内容的 9 第二章笔式用户界面研究 操作性通过界面的表示便能够得以反馈，这在认知心理学中也称为 a f f o r d a n c e 2 2 1 。在笔式用户界面的研究中，以内容为中心的设计是核心思想之 一。 为了有效的构造笔式用户界面，研究人员具体简化了p e n p a p e r 的思想，提 出了一系列界面构造中可以遵循的范型。需要提及的是t r a n s l u c e n tp a t h 【2 3 】 2 4 1 。 在白板或者墙壁上粘贴黄页是一种人们常有的日常行为，这些黄页可以方便地 用作子信息的容器，并作为对整体信息的扩充和修正。a x e lk r a m e r 依据这样一 种行为，在其基础上加入了半透明性和不规则形状的信息组织方式，提出了 t r a n s l u c e n tp a t c h 思想。这种思想能够较好地体现笔式用户界面的特性，本文中 许多交互组件设计借鉴了这些思想。在本文的研究中，介绍了一种p i b g ； ( p a p e r - i c o n b u t t o n g e s t u r e ) 的界面范式。交互纸( p a p e r ) 是输入和反馈的区 域。交互动作以勾画为主，交互命令由手势( g e s t u r e ) 完成。 2 3 笔式用户界面交互特征 交互特征是对界面风格和交互方式的总结，对笔式用户界面的研究应当首 先建立在交互特征研究的基础之上。通过研究基于纸笔的界面隐喻，我们能够 总结出笔式用户界面的几类重要交互特征，包括模糊性、连续性、隐含性以及 多通道特性等。 2 3 1 模糊性 笔式用户界面的交互主要是基于在现实世界中用户已熟练使用的技能( 例 如勾画、涂抹等) ，这导致了笔式用户界面的模糊性交互特征。由于用户通过随 意的交互动作逐步完成交互任务，笔式交互通常是非精确的。 l o 第二章笔式用户界面研究 原始笔逸：口。 图2 3 ：笔式用户界面的任务确定 从交互设备的角度来看，主流界面例如w i m p 使用的鼠标和键盘都是精确 的交互设备，然而笔式交互设备带来的信息往往具有二义性。从交互意图的角 度来看，用户意图提取与表示也是非精确的。用户意图通常不是一个离散量， 而是一个范围，或者是一个带有概率值的变量。只有在一定区间范围( 时间 空间) 内或者特定上下文环境下，用户意图才能准确获得。从交互任务的角度 来看，任务确定也具备模糊性。传统的用户界面以离散的事件作为任务命令， 在一定上下文中一般不具备二义性。而笔式用户界面中一个交互任务的完成是 由一段连续的事件组成的，在某个时段很难精确确定任务目的本身。图2 3 给 出了一个例子，用户绘制的一个封闭圈及一段勾画笔迹，可以理解为c h e c k b o x 或者r a d i o b u t t o n 。 2 3 3 混合性 传统的用户界面是以离散的事件为输入输出流的，由鼠标和键盘产生的离 散事件触发命令的执行。但是人的思维通常是连续而且具有层次的，因此这种 交互方式不符合人类的认知特征。笔式用户界面却主要是在连续交互的方式下 工作，具备连续性交互的特征。笔的勾画过程往往蕴涵了丰富的用户意图，比 第二章笔式用户界面研究 较符合人们连续思维的工作方式。把整个笔交互过程看作以离散的方式进行， 描述为由一个个单词( t o k e n ) 组成的方式是不合理的【2 5 1 。然而从语义的理解方 面来看，笔式用户界面的交互过程既有离散事件，也有连续事件。如提笔和落 笔就是离散事件，而笔的勾画过程则可以看作是连续事件。因此客观地归纳， 笔式用户界面交互具备一种混合性特征。 2 3 4 隐含性 隐含特性是指用户在交互过程中不需要关注任务的执行方式和过程，而只 需要考虑任务本身。隐含性是笔式用户界面的一个非常重要的特征及优势，正 是由于具备这种交互特性，用户可以通过自然的交互方式来执行任务( 2 们。 在笔式用户界面的设计中，需要在资源数量与数据质量间寻找一个平衡点 【2 7 】。设计目标是通过提高数据质量来减少必须的资源数量，这里数据质量的提 高又依赖于用户对系统的训练和熟悉。笔式用户界面的隐含性交互特征为此提 供了一个合理的平衡点，它通过利用用户原有的( 自然的) 知识和技能来设计 用户界面，从而提高用户在交互过程中的数据的质量。 ， 2 3 5 多通道型 按照认知心理学的观点，用户的意图通常表现在不同的交互通道上，例如 触觉与方位感等，这些心理学上的通道通过交互设备传送给计算机系统。在传 统的用户界面中，计算机系统可以使用多种媒体，然而用户只能同时使用有限 数量的交互通道。从计算机到用户的带宽与用户到计算机的带宽呈现出极大的 不对称性，这是一种不平衡的人机交互。目前，人机交互正朝着从精确到模糊、 从单通道到多通道的转变，多通道界面是一种快捷、低耗的交互手段。 笔式用户界面的多通道特性表现在两个方面。首先，从笔式交互方式本身 来看，输入信息由交互设备笔传送到系统中，进而形成一个完整的意图。当用 户的意图被执行后，系统将结果通过分流分解到不同的输出通道并反馈给用户， 如视觉、听觉等。这样，笔式用户界面尽管在物理上只有一个输入设备，但其 实它可以完成多通道的交互方式。其次，在许多应用场合( 如移动环境、协同 1 2 第二章笔式用户界面研究 办公环境、面向儿童的应用) ，笔式用户界面往往与其它交互设备、交互手段共 同出现，以适应特定的应用需求。在这种交互方式下，通常可以有多个对话线 索同时进行，通过相互协作来共同完成用户的任务。这种结构可以对系统的资 源进行良好的应用。 2 4pib g 范式的提出 我们己经知道笔式用户界面与传统的用户界面有着很大的不同。首先，人 同计算机之间的交互方式不再模拟桌面环境，而是模拟人在纸笔环境下进行交 互。也就是说，与w m 口交互方式相比，界面的隐喻( m e t a p h o r ) 由桌面环境 ( d e s k t o p ) 变为纸笔环境( p e n p a p e r ) 。在p e n - p a p e r 隐喻下，w i m p 交互范式己经 变得不再适用。其次，由于笔式交互同基于鼠标和键盘的交互相比具有信息连 续性，信息多通道性等新的特征，如何在新的交互范式中利用这些新的交互特 征也是需要研究的问题。同时，笔式用户界面具有交互隐含性的特征。在笔式 用户界面中，人们所追求的是一种自然的、隐式的交互方式。在这种方式下， 用户在同计算机进行交互时所关注的是交互任务本身，而不是如何来执行交互 任务。这种方式能极大地提高人机交互的效率，但对于界面的开发者来讲却是 一项非常困难的工作。新的交互范式中必须能有效地体现这一点，来帮助开发 者来快速地构造笔式交互界面。 通过以上分析并结合对笔式用户界面交互特征的研究，中科院软件所提出 了新的笔式用户界面交互范式- p m g 交互范式。p i b g 范式的提出旨在提高笔 式用户界面的可用性，其中p 、i 、b 、g 分别与w i m p 范式的w 、i 、m 、p 相 对应。在p i b g 范式中，承载应用信息的交互组件由窗e 1 ( w i n d o w ) 变为物理对 象( p h y s i c a lo b j e c t ) ，p 是这一类交互组件的统称，主要包括p a p e r 和f r a m e 两类 交互组件。i 、b 表示此范式中与具体语义无关的直接操纵组件，i 是i c o n ，b 是b u t t o n 。在此范式中摒弃了m e n u 类的交互组件，尽量多地使用i c o n 和b u t t o n ， 这样可以大大增加直接操纵在整个交互方式中的比例，提高系统的操作效率。 g 表示g e s t u r e ，是指此范式中所采用的主要的交互方式。与w i m p 交互方式比 较，用户的交互动作由鼠标的点击( p o i n t i n g ) 变为笔的g e s t u r e 。p i b g 范式采用 第二章笔式用户界面研究 p e n p a p e r 隐喻，它模拟人们数千年来形成并熟悉的纸笔交互环境来构造界面的 呈现方式。从交互特征上来分析，笔和鼠标的区别主要表现在，鼠标是一种视 觉与动作分离的设备，用户必须注视屏幕上的光标运动同时判断处于视线范围 之外的鼠标运动情况。这种视觉和动作的分离造成用户需要更多的注意力去协 调两者的关系。而在笔式交互方式下，用户视觉和动作统一，大大地减轻了用 户的认知负担。另外，从运动形式上来分析，操作鼠标主要运用小臂和腕部肌 肉，运动幅度较大：而且鼠标重量大，稳定性好，因此做直线运动的快速准确， 适合m e n u 的选择和点击。笔的操作主要靠手指和手腕运动，运动幅度一般较 小，并且由于笔非常轻巧，适合小范围的曲线运动，因此用笔可以轻易地进行 勾画，从而完成各种g e s t u r e 的动作。对于鼠标来说，这些勾画动作都是不可想 象的。p i b g 范式正是利用了笔的这种优势，设计出一种不同于菜单模式的交互 方式。 p i b g 范式并没有在各个方面完全替代w i m p 范式，它保留了l e o n ，b u t t o n 等直接操纵组件，但从信息呈现和交互方式两个最为主要的方面有了根本性的 改变，这两个方面的改变从认知心理学和界面可用性的角度来看有着非常大的 优点。以下就这两个方面的优点作详细的阐述。从认知心理学的角度来看，人 的认知处理能力主要受制于两个主要的因素：一是在处理过程中可得到的资 源，二是可得到的数据的质量。在针对某一个任务的认知处理过程中，充足的 资源只是提高人的认知处理能力的必要条件，而不是充分条件。在可得到资源 有限的情况下