人机交互界面表示模型

1、实验一：交互式绘图程序设计金参照所讲的例子，使用.net设计一个交互式绘 图程序框架。设计内容至少应包括例子中的内 容，并尽可能给出一个具体的程序实现。实验报告要求：以电子版的形式，详细描述框架的全部内容。对各 个交互组件的设计，给出必要的说明。对完成的设计，写出自己的主要问题和心得体会。人机交互技术编写组第6章人机界面的表示模型人机交互技术编写组#目的(Mil在界面设计的早期阶段，建立一种用户界面表示模型用形式化的设计语言来分析和表达用户任 务以及用户和系统之间的交互情况；使界面表示模型能方便地映射到实际的设 计实现。主要内容金行为模型从用户和任务的角度考虑，描述人机交互界面介绍GOMS,

2、UAN及LOTOS模型。结构模型主要从系统的角度来表示人机交互界面。状态转换网络(STN-State Transition Network) 产生式规则(Production Rule)。事件对象模型觀麟勰它将人机交互活动归结为事如何由界面的行为表示模型转换到系统的结构模型。6.1行为模型行为模型的研究内容获取用户需求后，结合领域专家的意见和指 导，获取系统中需要完成的任务，对任务的 主要因素进行详细地分析，如任务的层次、 发生条件、完成的方法以及它们之间的关系人机交互技术编写组5GOMS模型用来分析和建立用户行为的模型。用“分而治之”思想，将一个用户任务进行 层次细化。人机交互技术编写组#6

3、.1.1 GOMS模型的四个要素I I 1111 1 丨 ill I I I IGOMS模型的四个要素目标(Goal)操作(Operator)方法(Method)选择规则(Selection)HH-1.目标 Goals目标就是用户执行任务最终想要得到的结果， 它可以在不同的层次中进行定义。2 操作 Operators操作是任务分析到最低层时的行为，是用户为 了完成任务所必须执行的基本动作。人机交互技术编写组76.1.1 GOMS模型的四个要素3 方法 Methods方法是描述如何完成任务目标的过程。是用来确定子目标序列及完成这些目标所需要的 操作。3 方法 MethodsGOAL: ICONS

4、IZE-WINDOWselect GOAL: USE-CLOSE-METHOD MOVE-MOUSE-TO-WINDOW-HEADER POP-UP-MENU CLICK-OVER-CLOSE-OPTION GOAL: USE-L7-METHOD PRESS-L7-KEY4 选择 Selection是用户要遵守的规则，用来确定在特定环境 下所要使用的方法。当有多个方法可供选择时，GOMS需要根据 用户、系统的状态、目标的细节来预测要选 择哪种方法。选择（用户状态、系统状态、目标细节）用户Sam:Rule 1: Use the CLOSE-METHOD unless another rule a

5、ppliesRule 2: If the application is GAME, use L7-METHOD人机交互技术编写组9GOMS模型的四个要素之间的关系目标(Goal)：层次结构操作(Operator)：基本动作方法(Method)：由目标和完成目标的基本操 作复合而成。选择规则(Selection)：由用户、系统状态和 目标决定的。fiOHJLHWHU国 SOOtOBLL 曰叶 sHsn wH X3LLK 工 laOTU - TETOeQOBLLamsnLaHHH日弓 soNsn&J皀HbJITHIAOOT Tt voeMs VLULbWT SLLnuMKST IE vouMSVL

6、HxaNJLHfJ imwiu JO PUQ WJHMSVLJLIMIrsDIKlouv -Tvoogs3unolu ou_HUIUkJ 令点HEnIIaaf nvoeIdmuspNmaH mf比=运 PHMS-SJL噪 SWOEJGOMS的局限性牛I I I M I I I I I I I I I I I I I I I I I GOMS没有描述错误处理的过程，它假设用户按正确的方 式进行人机交互，只针对专家用户。任务间只有顺序和选择关系。选择关系通过非形式化的附加规则描述，实现起来也比较困难。任务是面向目标的，忽略了任务的问题本质及用户的个 体差异。6.1.2 LOTOS LOTOS -L

7、anguage Of Temporal Ordering Specification是一种标准形式描述语言，适于描述具有并发、 交互、反馈和不确定性等特点的并发系统中的 行为。LOTOS基本思想I I I I 1444 I I I I I把系统的外部行为看作有时序关系的交互序列组成。认为系统由一系列进程组成，进程同环境之间通过称为 关口（gates）的交互点进行交互。认为两个以上进程在执行同一个外部可见的行为时会发生交互操作，进行数据交换、信息传递、协调同步等操 作。进程行为用行为表达式来描述，复杂行为由行为表达式 通过LOTOS算符组合而成。将LOTOS思想用于人机交互行为模型时，用进程之间

8、的 约束关系来描述交互子任务之间的关系。人机交互技术编写组17LOTOS模型的基本算符（pi I Iiiiiiiiiiiiiiiiiiiii （交替Interleaving） T1 | | T2 T1和T2两个任务相互独立，可按任意顺序执行，永远不会同步。 （选择Choice） Tl T2需要在Tl, T2中选择一个执行，一旦选择某一个后，必须执 行它直到结束，在这中间另一个再无执行机会。 （同步Synchronization） Tl | al,.,an | T2任务Tl, T2必须在动作（al,an）处保持同步 T2 一旦T2任务被执行，T1便无效（不活动） T2当Tl成功结束后才允许T2执

9、行LOTOS实例语音命令：悟棋Altf运行退出屮打谱当前方走皓取棋子对弈方走-诙宣棋子打谱所谓打谱，就是看棋谱。初学阶段，学习一些基础知识，如各兵种的特 点。残局基本功训练名家对局，掌握各种布局的特点LOTOS与GOMS的结合:/ Deactivation GOA匕运行 III：二GOA匕走棋ACTION:自动记录棋谱 :/Enabling GOA匕当前方走 :/EnablingOPRATOR:拾取棋子 OPRATOR:放置棋子 _ GOAL:对弈方走 :/Enabling;=1OPRATOR:拾取棋子 OPRATOR:放置棋子 *GOA匕打谱 :/ChoiceOPRATOR:加速 OPRAT

10、OR:减速 OPRATOR:暂停 一 OPRATOR:恢复 GOA匕退出中国象棋程序的GOMS 和LOTOS行为模型描述LOTOS总结 LOTOS与GOMS结合，可以清楚地描述任务的目标层 次及各目标之间的约束关系。依然无法描述目标异常结束，未涉及任务选择规则。參可以构造自动化工具，自动进行错误检测，但它过于 形式化的记法比较晦涩难懂。 GOMS模型和LOTOS模型结合可以描述较高级的人机 交互任务。对于原子任务，上述模型并没有给出一个比较清晰的 描述。下面讨论的UAN模型主要用于原子目标的描述。6.1.3 UAN UAN用户行为符号(User Action Notation) UAN是一种符

11、号语言，主要描述用户的行为序 列以及在执行任务时所使用的界面对象。虽然UAN是一种行为模型，但它又在一定程度31!上描述了系统行为，因而它兼有行为模型和结构模型的一些特点。U AN模型的基本思想标志符：用户动作标志符条件标志符任务的表格表示任务(task):任务名称(the name of task)用户行为界面反馈界面状态界面被分解成一些类似层次结构的异步任务，每个任 务的实现都用表格来描述，用户动作的关联性和时序 关系由表格的行列对齐关系和从上到下、从左到右的 阅读顺序来确定。人机交互技术编写组25UAN预定义的动作标志符k 7金用户动作标志符:用户动作标志符: move_mouse(xz

12、y)移动 鼠标至(X) release_button(xzy)在 (xzy)位晝释放鼠标按钮； highlight(icon)使icon高 亮显示； de_highlight(icon)取消icon的高亮显示。- x,y,在某个图形对象 上移动鼠标；- 按下鼠标；释放鼠标;-/使对象高亮显示；-/取消对象的高亮显示- Display显示图形对象;-Erase取消显示对象。UAN预定义的条件标志符 while(condition) TASK当条件condition为真时，循环执行任务TASK；start-line C-point start-linerest-line C-point rest-

13、 linerest-line D-point rest- line#事件的主要类型用户事件(user event) Sel-line表示从菜单中选择line命令，C-point和 Dpoint表示用户在绘图平面上单击和双击鼠标 内部事件用于保持对话状态，如start-line表示开始画线后 商决悬，rest-line委示遥搖了第一个皆之后商获 态。系统响应事件以尖括号表示可见或可听的系统响应，如 vhighlight Uine把篥章瑜line高亮度显示, draw line表示在屏幕上显示直线，rubber band on表示橡皮筋绘制方我;打弁，rubber band off表示橡皮筋绘制方

14、式关闭。产生式规则的解释在上面的产生式规则中，第一条规则表示选择画 线命令后，系统状态进入了开始画线状态，接着 把Tin菜单项高亮度显示；第二条规则表示，用户在开始画线状态时，在绘 图区域单击鼠标则系统表示己定义了一个点，此 时橡皮筋绘图方式打开；第三条规则表示在定义了一个（或多个）点后，用 户单击鼠标可以连续地定义点；第四条规则表示双击鼠标则结束画线的交互过程。对话控制1!对话控制主要负责事件的产生和规则的匹配， 在每一时刻系统内存中会保存一些内部事件， 当产生一个事件时，可能是用户事件，也可能 是内部事件。对话控制就是要将产生式规则与事件集合进行 匹配，这个过程是复杂的而且耗时，当产生式

15、很多并且产生式规则的条件复杂时，匹配算法1!的效率就显的更为重要，因此需要设计好的数 据结构和匹配算法来提高匹配规则的效率。可以将规则和事件进行分组和分层。2 状态引导的系统丨丨丨 -iIiIiIIIk状态引导的系统在系统内存保存的不再是动态的事件，而是 一些表示系统的当前状态的属性，这些属性 在不同的时刻有不同的值。人机交互技术编写组39画线操作在系统中的五个属性(L I I I IiiiWImiiiiMouse: mouse-null, select-line, click-point, double-click Line-state: menuz start-line, rest-lin

16、e Rubber-band: rubber-band-onf rubber-band-offMenu: highlight-null, highlight-line, highlight-circle Draw:(draw-nothing, draw-line 对象的状态Mouse的4个状态 Mouse-null（鼠标空闲），select-line（选线），click-point（单 击），double-dick（双击）mouse-null start-line highlight-lineClick-point start-linemouse-null rest-line rubber-ba

17、nd-onClick-point rest- linemouse-null draw-lineDouble-click rest-linemouse-nullmenudraw-linerubber-band-of状态引导的产生式规则的特点(H丄-1II1卜士”iiiiiii卜士当产生式规则的条件和状态匹配时将激活该产 生式规则，对于某一特定的属性，如果前面的 状态需要改变成新的状态时才需要在产生规则 的后面标注.状态引导的产生式规则的特点丨丨丨丨IiIIIi“IiIIIi5“i“iI”i”一III”i属性的永久特性有时会引起一些奇怪的 错误，因此在上述的规则集中，每一条 产生式规则都要求将鼠标

18、的状态设置为 Hmouse-nulln ,否则，当用户单击了 鼠标，激活了第二条规则，如果不立即 将鼠标的属性设置Hmouse-nullH,则会立即激活第三条规则，此时系统的状 态和第三条规则的条件是匹配的，并且 会反复的一直执行下去。人机交互技术编写组453 混合引导系统丨丨丨丨I jIIIiIIIBold = onselect- bold:Bold = onBold = offselect-italic:Italic = offItalic = onselect-italic:Italic = onItalic = offselect-under:Underline =offUnderli

19、ne =:onselect-under:Underline =onUnderline =：off产生式规则总结牛丨丨丨 I I I I I I I I I I I I I I I I I I I描述操作时序能力强，并发顺序均可无法描述误操作1!界面复杂时，状态、事件复杂，产生式 过多，要求产生式匹配算法性能高6.2.2状态转换网络状态转换网络(STN)的基本思想是定义一个具 有一定数量状态的转换机，称之为有限状态机-Finite State Machine(FSM) FSM从外部世界中接收到事件，并能使FSM从一个状态转换到另一个状态。两种最基本的状态转换网络状态转换网络(State Diag

20、rams)扩展状态转换网络(State Charts)JL传统的状态转换网络丨丨丨丨Ii“IiII”一I”I“ii”iI“i”I“状态转换麟册0W从一个外部事件由用户操作外部输入设备来产生内部事件系统产生的事件，改变了系统的 状态和行为而产生的事件，如当 一个任务完成后可以激活另一个 任务等。带条件的状态转换转换带条件的状态转换T1C1 E1T1S+C1E1T2C2E2 T2S+C2E2带条件的状态转换实例传统状态转换模型I IiIiIIIII參状态转换网络比文本解决方案更易于设计、理 解、修改和文档化，它给出了对行为的精确的. 甚至是格式化的定义。金传统状态转换模型的局限性需要定义出系统的所

21、有状态，这对于小型的系统是没有问题的，但是在一个较大的系统中，系统会很快崩溃，状态的数目是呈指数级增长的，同时状态的增长直接导致了状态转换网络过于复杂、无法实 际应用。人机交互技术编写组552 扩展的状态转换网络（丄）层次状态转换网络带有取消功能的状态转换图描述并发任务?#状态转换模型牛丨 I丨 I I I I I I I I Ii 1 i ii 1 i I状态的爆发式增长问题具有良好的描述串行和顺序行为的能力,并发及其他行为的描述能力差虽然是一个结构模型，但难以实现6.3事件对象模型4Event-0bject)6-3.1对话独立性和语义反馈性金对话的独立性指界面和系统的逻辑业务或数据模型互相

22、独立，交 互完成后，再去调用业务模型的方法进行相应的业 务处理。语义的反馈性指在人机交互过程中要实时反馈界面的状态和用户操作的细节，以便用户能比较清晰的了解当前操作 的过程. “所见即所得”就是一种典型的语义反馈。61软件体系结构软件的四层体系结构表示层 逻辑对象层 服务对象层 存储层6.3.2 EO模型系统结构事件对象模型，将人机交互活动归结为事件 与对象的相互作用。事件是人机交互活动中传递的信息。对象是交互活动中的对象；事件引发交互活动，对象是交互活动的承受者。模型强调事件和对象在人机交互中的重要性， 以事件为驱动，以对象为核心，具有面向对象 的风格。兼顾了对话独立性原则和语义反馈的要求。

23、6.3.2 EO模型系统结构1事件的类型| I | | I I | I I I I I I I I 3!事件的两种基本类型：实事件是用户通过输入设备输入而产生。可分为: 键码事件；定位事件；字符串事件。虚事件用户界面系统或应用程序产生并限于系统内部流动 的事件，主要是协调系统的运行，可以分为：定时器事件；邮件事件；空闲事件2.事件的结构丨 -iiIII卜事件名类型来源去向产生时刻(Name)(Type)(From)(To)(Time)数据(Data)3 对象的类型丨丨丨丨IiII”一iI*根据交互任务类型的不同一般可归纳为 三种基本对象类型：抽象交互对象，如磁盘、文件等抽象的对象;空间交互对象

24、，表示空间中的物体的对象 等，如三维场景和物体；时间交互对象，表示与时间相关的对象， 如视频、音频等对象。对象的类型4P对象按功能分类，可分为：通用对象，在不同的应用中共有的一些对 丨丨象；丨工具对象，用作用户界面中的各种交互技 术（如按钮等）；二维对象，用于二维用户界面；三维对象，用于三维用户界面；时变对象，适用于随时间变化的动态对象, 如在多媒体用户界面中实现音频、视频等媒 体的管理。对象应该具有的特征丨 丨I -1IIiIIIII”I“I对象应以显式的方式接受事件并对此做出响应;能直接利用数据和方法封装的思想实 现对象的独立；一个对象可以发送消息给其他对象,对象之间的通信通过消息发送和接

25、收来完成，对象的实现方法可采用结构化方 法和面向对象的方法。4 对象的结构牛丨 I丨丨 I I I I Ii iiii iii I ill 主要包括三部分：属性集，包括对象ID、类型、风格、位置、颜色等; 方法集：初始化方法：对象属性的初始化；表现方法：常规的界面反馈和更新对象的外观；响应方法：响应方法对用户的终结控制动作调用 相应的应用语义函数以做出响应，当对象之间存 在关联语义时，相应方法还负责和其他对象进行 交互。消息集：包括一组可被对象识别的并激活其相应行 为方法的消息，这些消息分流到上述三个方法中。5 对象的组织对象之间有不同的关系，可釆用四种典型结构 来组织对象：集合，对象之间无约

26、束关系；线性结构，对象之间有明确的顺序关系，如各输入 字段、列表项等；层次结构，对象之间有层次关系，对象包含数个子 对象，如菜单和菜单项；网状结构，适用于比较复杂的CAD系统，如CAD布 线，现在Web中的导航菜单对象的组织也有采用网 络结构。人机交互技术编写组716.E-0模型总结丨丨丨丨I jIIIiIIIEO模型具有面向对象特性，其中对象具有直接 的面向对象的特征，而包括事件.设备的在内 的各种元素也被直接地映射为对象；同时，事 件对象模型内在的事件驱动机制也非常符合交 互式软件的需要。事件对象模型中事件结构和对象结构的通用性和开放性，可以支持从简单得到复杂的各类用 户界面的实现，有能力

27、支持包括多媒体、多通道用户界面和虚拟现实等新型人机交互技术的 实现，在下一章将给出EO模型的软件结构和实 现支持。作业1 写出事件引导的画线的产生式规则2 写出状态引导的画线的产生式规则3 画出基于菜单的画图工具的状态转换 图人机交互技术编写组736.4行为模型和结构模型的转换6.4行为模型和结构模型的转换行为模型主要对设计起指导作用，在此基础上，设计人员再进行结构模型（如状 态转换网络等）的创建，这个过程很大程度上取决于设计人员的经验和对行为模 型的理解.本节主要介绍一种从行为模型到结构模型的一种转换思想和算法，以实现两种 模型间的自动的转化工作。图617模型转换整体框架77模型转换整体框架

28、整个框架分为三个部分：行为模型使用GUL模型，在这一层将产生一个基 本的预测性的行为模型。结构模型采用层次状态转换网络，它涉及到的元素 有状态、转换、事件、层次结构。不考虑状态转换 网络在转换中条件和同步，可以简化转换工作。用户包含两种用户，领域专家和设计者。 GUL模型的创建主要是由领域专家和设计者合 作来完成的，然后通过模型转换算法转换成为结 构模型，最后提供给设计者使用。6.4.2转换算法1 基本思想2 基本步骤3 实例应用1 基本思想丨丨丨丨IIIk采用G-U-L以层次化结构对任务进行建模，包括目标 （包括循环属性）、行为、关系。状态转换网络表示的是状态之间的转换，也采用层次 化表示，

29、涉及到的主要是状态.转换、事件、行为。在GUL中体现的层次关系转换到状态转换网络中也 体现出层次的关系，G-U-L中的每个目标都对应一个 状态转换网络。如果一个目标下层有子目标，对子目标来说，它所对应的状态网络应该嵌套在上层目标对应的状态网络中。人机交互技术编写组791 基本思想丨I I丨I-1IIIIIIIIIIIIIIIIII* 在产生的状态转换网络中，有两类事件起作用： 一类是外部由用户激活的事件，如“按下鼠标”事件、 “点击键盘”事件等；另一类是内部由目标产生的内部事件，这里只定义了 “目标正常结束”,表示目标正常结束时产生的事件。在进行从GUL到状态的转换时，这些事件只是形式上 的一

30、个定义，没有具体的实现过程，如要在某一层出现 的第i个外部事件用“外部事件迂来代替，而由某个目标 Ti执行时产生的内部事件也仅仅用类似于“Ti正常结束 事件”来表示，而具体的事件还需要由状态网络进行，系统实现时通过 毛门希車件脅理器亞宗立和管理对G-U-L中的行为在转换后就成亦对应的状态转换网络 中的一个行为。图618中描述了一个目标层次中产生事件的过程。2 基本步骤牛丨 Mill1对转换后的数据，存储的是状态转换网络中表示转换 的弧，如下图649所示：出发状态目的状态触发事件父状态行为图6-19状态转换网络中弧的表示结构其中的触发事件就是触发从出发状态到目的状态转换的事件;父状态表示的是当前

31、弧所在状态网络的上层状态，可 以是一个抽象出来的状态名；2 基本步骤CL | I | I l | | 1I转换基本步骤读取存储G-U-L模型的数据文件，进行解析，定义一个数 组stn用于存储状态网络中的弧。获取G-U-L模型中的最高目 标，设为GO,热后调用申的Translate函数，在Translate执 行完毕后，stn中便存储了转换后的状态网络的数据。函数示i“i“t 鳶如下：1“i“i“i“j“j“j“j“j“j“j“j“j“j“j“j“j“j“j“ (2)对当前的目标进行处理，如果是原子目标，参考原子目标 的UAN模型，创建其状态转换网络。否则，获得目标层次下 的数据，包括行为、关系算符及子目标名。通过关系符号来 调用中相应的关系转换函数，对所有的子目标进行递归调 用。函数示意假如下：人机交互技术编写组83main()定义一个存储弧的数组stn读取GUL文件GOAL GO，：禁止关系处理对所有的子目标进行递归调用for(int I;I（允许 Enabling）：亍设目标G下的子目标关系为(GO,G1),在这种关系中完成目标G的路径只有一条，当GO成功结束后才允许G1执行，这是一个顺序执行的过程。在转换成状态转换网络后如图622所示。人机交互技术编