第章-交互技术与用户接口.ppt

交互技术与用户接口,用户接口的常用形式,子程序库 GKS，OpenGL等 使用方便，但需要用户熟悉某种通用程序设计语言 专用语言 一般为解释性的语言 PostScript，VRML等 交互命令 图形界面或命令行方式，进行人机交互 常用操作：增、删、改操作（常用三表结构实现）,交互技术与用户接口,2019年8月15日1时14分,2,交互设备与交互任务,定位（Locator） 笔画（Stroke） 定值（Valuator） 选择（Choice） 拾取（Pick） 字符串（String）,交互技术与用户接口,2019年8月15日1时14分,3,定 位,定位是确定平面一点(x, y)或空间一点(x, y, z)的坐标。 直接定位：用定位设备直接指定某个点的位置,如键盘输入。直接定位方法可以准确地给点定位 间接定位：通过定位设备的运动控制屏幕上的光标进行定位。如在移动鼠标时，根据鼠标移动的相对距离去控制屏幕上光标的移动,交互技术与用户接口,2019年8月15日1时14分,4,指点杆,手写平板电脑,交互技术与用户接口,2019年8月15日1时14分,5,直接输入设备 光笔、触摸屏,鼠标,手柄,操纵杆,光笔,间接输入设备: 最普通的定位设备:鼠标及屏幕上的光标 操纵杆、数字化仪及按键盘上的方向键也可以控制光标的移动,另外，使用数字化仪不仅可像鼠标那样产生输入点的相对坐标，还可输入点的绝对坐标。 如果我们要输入一张图纸，用数字化仪输入图上各点的绝对坐标是最合适的方法。,交互技术与用户接口,2019年8月15日1时14分,6,数字化仪,笔 画,笔画输入用于输入一组坐标点，相当于多次调用定位输入。 如指定一条折线的顶点组、指定一条自由曲线的控制点等。 笔画设备 鼠标、轨迹球、游戏棒连续移动的信号经转换成为一组坐标值。 图形输入板的连续模式可通过按键激活。当光标在图形输入板表面上移动时，就产生一组坐标值。,交互技术与用户接口,2019年8月15日1时14分,7,输入方式 与定位设备的输入方式一致。 常用设备,交互技术与用户接口,2019年8月15日1时14分,8,轨迹球,手写板,定值,定值设备为应用程序输入一个值. 如在旋转某一对象时输入一个旋转角度、缩放对象时输入一个比例因子以及输入文字高度、字体大小比例因子等。 输入方式 直接输入数值 通过字符串取值 通过比例尺输入 执行上下记数控制命令等。 物理设备 包括旋钮、键盘、数字化仪、鼠标、方向键、编程功能键等,交互技术与用户接口,2019年8月15日1时14分,9,旋钮,常用的定值任务实现方法,交互技术与用户接口,2019年8月15日1时14分,10,可用键盘键入数值 可用软件的方法在屏幕上绘制一刻度尺或比例尺，用户可用定位设备控制光标在尺子上移动实现数值的输入 用刻度盘实现数值输入的原理也一样，操作员控制从圆心出发的线段绕圆心旋转，根据显示的角度读数或比例数据来定值 如果要输入一个精确的数，最好还是用键盘输入,定值的几种方法,选 择,选择是在某选择集中选出一个元素，它可以用于指定命令，确定操作对象或选定属性等 选择功能可用功能键 可用鼠标移动光标到要选图元附近的位置，按下鼠标的按钮，通过软件选择距光标最近的图元,交互技术与用户接口,2019年8月15日1时14分,11,画图中的选项,交互技术与用户接口,2019年8月15日1时14分,12,菜单功能使用最普遍，也是非常重要的一种交互方法。使用菜单可改善应用系统用户接口的友好性,分级菜单选择,对话框和键盘上的按键也可提供选择功能。 对话框的内容极丰富，在对话框中通常用于选择功能的是选择开关及radio按钮（单选按钮，以小圆框打点表示被选中） 键盘选择也极为简单，如击数字键“1”表示使用绿色绘制，“2”表示使用蓝色绘制等,交互技术与用户接口,2019年8月15日1时14分,13,物理设备 包括光笔、触摸屏、数字化仪、鼠标、操纵杆、跟踪球,字符串输入设备、编程功能键、声音识别仪等。 输入方式 包括直接或间接在屏幕上进行选择 字符串选择 时间扫描 手写输入、 声音输入等。,交互技术与用户接口,2019年8月15日1时14分,14,触摸屏,拾 取,拾取的功能是选择图形对象，用于选择场景中即将进行变换或编辑的部分。拾取一个对象的方法有： 指定名称法:通过指定欲拾取对象的名称实现 特征点法:选择时让图形的特征点（如线段的端点，圆心等）以强光醒目显示,来拾取对象 边界盒法:对每一个子图预先求一个边界盒或比边界盒大一点的边界盒 分类法:分别将点,折线,弧等在有关按键的控制下进行拾取,交互技术与用户接口,2019年8月15日1时14分,15,拾取对象的几种方法,物理设备包括各种定位设备、编程功能键、字符串输入设备等。,交互技术与用户接口,2019年8月15日1时14分,16,笔型字符识别器,字符串,键盘是目前输入字符串最常用的设备 写字板输入字符曾经也很流行 书写时笔画的次序可被系统记录下来，因而比脱机扫描输入识别具 有更多信息，具有更高的识别率。 语音输入也是字符串输入以及功能选择的一种输入方法. 语音输入需要使用语音识别技术,交互技术与用户接口,2019年8月15日1时14分,17,手写板,语音输入,物理设备: 字母键盘、数字化仪、光笔、声音识别仪、触压板等。,交互技术与用户接口,2019年8月15日1时14分,18,三维交互设备,方便三维空间定位、拾取等操作 三维目标定位装置、数据手套、头戴显示器等,交互技术与用户接口,2019年8月15日1时14分,19,三维交互设备,交互技术,几何约束 拖拽 三维输入 新技术,交互技术与用户接口,2019年8月15日1时14分,20,几何约束,定位约束 在屏幕上定义一个可见或不可见的网格.网格线是等间距的水平线和垂直线，其交点为网格点。在使用网格时，任何方式输入的点都将被定位到离该点最近的网格点上。 假设定义网格单元的宽、高分别为 a、b，输入点的坐标为（x, y），则离它最近的网格点的坐标为： (a(int(x+a/2)/a),b(int(y+b/2)/b),交互技术与用户接口,2019年8月15日1时14分,21,定位约束的示例,交互技术与用户接口,2019年8月15日1时14分,22,方向约束示例,方向约束 用于绘制水平或垂直的线段。 绘制时,若终点和起点的连线与水平线的夹角小于45，则绘出一条水平线（如下图）,否则绘制垂直线。 避免人眼或定位设备带来的误差，可以应用于印刷线路板或大规模集成电路的设计。,交互技术与用户接口,2019年8月15日1时14分,23,引力场,引力场 可以看做是一种定位约束，用光标进行选图操作时，为了使光标可以较容易地定位选择区域中的图形，可以将图形的选择区域适当变大，这就是引力场方法。 例如，在每条线段的周围假想有一个区域，光标中心落在这个区域内时，就自动地被直线上离光标最近的一点所代替，如同一个质点进入直线周围的引力场后，被吸引到这条直线上去一样。 注意引力场区域大小的选择要适当。,拖 拽,要把一个对象放到新的位置.如果光标移动的同时,对象也跟着光标移动.会使用户感觉更直观，从而使得对象的定位更为精确。,交互技术与用户接口,2019年8月15日1时14分,24,拖拽图元到新的位置,拖拽技术是当前人机交互中普遍使用的技术，它可以使用户的操作更直观，定位更精确。拖动有时耗费很大，尤其当图像很大或图形很复杂时，拖拽可能变的很慢。 “橡皮筋”技术 拖拽的另一种形式。 不同的只是拖动对象的形状随着光标位置的不同而变化。 橡皮筋的形状可以是任意的，可以是矩形、圆、圆弧、自由曲线，也可以是更复杂的图形。,交互技术与用户接口,2019年8月15日1时14分,25,三维输入,输入一个立体图时，常常是将点、线、面单独输入的。而对一个点、一条线或一个面来说，只要在三视图上给出足够的信息，总是可以唯一地确定它在三维空间中的对应图形。 例如输入一个点时，只要在任意两个视图中确定点的位置,便可唯一地确定三维空间中的一个点的坐标（x，y，z）。,交互技术与用户接口,2019年8月15日1时14分,26,在三视图上作三维输入,在三视图上输入直线段上两端点便确定了三维空间的一条直线. 把一个面上的各顶点在三视图上输入后，就唯一地确定了三维空间中的一个面。 如果把一个多面体的各面均用上述方法输入，也就在三维空间中输入了一个多面体。 用三视图来输入立体图是目前一种主要的输入手段.,交互技术与用户接口,2019年8月15日1时14分,27,交互技术与用户接口,2019年8月15日1时14分,28,用三视图输入三维图形,交互技术与用户接口,2019年8月15日1时14分,29,3D MAX中的三维建模,新的交互技术,视线跟踪,交互技术与用户接口,2019年8月15日1时14分,30,手势识别,语音识别,依据手的运动 识别数字的手机,交互技术与用户接口,2019年8月15日1时14分,31,表情识别,自然语言理解,手写识别,交互技术与用户接口,2019年8月15日1时14分,32,多媒体技术的支持 目前广泛使用的是字符和图形用户界面，通过用户输入字符串或点击图标等向计算机送入数据或命令，计算机也通过输出字符串或图形告诉用户计算结果和其他信息。,多媒体技术,计算机所表现的信息除了文字、图形外，还包括声音、静止图像、动态图像、动画等。 多媒体技术是将正文、声音、图形、静止图像、动态图像等与计算集成在一起的技术。 多媒体技术应用于计算机系统，将使人们得到更直观的信息，从而简化用户的操作，扩展应用范围。,交互技术与用户接口,2019年8月15日1时14分,33,多通道交互 同一时刻用户可以采用多个通道与计算机进行交互，以提高人机交互的效率和自然性。 可以利用各种通道、设备和交互方式的互补性，整合来自多个通道的信息，提高对用户输入的识别率，从而提高交互的自然性、灵活性和准确性，使人机交互方式向人与人交互方式靠拢。 当一个通道由于设备故障或环境限制等原因不能使用时，用户可以选择其他通道，使交互继续下去。,多通道交互,交互技术与用户接口,2019年8月15日1时14分,34,自然语言接口 基于自然语言知识的人机交互系统。 自然语言接口能理解用户用自然语言表达的请求，将其映射为相应软件的操作命令，并提交软件执行，最后软件产生的结果以用户可理解的方式反馈给用户。,自然语言的理解,交互技术与用户接口,2019年8月15日1时14分,35,计算机支持协同工作 （ CSCW,Computer Supported Cooperative Work） 很好地适应了社会信息化、经济全球化和知识经济时代的特点以及诸如交互性、分布性和协同性等要求。,CSCW示例,拾取图形,交互接口中的重要任务，图形的增、删、改中都会用到。 图形是否被拾取要有适当的反馈。 在NDC中实现。 内容： 点拾取，直线段的拾取，字符串的拾取，折线、曲线、多边形的拾取，重叠图形的拾取，提高拾取效率的方法等,交互技术与用户接口,2019年8月15日1时14分,36,点的拾取,设点P1（x1,y1）,0.0x1,y11.0，则该点的显示领域是一个以r为半径的圆。 如果拾取点P0(x0,y0)符合: (x1-x0)2+(y1-y0)2 r2 则说明对P1点拾取成功。,交互技术与用户接口,2019年8月15日1时14分,37,直线段的拾取,设直线两端点为P1(x1,y1)、P2(x2,y2)，则该线段的显示领域是一个以2r宽的矩形(参见下图)。 如果拾取点P0(x0,y0)符合: 则说明对线段P1P2拾取成功。 折线、曲线、多边形的拾取 可采用直线拾取的技术实现。,交互技术与用户接口,2019年8月15日1时14分,38,字符串的拾取,依次判断每个字符的显示领域是否包含拾取点。 字符的拾取判断可用字符的外接凸多边形是否包含拾取点的方法进行判断。 规则方式显示的字符可 进一步简化拾取方法,交互技术与用户接口,2019年8月15日1时14分,39,显示领域重叠,优先级控制 优先级高的被拾取 逐个图形反馈 闪烁或改变颜色进行反馈 用户确认后当前反馈的图形被拾取 通过距离进行判断 距拾取点较近的图形被拾取,交互技术与用户接口,2019年8月15日1时14分,40,加速图形拾取的措施,过滤器法 图形加标记： 可拾取和不可拾取 对不可拾取的图形 忽略拾取运算 区域粗判法 先判断拾取点是否在图形的外包围盒中 硬件实现 利用硬件实现点、直线等的拾取运算,交互技术与用户接口,2019年8月15日1时14分,41,区域粗判,输入控制,请求方式 (程序初始化设备) 取样方式 (程序和设备同时工作) 事件方式 (设备初始化程序) 控制方式的混合使用,交互技术与用户接口,2019年8月15日1时14分,42,请求方式,在请求方式下，输入设备的初始化是在应用程序中设置的。即通过输入设置命令（或语句），对相应的设备设置所需要的输入模式后，该设备才能作相应的输入处理。 （在请求命令中要指定是哪个应用程序调用的和调用的是哪个输入设备）,交互技术与用户接口,2019年8月15日1时14分,43,交互技术与用户接口,2019年8月15日1时14分,44,当程序运行时，输入设备处于等待状态，等待程序的请求. 当程序运行到request语句时就向输入设备提出输入请求，同时程序停止运行，等待输入设备输入数据。 输入设备立即进入工作状态，直到请求满足之后，程序才继续运行。 输入设备重新处于等待状态。 因此，在请求方式下，程序和输入设备轮流处于工作状态和等待状态，由程序支配输入设备的启动。,请求方式的工作过程,请求模式的工作过程,交互技术与用户接口,2019年8月15日1时14分,45,当把一台或多台输入设备定义为样本模式后，这些设备会连续不断地把信息输入进来，而不必等待应用程序的输入语句，即信息的输入和应用程序中的输入命令无关。当应用程序遇到取样命令时，就把相应物理设备此时的值作为取样数值。 优点 该模式不像请求模式那样要求用户有一明显的动作，它对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。 缺点 当处理某一种输入耗费的时间较长时，可能会失掉某些输入信息。,取样方式,交互技术与用户接口,2019年8月15日1时14分,46,在取样输入模式的工作过程中，程序和输入设备同时运行。 输入设备不断地产生数据，并把数据输入数据缓存区，数据缓存区的内容不断刷新。 程序在运行时若遇到采样语句，就到数据缓存区中读取数据。这样，程序所取得的就是最新的数据。,取样方式的工作过程,取样方式的工作过程,交互技术与用户接口,2019年8月15日1时14分,47,当设备设置成事件模式后，输入设备和程序并行工作。所有被设置成事件方式的输入数据（或事件）都被存放在一个事件队列中，该队列是以事件发生的次序排列的。 当用户在输入设备上完成一个输入动作(如按一下按钮)便产生一个事件，输入的信息及该设备的编号等便被存放到事件队列中。不同的应用程序可到队列中来查询和提取与之有关的事件。,事件方式,交互技术与用户接口,201