人机交互绘图技术.ppt

1、第六章,人机交互绘图技术,人机交互的定义,人机交互（human computer interaction） 是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的双向信息交换。 这里,“交互”定义为一种通信，即信息交换，并且是一种双向信息交换.可由人向计算机输入信息，也可由计算机向用户反馈信息。,两种交互设备,本章讨论内容,本章介绍人机交互所涉及的基本问题,主要讨论基于图形设计与编辑的应用开发中所用到的人机交互技术： 基本交互任务 常见的辅助交互技术的实现 人机交互输入模式 人机交互新技术 人机交互的发展趋势,第六章人机交互与人机界面,6.1基本交互任务,基本交互任务,1. 定位

2、2. 笔画 3. 定值 4. 选择 5. 拾取 6. 字符串,为了帮助操作员完成某种输入操作，计算机应该在输入过程 中显示某些反映操作的信息（反馈）。则交互任务（交互技术） 便成为设计应用系统用户接口的基本要素。,1. 定位,1)定位是确定平面一点(x, y)或空间一点(x, y, z)的坐标。 如：确定一个圆的圆心，或确定一条直线的两个端点。 直接定位 直接定位是用定位设备直接指定某个点的位置,如键盘输入，光笔确定位置等。直接定位方法可以准确地给点定位. 间接定位 间接定位指通过定位设备的运动控制屏幕上的光标进行定位。如在移动鼠标时，根据鼠标移动的相对距离去控制屏幕上光标的移动。,2) 定位

3、设备(Locator),定位设备用于指定用户空间的一个位置. 输入方式包括直接或间接在屏幕上输入,设置数值坐标等。,触摸板,键盘,间接输入设备:1)最普通的定位设备:鼠标及屏幕上的光标。2)操纵杆、数字化仪及按键盘上的方向键也可以控制光标的移动。,直接输入设备 光笔、数字化仪、触摸屏 当要输入一张图纸时，最合适的办法就是使用数字化仪输入图上各点的绝对座标。,1968年，鼠标的原型诞生，道格恩格尔巴特。施乐公司将其用在了A lot系统中，83年Apple公司 Lisa计算机，第一台使用鼠标的系统，之后是苹果个人PC系列。,施乐公司A lot系统,Apple的Lisa,光机鼠标内部结构,罗技劲貂,

4、光电鼠标,无线电式鼠标的学名叫DRF （Digital radio frequency， 数字无线电频率）,纯机械鼠标工作的原理很简单，它采用一个小滚球和桌面接触，当滚球移动的时候，滚球推动压力滚轴滚动，滚轴的另一边连着编码器，在每个编码器上呈圆形排列的触点。当滚球滚动时，经过传导，使触点会依次碰到接触条，从而产生计算机容易辨认的，“接通”和“断开”，也就是“0”和“1”信号。通常鼠标内部有一个芯片会根据这些数据转换成“X”和“Y”轴的位移，从而使光标移动。,机械光电鼠标： 1接触桌面的一个内置的球，当鼠标移动时跟着一块滚动。2接触球的两个滑轮。一个用来探测X方向的运动，另一个与之成90度角，

5、用来探测Y方向的运动。当球滚动时，这两个滑轮的一个或者两个跟着旋转。3每个滑轮连着一根轴，这个轴又带着一个有孔的圆盘。当滑轮滚动时，轴和圆盘一起旋转。4在圆盘的两侧有一个红外发光二级管和一个红外传感器。圆盘转时外围的间隔孔阻隔了发光二级管发出的光线，因此另一边的传感器就接受到了光脉冲。 5处理芯片读取红外传感器的脉冲并且把它转换成二进制，然后通过鼠标电缆将此二进制数据送给电脑，被CPU接收，信号的数量和频率对应着屏幕上的距离和速度。,光电鼠标的工作原理是：在光电鼠标内部有一个发光二极管，通过该发光二极管发出的光线，照亮光电鼠标底部表面（这就是为什么鼠标底部总会发光的原因）。然后将光电鼠标底部表

6、面反射回的一部分光线，经过一组光学透镜，传输到一个光感应器件（微成像器）内成像。这样，当光电鼠标移动时，其移动轨迹便会被记录为一组高速拍摄的连贯图像。最后利用光电鼠标内部的一块专用图像分析芯片（DSP，即数字微处理器）对移动轨迹上摄取的一系列图像进行分析处理，通过对这些图像上特征点位置的变化进行分析，来判断鼠标的移动方向和移动距离，从而完成光标的定位。,手柄：罗技公司的WingMan Extreme,操纵杆,手柄：微软的Sidewinder Freestyle Pro,最新式蓝牙鼠标,轨迹球,光笔,数字化仪,触摸屏,手写平板电脑,键盘是计算机中使用最普遍的输入设备，它一般由按键、导电塑胶、编码

7、器以及接口电路等组成。 在键盘上通常有上百个按键，每个按键负责一个功能，当用户按下其中一个时，键盘中的编码器能够迅速将此按键所对应的编码通过接口电路输送到计算机的键盘缓冲器中，由CPU进行识别处理。通俗地说也就是当用户按下某个按键时，它会通过导电塑胶将线路板上的这个按键排线接通产生信号，产生了的信号会迅速通过键盘接口传送到CPU中。,1868年美国人肖尔斯申请了 QWERTY键盘的专利,标准多夫拉克(Dvorak )键盘的设计,明基键盘防水防尘技术,微软人体工学键盘 Natural Keyboard,爱国者人体工学键盘,Maxim（美信），从中间分开，并向下倾斜，这样 手放在键盘的时候可以形成

8、一种自然的下垂姿势，长期使 用的话对手腕的伤害要远小于传统的键盘。,整体的，无法分开的，键盘的按键分布在两侧，并且向下凹，可以搭配右边的 脚踏板，脚踏板可以实现Shift 和Enter的功能，解放出部分手的工作。,明基键盘防水防尘技术,新加坡创新科技有限公司 集合midi音乐键盘的键盘,爱国者超薄手感王KB-F920， 最薄处不到1cm,在2米内无方向、角度的限制，不因 障碍物阻碍传输,微软的Office 键盘，为了让Office 用户使用 更简便， 传统的F键都被赋予其它的功能。用户可 以使用F键快速打开平常使用的Office软件中的各 项程序和功能。,苹果公司内置触摸板的键盘， 可以作为鼠

9、标定位，可以作 为手写笔输入设备，还可以 把它当成一个小绘图板使用,折叠键盘,罗技TypeAway折叠键盘,折叠键盘,键盘折叠后仅仅 比一般PDA宽一点点,西门子虚拟键盘,如何在程序中实现VC:,如何在程序中实现VC:,如何在程序中实现java:,MouseMotionListener public void mouseDragged (MouseEvent e) /实现mouseDragged方法 String s = Mouse dragging : X=+e.getX()+Y = +e.getY(); tf.setText(s); public void mouseMoved(Mouse

10、Event e),如何在程序中实现java:,KeyEventKeyListener public interface KeyListener extends EventListener public void keyPressed(KeyEvent ev);public void keyReleased(KeyEvent ev);public void keyTyped(KeyEvent ev); VK_0 VK_9 public char getKeyChar();,2. 笔画,1)笔画输入用于输入一组坐标，相当于多次调用定位输入. 输入的一组点常用于显示折线或作为曲线的控制点。 2)笔画

11、设备 用于指定用户空间中一组有序点的位置,如指定一条折 线的顶点组、指定一条自由曲线的控制点等。 鼠标、轨迹球、游戏棒连续移动的信号经转换成为一组坐标值。图形输入板的连续模式可通过按键激活。当光标在图形输入板表面上移动时，就产生一组坐标值。,与定位设备的输入方式一致：包括直接或间接在屏幕上输入,设置数值坐标等。 许多用于产生定位输入的物理设备均可以用作笔画设备，如鼠标、轨迹球和图形输入板等。,3. 定值,定值（或数值）输入用于设置物体旋转角度、缩放比例因子等。它是要在给定的数字范围内输入一个值。,1)可用键盘键入数值. 2)可用软件的方法在屏幕上绘制一刻度尺或比例尺，用户可用定位设备控制光标在

12、尺子上移动实现数值的输入。 3)用刻度盘实现数值输入的原理也一样，操作员控制从圆心出发的线段绕圆心旋转，根据显示的角度读数或比例数据来定值. 4)如果要输入一个精确的数，最好还是用键盘输入。,定值的几种方法,4. 选择,选择是在某选择集中选出一个元素，它可以用于指定命令，确定操作对象或选定属性等。 1)可用鼠标移动光标到要选图 元附近的位置，按下鼠标的 按钮，通过软件选择距光标 最近的图元。 2)可用键盘上的按键，如功能键. 键盘选择也极为简单，如击数字键“1”表示使用绿色绘制，“2”表示使用蓝色绘制等 .,3)菜单功能使用最普遍，也是非常重要的一种交互方法。使用菜单可改善应用系统用户接口的友

13、好性。,对话框的内容极丰富，在对话框中通常用于选择功能的是选择开关及radio按钮（单选按钮，以小圆框打点表示被选中）。,5. 拾取,1)拾取的功能是选择图形对象，用于选择场景中即将进行变换或编辑的部分。拾取一个对象的方法有： 指定名称法:通过指定欲拾取对象的名称实现. 特征点法:选择时让图形的特征点（如线段的端点，圆心等）以强光醒目显示,来拾取对象. 边界盒法:对每一个子图预先求一个边界盒或比边界盒大一点的边界盒。 分类法:分别将点,折线,弧等在有关按键的控制下进行拾取。,6. 字符串,键盘是目前输入字符串最常用的设备。向应用程序输入字符串。如为某对象确定名字、为某图纸输入加注文字等。输入方

14、式:键盘输入、手写输入、声音输入、菜单输入 写字板 书写时笔画的次序可被系统记录下来，因而比脱机扫描输入识别具有更多信息，具有更高的识别率。 语音输入也是字符串输入以及功能选择的一种输入方法. 语音输入需要使用语音识别技术。,手写板,语音输入,手写平板电脑,三维交互设备,PHIGS除了将图形输入设备分为以上六类之外，还支持三维输入设备，以便使三维空间定位、拾取等操作更为方便。 如三维位置测试仪、数据手套、数据头盔的三维定位等。,日本 红外线激光器,6.2 常见的辅助交互技术,6.2.1 几何约束,定位约束技术在屏幕上定义一个可见或不可见的网格。网格线是等间距的水平线和垂直线，其交点为网格点。在

15、使用网格时，任何方式输入的点都将被定位到离该点最近的网格点上。假设定义网格线为 x=ai,y=bj i,j=0,1,2,n， 设输入点的坐标为（x, y），则离它最近的网格点的坐标为：(a(int(x+a/2)/a),b(int(y+b/2)/b),定位约束的示例,1:定位约束,该技术用于绘制水平或垂直的线段。 绘制时,若终点和起点的连线与水平线的夹角小于45(或更小)，则绘出一条水平线（如下图）,否则绘制垂直线。 避免人眼或定位设备带来的误差，可以应用于印刷线路板或大规模集成电路的设计。,2: 方向约束,方向约束示例,可以看做是一种定位约束，用光标进行选图操作时，为了使光标可以较容易地定位选

16、择区域中的图形，可以将图形的选择区域适当变大，这就是引力场方法。 例如，在每条线段的周围假想有一个区域，光标中心落在这个区域内时，就自动地被直线上离光标最近的一点所代替，如同一个质点进入直线周围的引力场后，被吸引到这条直线上去一样。 注意引力场区域大小的选择要适当。太细了仍然很难将光标定位于图形上，太粗了相邻图形的引力区容易相交，光标在进入引力区相交部分可能会定位不到希望选定的图形上，这样就会出现错误。,图6.7 引力场,3. 引力场,6.2.2 拖 拽,1、要把一个对象放到新的位置.如果光标移动的同时,对象也跟着光标移动.会使用户感觉更直观，从而使得对象的定位更为精确.,拖拽的另一种形式。

17、不同的只是拖动对象的形状随着光标位置的不同而变化。 橡筋的形状可以是任意的，可以是矩形、圆、圆弧、自由曲线，也可以是更复杂的图形。,2、“橡皮筋”技术,橡皮筋演示(点右键选择播放),直线的橡皮筋技术就是在起点确定以后，光标移动确定终点时， 在屏幕上始终显示一条连接起点和光标中心的直线，这条直线 随着光标中心位置的变动而变动，它就象在起点和光标中心之 间紧紧地张着一根橡皮筋一样。有了这根橡皮筋便比较容易找 到通过一个点和一个圆相切的直线的位置。,6.2.3 在三视图上作三维输入,输入一个立体图时，常常是将点、线、面单独输入的。而对一个点、一条线或一个面来说，只要在三视图上给出足够的信息，总是可以

18、唯一地确定它在三维空间中的对应图形。 例如输入一个点时，只要在任意两个视图中确定点的位置,便可唯一地确定三维空间中的一个点的坐标（x，y，z）.,在三视图上作三维输入,在三视图上输入直线段上两端点便确定了三维空间的一条直线. 把一个面上的各顶点在三视图上输入后，就唯一地确定了三维空间中的一个面。 如果把一个多面体的各面均用上述方法输入，也就在三维空间中输入了一个多面体。 用三视图来输入立体图是目前一种主要的输入手段.,z,C,6.3 人机交互输入模式,在人机交互的输入过程中，要求输入过程要有 合理的控制模式。在应用程序和输入设备之间，输 入控制模式是多样的。这些模式取决于程序和输入 设备之间是

19、如何相互作用的。,现在常用的三种基本交互模式,请求模式（request mode） 样本模式（sample mode） 事件模式（event mode）,1、请求模式,在请求模式下，输入设备的初始化是在应用程序中设置的.即通过输入设置命令（或语句）,对相应的设备设置所需要的输入模式后,该设备才能作相应的输入处理。 在请求命令中要指定是哪个应用程序调用的和调用的是哪个输入设备。,当程序运行时，输入设备处于等待状态，等待程序的请求. 当程序运行到request语句时就向输入设备提出输入请求，同时程序停止运行，等待输入设备输入数据。 输入设备立即进入工作状态，直到请求满足之后，程序才继续运行。 输入

20、设备重新处于等待状态. 因此，在请求方式下，程序和输入设备轮流处于工作状态和等待状态，由程序支配输入设备的启动。,请求方式的工作过程,当把一台或多台输入设备定义为样本模式后，这些设备会连续不断地把信息输入进来，而不必等待应用程序的输入语句，即信息的输入和应用程序中的输入命令无关。当应用程序遇到取样命令时，就把相应物理设备此时的值作为取样数值.,2、样本模式,优点 该模式不像请求模式那样要求用户有一明显的动作，它对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。 缺点 当处理某一种输入耗费的时间较长时，可能会失掉某些输入信息。,在取样输入模式的工作过程中，程序和输入设备同时运行.

21、输入设备不断地产生数据，并把数据输入数据缓存区，数据缓存区的内容不断刷新。 程序在运行时若遇到采样语句，就到数据缓存区中读取数据。这样，程序所取得的就是最新的数据。,取样方式的工作过程,3、事件模式 当设备设置成事件模式后，输入设备和程序并行工作。所有被设置成事件方式的输入数据（或事件）都被存放在一个事件队列中，该队列是以事件发生的次序排列的。 当用户在输入设备上完成一个输入动作(如按一下按钮)便产生一个事件，输入的信息及该设备的编号等便被存放到事件队列中。不同的应用程序可到队列中来查询和提取与之有关的事件。,在事件模式下,输入设备和程序独立运行。 输入设备所产生的数据被组织成事件节点，插入事

22、件队列中等待程序的处理。 程序运行到事件处理语句时，就从事件队列中取出队首事件进行处理。 如果事件队列为空，程序则等待一定的时间片，等待事件的发生。,事件模式的输入过程,6.3.4 输入方式的混合使用 请求方式是在应用程序的控制下工作的。取样方式允许输入设备和应用程序同时工作。事件方式由输入设备来初始化数据输入，由应用程序来控制数据处理进程。 现代的计算机图形输入系统往往不是单一地使用一种输入方式，而是多种输入方式的混合使用，即一个应用程序可以使用多种控制方式,使用几种不同的输入设备.,6.4 人机交互新技术,6.4.1 新的界面技术多通道用户界面,多通道交互是人机交互的一种新形式，有以下几个

23、特点: 1） 使用多个感觉通道和效应（动作）通道。当使用一个通道不能充分表达用户的意图时，需辅以其他通道的信息。感觉通道侧重于多媒体信息的接收，效应通道侧重于交互系统中控制信息的输入，两者密不可分，相辅相成。 2） 允许非精确的交互。人类习惯于使用大量非精确的信息交流，比如说天气暖和，就有着高度的模糊性。允许使用非精确的表达手段可以避免不必要的交流负担，体现交互活动的自然性，同时有利于提高效率。 3） 三维和直接操纵。人生活在三维空间中，习惯于直接操纵三维的客观对象，并希望及时看到控制的结果。多通道交互的自然性满足了人们的这种需求。,6.4 人机交互新技术,6.4.1 新的界面技术多通道用户界

24、面,4） 交互的双向性。当用户对对象施加控制时，应能感受到来自物体的反馈。例如，用户用手操纵物体时也应能感受到来自物体的反作用力。 5） 交互的隐含性。好的用户界面应使用户将注意力集中于完成任务而无须为界面分心，仿佛不存在界面一样，各种交互成分在交互过程中隐含说明。如用户操纵物体时，手握住的对象自然是目标，这不需要通过别的方式另外指明。,6.4.2 新的交互技术,多媒体技术 计算机所表现的信息除文字、图形外，还包括声音、静止图像、动态图像、动画等。多媒体正是计算机与视频，音频，通信等技术相集成的产物，侧重于计算机信息表达及输出的多样性和自然性，丰富了计算机表达信息的形式。,2.视线跟踪: 基本

25、工作原理是利用图像处理技术，使用 能锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔 反射的红外线连续地记录视线变化，从而达到记录分析视 线追踪过程的目的。 它有三种主要形式：跳动、注视和平滑尾随跟踪。,依据手的运动 识别数字的手机,3、手势识别 以手势体现人的意图是一种非常自然的方 式。 手势有不同的分类：交互性手势与操作性 手势；自主性手势和非自主性（辅助）手 势 ；离心手势和向心手势 ； 采用不同手段来进行手势识别输入，如鼠 标器和笔，数据手套以及计算机视觉（利 用摄像机输入手势）。,4. 表情识别 计算机面部表情的识别通常分三个步骤进行：(1) 表情的跟踪，即从外界摄取表情信息；(2)表情的 编码，即将表情信息以计算机所能理解的形式表 示出来；(3)表情的识别。,5. 手写识别： 手写识别是将以图形记号表示的语言转换成它的字符表示。 就英语而言，这种符号表示通常就是文本的ASCII表示。 手写识别可分为脱机（off-line，又称离线）识别和联机 （on-line）识别两种方式。,6.语音识别： 一个完整的语音识别系统可大致分为三部 分：1）语音特征提取，目的是从语音波形 中提取出随时间变化的语音特征序列；2） 声学模型与模式匹配（识别算法），即将获 取的语音特征通过学习算法产生，在识别时 将输入的语音特征同声学模型（模式）进行 匹配与比较，得