多通道用户界面.doc

M u ltMi o d a l U se r In te rfa c eCU I Hong - yan( Com pu ter S cience D epa rtm en t, N orthw est Poly techn ica l U n iversity, X ian 710072, Ch ina)A b stra c t: U se r In te rface is mo re and mo re impo rtan t in comp u te r techno logy becau se of the rap idp rogre ss of comp u te r techno logy and In te rne t techno logy. The M u ltimoda l U se r In te rface is a new re sea rch a sp ec t in th is dom a in. It u se m any a lte rna ting device s and imp rove a lte rna ting effic iency. Th is a rtic le m ake de ta iled d iscu ssion on concep t of M u ltimoda l U se r In te rface and som e in te rac tion techno logy. A t the end of the a rtic le, we a lso in troduce the p rogre ss fo reground of the M u ltiModa l U se r In te rface.Key word s:U se r In te rface; M u ltiModa l U se r In te rface; H um an Comp u te r In te rac tion1. 3 人机界面的发展趋势1 前 言1. 1 人机界面的定义人机界面是指人与计算机系统之间的通信媒体 或手段 ,它是人机双向信息交换的支持软件和硬件 ,是用户使用计算机系统的综合操作环境 。这里“界 面 ”定义为通信的媒体或手段 , 它的物化体现是有 关的支持软件和硬件 ,如带有鼠标的图形显示终端 。人机界面也称用户界面 。 衡量人机界面优劣的标准在于是否对用户友好 ,它包括外观和感觉两个方面 。人机界面的设计直接关系到人机关系的合理性 ,而研究人机界面则 主要针对两个问题 :显示与控制 。1. 2人机交互的定义人机交互是人机界面学的一个分支 ,它是指用 户与计算机系统之间的通信 ,是人与计算机之间各种符号和动作的双向信息交换 。实现人与计算机之 间通信的软 、硬件系统即为交互系统 。这里的“交 互 ”也就是信息交换 , 包括计算机通过输出或显示设备给人提供信息 ,以及人通过输入设备向计算机 输入有关信息 。信息交换的形式有多种 ,例如键盘 、鼠标 、显示屏幕上的符号或图形 ,也可以用声音 、手 势或身体的动作等 。人机界面的发展经历了从命令行界面到当前图形和多媒体用户界面的过程 ,其直接结果就是算机拥有了越来越多的用户 ,用户需要记忆和训的时间和强度都大幅度降低了 ,计算机呈现视觉觉信息的能力大大加强 ,提高了用户对信息表现式的选择和控制能力以及接收信息的效率 。与此时 ,随着计算机表现形式的多样化和用户与计算交互方式的多样化 ,传统的交互手段如键盘 、鼠标用途在缩减 ,人机交互方式正经历着一场重大的革 ,无处不在的计算使人与计算机之间产生了一新的交互方式 ,以满足人们不断增加的对信息访和计算功能的需求 。为了适应这种变化 ,出现了多通道人机界面术 。早在大约三十年前 N icho la s N egropon te 就已提出了多通道界面的构想 , 他提出了“交谈式计机 ( conve rsa tiona l comp u te r) ”的 概 念 。人 可 以 用音 、手势 、表情 、注视和肢体语言 ,也就是用他们日生活中相互交流 的 方式 , 与 这样 的 机器 进行 交这正是今天多通道人机交互研究的理想 。多通道用户界面通过不同通道与计算机进行互 ,可以结合来自多个通道的信息 ,利用互补性来著提高界面对用户输入的识别性 ,还可以提高输作者简介 :崔鸿雁 ( 1978 - ) ,女 ,江苏阜宁人 ,硕士研究生 ,主研方向 :测控技术及嵌入式系统 。收稿日期 : 2005 - 01 - 17输出带宽 ,让人们能够在任何时间 、任何地点用更自然 、高效的方式与任何计算装置进行通讯和交流 。 同时社会用户界面 ( SU I) 、网络用户界面 (NU I)也都是人机界面的发展方向 。人机界面未来的发展 趋势是多通道 - 多媒体用户界面和虚拟现实系统 ,从而最终将进入“人机和谐 ”的最高形式 。2 多通道用户界面及交互技术2. 1概述通过不同通道与计算机系统进行通讯的用户界 面 ,称为多通道用户界面 , 其中包括视觉 、听觉 、触 觉 、动觉 、言语 、手势 、表情 、眼动或神经输入 。多媒体用户界面丰富了信息表现形式 ,发挥了 用户感知信息的效率 ,拓宽了计算机到用户的通信带宽 。而用户到计算机的通信带宽却停滞不前 ,至今仍停留在图形用户界面 ( GU I/W IM P ) 阶段 , 从而 成为当今人机交互技术的瓶颈 。多通道人机界面技术很好的解决了这个问题 。 多通道界面旨在充分利用一个以上的感觉和运动通 道的互补特性来捕捉用户的意向 ,从而增进人机交互中的自然性 。人的感觉通道有视觉 、听觉 、触觉 、 嗅觉和平衡等 ; 人的运动通道有手 、嘴 、眼 、头 、足及身体等 。现在 ,计算机操作时 ,人的眼和手十分累 , 效率也不高 。如果能够将听 、说和手 、眼等协同动 作 ,采用多通道 、以自然方式交互 ,既可以实现高效人机通信 ,也可以由人或机器选择最佳反应通道 ,从 而不会使某一通道负担过重 。2. 2多通道和虚拟现实技术目前 ,多媒体和虚拟现实系统人机界面的发展 ,正使人机交互技术经历着巨大的转变 。下面介绍一 些多通道和虚拟现实技术 。2. 2. 1 眼动跟踪目前人机界面所用的任何人机交互技术几乎都 有视觉的参与 。早期的视线跟踪技术首先应用于心 理学研究 ,后被用于人机交互 。通过对视觉 - 眼动系统的研究 ,可以得知人在 观测各种外景和屏幕信息时的 扫描 选择 和 注视 过 程 ,从而研究人的视觉感知和综合机理 。并且在多 批量 、多目标 、多任务情况下 ,对于不同位置 、大小 、 颜色 、速度目标的眼动敏感度 、延迟 、反映速度等具 体特性有深入细致的了解 。有关视觉输入的人机界面研究主要涉及两个方 面 :一是实现跟踪原理和技术的研究 ;二是在使用这 种交互方式后 ,人机界面的设计技术和原理的研究 。在人机交互中对视线追踪的基本要求有 : 要保证一定的精度 ,满足使用要求 ; 对用户基本无干扰 ;定位校正简单 ;可作为计算机的标准外设 。2. 2. 2 手势识别以手势体现人的意图是一个非常自然的方式,将手势运用于计算机能够很好地改善人机交互的效率。基于手势的交互技术不同于那些使用手操作设备的交互技术 。利用计算机识别和解释手势输入是 将手势应用于人机交互的关键前提 。目前 ,能识别手势的典型交互设备是数据手套 ,它能对较为复杂的手的动作进行检测 ,包括手的位置和方向 、手指弯 曲度 ,并可根据这些信息对手势进行分类 。手势的识别可以有多种途径 ,人们已经研究过几种交互技术 ,包括手势按钮 、手势定位器和手势拾 取设备等等 ,这些交互设备尤其适合于三维空间交 互 ,起到二维空间交互中类似交互技术的作用 。2. 2. 3 三维交互所有三维空间控制器的共同特点是都具有六个自由度 。对应于描述三维对象的宽度 、深度 、高度 、俯仰角 、转动角 、偏转角 。三维交互技术使用三维输入输出设备来完成交互任务 ,主要的技术难点是如 何在三维空间中直接完成定位 、拾取与勾画等交互 操作 。2. 2. 4 语音识别语音识别是新一代人机界面中最重要的技术之 一 。目前主流的语音识别技术是基于统计模式识别的基本理论 。计算机语音识别过程与人对语音识别的处理过程基本上是一致的 。计算机科学的进展将提供用于表示和利用语音识别的体系结构和平台 。研究者将结合语音 、面部表情和手势 ,改善对语言的理解 ,并产生更自然 、更清晰的动画角色语音 。现在 ,语音识别已经在金融 、电信和旅游 、娱乐 、军事等许多方面取得了突破性的应用 。语音合成技术把可视的文本信息转化为可听的声音信息 ,其应 用的经济效益和社会效益前景良好 。语音无庸置疑地成为人与计算机等信息设备进行交互的最重要的 “人机界面 ”。2. 2. 5 表情识别面部表情是人体语言的一部分 ,它与情绪之间 存在着千丝万缕的联系 。如何感知 、记录 、识别这些 变化过程是表情识别的关键 。计算机面部表情的识别通常分为三个步骤 ,即 表情的跟踪 、表情的编码和表情的识别 。计算机的表情识别技术可以使得人机交互更加自然 。2. 2. 6 自然语言理解随着社会的日益信息化 ,人们越来越强烈的希 望用自然语言同计算机交流 。自然语言理解是自然 语言人机交互的基础 。自然语言处理就是研究如何能让计算机理解并 生成人们日常所使用的语言 ,并对人给计算机提出人机界面领域 ,使得用户界面更加灵活和易于使用 。随着网络的发展 ,手写识别与网络的结合也是必然 的趋势 。2. 3多通道用户界面的特点多通道用户界面的主要特点如下 :( 1 )使用多个感觉和效应通道 。尽管感觉通道 侧重于多媒体信息的接受 ,而效应通道侧重于交互 过程中控制与信息的输入 ,但两者是密不可分 、相互配合的 ;当仅使用一种通道不能充分表达用户的意 图时 ,需辅以其它通道的信息 ;有时使用辅助通道以增强表达力 ;需要特别强调的是 ,交替而独立地使用 不同的通道不是真正意义上的多通道技术 ,反之 ,应 允许充分地并行协作的通道配合关系 。( 2 )三维的和直接操纵的 。人类大多数活动领 域具有三维和直接操纵特点 ,人生活在三维空间 ,习惯于看 、听和操纵三维的客观对象 ,并希望及时看到 这种控制的结果 。多通道人机交互的自然性反应了 这种本质特点 。( 3 )允许非精确的交互 。人类在日常生活中习 惯于并大量使用非精确的信息交流 ,人类语言本身就具有高度模糊性 。允许使用模糊的表达手段可以 避免不必要的认知负荷 ,有利于提高交互活动的自 然性和高效性 ;多通道人机交互技术主张以充分性代替精确性 。( 4 )交互双向性 。人的感觉和效应通道通常具 有双向性的特点 ,如视觉可看可注视 ,手可控制 、可触及等 ,多通道用户界面使用户避免生硬的 、不自然的 、频繁的 、耗时的通道切换 ,从而提高自然性和效 率 。例如视线跟踪系统可促成视觉交互双向性 ,听觉通道利用三维听觉定位器实现交互双向性 ,这在单通道用户界面中是难以想象的 。( 5 )交互的隐 含 性 。有 人认 为 , 好的 用 户界 面 应当使用户把所有注意力均集中于完成任务而无需为界面分心 ,即好的用户界面对用户而言应当是不 存在界面 。追求交互自然性的多通道用户界面并不现状和未来方向 。( 2 )网络通信服务 。网络技术的应用将人类会带入了信息化时代 。采用语音技术后 ,用户在个过程中不用进行繁琐的操作 , 网络将会向着“听会说 ”的实用化方向发展 。( 3 )电话信息应用 。语音技术已逐渐在电信讯服务领域的智能电话查询系统中展开应用 ,用只需拨打电话 ,就可实时获取所需信息 。随着互网的出现和推广 ,在技术上语音与互联网已能够功的结合 。用户可以通过电话 ,方便的发送电子件和类似的留言信息 。( 4 )计算机辅助教育和远程教育 。多媒体的向教学也离不开语音技术的应用 ,网络技术的发使得教育手段增多 ,“能听会说 ”的计算机辅助教必然是未来发展方向 。( 5 )计算机辅助设计 。由于手写体可以让用像平时那样 ,拿着笔任意勾勒思路 ,同时语音可在定程度上替代键盘的地位 ,这使得设计者能够将己的的想法自然的表现出来 。2. 5 多通道用户界面研究的目标多通道用户界面研究的目标是 : 交互自然使用户尽可能多地利用已有的日常技能与计算机互 ,降低认知负荷 ; 交互高效性 : 使人机通信信交换吞吐量更大 、形式更丰富 ,发挥人机彼此不同认知潜力 ; 吸取已有人机交互技术的成果 ,与传的用户界面特别是广泛流行的 W IM P / GU I兼容 ,使用户 、专家用户的知识和技能得以利用 ,不被淘汰3 多通道用户界面及交互技术发展前景多通道用户界面结合多个通道 ,可以发挥各通道独特的优势 ,利用互补带来的灵活性 ,实现更面和效率更高的交互 ;结合多个通道的信息 ,可以用互补性来提高界面向用户输出时的表现力 。(下转第 76页因为基本微分电路在高频时极不稳定 ,且容易受到噪声的影响 ,所以并不实用 。实际的微分 1 到 微分 2的电路由图 6 所示 ,运放 A1 构成微分 1 ,运放 A2和 A 3构成绝对值电路 ,运放 A 4 构成微分 2。 在微分 1中 ,通过增加电阻 R1 ,使得运算放大器的输出信号在未到达 fn 之前就出现了频率折点 , 从而 使 fn 处的相移大大减小 ,并消除了共振峰 。电容 C1 的值为 R1C2 /R2 , 这样就缩小了带通 区 的带 宽 , 从而大大减小了噪声 。绝对值电路是从精密半波整流 器演变而来 , A 3构成输出网络 , A2 构成输入求和网 络 。微分 2的结构与微分 1 一样 ,只是参数的值有所不同 。伸系统之间 , 与牵伸 系 统构 成闭 环 控制 , 就 可以 对M PO F的直径进行有效的控制 。该系统较高的测量 精度和信号处理效率 ,能够使 M PO F 直径稳定在一定范围之内 ,有效提高了 M PO F的成品率 。图 7硬件配置系统图 6 微分 1到微分 2的实际电路微机系统我们采用单片机 A T89C51 来构建 ,计 数脉冲的读取采用中断方式 ,用 CCD 的起始信号作 为中断信号 ,在中断信号到来以后读取计数脉冲 N 值并保存 ,然后清零计数器 ,再等待下一个计数脉冲 的到来 。将记录的 N 值进行处理就可以得到径值 , 之后 ,通过显示电路显示 ,并传送给牵伸控制系统 。图 8 软件系统参考文献 : 1 李新秋 ,徐光等 . CCD 外径测量及控制 J . 橡胶工业 ,1999: 238 - 240.许世文主编 . 计量光学 M . 哈尔滨 : 哈尔滨工业大学出版社 , 1988.王庆有主编 . CCD 应用技术 M . 天津 : 天津大学出版社 , 2002.常丹 华 . 基 于 CPLD 技 术 的 CCD 驱 动 时 序 产 生 方 法 J . 仪器技术与传感器 . 2001: 26 - 28.张永强 ,于荣金 . 塑料光纤 J . 燕山大学学报 , 2003:58 - 64. 2 整个过程的硬件配置如图所示 。4 结论7 所示 ,软件系统如图8 3 4 5 把基于 CCD 的直径测量系统放在挤