人机交互综述.docx

人机交互综述1 引言人机交互(Human-Computer Interaction，HCI)是研究人、计算机以及它们间相互影响的技术。而用户界面是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。人机交互和用户界面有紧密的联系，但又是两个不同的概念:前者强调的是技术和模型，后者是计算机的关键组成部分。计算机是20世纪的一项伟大发明，它对21世纪人类生活的各个方面将带来深刻影响。计算机的发展历史，不仅是处理器速度、存储器容量飞速提高的历史，也是不断改善人机交互技术的历史。人机交互技术，如鼠标器、窗口系统、超文本、浏览器等已对计算机的发展产生了巨大的影响，而且还将继续影响全人类的生活。人机交互技术是当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术。美国总统信息技术顾问委员会的“21世纪的信息技术报告”中将“人机交互和信息管理”列为新世纪4项重点发展的信息技术(还包括软件、可伸缩信息基础设施、高端计算)之一，它的目标是研制“能听、能说、能理解人类语言的计算机”，并指出“现在美国40%以上的家庭拥有计算机，然而，对于大多数美国人来说，计算机仍然难以使用。调查表明，由于不理解计算机正在做什么，用户浪费了12%以上的上机时间。更好的人机交互将使计算机易于使用，并使使用者更愉快，因而可提高生产率。考虑到现在经常使用计算机的人数多，研制这种计算机的回报将非常巨大。最理想的是，人们可以和计算机交谈，而不像现在这样仅限于窗口、图标、鼠标，指针(WIMP)界面”。微软中国(后改为亚洲)研究院从成立一开始，就将新一代人机交互技术作为其主要研究方向。ACM图灵奖1992年获得者、微软研究院软件总工程师Butler Lampson在题为“二十一世纪的计算研究”报告中指出“计算机有三个作用:第一是模拟；第二是计算机可以帮助人们进行通信；第三个是互动，也就是与实际世界的交流”；“人们希望计算机能够看、听、讲，甚至比人做得更好，并能够进行实时处理”。我国国家自然科学基金会、国家重点基础研究发展计划(973)、国家高技术研究发展计划(863)等项目指南中，均将先进的人机交互、虚拟现实技术列为予以特别关注的资助项目。当前互联网、虚拟现实、移动计算、无所不在计算等飞速发展，对人机交互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。计算机系统的拟人化，以虚拟现实为代表；计算机的微型化、随身化和嵌入化，以手持电脑、智能手机为代表，将是计算机两个重要的应用趋势。人机交互技术是其中的瓶颈技术。以人为中心、自然、高效将是发展新一代人机交互的主要目标。2 人机交互的发展人机交互的发展历史,是从人适应计算机到计算机不断地适应人的发展史它经历了几个阶段:(1) 早期的手工作业阶段。当时交互的特点是由设计者本人(或本部门同事)来使用计算机,他们采用手工操作和依赖机器(二进制机器代码)的方法去适应现在看来是十分笨拙的计算机；(2) 作业控制语言及交互命令语言阶段。这一阶段的特点是计算机的主要使用者程序员可采用批处理作业语言或交互命令语言的方式和计算机打交道,虽然要记忆许多命令和熟练地敲键盘,但已可用较方便的手段来调试程序、了解计算机执行情况；(3) 图形用户界面(GUI)阶段。GUI的主要特点是桌面隐喻、WIMP技术、直接操纵和“所见即所得(WYSIWYG)”。由于GUI简明易学、减少了敲键盘、实现了“事实上的标准化”,因而使不懂计算机的普通用户也可以熟练地使用,开拓了用户人群。它的出现使信息产业得到空前的发展；(4) 网络用户界面的出现。以超文本标记语言HTML及超文本传输协议HTTP为主要基础的网络浏览器是网络用户界面的代表。由它形成的WWW已经成为当今Internet的支柱。这类人机交互技术的特点是发展快,新的技术不断出现,如搜索引擎、网络加速、多媒体动画、聊天工具等;(5) 多通道、多媒体的智能人机交互阶段。以虚拟现实为代表的计算机系统的拟人化和以手持电脑、智能手机为代表的计算机的微型化、随身化、嵌入化,是当前计算机的两个重要的发展趋势。而以鼠标和键盘为代表的GUI技术是影响它们发展的瓶颈。利用人的多种感觉通道和动作通道(如语音、手写、姿势、视线、表情等输入),以并行、非精确的方式与(可见或不可见的)计算机环境进行交互,可以提高人机交互的自然性和高效性。多通道、多媒体的智能人机交互对我们既是一个挑战,也是一个极好的机遇。3 人机交互的关键技术多通道交互(MultiModal Interaction,MMI)是近年来迅速发展的一种人机交互技术,它既适应了“以人为中心”的自然交互准则,也推动了互联网时代信息产业(包括移动计算、移动通信、网络服务器等)的快速发展MMI是指“一种使用多种通道与计算机通信的人机交互方式。通道(modality)涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法,如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等”,采用这种方式的计算机用户界面称为“多通道用户界面”。MMI的各类通道(界面)技术中,有不少已经实用化、产品化、商品化。其中我国科技人员做出了不少优异的工作。3.1 手写汉字识别在手写汉字识别方面,中国科学院自动化研究所开发的“汉王笔”手写汉字识别系统经过近20年的研究和开发,已能识别27000个汉字,当用非草写汉字、以每分钟12个汉字的速度书写时,识别率可达99.8%。我国现在已约有300万手写汉字识别系统的用户。3.2 数字墨水技术微软亚洲研究院多通道用户界面组发明的数字墨水技术,采用全新易操纵的笔交互设备、高质量的墨水绘制技术、智慧的墨迹分析技术等,不仅可用作为文字识别、图形绘制的输入,而且可作为一种全新的“Ink”数据模型,使手写笔记更易阅读、获取、组织和使用、数字墨水技术已作为产品结合在微软的Tablet PC操作系统中,产生了巨大的社会影响。它还将继续发展,有可能成为新一代优秀的自然交互设备。3.3 笔式交互技术在笔式交互技术研究中,中国科学院软件研究所人机交互技术与智能信息处理实验室在笔式交互软件开发平台、面向教学的笔式办公套件(包括课件制作、笔式授课、笔式数学公式计算器、笔式简谱制作等)、面向儿童的神笔马良系统的开发应用方面均有出色的工作,其中不少已经实用化、产品化。瑞典Anoto AB公司开发了使用蓝牙技术的digital pens, digital papers专利及相关的开发工具包等,在采用纸、笔的有形(实物)操作界面方面带来诱人的应用前景,已起广泛关注。3.4 语音合成技术语音合成技术,又称文语转换(Text To Speech,TTS)技术,从1990年基音同步叠加(Pitch-Synchronous OverLap and Add, PSOLA)方法的提出,使合成语音的音色和自然度明显提高。基于PSOLA方法的法语、德语、英语、日语等语种的文语转换系统相继研制成功。在汉语语音合成方面国内起步较晚,大致也经历了共振峰合成至PSOLA方法的过程。在国家的支持下,汉语语音合成取得了显著进展,如中国科学院声学研究所的KX-PSOLA、联想佳音、清华大学的TH SPEECH、中国科技大学的KDTALK等系统。1999年,在国家智能计算机研究开发中心、中国科技大学人机语通信实验室的基础上组建了科大讯飞公司,技术上更着眼于合成语音的自然度、可懂度和音质,设计了基于LMA声道模型的语音合成器、基于数字串的韵律规则分层构造、基于听感量化的语音库,以及基于汉字音、形、义相结合的音韵码等,先后研制成功音色和自然度更高的KD863及KD2000中文语音合成系统。其语音产品在主流市场有较高占有率,并牵头制定中文语音标准,是具有国际先进水平的汉语语音合成技术。3.5 手语识别和合成技术在手语识别和合成方面,中国科学院计算技术研究所研制成功了基于多功能感知的中国手语识别与合成系统,它采用数据手套可识别大词汇量(5177个)的手语词。该系统建立了中国手语词库,对于给定文本句子(可由正常人话语转换而成),自动合成相应的人体运动数据。最后采用计算机人体动画技术,将运动数据应用于虚拟人,由虚拟人完成合成的手语运动。该系统可输出大词汇量的手语词,为中国聋哑人的教育、生活提供了有用的辅助工具,使他们用手语与正常人的交流成为可能。3.6 生物特征识别技术(Biometrics) 生物特征识别技术(Biometrics)是受到广泛关注的一类新兴识别技术,早期通过对人的指纹识别来确定人的身份,因而指纹识别被广泛应用于安全、公安等部门。随着反恐斗争的日显重要,各国正在对其他人体特征进行广泛研究,希望能尽快找到快速、准确、方便、廉价的身份识别方法。对眼睛虹膜、掌纹、笔迹、步态、语音、人脸、DNA等的人类特征研究和开发,正引起政府、企业、研究单位的广泛注意。上述成果表明,作为人类最重要的自然通道语音和笔的交互技术(包括手写识别、数字墨水、笔交互、语音识别、语音合成等通道技术),近年来已有显著的进步,我国的不少成果已具有国际先进水平,并达到了一定的产业规模。虽然语音和笔(手势)通道因其自身的特点