多点触控(Multi-Touch)屏幕技术综述.doc

多点触控（Multi-Touch）屏幕技术综述摘要：随着iPhone等触控手机和平板电脑的日益火爆，人机互动领域成为新时尚热点，人们追求这种效果华丽、科技感强大的触控技术产品。多点触控技术，支持复杂的姿势识别，通过手势操作，可以实现放大缩小图像等功能。从此，人们可以甩开鼠标键盘，用双手就可以浏览图片、拖拽文件，甚至大玩游戏，一点一拨之间就轻松体验到充满科技乐趣的全新产品。本文将从多点触控技术的定义，发展，当前应用，主要的研究方法分类和发展前景这几个发面对多点触控技术进行综述。关键词：多点触控；Multi-touch；多通道交互技术1、多点触控（Multi-Touch）屏幕技术定义多点触控 (又称多重触控、多点感应、多重感应，英译为Multi-touch或Multi-touch)是一项由电脑使用者透过数只手指达至图像应用控制的输入技术。是采用人机交互技术与硬件设备共同实现的技术，能在没有传统输入设备（如鼠标、键盘等）的情况下进行计算机的人机交互操作1。多点触控系统特点:1、多点触控是在同一显示界面上的多点或多用户的交互操作模式，摒弃了键盘、鼠标的单点操作方式。2、用户可通过双手进行单点触摸，也可以以单击、双击、平移、按压、滚动以及旋转等不同手势触摸屏幕，实现随心所欲地操控，从而更好更全面地了解对象的相关特征（文字、录像、图片、卫片、三维模拟等信息）。3、可根据客户需求，订制相应的触控板，触摸软件以及多媒体系统；可以与专业图形软件配合使用。2、多点触控（Multi-Touch）屏幕技术发展历史多点触控技术始于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。同年贝尔实验室发表了首份探讨触控技术的学术文献。1984年，贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。同时上述于多伦多大学的一组开发人员终止了相关硬件技术的研发，把研发方向转移至软件及界面上，期望能接续贝尔实验室的研发工作。1991年此项技控取得重大突破，研制出一种名为数码桌面的触屏技术， 容许使用者同时以多个指头触控及拉动触屏内的影像。1999年，“约翰埃利亚斯”和“鲁尼韦斯特曼”生产了的多点触控产品包括iGesture板和多点触控键盘。经过多年维持专利的iGesture板和多点触控键盘。2006年，Siggraph大会上，纽约大学的Jefferson Y Han教授向众人演示最新成果，其领导研发的新型触摸屏可由双手同时操作,并且支持多人同时操作。利用该技术，Jefferson Y Han在36英寸27英寸大小的屏幕上，同时利用多只手指(拇指似乎还无法感应到)，在屏幕上画出了好几根线条。与普通的触摸屏技术所不同的是，它同时可以有多个触摸热点得到响应，而且响应时间非常短小于0.1秒。3、主要的研究方法分类1基于传感器的Multi-Touch系统许多Multi-Touch装置基于传感器技术，这些传感器能同时检测到多个接触点，从而识别多个点的输入。和基于计算机视觉的Multi-Touch系统相比，基于传感器的Multi-Touch系统一般不能从现成的组件来组装，搭建的成本较高。而且环境温度、湿度的会影响到系统的性能。但是由于可以把传感器集成在接触表面上，可用于手机、Pads等屏幕较小的手持设备上。Lee等在1985年提出的FMTSID(Fast Multiple-Touch-Sensitive Input Device)2多点触控装置是最早的基于传感器的多点触控装置之一。该系统由一个传感器矩阵面板、行列选择寄存器、A/D转换器和一个控制CPU组成。通过测量电容的改变，来检测手指的触摸点。FMTSID可以精确的检测多个手指的触摸位置，而且还可以检测出手指的接触压力。表 1 Multi-touch技术分类基于传感器技术FMTSID(Fast Multiple-Touch-Sensitive Input Device) Diamond TouchSmart SkiniPhone手机基于计算机视觉技术完全基于计算机视觉Everywhere Display PlayAnywhere基于计算机视觉和光学FTIR(Frustrated Total Internal Reflection)Microsoft Surface三菱电子研究实验室的Dietz等在2001年提出了DiamondTouch（DT），是一个支持多用户的前置摄像头的多点触控系统。桌面是投影的屏幕，同时也是接触屏。触屏下面镶嵌大量的触角，每一个触角传递一个特定的信号，每一个使用者有独立的接收器，利用使用者的导电性，通过其座椅将信号传递。当使用者接触面板，在接触点附近的触角在使用者的身体和接收器之间传递微弱的信号。这种独特的接触技术支持单一使用者的多种接触（例如双手接触的动作），还能区别不同使用者之间的同时输入（多达4个）而互不干扰。该系统还可以检测接触点的压力，支持丰富的手势，不受外来物体的干扰。和许多的多点触控技术一样，DT不能区分来自同一个用户的多个接触点是那个手指的。DiamondTouch存在如下的缺点：只能检测到“touch”动作，而不能识别放在他表面上的物体；DT则从桌子上方投射图像，因此使用的时候，人的肢体遮挡显示屏，从而带来操作上的不变。根据Lee等提出的FMTSID原理，Sony计算机科学实验室的Rekimoto等在2002年提出具有更高分辨率的SmartSkin3多点触控系统，该系统由网格状发射器/接收器组成。SmartSkin可以不仅可以识别多个手的接触位置和它们的形状，而且通过电容感应和网格式的天线来计算手和接触面的距离。和DiamondTouch相比，SmartSkin能够返回更加丰富的接触信息（如手指的接触形状）。这激发了Cao等人利用手指的接触形状来设计新颖的交互方式。Apple在2007年推出的iPhone手机，是第一个支持多点触控的移动设备。iPhone使用电容耦合来感应多个触控点。iPhone能够实现具有有限维度的多点触控，允许人们以徒手的方式进行操作，并且可以通过虚拟的键盘进行打字，拨电话号码以及由Krueger最先介绍的“pinching”技术（用一只手的大拇指和食指实现对地图和照片的缩放操作）。这是鼠标、键盘这些传统的输入方式所办不到的，iPhone的这些功能让人们耳目一新。随着Apple公布了iPhone SDK，引起了研究人员对于Multi-touch技术在手持设备中的应用研究的极大兴趣。2 基于计算机视觉的Multi-Touch系统由于计算机成本的下降和性能的提高，计算机视觉技术得到了很大的进步，这使我们能够实时、高速处理视频信号，这足以满足实时交互和人机交互的要求。由此研究人员提出了许多以计算机视觉为核心的Multi-Touch系统。2.1完全基于计算机视觉的多点触控系统完全基于计算机视觉的多点触控系统仅使用图像处理技术来识别接触点及其接触的位置。采用该技术的多点触控系统可以在任何平整的表面使用，而不需要专门的显示设备，具有很高的便携性。但这种便携性是以牺牲选择精度为代价的。Pinhanez等人设计了一个完全基于计算机视觉的触摸显示系统Everywhere Display4。该系统使用一个摄像头和投影仪通过图像处理技术把一个普通的屏幕变成可以触控互动的显示屏幕。虽然Pinhanez在文章中没有提供任何接触检测算法的选择精度的数据，但很明显为了便携性而牺牲了选择的精度。比起其它Multi-touch技术来说，Everywhere Display要精确确定手指触摸显示屏的时间和时长很困难。Microsoft的Wilson 等提出的PlayAnywhere系统是一个相对比较紧凑和具有较好的移动性的前置摄像头的桌面交互系统。Wilson为基于计算机视觉的前置摄像头桌面交互系统提出了多种图像处理技术，最显著的是基于阴影的触摸检测算法，该算法能够准确、可靠地检测触摸事件和它们的接触位置。但Agarwal等指出，该算法只有在手指的指向是垂直的情况下效果才是最好的，这限制了该系统在协作环境下的应用。Agarwal等人根据立体图像和机器学习技术开发了计算机视觉算法，该算法改善了基于计算机视觉的多点交互桌面的选择精度（精确度23mm），能够准确地检测指尖的触摸事件，其准确率达到了98.48%，这和以前的技术级相比（之前的选择精度一般是cm级别的），有了很大的提高。2.2基于计算机视觉和光学的多点触控系统基于计算机视觉和光学的Multi-touch技术搭建起来的设备具有很好的扩展性，而且成本相对较低，但其体积一般都比较大。下面介绍两种基于计算机视觉和光学的Multi-touch系统。(1)受抑全内反射技术（FTIR）FTIR（Frustrated Total Internal Reflection）是一种光学现象，LED(发光二极管)发出的光束从触摸屏截面照向屏幕的表面后，将产生反射。如果屏幕表层是空气，当入射光的角度满足一定条件时，光就会在屏幕表面完全反射。但是如果有个折射率比较高的物质(例如手指)压住丙烯酸材料面板，屏幕表面全反射的条件就会被打破，部分光束透过表面，投射到手指表面。凹凸不平的手指表面导致光束产生散射(漫反射)，散射光透过触摸屏被架设在亚克力板面下面的红外摄像头读取，通过对应的软件（Touchlib）就可以检测到相应的触摸信息。Touchlib 是NUI Group为多点触控系统开发的一套软件库，它实现了计算机视觉大部分算法。这种技术使用简单的Blob 检测算法就能检测多个触摸点和接触的位置。实际上，FTIR原理很早就被用来生产一些输入设备，例如指纹阅读器。Jefferson首次利用FTIR原理搭建了一个低成本的多点触摸显示屏，大大降低了Multi-touch技术的研究成本。根据Jefferson的方法，我们搭建了一个60cmx45cm的Multi-touch平台，总共花费不到500元。(2)散射光照明技术（DI）DI（Diffused Illumination）多点触摸技术指红外光从底部照射在触摸屏幕上，将漫反射幕放在触摸屏幕的上面或者底部，当物体触摸屏幕的时候会反射比漫反射幕更多的红外光，然后被摄像头读取，通过Touchlib就可以检测到相应的触摸信息。用这个漫反射幕也可以用来检测悬停和在界面上的物体。DI技术和FTIR相比，有一定的优势，DI系统可以检测物体的悬停状态（系统能识别手或者手指在屏幕上移动或者移近屏幕，而不需要真正触摸）。另外，基于DI的系统依靠“看”什么在屏幕上，而不是检测触摸本身，因此，DI能够识别和检测物体和物体的标记。但是，和FTIR中使用的简单的Blob跟踪检测算法相比，DI使用的图像处理技术比较复杂。此外，DI系统容易受到外界光线的影响。Microsoft的 Surface 是基于背面DI (Diffuse Illumination)技术的多点触控系统。Surface内置的摄像头可以感知触摸和姿势等用户输入（手指在屏幕上移动），还能够捕捉识别放在上面的物体所需信息。这些信息发送到普通类型的Windows PC进行处理，处理结果由数字光处理（DLP）投影仪返回给Surface。Microsoft Surface能感应多个手指和手，能识别多种物体和它们在表面上的位置。还有其他一些基于计算机视觉和光学的Multi-touch系统，例如：Alex 提出的激光平面多点触摸技术（LLP）5；由Nima提出发光二极管平面多点触摸技术（LED-LP）；由Tim Roth 提出的散射光平面多点触摸技术（DSI）。这些技术都可以用来搭建Multi-touch设备。更多的信息可以浏览自然用户界面小组（NUI Group）开源社区网站（）。NUI Group创建于2006 年，是全球规模最大的关于自然用户界面的在线开源社区，NUI Group为人机交互感兴趣的开发者提供了一个彼此交流的环境，其成员收集并分享了许多搭建多点触摸系统的丰富信息和宝贵经验。5、当前应用多点触控技术目前的最大优势就是展示效果华丽醒目，且操作简单直观，妙趣横生，让人爱不释手。根据他的优势，目前主要有如下应用1，现在的多点触控技术让您在编写文档、浏览网页、与朋友即时聊天、微博互动过程中，可以“亲自动手”，迅捷完成各种应用。复制、粘贴、删除等常规操作，用手指头即可轻松一“指”搞定，旋转、放大、缩小等操作也同样快捷简单，高效易用6。2，多点触控技术应用于娱乐方向，可以说是一大主流，最具代表性的就是iPad和途拓科技的多点触摸娱乐平台。iPad可以说是中小尺寸触控产品的翘楚，其定位于娱乐，其上网冲浪、邮件等功能更加方便和具有视觉冲击力，更有图片、视频、音乐等功能，加上不可抵挡的趣味游戏，使得这款类似平板电脑的电子产品在娱乐方面可谓现阶段的巅峰之作。而途拓科技的多点触摸娱乐平台，则定位于国内顶级娱乐会，集休闲、个性化服务、点歌系统、娱乐游戏、聊天交友等功能与一身，是途拓科技多点触摸软件的代表之作。3.多点触控技术应用于展览展示等场合，只能是大尺寸触摸屏。途拓科技的多点触控一体机、多点触控液晶茶几等，是专为展示场合研发的触控产品，适用于展馆、商业店面、互动会议、房产展示、KTV等，适用面广，效果华丽醒目7。6、发展前景摒弃鼠标和键盘，触控技术的未来发展前景广阔，越来越多的场合需求多点触控产品来取代旧有的显示产品8。1.展览展示馆：多点触控一体机是途拓科技主推的多点触控产品，价格仅相当于国内外同类型产品价格的1/4。内置的多媒体浏览、时空长廊、电子翻书、三维地图、增强PPT展示及电子白板等功能，基本涵盖了多媒体素材展示、产品介绍和营销、历史介绍、商务/政务会议、汇报与播报及电子教学等多种场景应用的主要功能需求，展示效果华丽醒目9。2.商务/政务互动会议：途拓科技研发的互动会议软件，包括商务和政务两方面，各有侧重，人机互动功能强大，特有的设备联动功能使得与会人员交流更加方便10。3.商业店面途拓科技研发的多点触控电子柜台、电子橱窗、电子试衣镜等产品，均适用于商业店面产品展示，各有特点，全新的用户体验方式，手势识别，无法抗拒的新奇体验感觉，与用户产生情感共鸣。4.娱乐会所多点触控技术在娱乐方向的应用可以说是最受关注的，而未来的发展也可能以娱乐方向为主导，KTV等场所，已经开始广泛使用触控产品，途拓科技在09年就已经和雷石合作开发多点触摸娱乐平台，其具有休闲、个性化服务、点歌系统、娱乐游戏、聊天交友等多种功能，受到广大消费者的喜爱。参考文献1王岫晨.多点触控技术引领人机互动新时代.集成电路应用 2011,9(10)2Lee, S., W. Buxton, and K.C. Smith. A Multi-Touch Three Dimensional Touch-Sensitive Tablet. in Proceedings of the SIGCHI conference on Human factors in computing systems. 1985. San Francisco, California, United States: ACM.3 Rekimoto, J. Smar