基于图像处理的光学触控综述余坦秀

1、基于图像处理的光学触控综述余坦秀（西安电子科技大学，陕西 西安710071）摘要：以图像处理技术为基础的光学触控是指利用摄影机扑捉用户触控动作的图像，然后经过图像处理软件进行处理，识别用户的手势或者确定用户手势触控的位置，进而实行触控动作。关键字：摄影机；图像处理；触控屏Abstract:the optical touch that is based on image processing technology, it gets the image of users touch by camera ,then the image is analysed by the image process

2、ing software ,afterwords the gesture of user is distinguished and the touch position is confirmed,then the touch can practise on panel.Key words: camera; image processing; touch panel一引言 光学触控技术是最近几年发展比较快的触控技术，它主要由触控模块、图像采集和处理模块、控制模块、触摸模块四部分组成。它与传统的触摸技术比如电阻式触摸技术和电容式触摸技术相比，有着易于搭建，造价成本低，操作平台灵活等优点，使得这项技

3、术的研究和实践得到了广泛的发展。同时，与传统的光学触控相比，基于图像处理的光学触控更依赖于图像处理软件的支持，特别是现在matlab、opencv等软件处理图像的能力日益强大，使得这项技术有了迅速的发展。二光学触控技术原理1. 受抑全内反射多点触摸技术(FTIR)受抑全内反射多点触摸技术1-3是由纽约大学的Jeff Han教授于2005年发明的，这项技术的原理主要是基于光学的全反射（又名为全内反射）原理，当光从光密介质射向光疏介质时，当入射角超过某一角度C（临界角C=arcsin(),其中n2为光疏介质的折射率，n1为光密介质的折射率）时，折射光完全消失，只剩下反射光线的现象叫做全反射。Jef

4、f Han教授通过这个原理，将红外线发射器从一块一定厚度的亚克力板侧面向板内发射，通过控制发射角使得红外线只能在板内进行全反射，当用户在亚克力板表面触摸时，这时，由于外界的介质改变，使得原本的全反射现像消失，光线被用户的接触部位反射或折射，在触摸的地方就会将原本反射在内部的红外线折射到我们在亚克力板外面架设的红外摄像头，通过红外摄像头扑捉到的图像，用相应的软件进行分析就可以侦测到相对应的触点。图1 受抑全内反射多点触摸技术原理图 受抑全内反射多点触摸技术实行效果好坏的关键是对亚克力板内的全反射破坏的效果。可以在亚克力板表面加上一层兼容层，兼容层可以用硅胶材料制作，它能够提高手指的对比度和完整度

5、，同时用户在进行触控动作时，尽量使手指光亮一些，这样触摸效果会更好。2. 散射光照明多点触摸技术（DI） 散射光照明多点触摸技术4分为正面散射光照明多点触摸技术和背面散射光照明多点触摸技术。两种形式的原理相同：红外线发射器将红外光透射至整个屏幕，当用户用手指触碰屏幕时，触碰位置的红外光会反射入红外线摄像机内形成亮点，然后通过扑捉到的图像和相关的图像处理软件就可以侦测出触控点的坐标位置。2.1 正面散射光照明多点触摸技术可见光照射在触摸屏幕的正面上，将漫反射幕放置在触摸屏幕的上方或者底部，当物体触摸屏幕时会产生阴影，而摄像头摄取这些阴影来读取触摸信息点。2.2 背面散射光照明多点触摸技术这种方式

6、的红外光从屏幕背面照射在触摸屏上，将漫反射材料放在触摸屏上面或者下面，当用户手指触摸屏幕的时候，在漫反射材料的作用下，会有更多的红外光反射，使得红外摄像头扑捉，进而通过处理分析读取屏幕的触摸位置。图2 背面散射光照明多点触摸技术原理图3. 激光平面多点触摸技术（LLP） 激光平面多点触摸技术5是通过IR激光在屏幕表面平行发射的线激光束，在屏幕表面形成约0.2mm厚的红外激光层，当用户手指按压屏幕时，会将导致激光产生折射，由此把IR摄像机中产生的影像信息，送入后端软件基础平台进行分析，从而得到用户相应手势信息，送入应用软件端进行处理。图3 激光平面多点触摸技术原理图4.散射光平面照明多点触摸技术

7、（DSI） 散射光平面照明多点触摸技术6是利一种特殊的压克力板即导光板来使红外线照亮整个屏幕的。导光板能使光从导光板正面均匀射出。这种技术的原理如下：红外光发射器从亚克力板侧面射入红外光，由于导光板的作用光会从触摸屏射出，当用户手指触摸到屏幕时，触摸点的光线会进行反射，这样摄像机扑捉到的触摸点会更亮，从而通过扑捉到的图像处理分析触摸点的坐标位置。 图4 散射光平面多点触摸技术原理图5.NextWindow触摸屏技术 NextWindow的光学触摸屏技术7采用了两个放置在显示器相邻边角上的线扫描相机。照相机根据红外光源的截断来检测任何靠近表面物体的移动。由屏的表面的一个平面产生光，并由屏三个边上

8、的定向反射条（定向反射镜使得光从入射角沿着平行但相反的路径反射回来）反射回相机。当用户的手指（或其他物体）触摸屏幕时，人们通过照相机摄取的图像进一步分析处理得到触摸位置。图5 NextWindow触摸屏技术原理图6.双摄影机视觉多点触控技术 双摄影机视觉多点触控技术8-9架构与NextWindow触摸屏技术类似，都是将两个摄影机安置于触摸屏的左上角和右上角，不同的是这种方法主要是通过两个摄影机采集的图像通过图像处理来辨识用户的手指，而不再需要红外线的辅助。用户可以通过色彩转换、背景相减、图像滤波去噪、二值化、肤色提取等操作将手指从摄影机中提取出来，从而通过相应的分析进行触摸点的定位。图6 双摄

9、影机视觉多点触控技术原理图7.Smart Canvas触控技术 Smart Canvas触控技术8架构也比较简单，它使用了两个相机，一个摄像机光轴与屏幕表面平行，用来侦测是否触碰到屏幕，另一个相机和屏幕成一个角度拍摄整个屏幕表面的影像，然后通过影响处理识别技术识别手指位置和计算轨迹。图7 Smart Canvas触控技术原理图3 以上几种触摸技术对比表1 几种触摸技术优缺点对比方法优点缺点基于红外光的触控技术受抑全内反射多点触摸技术(FTIR)触点具有很高的对比度允许不同类型的触点触摸点分辨率高需要兼容层，不能用玻璃作为显示屏幕无法识别标签物体散射光照明多点触摸技术（DI）可使用透明才是做触摸

10、屏，可以识别三维操作触点对比度低，导致较多无法识别的触点激光平面多点触摸技术（LLP）易搭建，相对价格低，对压力不敏感，不能识别物体或者标签物体，同时触摸屏会有一些盲点散射光平面照明多点触摸技术（DSI）能够识别物体或者标签物体，具有压感，照明均匀价格较高，触点对比度低，导致较多无法识别的触点NextWindow触摸屏技术分辨率高，触摸反应迅速，能够识别标签物体成本较高，对于小屏幕来说分辨率没有大屏幕的出色基于图像处理的触控技术双摄影机视觉多点触控技术价格低，需要的材料少，容易搭建触摸反应速度取决于图像处理的算法简单或复杂，到目前为止，反应速度较低，有延迟Smart Canvas触控技术价格低

11、，需要的材料少，容易搭建，能识别不同的手势以作不同的触摸动作有延迟，触摸分辨率较低4 结束语随着影像辨识的多点触控技术的发展，越来越多的企业和高校将投入大量的人力物力进行研发，使这项技术更加成熟更加实用。相信在不久的将来这项技术会普及到各个领域，同时对现有的触摸技术带来前所未有的冲击。参考文献1HAN J Y. Low cost multi-touch sensing through frustrated total internal refectionC/Proceedings of the 18th Annual ACM Symposium on User Interface Softwa

12、re and Technology.Seattle,2005:115-118.2HAN J Y.Multi-touch interaction wallC/Proceedings of the 33rd Annual Conference on Computer Graphics and Interactive Techniques (SIGGRAPH 2006).New York,USA:ACM ,2006:25-263MOTAMEDI NHD touch：multitouch and object sensing on a high definition LCD TVcProceedings of CHI08 Extended Abstracts on Human Factors in Computing SystemsNew York，USA：ACM ，2008：306930744NUI GroupDiffused illumination(DI)EB0L2010-09-20http：wikinuigrouptomDiffusedIllumination5NUI GroupLaser light plane illumination(LLP)EBOL2010-0920http：wikinuigroupcomLLP6