Android移动终端的手势识别与控制系统.doc

Android移动终端的手势识别与控制系统李干（安徽大学，合肥）摘要：本系统基于android 2.3.5版本,是一个能通过手势对手机等android设备进行操作的系统。手势与自然语言相同，能表达复杂信息，选择手势进行人机交互，不存在信息交流的困难。主要的手势识别是通过色觉来实现的，通过肤色检测，在采集到的yuv格式图像进行条件判别，能确定手势的区域，得出二值化图像，这种方法比RGB和HSV省去了转换过程，提高了识别精度和速度。得到的二值图像是一个很大的数据，首先是信息提取，从中提取出W*H像素点的得到量化区域，对量化后的数据进行边缘确定，边界是用一种简单有效的边缘算法进行检测，最后通过边缘轮廓确定指尖位置，对指尖位置进行跟踪和处理，可完成操作。采用指尖进行操控，指尖的轨迹和不同指尖间的配合，可以完成目前常用的操作。不采用整个手势进行识别，因为目前的针对复杂手势的识别方法还不成熟，无法进行精确的复杂手势识别，而对于移动终端，也不需要进行很复杂的操控，这样既增加了识别速度，也简化了操作。关键词：移动终端 手势识别 android 边缘检测 指尖控制 目录1引言32现状及作品介绍42.1 现状42.2 作品介绍（核心）53 Android平台及其camera框架73.1 android平台构架分析7应用程序层8应用程序框架8Android运行时9Linux内核93.2 camera框架93.2.1 框架概况103.2.2 框架代码结构114手势分割策略134.1 手势分割常用方法134.2 色彩空间选取144.2.1 RGB色彩空间144.2.2 YCrCb色彩空间154.3 边缘检测204.3.1 canny 边缘检测204.3.2 原创边缘检测算法225指尖检测策略256 部分算法26(1):边缘检测：26(2):二值化：297创新点30(1)应用创新30(2)分割方法30(3)指尖控制30(4)算法318附录311引言人对手机的依赖已经越来越严重，这种现象在大学校园尤为普遍。吸引人们关注手机的，早已不只是简单的收发信息，打电话着一些基本功能了，应用的爆发式增长，满足了人们对手机各种功能上的需求，而满足人们感官上需求的，就是良好的人机交互了。在目前广泛使用的图形接口中，主要的输入方式还是物理键盘和触屏输入，当然，触屏技术凭借其优点在移动终端占据主流。然而，社会依然在发展，尤其是计算机领域，发展的尤为迅速，就像2007年那样，谁也没想到过触屏和智能会带来手机行业那么巨大的变化，研究人机交互技术变得异常活跃，也取得了巨大的成就，人机交互迅速受到了各大厂家的重视，并成为计算机竞争行业的又一竞争领域。手势作为自然的交互方式，在计算机领域取得了可喜的发展。而现在，移动终端的硬件也日趋强大，多媒体技术也在迅速发展，将手势应用到移动终端似乎成了一个顺水推舟的事。用手指的形态来进行标记和识别，从而达到控制的目的。手势的直观性和强大的语义使得人机交互变得尤为轻松。但由于识别的性能有待提高，目前还未得到很广泛的应用。2现状及作品介绍2.1 现状根据设备采集数据资料的不同，目前的手势识别可以大体分为两种，基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的识别系统优点是识别效率高，但由于其要求使用者必须穿戴极不方便的设备，而且设备的造价不菲，所以此种识别方式不会是未来的主流。而基于视觉的手势识别系统凭借良好的适用性以及不需要其他的硬件设备，只是通过普通的摄像头，因而成了发展的主流（本系统就是基于视觉的识别）。但基于是觉得手势识别由于识别度一直不高，成为了其发展的瓶颈，国内外一些相关人士一直都致力于其发展，目前效果显著。国外的发展是比较长久的。（1）1991年富士通实验室完成了对46个手势符号的识别工作。（2）Davis和Shah将戴在指间具有高亮标记的视觉手套的手势作为系的输入，完成了对七种手势的识别。（3）Grobel和Assam从视频录像中提取特征，采用HMM技术识别262个孤立词，正确率达到91.3%。（4）Stamert51等人使用隐马尔科夫模型（HMM）对输入视频序列中的是美国手势带有词性的40个词汇随机组成的句子进行了识别，其中HMM参数的估计采用的是EM算法。系统对分离的单词和5个单词组成的句子进行识别，正确率高达90%。我国对手势识别的起步较晚，但近年来也取得了显著的成果。（1）中科院的单彩峰提出了结合均值漂移的粒子滤波（The Mean ShiftEmbedded Particle Filter,MSEPF),通过在时序模板中引入时空轨迹，提出了时序模板轨迹概念，将跟踪得到的手势运动轨迹压缩到单幅图像中，实现了对预先定义的动态手势的识别。（2）山东大学的徐立群等提出了一种基于颜色概率模型并融合运动信息进行手势跟踪的新方法，利用肤色概率查找表将图像序列转换为肤色概率分布图，用运动信息和肤色概率分布对搜索窗口进行初始化，然后对肤色概率分布图进行迭代运算，得到手势的位置和大小，从而实现了对六种孤立手势的识别。2.2 作品介绍（核心）本作品是一个基于移动终端的人机交互技术，它通过识别人手的关键点，并跟踪其轨迹，通过轨迹来识别人手势的意图，从而触发事件，并在屏幕或其他显示设备上做出反馈，达到交互目的。下面从作品的个特点做出分析：（1）与现在的pc端手势识别技术相比，本作品注重的是手势的关键点位置变化信息，并且将其应用在了移动终端。众所周知，移动终端的人机交互技术发展最为迅速，新的交互技术往往能改变行业发展方向。（2）从应用范围分析，全键盘由于携带不方便或占据较大空间，在移动终端很少使用了，触摸屏虽然是现在的主流，但其只能用在有介质的交互技术中，在未来的虚拟现实技术等一些无介质交互技术中还是有很大限制的，而手势操作，对介质要求不大，是可以适用在各种终端的一种新型的交互技术，本作品的核心就是微手势的应用，不仅是现在的手机，更是站在未来的角度，打造未来移动终端交互技术的雏形。（3）本作品强调的是微手势，即手势中的关键点及其运动轨迹组成的一套简化后的手势，其能更好的应用在移动终端，是交互变得更加简约和自然。（4）本作品的完成完全由本人独立编码设计，未借助其他任何辅助工具，从手势的分割，边缘检测，质心、指尖检测，都是自己独立通过代码进行试验分析，其中手势的分割检测等，更是原创了一套适合处理能力不强的移动终端的方法。（5）特色应用。本作品灵感是来自谷歌眼睛。谷歌眼睛是应用虚拟现实技术的一种未来移动终端的雏形，其显示是在一块眼镜镜片上，操作主要靠右手边镜框上的一个触摸板。笔者正是感觉触摸板式的人机交互已经不太适合一些已经到来的虚拟显示终端设备，而手势正好完美适用，所以才提出这种微手势的移动终端交互技术，应用了这种交互技术之后，许多科幻电影中的一幕不再是科幻，而且马上就会到来。3 Android平台及其camera框架Android系统是一个开放性的手机和平板的操作系统，目前的发展势头十分迅猛。虽然android面世的时间不长，但目前已经发展到了巅峰，取代了symbian等传统手机平台，成为了目前应用最广泛的手机等移动终端的操作系统。3.1 android平台构架分析Android系统的底层建立在linux系统之上，该平台由操作系统、中间层、用户界面和应用软甲四层构成，它采用一种被称为软件叠层（software stack）的方式进行构建。这种软件叠层技术使得层与层之间相互分离，明确各自的分工。这种分工保证了层与层之间的低耦合，当下层的层内或层外发生变化时，上层的应用程序无需任何改变。 应用程序层Android系统将会包含系列的核心应用程序，这些程序包括电子邮件客户端、SMS程序、日历、地图、浏览器、联系人等。这些应用程序都由java编写的。应用程序框架开发Android应用程序，就是面向底层的应用框架进行的。在一定意义上，android所有应用都是平等的，不管是系统的还是开发者的。应用程序框架除了作为开发的基础外，也是软件复用的重要手段，任何一个应用程序都可以发布他的功能模块只要遵循框架的约定，那么其他应用就可以使用这个功能模块。 Android运行时Android运行时由两部分组成：android核心库集和Dalvik虚拟机。其中核心库提供了java语言核心库所包含的大部分功能，而虚拟机负责运行Android程序。Linux内核Android系统建立在Linux 2.6之上，Linux内核提供了安全性、内存管理、进程管理、网络协议栈和驱动模型等核心服务。除此之外，Linux内核也是系统硬件和软件叠层之间的抽象层。3.2 camera框架Android的SDK中提供了底层硬件的接口，其中包括底层的头文件、驱动、库文件，因此更方便系统的开发和移植。Camera工作流程：景物Scene传感器SensorADCDSPSD cardCamera的成像原理可以简单概括如下： 景物(SCENE)通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过IO接口传输到CPU中处理，通过DISPLAY就可以看到图像了。3.2.1 框架概况Android的Camera子系统提供一个拍照和录制视频的框架。 它将Camera的上层应用与Application Framework、用户库串接起来，而正是这个用户库来与Camera的硬件层通信，从而实现操作camera硬件。 框架图：3.2.2 框架代码结构Android的Camera代码主要在以下的目录中： （1）Camera的JAVA部分 packages/apps/Camera/。其中Camera.java是主要实现的文件。这部分内容编译成为目标是Camera.apk com.android.camera这个包，几个主要的类文件如下： PhotoViewer：GalleryPicker.java（所有图片集）-ImageGallery.java（某个Folder下图片列表）-ViewImage.java（看某张具体图片） VideoPlayer：GalleryPicker.java（所有视频集） -MovieView.java（看某一个视频） Camera：Camera.java（Camera取景及拍照） VideoCamera：VideoCamera.java（VideoCamera取景及摄像）（2）Camera的framework供上层应用调用的部分base/core/java/android/hardware/Camera.java这部分目标是framework.jar（3）Camera的JNI部分 frameworks/base/core/jni/android_hardware_Camera.cpp 这部分内容编译成为目标是libandroid_runtime.so。 （4）Camera UI库部分 frameworks/base/libs/ui/camera 这部分的内容被编译成库libcamera_client.so。 （5）Camera服务部分 frameworks/base/camera/libcameraservice/ 这部分内容被编译成库libcameraservice.so。 （6）Camera HAL层部分 hardware/msm7k/libcamera 或 vendor/qcom/android-open/libcamera2 为了实现一个具体功能的Camera，在HAL层需要一个硬件相关的Camera库（例如通过调用video for linux驱动程序和Jpeg编码程序实现或者直接用各个chip厂商实现的私有库来实现，比如Qualcomm实现的libcamera.so和libqcamera.so），实现CameraHardwareInterface规定的接口，来调用相关的库，驱动相关的driver，实现对camera硬件的操作。这个库将被Camera的服务库libcameraservice.so调用。4手势分割策略 所谓手势分割，后就是将对识别有用的区域从摄像机得到的图像中分割出来，为后面的手势特征提取等做准备。手势分割是进行手势识别的第一步，其分割效果的好坏直接影响后面的识别效果，因而好的分割策略是最重要的第一步。在这个方面，已经有不少前人得到的方法。4.1 手势分割常用方法（1） 基于肤色模型的方法：chai和habibi的YCrCb颜色模型，将Du和Lew均一化的RGB模型，这些方法是用肤色信息来实现手势和背景的分离，本系统就是基于肤色的分割。（2） 增加限制方法：如使用白色和黑色等色差较大的背景，通过加强前景来实现手和背景区域的划分，加深两者间的对比，此方法的缺点是限制了手的自由区域。（3） 建立手势数据库方法：建立一个数据库，其中有各种手势类在各个时刻、不同位置、不同比例下的手型图像，通过匹配的方法实现手势的分割。缺点是费时间。（4） 轮廓跟踪方法：典型的又基于Snake模型的手势分割，利用Snake模型对噪声和对比度的敏感度来有效跟踪目标的形变和非刚性的复杂运动，打到将目标从复杂背景中分割出来的目的。这个方法比较好，但费时，不利于实时系统。（5） 差影法：差影法就是讲目标图像和背景图像相减，此方法对消除背景有很明显的效果。但也有一个很明显的缺点，就是一定要保证背景图像和手势图像的对影像点唯一空间同意目标上，也就是视角和位置不能改变，否则误差极大。 经前人经验得知，在色彩和对比度中，人眼对前者的敏感度要高于后者。原因是彩色图像具有很多的信息。在手势图像中肤色信息占主导，将肤色进行进行有效的提取可以得到分割图像。4.2 色彩空间选取4.2.1 RGB色彩空间RGB颜色是红色（Red）、绿色（Green）和蓝色（Blue）三基色的字母缩写。RGB色彩模式是通过三种基本颜色的不同程度的迭加来产生各种各样的不同颜色。这个标准能够涵盖人类视力所能感知的所有颜色，是目前运用广泛的颜色系统之一。RGB色彩模式使用的RGB模型。该模型为图象中的每个像素的RGB各个分量分配一个0255的灰度值。因此RGB图象只要使用三种颜色，按不同的比例混合就可以产生256*256*256=16581375种颜色。RBG颜色的表示语法是（Red, Green, Blue）， 因此各种颜色的标识值可以由公式计算得：65536*Blue+256*Green+Red。各个分量的数值越小，亮度越低；数值越大，亮度越高。（0,0,0）为黑色；（255,255,255）为白色。RGB的格式有RGB565，RGB555，RGB24和RGB32等等。4.2.2 YCrCb色彩空间YCrCb即YUV，主要用于优化彩色视频信号传输。Y表示明亮度（LUMA）。U和V表示色度（Chrominance或Chroma），由于从android摄像头提取到的帧图像就是YUV色彩空间的，而其正好可作为一种优于RGB空间的一种色彩识别方法，因此YCrCb是我们所使用的色彩空间。在YCrCb空间下，强度Y对色彩在CrCb平面的分布影响很小，由于肤色样本中存在很大的噪音，一般用线性近似值的办法找出肤色空间边界。一个（r,g,b）表示下的像素点与一个（Y,Cr,Cb）表示下的像素点的转换方法为：Y=0.2990*R+0.5870*G+0.1140*B;Cr=0.5000*R-0.4187*G-0.08143*B+128;Cb=-0.1687*R-0.3313*G+0.5000*B+128;在YUV空间中，最常用的肤色标准为： 77=Cb=127; 133=Cr500,a100,b2;t+l+f+b+tf+bf+lb+tl7; 2.内部区域特性： t+l+r+f=4; 3.孤立的，不成区域的点具有特性： t+l+f+b+tf+bf+lb+tl2;t+l+f+b+tf+bf+lb+tl7;根据上述方法，提取到的区域边缘为： 参数： 版本：android 2.3.5 Cpu：1G 内存：256M 图像：1536*2048 运算时间：79ms 分析：由结果可看出，边缘已较好的分割出，对噪声的处理也很理想，切运算速度快。 5指尖检测策略由上面提取到的图像可知，提取到的人手轮廓可能同时包含几个弯曲度较大的值，因此，运用一般的曲率检测方法难免会有误差，比如会把检测到的任何曲率大的点都当做指尖。因此，要想准确的判断指尖，还得结合质心距来检测；设P=p0,p1,p2,pn的质心为pc，质心距dis=d1,d2,d3dn;曲率k=k1,k2,k3,kn判定是否为指尖的阈值为k*dis,最大者为指尖。为了判定未伸出指尖的情况，还得设定K*dis的范围，低于质心距平均值者不认为是指尖。实验图像： 6 部分算法(1):边缘检测：public static int tocal(Bitmap bo,int ww,int hh) final int h=bo.getHeight();final int w=bo.getWidth(); int back=new intwwhh; int xc,yc;if(w%ww=0)xc=w/ww;elsexc=w/ww+1;if(h%hh=0)yc=h/hh;elseyc=h/hh+1; int l=0,m=0; / final int rgba = new inth*w; for(int y=0;yh;y=y+yc) l=0; for(int x=0;x500&a5&b300) backlm=1; else backlm=0; l+; m+; int back1=new intww+1hh; for(int x1=0;x1ww+1;x1+) for(int y1=0;y1hh;y1+) back1x1y1=0; int fig=0; for(int x2=1;x2ww-1;x2+) int xx=0; for(int y2=1;y22&(t1+t2)7)return true; return re;(2):二值化： public static Bitmap toSIZEHSV(Bitmap bo,int aw,int ah) final int h=bo.getHeight();final int w=bo.getWidth(); int xc,yc;if(w%aw=0)xc=w/aw;elsexc=w/aw+1;if(h%ah=0)yc=h/ah;elseyc=h/ah+1;int re = new intah; int rgba = new intaw*ah; int l=0,m=0; for(int y=0;yh;y+=yc) l=