基于视觉的手势识别技术

1、计算机技术与发展第18卷 第10期 18 No.10 Vol.2008年10月Oct. 2008COMPUTERTECHNOLOGYANDDEVELOPMENT基于视觉的手势识别技术孙丽娟,张立材,郭彩龙(西安建筑科技大学信息与控制工程学院,陕西西安710055)摘 要:近年来计算机已经成为人们日常生活的一部分,人们与计算机的交互也日益成为科研领域的热点。基于视觉的手势识别是实现新一代人机交互所不可缺少的一项关键技术,而手势识别的研究也可促进手语识别的发展,从而消除健全人与聋哑人之间的交流障碍,使他们能获得健全人的正常生活,帮忙他们参加社会的各项活动。文中介绍了手势识别方法的发展、手势识别的技

2、术难点,具体阐述了基于视觉的手势识别系统原理和组成,手势的建模以及在手势识别中常用的技术方法。关键词:人机交互;手势识别;手语识别;手势模型中图分类号:TP39114 文献标识码:A 文章编号:1673-629X(2008)10-0214-03TechnologiesofHandGestureRecognitionBasedonVisionSUNL-ijuan,ZHANGL-icai,GUOCa-ilong(SchoolofInfo.andControlEngineering,Xi.anUniversityofArchitecture&Technology,Xi.an710055,Ch

3、ina)Abstract:Computerhasbeenwidelyusedinallpartsofpeople.sdailylife.Thestudyofthemutualrelationshipbetweenpeopleandcom-puterhasalsobecomethefocusofthescientificresearch.Theabilityforcomputertovisuallyrecognizehandgesturesisessentialforfuturehuman-computerinteraction.Moreoverhandgesturerecognitionbas

4、edonvisioncanpromotethesignlanguagerecognitiondevelop-ment.Signlanguagerecognitioncaneliminatetheexchangebarrierbetweenhealthypersonanddeaf-mute,whichenablesthemtoobtainthehealthyperson.snormallife,helpsthemtotakepartinsocialactivity.Presentsthedevelopment,technicaldifficultyandelaboratesthesystempr

5、incipleandthecompositionofhandgesturesrecognitionbasedonvision.Moreover,introducedthemodelingofhandgestureandthetechniqueofhandgesturesrecognition.Keywords:human-computerinteraction;handgesturerecognition;signlanguagerecognition;gesturemodeling0 引 言随着计算机在现代社会影响的迅速扩大,多模式人机接口技术在现实生活中变得越来越重要。多模式人机接口技术研

6、究的目标是解决计算设备的高智能性和高可用性问题的核心技术,研究方向是建立和谐自然的人机交互环境,使得用户可以方便、自然地使用人类所熟知的方式使用计算机,其中最重要的环节就是要使得计算机能够准确无误地感知包括自然语言、手势语言、面部表情在内的不同人类表达方式,实现拟人化的人机交互。因此,手势的检测和识别就成为了人机交互及模式识别领域的一项重要研究内容,是由手形动作辅之以表情姿势为符号构成的手语识别的关键技术之一。建立与计算机图像处理技术为基础的手语识别系统,可以消除健全人与聋哑人之间交流的障碍,使聋哑人更好地融入正常人的社会生活,大大提高他们的生存质量;另一方面,作为人体语言理解的一部分,手语识

7、别可提供不同于键盘、鼠标等的人机交互手段,更方便人们轻松、高效地使用计算机及网络。1 手势识别方法的发展最初的手势识别研究主要集中在做一种专用硬件设备来进行输入。例如数据手套,即人可以戴上一个类似于手套的传感器,计算机通过它可以获取手的位置、手指的伸展状况等丰富信息。例如CMU的ChristopherLee和Xu1995年完成了一个操纵机器人的手势控制系统。之后人们又致力于标记手势的研究,即通过在手上作标记。例如J.Davis和M.Shah将戴上指尖具有高亮标记的视觉手套的手势作为系统的输入,可识别7种手势。这虽然给识别带来了方便,但收稿日期:2008-03-03基金项目:陕西省教育专项科研基

8、金项目(07JK292)作者简介:孙丽娟(1976-),女,河南安阳人,硕士研究生,主要研究方向为计算机技术应用研究;张立材,副教授,硕士生导师,主要研M第10期 孙丽娟等:基于视觉的手势识别技术#215#然手上,一些研究者成功地研制了手势系统,但其识别的手势仅限几种。近几年又提出了动态复杂背景中手势目标的捕获与识别方法。如清华大学的祝远新、徐光等1给出了一种基于视觉的动态孤立手势识别技术,后来他们又提出动态时空规整算法用于手势识别,对12种手势,平均识别率高达97%。所示;而且有很多手势非常相似,如中国文字改革委员会、教育部等单位于1963年联合公布实施汉语手指字母方案如图2所示,在所有手指

9、字母识别中,对于一些相似的手势图像,如h与v,h与x等(如图3所示),识别效果仍不是很理想。可见手势的随机性很大,这给识别带来了很大的困难。2 手势的定义由于手势(gesture)本身具有多样性和多义性,具有在时间空间上的差异性,加上不同文化背景的影响对手势的定义是不同的。从手势(语)识别的角度考虑可以把手势定义为:手势是人手或者手和臂结合所产生的各种姿势和动作,它包括静态手势(指姿态,单个手形)和动态手势(指动作,由一系列姿态组成)。静态手势对应模型参数空间里的一个点,而动态手势对应着模型参数空间里的一条轨迹,需要使用随时间变化的空间特征来表述。图2 汉语手指字母图图1 不同演示者和不同角度

10、的手势A的图像3 手势识别的技术难点尽管已经实现了大词汇量的手势识别系统,但手势识别仍然面临许多挑战性课题,如手势不变特征的提取、手势之间的过渡模型、手语识别的最小识别基元、自动分割识别基元、词汇量可扩展的识别方法、手语识别的辅助信息、非特定人的手语识别问题、混合手指语和手势语的手语识别以及中国手势语语法等。其技术难点有以下两点2:1)手势目标检测的困难。目标的检测是指在复杂的背景条件下从图像流中截取出目标来,也就是把人们感兴趣的目标提取出来。在基于单目视觉的手势识别方法中,把图像中的人手区域与其它背景区域划分开来始终是一个难点,这主要是由于背景各种各样、环境因素也不可预见,所以实现起来困难重

11、重,非常复杂。2)手势目标识别的困难。手势识别是根据人手的姿态以及变化过程来解释其高层次的含义,提取出具有几何不变性的特征是其关键技术。手势具有以下特点:(1)手是弹性物体,故同一种手势之间差别很大,而且有很多不同手势它们之间很相似。人手有二十多个自由度,因而运动起来十分灵活、复杂。因此,同样的手势不同的人做出手势的运动也会存在差别,同一图3 两组不同手势的比较(2)手有大量冗余信息,由于人识别手势关键是识别手指特征,故手掌特征是冗余信息。(3)手的位置是在三维空间向二维的投影,因此投影方向非常关键。(4)由于手的表面是非光滑的,因此易产生阴影。由于手势的这些特点,上面两个问题目前还没有很好解

12、决,具体实现时必须加一定的限制条件。4 基于视觉的手势识别一个基于图像的手势识别系统的总体构成如图42,# 216 # 计算机技术与发展 第18卷布的特点,快速地找到手可能的候选区域,缩小后续细检测的范围。在手势图像中,肤色信息是最为有效的,在人手区域中,肤色一定是占主导地位的像素色彩值。肤色虽然因人而异,但是肤色在色彩空间中的一定范围内呈聚类特征,特别是在排除了光照亮度变化影响和经过变换的色彩空间中,聚类特图4 连续动态手势识别系统构成图系统根据手势输入的交互模型检测数据流里是否有手势出现,如果有则把该手势从视频信号中切分出来。然后选择手势进行手势分析,分析过程包括特征检测和模型参数估计。识

13、别阶段,根据模型参数对手势进行分类并根据需要生成手势描述。最后,系统根据生成的描述去驱动具体应用。具体步骤如下:1)帧分离。将手势图像从视频帧数据流中分离出来并进行相应的预处理供系统调用。2)手势分割。手势分割是基于图像的手势识别过程的第一步,也是最为关键的一步,是图像识别与理解的前提。手势分割的好坏直接影响后面的手势分析和手势识别的结果。手势分割就是将有意义的区域)手势从摄取的手势图像中划分出来。手势分割的目的是在前景中仅保留手势部分。在此领域,已经有人做了不少的工作,具有代表性的方法有以下几种:(1)增加限制方法:如使用黑色或白色的墙壁、深颜色的服装来简化背景3,或者戴特殊的手套,通过强调

14、前景来简化手和背景域的划分,加深两者之间的对比,但是这些人为的限制使得手势交流失去了自由性。(2)差影法及其改进算法:差影法就是将目标图像和背景图像相减,此方法对消除背景图像具有很明显的效果,但它的致命弱点就是一定要保证背景图像和手势图像的对应像点位于空间同一目标点上,否则会造成很大的误差。(3)轮廓跟踪方法:典型的有基于Snake4性更明显。3)手势建模。手势模型对于手势识别系统至关重要,特别是对确定识别范围起关键性作用,一般来说手势建模方法被分为两大类:基于表观的手势建模和基于3D模型的手势建模。前者是直接从观察到的视频图像去推断手势;而后者考虑了手势产生的中间媒体(手和臂)。图5是对两种

15、建模方法的进一步分类。图5 手势模型的分类4)手势分析。手势分析阶段的任务就是估计选定的手势模型的参数,它由特征检测和参数估计两个串行任务组成。在特征检测过程中,首先必须定位手势的主体(人手)。根据所用的线索不同,可以把定位技术分为基于颜色定位,基于运动定位、以及多模式定位等三种。特征检测结束之后,就可以进行参数估计。5)手势识别。手势识别就是把模型参数空间的轨迹(或点)分类到该空间里某个子集的过程。目前采用的手势识别技术有以下几种:a.模板匹配6,7:模板匹配法是一种最简单的识别技术,它将输入手势的特征点与各标准手势的特征模型的点进行匹配,通过测量两者之间的相似度来完成识别任务。b.人工神经

16、网络:人工神经网络通过把大量的简单处理单元(神经元)广泛地连接起来构成一种复杂的()手势分割,利用Snake模型对噪声和对比度的敏感性来有效跟踪目标的形变和非刚体的复杂运动,达到将目标从复杂背景中分割出来的目的。(5:第10期 徐龙琴等:基于遗传算法的水产智能系统推理机的研制#221#2.4 系统特点¥功能强大:系统以人工智能、知识工程为指导,采用分布式技术、数据库技术、基于规则的混合推理技术、GIS技术以及统计分析、回归分析及预测、图形分析等技术,使得系统功能强大,在疾病诊断与防治方面有一定的智能性;此外还将AJAX无刷新技术和OWC组件结合使用,实现了系统的实时图表更新显示功能。

17、¦安全性高:系统构建在.NET框架之上,从网络级和系统级、用户级和数据库级对系统多重安全保护,并采用用户权限多种组合的管理模式、数据库服务器周期自动备份策略等多道安全防御措施。§性能良好:采用集成服务理念和多层的B/S体系架构,层与层之间相对独立且松散耦合,使得系统操作简单,易于扩充维护;还用Cache缓存数据对系统性能进行优化。级用户的各项工作配合的更加密切,技术指导服务更加便捷,高效;对对虾产业的政府宏观调控与管理,养殖户的绿色高产高效生产的提供立体服务。参考文献:1 ManelPD,AIGhamdiJ.Adata-centricdesignforntierar-chi

18、tectureJ.InformationSicences,2003,150(4):195-206.2 MicrosoftCorporation.MSDN(applicationarchitecturefor.NET:Designingapplicationsandservices)DB/OL.2002. CraneD,PascarelleE,JamesD.AjaxinActionM.北京:人民邮电出版社,2006.4 WaltherS.ASP.NET技术内幕M.马朝晖译.北京:机械工业出版社,2002.5 蔡自兴,德尔金J,龚 涛.高级专家系统:原理、设计及应用M.北京:科学出版社,2005.

19、6 刘双印,徐龙琴.基于案例与规则集成推理的公共卫生疫情预警系统的应用研究J.电子技术应用,2007,33(7):124-127.7 李 劲.基于.NET平台的魔芋专家系统的设计与实现J.武汉科技学院学报,2005,18(3):47-50.8 RichterJ.Microsoft.NET.框架程序设计M.北京:清华大学出版社,2003.3 结束语系统采用软件工程、知识工程的设计思想,以人工智能、组件技术、.NET技术、GIS、网络技术、数据库技术与水产养殖相关领域的多元信息有机融合并优化使用,设计实现了功能强大、操作简便的对虾产业高产高效技术服务系统,并获得软件著作权。该系统的实施打破传统养殖

20、户、企事业、政府之间/信息壁垒0,使各(上接第216页)哑人与非聋哑人之间,而异语种健全人之间交流都可能应用到动作语言,因此基于视觉的手势识别技术的研究在人机交互系统中具有更加广泛的社会意义和实际应用前景。参考文献:1 任海兵,祝远新,徐光等.基于视觉手势识别的研究)综述J.电子学报,2000,28(2):118-12112 胡友树.手势识别技术综述J.中国科技信息,2005,1(2):41-42.3 StarnerT,WeaverJ,PentlandA.Real-timeAmericansignlanguagerecognitionusingdeskandwearablecomputerbasedvideoJ.IEEETransactionsonPatternAnalysisandMa-chineIntelligence,1998,20(12):1371-1375.4 KassM,WitkinAP,Terzo