【《手语识别系统研究的国内外文献综述》2500字】

手语识别系统研究的国内外文献综述手语识别可以看作是手势识别领域中的一个分支，是一项比手势识别更复杂且更具有挑战性的一项研究内容。目前的手语识别技术由输入设备，识别特征，识别对象，识别方法等可以分成不同类别。手语识别的输入设备，一般是数据手套之类的可穿戴设备以及视觉输入设备，包括普通相机以及类似于Kinect的RGB-D的深度相机。用到的识别特征一般是手形特征、轨迹特征等。识别对象根据手语词汇的分类可以分为字母语识别、手势词识别以及连续手语识别，识别算法常用的有支持向量机（SVM），神经网络、隐马尔可夫模型（HMM）以及动态时间规整（DTW）等分类方法REF_Ref30956\r\h[1]，如图1-1所示。图1-SEQ图1-\*ARABIC1手语识别分类下面我们主要从用于手语识别的数据采集设备不同来介绍手语识别的研究现状，主要分为基于可穿戴设备与基于视觉的手语识别。1.1可穿戴设备由于早期的计算机对大量密集的计算视觉数据的处理能力较弱，而基于传感器的数据手套可以以较小的计算代价获得手的运动状态，因而成为这时期的一一个主要研究方向。可穿戴设备主要是有位置和加速度传感器等组成的数据手套，使用时主要佩戴在用户的手背或手臂等区域,并且能够追踪手以及各个手指的运动信息。位置及加速度传感器精度较高，处理过程简单，很多的研究都使用基于这类传感器以及由多传感器组成的数据手套。在国内，研究手语识别较早的团队主要是中国科学院的计算所，他们早期使用的输入设备是CyberGlove数据手套（如图1-2所示）和Pohelmus3D跟踪器，获取手形、位置、方向等数据，建立了一个包含5113个中国手语词语的数据集，并结合自组织特征网络(SOFM)、简单回归网络(SRN)和HMM的模型，实现了非特定人的连续中国手语识别REF_Ref31204\r\h[2]。中科大的田建勋等融合了加速计及表面肌电信息，对词根建模，并引入语言模型，采用决策树综合识别连续中国手语，对两百组手语语句进行试验可以达到95%的手语词识别率，90%的句子识别率REF_Ref31293\r\h[3]。麻省理工学院的Song&Yin采用混合高斯模型-隐马尔科夫模型(GMM-HMM)算法在基于数据手套的澳大利亚手语数据集上得到了99.65%识别率。基于数据手套的手语识别系统的优势在于可以较为简单的获取较高的手语手势识别率,但它的缺点也很明显:数据手套价格高昂,内部结构复杂,穿戴者不舒服且数据手套的便携性很低，这些缺点制约了数据手套的进一步发展。图1-SEQ图1-\*ARABIC2CyberGlove数据手套1.2普通相机由于可穿戴设备的缺点较多，并且随着计算机的发展处理数据能力的提升，不少学者开始研究基于视觉的手语识别。Starner在以计算视觉的美国手语识别上做了较有意义的研究工作，他们以单一摄像头为输入设备,使用者在打手语过程中佩戴特制的颜色手套辅助跟踪，并且提取双手的位置、朝向和包围椭圆为特征，在40个词汇集上得到99.2%的词识别率REF_Ref31518\r\h[4]。波士顿大学的Alon等在图像中运用时空匹配算法来检测视频帧中手掌区域,并采集了一个包含24个手势的视频集，其中7个单手手势，17个双手手势，获得了很好的识别效果REF_Ref31603\r\h[5]1.3RGB-D深度相机由普通相机获得的普通图像处理起来较为复杂，需要完成手掌分割跟踪、姿态估计预测等，而RGB-D深度相机的出现为手势识提供了新的途径，基于RGB-D的研究在最近几年内迅猛发展，RGB-D深度相机主要是Kinect，Orbbec，Structuresensor等，本文主要介绍与Kinect相关的手势识别研究现状。在国内，中国科学院计算所智能信息处理重点实验室与微软亚洲研究院共同研发了一个基于微软Kinect传感器中国手语识别系统，实现了手语孤立词和连续手语语句的分别识别与同步翻译REF_Ref32259\r\h[6]。厦门大学的LiSZ等利用Kinect传感器，使用主成分分析组成的网络和稀疏自动编码器进行降维，之后再应用线性SVM分类器和Softmax进行分类，获得了超过98%的识别精度。REF_Ref32347\r\h[7]国外也有很多基于Kinect传感器的手语识别研究，乔治亚理工学院的Zafrullaetal利用Kinect体感设备做成了一套美国手语识别系统,对1000个短语的坐姿与站姿识别率分别达到了51.5%和76.12%，并且在识别性能上与他们已开发的CopyCat聋哑儿童教育游戏系统相当，后者的识别率为74.82%;Sunetal利用Kinect中的深度图像、彩色图像和骨骼图像提取出形状和骨骼信息，同时提出区分模板编码算法通过选择手语词模板帧，计算模板帧间相似度和使用AdaBoost训练强分类器，系统在72个美国手语词上的最高识别准确率为86.8%;印度的Agarwal等应用Kinect捕获深度图像，通过计算机视觉算法获得深度直方图，并通过直方图和运动帧差共同获取手掌，对每帧提取特征向量，特征矩阵再经过多类别SVM分类器训练和分类，识别了手语数字0-9REF_Ref32472\r\h[8]。总的来说，随着机器视觉以及深度摄像头的发展，目前基于Kinect对聋哑人手语识别的主流处理方法就是利用kinect获取需要识别的视频图像数据，然后利用不同的算法进行识别。如大连海事大学的谢靖怡利用骨骼点坐标分割手势区域，提取HOG，LBP特征，利用DDTW为核函数的SVM算法进行手型识别REF_Ref32635\r\h[15]；南京航空航天大学的徐鑫鑫以卷积神经网络为框架进行手语关键动作的识别，并在此基础上实现了非特定人群的手语识别功能REF_Ref634\r\h[17]；山东大学的陈福财利用骨骼和彩色图像信息结合起来进行分析，比对了SVM、ELM、HMM三种算法的识别率，最终利用CRF及其改进模型LDCRF以及基于BPNN的WFBPNN对手语的连音进行标记，完成识别REF_Ref30956\r\h[1]。参考文献陈福财.基于Kinect的连续中国手语识别[D].山东大学,2016.王春立，高文，马继勇，等.基于词根的中国手语识别方法[J]、计算机研究与发展，2003，40(2):150-156.田建勋，陈香，李云，等.一种基于加速度与表面肌电信息融合和统计语言模型的连续手语识别方法[J].中国生物医学工程字报，2011，30(3):333-339.Starner,T.E.andPentland，A.(1995)VisualRecognitionofAmericanSignLanguageUsingHiddenMarkovModels.ProceedingsoftheInternationalWorkshoponAutomaticFace-andGesture-Recognition,Zurich,26-28June1995.AlonJ，AthitsosV，YuanQ，etal.Aunifiedframeworkforgesturerecognitionandspatiotemporalgesturesegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2009，31(9):1685-1699.ChaiX，LiG,LinY,etal.Signlanguagerecognitionandtranslationwithkinect[C]lProceedingsof1EEEConferenceonAutomaticFaceandGestureRecognition.2013.LiSz，YuB,Wuw,etal.FeaturelearningbasedonSAE-PCAnetworkforhumangesturerecognitioninRGBDimages[J].Neurocomputing，2015，151:565-573.AgarwalA，ThakurMK.SignlanguagerecognitionusingMicrosoftKinect[C]//ProceedingsofIEEEInternationalConferenceonContemporaryComputing.2013:181-185.张诗潮.基于Kinect的手语教学系统设计研究[D].华东师范大学,2014.朱明茗.基于Kinect的手语识别技术在聋哑教学中的应用研究[D].西南交通大学,2014.曹翔.可穿戴手语翻译器研制[D].中国科学技术大学,2015.江勇军.基于Kinect的孤立词手语识别系统研究[D].中国科学技术大学,2015.李辉.基于数据手套的手语手势识别及应用[D].哈尔滨理工大学,2018.杨勇,叶梅树.基于Kinect的中国手语识别[J].重庆邮电大学学报(自然科学版),2