基于动态时间规整的手势加速度信号识别

1、基于动态时间规整的手势加速度信号识别第25卷第1期2012年1月传感技术CHINESEJOURNALOFSENSORSANDACTUATORSV01.25N0.1Jan.2012GestureAccelerationSignalsRecognitionBasedonDynamicTimeWarpinga】1NGLei,MAWenjun.CHANGDanhua(InstituteofInformationScienceandTechnology,YanshanUniversity,QinhuangdaoHebei066004,China)Abstract:Adynamictimewarpinga

2、lgorithmofgesturerecognitionwasusedtoimprovetheperformanceofdynamicgesturerecognitionbasedonaccelerometer.Thesimilaritybetweentesttemplateandreferencetemplateiscalculatedbydynamictimewarpingmethod(DTW),andtheresultsofrecognitionaregotfromthesesimilarities.Toconfirmouralgorithm,awirelessgestureaccele

3、rationmeasurementsystemisproposedandmeasurementsgestureinformationon41volunteersiscollected.Theresultsshowthattheaveragegesturerateisabove97%.ComparedwiththealgorithmofhiddenMarkovmodel(HMM),theDTwalgorithmismorepreciseinrecognitionaccuracy.Keywords:gesturerecognition;accelerometer;DynamicTimeWarpin

4、g;HiddenMarkovModelEEACC:7230doi:10.3969/j.issn.10041699.2012.01.015基于动态时间规整的手势加速度信号识别米荆雷,马文君,常丹华(燕山大学信息科学与工程学院,河北秦皇岛066004)摘要:为了提高基于加速度传感器的动态手势识别算法的性能,本文采用了动态时间规整(DTW)识别算法.通过该算法计算测试模板和参考模板的相似度,从而得出识别结果.为了验证该方法,建立了一套手势加速度无线采集系统,并采集了41个志愿者的手势信息.实验结果表明,该方法手势平均识别率在97%以上.与HMM识别算法相比,DTW识别算法在识别的准确率上比HMM识别

5、算法更具优势.关键词:手势识别:加速度传感器;动态时间规整;隐马尔科夫模型中图分类号:TP334.2文献标识码:A文章编号:10041699(2012)01007205基于加速度传感器的手势识别是近年来人机交互领域中新兴起的前沿研究方向之一.主流的研究手势识别方法有两种:一种是基于图像的识别方法,另一种是基于运动传感器(主要是加速度传感器)的识别方法目前,国内研究手势识别的方法主要是基于图像的手势识别l_1,这种方法对设备要求高,资金投入大,并且限于在特定场所使用.近年来,随着传感器技术的发展及其制作工艺的改进,基于加速度传感器的手势识别正日益兴起.加速度传感器不仅具有尺寸小,精度高,功耗低等

6、优点,更具有不受运动场地和环境限制的优点.这就使得基于运动传感器的手势研究更为方便.因此,具有更为广阔的应用前景ljJ.在手势识别系统中较为广泛使用的是隐马尔科项目来源:秦皇岛市科技发展基金项目(201001A117)收稿日期:20110813修改日期:20110927夫模型(HMM.HiddenMarkovMode1)识别法_4J和模糊神经网络(FNN,FuzzyNeuralNetwork)等复杂算法,但这些算法对手势识别精度不高.鉴于此,本设计采用了一种更简单的手势识别算法,即基于模板匹配思想的算法,采用动态时间规整(DTW,DvnamieTimeWarping)算法来计算手势之间的相似度

7、.根据相似度的大小来识别简单手势.运用上述识别算法,本设计在实现时识别了五种简单的手势动作,分别为:横(一),竖(),画圆(o),打钩(,/),画叉(×).1实验装置结构本设计的硬件实验装置主要有两部分:数据采集模块和数据接收模块.数据采集模块将加速度传第1期荆雷,马文君,等:基于动态时间规整的手势加速度信号识别73感器采集来的数据以无线的方式传送给数据接收模块:数据接收模块将接收到的数据通过RS232串口传送到计算机上进行处理.图1为硬件实验装置的结构图.无线接模块RS232CC1110F32串口一广1/l一图1买验装置结构图本设计硬件采用由日本AiehiSteelCorporat

8、ion公司生产的AMI602D加速度传感器,来获取手势执行时产生的加速度信号.加速度传感器采样频率为100HZ,量程为±2g.其体积小(6.2mmx4.2mm1.2mm),集成度高(内部还集成了地磁传感器).实验装置采用德州仪器(TI)公司生产的CC1110一F32无线收发芯片.来实现加速度信号的无线传输功能.该芯片内集成了收发功能,并且具有低功耗,数据传输速度快(数据传输率500kbps)等优点.整个数据采集系统的功耗也是很低的,其工作时只需用一节3.7V的锂电池来供电.和其他手势数据采集系统I6相比.本文的硬件系统具有以下优点:对手势加速度信号进行无线实时传输,减少测量过程中对使

9、用者的束缚,提高了测量准确性:采用了具有数字接口的加速度传感器,其内部自带模数转换功能,省去了A/D转换,提高了系统的可靠性.加速度传感器的准确与否直接影响到系统的性能,而环境温度又是影响加速度传感器准确度的重要因素8,AMI602D加速度传感具有自动的温度补偿功能.所以,该硬件系统具有较高的准确性.与图像方法所需的摄像装置相比,该装置成本低,体积小,便于携带,不需限定测试环境,不影响人的正常活动l92识别算法实现2.1信号预处理加速度传感器本身具有测量误差但其灵敏度和精度远远高于应用的需求.而且外界干扰对其影响也不是非常严重,因此无需进行自相关等复杂运算_1.本实验装置采用的是数字接口的加速

10、度传感器,在原则上是不需要滤波的.但是为了得到较好的实验结果,在实验时本文将实验数据进行了简单滤波.以下是对信号的预处理:由于执行的手势动作只需在平面内即可实现,所以在识别时舍去与书写平面垂直轴的数据,只对平面内两个轴的数据进行识别,从而减少计算的复杂度.使用一个三阶的巴特渥兹低通滤波器对加速度信号进行滤波,从而去除在手势测量过程中加速度传感器受到身体晃动所造成的小幅度高频干扰.除去测量开始和结束时的静止状态信号,仅保留动态的手势信号.2.2特征提取本设计实验装置采用的是AMI602D三轴加速度传感器,但识别的动作图形均为平面图形,为了减少计算量和降低计算复杂度.因此在特征提取时只提取轴和l,

11、轴的数据,舍去Z轴的数据.本设计对一个动态手势提取特征,是获取其轴和l,轴的所有特征点的原始时间序列t,t,t和加速度幅值序列,.由于手势执行时间长度不等,因此在进行模板匹配时,本文使用动态时间规整算法,来计算测试模板和参考模板的相似性.2.3动态时间规整算法2.3.1模板匹配基本原理模板匹配法是模式识别中最常用的一种相似度计算与匹配的方法,在其他识别领域运用较为常见.但是在动态手势识别中模板匹配法运用较少.如果考虑把具有不同加速度序列的手势经过某种转换以后作为不同的模板,则可以构建一个基于模板匹配的简单的手势识别系统,为了简单和便于处理,本文采用计算欧氏距离(欧基里德距离)来进行相似度量.参

12、考模板表示为:R=r,r:,r,其中为参考模板所包含的特征值的总数,m为特征值的时序标号,r为第m个特征值.测试模板表示为:=t.,t:,t,t,其中为测试模板中特征值总数,n为时序标号,t为第凡个的特征值.下面的公式给出了利用欧氏距离度量的失真度计算方法:DT(n),(m)=(tn-r)计算总体失真D,R时,需要考虑到模式特征值的总数是否相等的情况:(1)=M,这时可以依次计算n=m=1,n=m:N的失真并取和.即可求得总失真mD,R=(一rm);n,n=l(2),这时需要将其中较小模式的用某种扩张的方法映射到较大模式序列上,然后再分别计算新的各对应特征值之间的失真.从而求得总失真D,尺.7

13、4传感技术WWW第25卷2.3.2动态时间规整由于个体的差异性,在手势识别的过程中,用户进行训练或者识别时,即使每次尽量以同样的方式执行同一个手势,其持续时间的长度也会随机改变因此,如果直接用特征矢量序列来进行相似性比较,其效果不可能是最佳的.需要对特征参数序列模式重新进行时间的对准,在模板匹配中使用动态时间规整(DTW)算法可以有效地解决这个问题.设测试模板共有个特征矢量,参考模板尺有个特征矢量,将测试模板和参考模板的特征矢量号分别在坐标系的横轴和纵轴上标出,则各个特征矢量号之间的关系可以形成一个网格,网格中的任何一个交叉点(/7,m)表示测试模板的T(n)和参考模板R(m)的相交,并且该交

14、叉点拥有失真度为DT(n),R(m),如图2所示.flMR)ll,lRIl2【l,1)2nN图2动态时间规整算法求最小失真动态时间规整算法是要寻找一条通过各个交叉点的从起始点到终止点的最佳路径,使得该路径上所有交叉点的失真度总和达到最小.上述搜索过程中路径的选择并不是任意的.首先.考虑到实际手势的操作情况,虽然快慢会有所变换,但是各个部分先后次序不可能颠倒,因此上述路径必然从左下角出发.终止于右上角;其次,为了防止盲目的搜索,一般不容许有向横轴或纵轴过分倾斜的路径.而且一般对路径中各点处路径斜率的最大,最小值做出规定,通常规定最大斜率为2,最小斜率取为1/2.图3所示的外边框平行四边形说明了D

15、TW算法的搜索范围.(1,1图3动态时间规整中的路径搜索为了描述DTW路径上网格点的关系,定义函数(n,m),表示路径上当前点(n,m)的前一网格点.有等式关系(n,m):(n,m),其中(n,m)为当前点的前一点,且前一网格点(n,m)=(n.,m)必须满足下列情况之一:(/2,m)=(/2一1,m)(n一1,m一1)=(rt.一1,n一1)(n,m)=(I-bi-1,m一2)定义路径代价函数d(/'/,m),其意义为从起始点(/Z.,m.)出发到当前点(n,m)的各点失真累计值,有如下递推公式:d(12.,m)=DT(n),R(m)+d(/Z,m)=DT(n),R(m)+mind(

16、ni-1,m),d(/Zi-1,m一1),d(一1,m一2)d(/Z.,m)=d1,1=DT(1),R(1)其中,DT(n),R(m)为当前点(n,m)对应的T(n)和R(m)失真,d(n,m)为前一点(n,m)的路径代价函数.由上面的递推公式,即可求得从起始点到终止点的最佳路径.计算出长度不同的特征序列之间的最小失真度总和D,R=N,M.2.4识别图4为各手势加速度信息经过信号预处理后的加速度幅值波形,其中横轴为时问t/s,纵轴为加速度幅值M/g,图中实线为加速度传感器轴方向的x轴一Y轴时间s(e)画叉(×)图4各手势加速度幅值波形第1期荆雷,马文君,等:基于动态时间规整的手势加速

17、度信号识别75幅值变化,虚线为加速度传感器Y轴方向的幅值变化.图4中手势顺序依次为:横(一),竖(),画圆(o),打钩(,/),画叉(×).由图4可以看出,各个手势执行的时间长度是不同的.因此,为减少计算量和加快识别速度,在执行动态时间规整时先判断测试模板和参考模板之间时间序列是否相差过多,如相差时间在设定范围之内则进行动态时间规整,计算失真的最小距离;反之则匹配失败.通过动态时间规整(DTW)算法计算出测试模板与各个参考模板之间总的失真距离D,R的最小值,再在这些最小值中比较,取出最小的一个,与之对应的参考模板即为识别结果.3实验结果实验中选用了41名志愿者,共采集了2050组样本

18、数据.每个志愿者以自己的习惯正常速度执行5个简单手势.并重复采集10次.建立模板时随机选用了15个人的750组数据.分别对五种手势进行建模.验证测试阶段选用了其余26个人的1300组数据对所构造的模型进行测试.表1列出的是五种手势的识别结果表1DTW算法的手势识别结果由表1可得知,DTW识别算法在简单手势的识别中,该算法具有较高的识别率和准确性.为了更好的说明DTW识别算法在识别率上比其他算法更具有优势.实验中同时也用HMM算法对这五种手势进行了识别,其识别结果如表2.表2HMM算法的手势识别结果对比表1与表2可以看出,DTW识别算法识别五种手势的识别率都远高于HMM识别算法,且DTW算法的平

19、均识别率97.078%远高于HMM识别算法的平均识别率78.616%.因此,DTW识别算法在识别率上比HMM算法更具优势.4总结本文使用动态时间规整算法识别手势,实验结果表明,该识别算法具有较高的识别率.但本设计只在时域上对手势加速度进行了分析,没有对频域信息进行提取和分析.而且,在基于模板匹配的手势识别技术中.有多种因素会影响识别的正确率,比如手势动作的多少,手势模板的多少,执行手势的稳定性(速度)等.此外,本文的结论均是离线计算得出,而手势识别的实际应用是一个在线的判断过程.因此.还需要对算法和硬件系统做进一步的改进.再有本设计只是识别了5种简单的手势,种类较少.因此还需对识别种类上做进一

20、步研究,如识别阿拉伯数字,英文字母等.参考文献:1刘俊梅,阮秋琦.一种复杂背景下的手势分割新方法J.北京电子科技学院,2006,14(2):2327.2任海兵,祝远新,徐光佑,等.基于视觉手势识别的研究综述J.电子,2000,28(2):118121.3孑L俊其,王辉,张广泉.基于加速度识别的姿态交互研究J.苏州大学(工科版),2009,29(2):2327.4HossainM,JenkinM.RecognizingHandRaikingGesturesUsingHMMc/ComputerandRobotVision,2005:405412.5WangXiying,DaiGuozhong.AVovelMethodtoRecognizeComplexDynamicGesturebyCombiningHMMandFNNmodelsc/ComputationalIntelligenceinImageandSignalProcessing,2007:1318.6AilistoK,LindholmM,MantyjarviJ,eta1.IdentifyingPeoplefromGaitPatternwithAccelerometersc/ProceedingofSPIE,BiometrieTechnologyforHumanidentifi