基于LeapMotion关键点模型的沙画手提出一种基于LeapMotion采集设备的关键点模型汇总

1、基于Leap Motion 关键点模型的沙画手势识别摘要：提出一种基于Leap Motion采集设备的关键点模型的沙画手法虚拟仿真方 法。首先，利用Leap Motion获取手势信息数据并设计计算算法获取人手关键点 的空间位置；然后，设计算法并利用计算出来的空间位置获取沙画手法中铺沙， 捏沙这两个基础手法在运动过程中的相关数据；最后，获取的时刻变化数值波形图。实验证明，通过该方法可实现对手部运动准确的模拟，为进行人机交互的沙画模拟奠定了基础。关键词：Leap Motion ；关键点模型；沙画手法虚拟操作人机交互过程中，采用计算机视觉获取人手信息在交互的自然性与成本 上有巨大优势，是未来发展的主

2、要趋势。在基于视觉的人机交互中，由于人手的 信息不能直接被计算机获取，人手姿态参数估计成为一项基础性工作，所以，手部姿态估计一直受到广泛重视。在国外，Doliotis 等1通过建立手势数据库，基于深度图像提取特征进行数据库索引，找到最为匹配的手势完成姿态估计。 Keskin等2使用随机决策森林对深度图像进行分类，计算类别中心以获取手部各关节中心位置，从而得到手部骨架信息。这一类方法具有速度快的优点，但是 需要大量的训练数据、同时有泛化能力不足、估计精度不高的缺点。在国内，周 文猛等3使用Kinect作为输入设备，在无标记的情况下对人体手部进行估计， 跟踪恢复出人体手部的姿态信息。 这一方法优化

3、了对手部图像处理的速度，但是Kinect传感器的精度有限，难以保证准确地估计人手姿态。胡弘等 4提出基于 Leap Motion输入设备的关键点模型手姿态估计方法。这一方法利用最新的该精 度采集设备，准确获取信息，能够实时地估算出手各个关键点的位置，但是在手姿态估计过程存在偏差，并且精确性不足。本文方法构建更准确的关键点模型， 以关键点的空间位置作为参数进行姿态估计，设计算法再设计算法获取沙画手法中铺沙，捏沙这两个基础手法中相关数据进行虚拟仿真。利用Leap Motion获取的手势信息，估算出指尖，远指关节，近指关节，指掌关节等21个关键点的三位空间位置，21个关键点位为人手部15个运动的关节

4、点，5个指尖，1个手腕 关节点。1 Leap MotionLeap Motion利用红外成像的原理，能检测并跟踪手，手指和类似手指的 工具，能实时获取它们的位置 方向和手势信息，并将这些信息提供给开发者， 以达到人机交互的效果。Leap Motion采集的基本单位是帧，平均具有 0.7mm级 的捕获精度，有很高的米集效率和准确性，可以满足手姿态对信息米集的要求以 及沙画制作手部运动捕获的要求。Leap Motion采用了右手笛卡坐标系，如图 1，Leap Motion获取的手坐标 和向量都是基于Leap Motion坐标系（以下简称为）本文在 坐标系中对个关键 点坐标进行计算和处理。图1 Le

5、ap Motion右手坐标系统Leap Motion的手模型，如图2。本文利用Leap Motion获取的手掌和手指的信 息为（在Leap Motion的坐标系下）：掌心坐标，手掌法向，手掌朝向，手指长 度，手指方向，指尖坐标。图2 Leap Motion 手模型2关键点模型三维手模型可以分为体模型、网格模型、几何模型以及骨架模型5-6。相比较而言，三维骨架模型既易于实现又能体现三维特性，可以通过一定方法重建出满足真实感要求的训练用虚拟手。本文依据手的三维骨架模型构建出关键点手模型，将手掌（Palm）、指尖（TIP）、远指关节D IP）、近指关节（PIPS、指掌关节（MCP）等20个关键点的空

6、间位置标注出来，作 为手的姿态参数，如图3所示.这些关键点的位置信息少部分可以直接从Leap Motion中获取的，如手掌、指尖，其他则需要通过建模求解才能获得MidifUPIPThumbCMC平面四边形模型食指、中指、无名指、小指四指都有三个可活动的关节点，都具有指尖点、远指关节点、近指关节点和指掌关节点 4个关键点。拇指构造有所不同，但同样有三个可活动的 关节点和四个关键点，四个关键点分别是指尖点，指关节点，指掌关节点，腕-指掌关节点7，建模方法与解四边形类似。以拇指以手指的腕-指掌关节点有原点，其余四指以手指的指掌关节点为原点，指掌关节点到指尖点的方向为X轴，以垂直以 于X轴且使指关节点

7、Y值为非负的方向为Y轴， 构建手指局部平而坐标系，如图所示其中，圆点代表4个关键点的位置，01和02 在拇指上表示指关节与指掌的弯曲角度，在其余四指上表示近指关节与远指关节弯曲的角 度。构建一只手指的局部平面坐标系四边形模型如下:|ad 二 d|ab |bc |cd 二 |其中，d对应某一时刻实际空间中手指的伸出长度（即腕指掌关节点或指掌关节点到指尖点的距离），l对应手指的总长度。0C + 0+0 + &丄二 2 冗Z w q w冗，壬w % w冗12 2亠这是角度的条件限制，其次，为了更加准确，根据医学，生理学的实验探索，本 文将手指指段长度比列关系定义为经验估计值Iab： Ibc: Icd

8、 = 1.5：1.2：1.0，关节 间弯曲角度比例关系定义为经验估计值2 =1.2。定义A为原点，作辅助线AC和 BD根据余弦定理，设：f x,y, = x2 y2 - 2xycos ；则有：f( | AB,| AD,。 心f(l BC,lCD 2)f( | AD,| CD, P )= f( | AB,| BC,* 1)根据设计的算法，可解出B, C, D的坐标，B点即拇指指关节点，四指近指 关节点；C点即拇指指掌关节点，四指远指关节点；D点即拇指腕一指掌关节点， 四指指掌关节点。坐标为：BIabcos sin,C |ad- |cd cos ,|cdsin,DIad,0。坐标转换求解到平面四边

9、形模型，获取了各关键点在手指局部平面坐标系中的坐标， 对于获取的每一帧数据，须将这些坐标转换到Leap Motion坐标系。设LeapMotion坐标系为0- XyZ，反映手在真实空间坐标位置的坐标系。将手指局部 平面坐标系根据右手法则扩展为三维坐标系 0 - x y z.直接获得的数据：利用Leap Motion得到的手指长度l，手指方向U，指尖 坐标Xm, yM ,ZM ,手掌法向手指局平面坐标系到Leap Motion坐标系的坐标转换可以计算出三维坐标系 oxyz的原点位置在Leap Motion坐标系下的表示为 Xo,yo,Z。= Xm$m,zM - U l ,三维坐标系坐标轴方向向量

10、在LeapMotion坐标系下表示为山二U,Uy二Uz Ux,Uz二Ux Uf .接着可以求得LeapMotion坐标系中一点 Xi, yi,Zi转换到手指局部三维坐标系 0- xyz的坐标x ,y ,z 的转换公式为 x,y,z,1 二 xi,yi,zi,1 MN.由矩阵逆变换定理得，手指局部三维坐标系内一点到Leap Motion坐标系的转换公式为：xi,yi,zi,1 二 x,y ,z,1 M 1 N _1.其中：110001001011II - X0_ y0Z01U Xi11U yi1Uzi01Ux21U y21U z20Ux311U y31Uz301一。001由于手指坐标系原点与坐标

11、轴方向在Leap Motion。对于获取的每一帧数据，坐标系下的表示唯一，所以关键点坐标转化到Leap Motion坐标系中也是唯一的弯曲角度计算本文将分两步完成沙画手势的识别。第一步，根据坐标转换获取手部运动手 指的各关键点的三维坐标信息后，引进新算法计算出关节点间弯曲角度，即 ，2 ；第二步，引进新思想分析标准沙画手势匀铺沙， 点沙，捏沙等手势拇指， 食指，中指，无名指，小指各关节间的弯曲角度范围。第一步，获取得到的各关键点的三维坐标信息， 即A,B,C,D的三维坐标，计算出 关节点间弯曲角度力，二2。设 a X。，yc,zp ,b ”，y 乙,c X2, y?,乙,d y 乙.可得出向量

12、ab = （x-x。，y1-y。,zi-z。），bc=（X2-x,y?-屮，Z2-z）,cd= X3 - X2y_ y2,z3_ z向量的模：ab| = J(xi _ x。2 +(屮_ y2+(zi_ z。2 bc| = J(X2 -刘2+(y2- yiS+(Z2- z2 cd卜 J(X3 - X22 +(y3- y22 +(Z3-云 两者数量积：ab bc =xi -x。X2 -*yi -yo屮-寸 z-z。z?-z ,bc cd = X2 - xi X3 - X2 y2 - yi 屮-讨2 z z Z3- Z2根据向量夹角公式得出的计算公式为：口AB BC齐=cos 1,ab|bc日 2

13、= cos BC,CD BC CD第二步：标准的沙画的手势，匀铺沙手势，大拇指3实验结果和分析电脑配置为 Windows 8操作系统，3.40 GHz主频，4.00GB内存和Leap Motion 一台，系 统采用的软件开发环境：Leap Motion开发包LeapDeveloperKit_V2.i.3以及Unity3D 4.i0图形 引擎与集成开发环境。为保证模型计算的自适应性，要求实验者首先将每根手指伸直，掌面平行放于LeapMotion上方25600mm的扇形工作区域2s以上，获取每根手指的伸直长度，作为该实验者 每根手指的总长度。提取沙画手法匀沙，点沙，捏沙时，手指的伸直和弯曲状态的各

14、一帧的位置信息进行模型的解算。图所示为沙画手法真实手图像和对应根据计算建立起来的关键点 表示，为了方便分清，用不同颜色小球表示每根手指，用Unity3D渲染出虚拟手模型。对于匀铺沙，点沙，捏沙这三种标准沙画手势，寻找i0个测试者，每种获取 iOO个样本（i0个人每人分别做三种动作 i0次），i0个测试者平均年龄 24岁，其中4个学习过沙画手法，都使用过 Leap Motion体感设备。本文手姿态估计完成后，本文通过计算手指指节关节弯曲角度来进一步精确估计手势。 中匀铺沙手势，食指，中指，无名指，小拇指四根手指并排伸直，估要求四根手指指节间角 度1 2均为180度。点沙手势，食指指节点角度均为1

15、80度，其余四根手指出去完全弯曲状态，中指，无名指，小拇指指节间弯曲角度应大致相同。最难的捏沙动作，大拇指与食指指 尖坐标重合，大拇指直接点角度1大约180度，中指，无名指，小拇指指节间弯曲角度大致相同。大拇指食指中指无名指小指匀铺沙不限制01 ,0都接近180度01 ,62都接近180度01 , 02都接近180度01 ,02都接近180度点沙01 ,0都接近180度捏沙01接近180度通过Leap Motion采集设备，获取10个测试者做的每个动作手势100个样本，进行识别实验，实验结果如下表：手势识别组数识别率/(%匀铺沙点沙捏沙匀铺沙96无无96点沙无91无91捏沙无无9393方法准确

16、度/%最低准确度/%本文方法93.391从表中的结果可以看出，三种沙画手势的识别准确率在93.3%，说明本文的方法具有很高的识别准确率，效果显著。 但是实验中仍然存在一些误差，比如点沙手势识别率相对较 低，主要原因是：1，Leap Motion设备采集的信息准确性和 稳定性不足，导致基于这些信息的估计结果出现偏差；2，手运动时，存在遮挡或者倾斜现象，导致预测节点的准确性 受到影响。结束语本文提出了基于 Leap Motion关键点模型的沙画手势 识别，主要贡献是在纠正文献 4中对手部关键点认定的 错误，同时，在利用 Leap Motion获取的手势信息估算出 手部模型中的各关键点的空间位置的基

17、础上，通过估算出各手指关节间的弯曲角度，确立标准沙画手法中各关节点弯曲角度范围，来对沙画手势进行识别。实验结果表明， 本文方法不但能完全估算出人手姿态的21个关键点的位置，而且可以对沙画手势有准确的识别率，高达93.3%。下一步工作，为解决遮挡问题和提高精准度，将进行多 Leap Motion 的多目识别。参考文献1 Doliotis P,Athitsos V,Kosmopoulos D,et al.Hand shape and 3D pose estimation using depth data from a sin gle cluttered frame.Adva nces in Vis

18、ual Comput in g,2012,148158.2 Kesk in C, Kmac F, Kara Y E, et al. Real time hand pose estimati on using depth sen sors.Co nsumer Depth Cameras for Computer Visio n,2013:119137.3 周文猛，杨一品，等：基于 Kinect的无标记手部姿态估计系统J。南京大学 学报(自然科学)，2015( 3)： 297-303.4 胡弘，晁建刚，杨进，等：Leap Motion关键点模型手姿态估计方法J。计算 机辅助设计与图形学学报，2015( 7)： 1211-1216.5 Re n Haibi ng, Zhu Yua nxin, Xu Guan gyou, et al. Visi on-based recog niti on of hand gestures: a survey J. Acta Electro nica Si nica, 2000, 28(2): 118-121