手模型分析及手势识别

亭 一 一 一予 第 1 2卷第 5期 华东船舶工业学院学报 V o 1 2 N o 5 0 c t l 9 9 8 i 9 9 8年 1 0月 手模型分析及手势 曾 芬芳 奎 董 归宝 琪 袁 东船舶工业学院电子与信息系 江苏镇江 良贵 野 陈良贵 摘要 对手结构和关节运动作了深 地分析 并建立丁对其施加约束的手模型 根据所定义的 约束及运动类型 建立了适合于手势合成的手数据结构 并采用神经网络理论进行手势识别t 取 得了较好 的效 果 关 键 词 茎 墼 些 芝 墨 毽 兰 堡 垒 虚 拟 现 实 王 堕 望 数 据 手 套 乏 分类号 TP 1 8 0 前言 虚拟现实技术作为一种新型人机接 口技术 它 为使用者提供 了虚拟环境 之问进行 自然交 互的手段 这是人们最渴望的 机接 口技术 因而引发了人们对手模型的分析和研究 的极大兴 趣 1 9 9 1年 Ha n s R i j p k e r ma和 Mi c h a e l Gi r a ml 研究 了用于机器人基于知识的手动作 它是以 经验为基础 观察人类活动获得 知识 应用人工智能技术较 早的进行 手动作研究 1 9 9 4年 R a mo n Ma s S a n s o和 D a n n i l Th l ma u m研制了一种合成手动作的控制 与抓取系统 它是基于 物理约束的手抓取过程 1 9 9 5年 J i n t a el e e和 To s i y a s v1 k v n i i 研究用立 体图像数据来 自动 分析三维手势 l 它用摄像机拍摄手的运 动图像 使用轮廓提取边界 特征进行识 别的方 法 成功地提取 2 7个交互作用手参数 实现 了三维手势的重构 这些研究为虚拟现实交互技术和 机器人研究 的发展作出了贡献 手势的研究可分为手势合成和手势识别 前者属于计算机图形学的问题 后者属于模式识 别的问题 本文在充分分析了手模型的基础上 使用 5 t h数据手套 图 1 输入的数据合成手 势 并应用神经网络理论进行手势识别 1 手模型分析 手模型是指对人手特征的描述 因为手势中的手和手指的姿态以及运动状况能为更高层 的手势理解提供丰富的信息 而手势可分为静态手势和动态手势 静态手势是一种手的特殊 形状或姿势 而动态手势是运动的手势 它由一组序列图像组成 收稿 日期 I 9 9 8 0 4 2 4 曾芬芳女1 9 4 0 年生教授 维普资讯 第 5期 曾芬芳等 手模型分析 受手势识 别 3 3 1 1 手的结构 手是一个多肢节 的系统 它由 2 7块骨骼组成 分为腕骨 掌骨和指骨 手可看成 由 4个相 邻 的手指 一个大拇指以及手掌组成 每个手指 由指段和关节组成 因此手是一种由关节相连 的结构 随着关节运动 手 的形状在不断变化 手势的这种变化可 以通过指段和关节的状态空 间上的变化来描述 1 2 手运动分析及约束 手在运动时 手指间的交叠经常出现 有时会融人多种含义 而关节 附近的的皮肤表面会 随着关节的运动变化而变化 从而难于估计其位置的变化 因此必须根据手 的自然 运动建立 对其施加约束的手模 型 1 2 1 手运动分析 图 2所示为手模 型的关节表示及它们可能具有的运动类型 每一个手指 V 具有四 个 自由度 其中手指的基部 MP 有两个 自由度 弯曲和旋转 手指的中间关节处 P I P 和末端 关节处 DI P 分别各有一个 自由度 主要是弯 曲运动 大拇指除 了与其他 四个 手指一样具有 四个 自由度外 还有一个外展运动 所以大拇指具有五个 自由度 外加手掌的前后左右运动二 个 自由度 所以手运动总具有 2 3个 自由度 即状态空 间为 2 3维 设每种状态的平均变化为 则该状态空间所描述的孤立状态应为 图 1 5 t h数据手套 1 2 2 手关节运动约束 l l P P J P MP 图 2 手结构 图 手关节运动主要可分为关节弯曲或伸展运动 以及手指侧向运动 并定义了手指和拇指的 局部坐标 由于手上的某一部分 的运动是由它绕其关节点的旋转运动产生 则可用沿这三个坐 标轴的旋转变换表示成 a 其 中 表示旋转轴 表示关节 表示手指 j 由于所定义 的手势或手势语言 都应具有准确的含义 我们对其运动类型及所涉及的关节 在手模型中加 入了如下约束 约束 1 MP P I P DI P关节 以及手指 中轴 始终处于某一平面 除大拇 指的 MP关节可能有 弯曲 伸展或侧向运动外 P I P和 DI P只能在同一平面上作弯曲 伸展运动 约束2 D I P和P I P之间弯曲角度具有线性关系 其相关性表示为 维普资讯 华东船舶工业学院学报 1 9 9 8年 D P 2 3 0 P 约束 3 除大拇指外的每个手指中的 MP侧 向移动的动态最大角度 为 一 0 k 日M P 其 中 k 1 一 1 一 幽 P 口 一 是 关节运 动最大动态角度 一 是关节运 动最大静态 角度 1 3手数据结构 从上述的分析可知 每个手指除大拇指外都具有四个 自由度 从而可以建立一条链 以协 调手指的机构及运动 每条链可 以获取 四个参数 从 而五个手指以手掌为根 节点构成一个树 型结构 树中的每个节点代表一个关节 关节通过指段具有相互关联的运动特性 由于手势是 处于三维空间的姿态和位置 其定位难度较大 因此在定义手树结构时 对它的每一个节点都 提供 了模 型中与其相关指段信息 手树结构 的父节点 手掌 的定位应根据手树结构 中的各子 节点 的偏移量来计算 使算法具有了从顶到底和从底到顶遍历模型树的能力 2 手势合成 手势合成是计算机图形生成及显示处理 的问题 因此它可以通过一系列的状态变换及约 束来描述 状态变换矩阵用来计算手势的空间位置和当前形状 根据约束 1 对每个手指而言 它的各个关节始终处于某一平面内 因此在数据结构 中定 义了垂直于这一平面的单位向量 图 3 a 根据 约束 2 3 当一长为 上 的指段绕某一关节运动 如绕关节 P I P弯曲运动 角 这一弯 曲运动可看作指节 L绕过 P I P关节 向量为 线段的旋 转运动 只要对旋转关节 的 所有控制点及关节点做上面的旋转变换 即可得到新的三维坐标 生成变换后 的手三维图像 手指 的侧向移动是指手指绕基部 MP 关节所作的旋转运 动 定义 了与局部坐标 一致 的 单位 向量 J J 其中 J 为关节上端指节 的向量 为垂直 于手指平面的向量 J 为手 指做侧向运动时的旋 转轴 z 的向量 图3 b D P PI P M P 图 3 手势合成 向量 图 手势合成模块主要由手势状态变化规则 手势规则 状态变换以及图形显示处理等组成 具体来说有规则约束 图元库 指段 以及曲面拟合 光照模型等组成 从 5 t h数据手套输入 的 数据中提取模型数据 经过一系列的变换计算 以合成含有某种高层含义的 可以为计算 机所 维普资讯 第 5期 曾芬芳等 手模 型分析 及手势识别 3 5 能理解的手的空问位置和姿态 并显示于屏幕 3 静态手势识别 手势识别是属于模式识别的问题 它根据人手的姿态以及变化过程来理解其 高层次的含 义 由于神经网络可 用静态的或动态的方式输入 易用快速 交互方式进行训 练 而不必用 一 种解析方式定义传递特征 从而可以进行静态手势和动态手势的识别 特别是静态手势的 识别只需获得手指角度的有关信息 因此手势的识别采用 了 B a c k P r o p a g a t i o n神 经元网络算 法 B P网络 从系统建立的训练库中输入特征数据 训练 B P网络 并用训练好 的 B P网络 来识别和理解所要求识别的手势的含义 并转换为计算机的操作 3 1 基本原理 神经元网络一般由输入层 隐 含层和输出层组成 输入层 的神经元将输入信息 x1 分配 到隐含层的各神经元 隐含层中的神经元 J的输入加权和为 其 中 为输入信息墨 与神经元 之间连接权值 神经元 的输 出是这一加权和的函数 即 乙 W j iX 式 中 一 为作用 函数 它一般为 s形函数 即 1 1 在学 习算法中 规定在神经元 和 之问连接权值的变化 为 w 币墨 式中 为学习率 为一个 因子 它随神经元所处的位置不同而不同 为了加快 B P算 法的学 习过程 通常在上述算式 中增加一个动量项 即 七十1 艄 盎 式 中 w 1 分别为 1和 时刻的权值 的变化量 为动量系数 在网络学习阶段 将具有 尸个输入模式的 输入网络 通过反复调节权值 使系统的 输出与 目标输入 7 的偏差达到用户的要求 接着再用另一个模式输入网络 直到所有模式 均学习一遍后 学习结束 学习好的网络即可用于识别 3 2 系统运行结果 系统数据库可存放两类数据 一类是手势的特征数据 它可从数据手套 中获取 并存人特 征数据中 其数据有各手指基部关节与手掌平面所成夹角 各手指 中间关节上下两指问夹角 各手指末端关节上下两指节 问夹角 各手指与中指所成夹角 大拇 指中间关 节与手掌所成角 度 由于 目前的研究仍限于静态手势的合成及识别 因此手势的特征数据 主要是依据数据手 套的有关参数输入特征数据 库的 另一类数据是 B P网络 中的期望输 出值 如 O 1 2 0 K 之类 它可由用户 自定义新手势加 入库中 采用一个数组来标识这个输 出 并 为待识 别的 手势编号 若期望输出的为第 3号手势 则在数组的 3号位上标识为 1 此类推 系统运行时 首先从数据手套 中获取特征数据 一次可读取 2 0个数据 项输入网络 在网络 中计算 并与期望值比较 通过反馈修改各节点权值 如此反复迭代 若达到所规定的最小平 维普资讯 华东船舶工业学院学报 1 9 9 8年 均误差 0 8 或达到用户要求的迭代次数 则完成本次学习 若未达到用户误差 要求 用户可 继续学 习 系统运行效果较为理想 4 结束语 本系统剥手模型及关节运动作了较深入地分析 因此 构造了基于规则约束 的手模型数据 结构 从而有利于手势的合成和采用神经网络理论的手势识别 取得了较好的效果 由于手具有弹性 同一手势有时会出现较大的差别 手的位置又处在三维空间 难于定位 使手势的精确度差 因而增加了识别的难度 而且我们现有的 5 t h数据手套只有 7个 自由度 所以系统所能识别和理解的手势还很有限 该课题研究的下一步工作 将在模糊神经网络理论 智能化和自然手势等方面做进一步探 索 参考文献 1 S a n m R Th a i ma n n D A h a n d c o n t r o l a n d a u t o ma t i c g r a s p i n g s y s t e m f o r s y n t h e t i c a c t o r s Eu r o g r a p h i cs 1 9 9 4 1 3 3 1 6 7 1 7 7 2 L e e J Ku n i i I Mo d e b a s e d a n a l y s i s o f h a n d x s t u r e C o mp u t e r G r a p h i c s a n d A p p l i c a t i o n s 1 9 9 5 5 1 5 7 7 8 6 3 R p k e ma H Gi r a r d M C o mp u t e r a n i ma t i o n o f k n o wl e d g e ha e d h u ma n g r a s p i n g C o mp u t e r Gr a p h i c s 1 9 9 4 2 5 4 3 3 9 3 4 8 4 汪 成为 高文等 灵境 虚拟现 实 技术 的理论 实现投应用 北京 清华大学出版社 1 9 9 6 5 曾芬芳虚拟现 实技术 上海 上海交通大学出版社 1 9 9 7 6 美 包 约翰 自适应模式识别 与神经网络 北京 科学 出版社 1 9 9 2 Ana l y s i s o f Ha nd M o de l a nd Di s t i ng ui s hi n g Ha nd M o t i o n Z e n gF e n f a n g L i J i n g n Gu i Y u a n Y e C Ae n L i a n g g u i De p t o f E e c l r o n i m a n d n fo a t i o n E a s t C h i n a S h i p b u i ld i n gI n s ti t u t e Z h 叫 i a n g J ia n g s u 2 1 2 0 0 3 A b s t r a c t Th e h a n d s t r u c t u r e a n d j o i n t mo t i o n i s a n a l y s e d A h a n d mo d e l i s t h e n e s t a b l i s h e d An d a l s o t h e mo t i o n c o mp o s i t i o n b a s e d o n t h e r e s t r i c t i o n h a s b e e n s t u d i e d B y a c q u i n n g k e y d a t a f r o m a d a t a g l o v e a n d u s i n g n e u r a l n e t wo r k