（计算机应用技术专业论文）基于认知模型的运动人手三维跟踪方法研究.pdf

l啊 1 一 u n d e rt h es u p e r v i s i o no f p r o f y a n gb o at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fs c i e n c e u n i v e r s i t yo fj i n a n j i n a n s h a n d o n g p r c h i n a m a y2 0 2 0 1 0 f i ii iiif 6 7 7 原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师的指导下 独立进行研究所取得的成果 除文中已经注明引用的内容外 本 论文不包含任何其他个人或集体己经发表或撰写过的科研成果 对本文的研究作出重要贡献的个人和集体 均己在文中以明确方 式标明 本人完全意识到本声明的法律责任由本人承担 论文作者签名 壑照j 缨 e t 期 丕型2 坦 关于学位论文使用授权的声明 本人完全了解济南大学有关保留 使用学位论文的规定 同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版 允许论文被查阅和借鉴 本人授权济南大学可以将学位论文 的全部或部分内容编入有关数据库进行检索 可以采用影印 缩 印或其他复制手段保存论文和汇编本学位论文 保密论文在解密后应遵守此规定 论文作者签名 晷遮级导师签名 2 2 经典针孔相机模型 1 0 2 3 基于粒子群优化的摄像机内参数标定算法 1 2 2 3 1 样本选择 1 3 2 3 2 算法描述 1 3 2 4 实验结果及分析 1 4 2 5 本章小结 1 6 第三章复杂背景下的手势识别 3 1 引言 1 9 3 2 手势空间分布特征 2 0 3 3 复杂背景下基于空间分布特征的静态手势识别 2 1 3 3 1 复杂背景下基于亮度高斯模型的手势分割算法 2 1 3 3 2 手势定位 2 2 3 3 3 手势识别 2 4 3 4 实验结果分析和比较 2 6 3 4 1 无肤色干扰的手势识别实验 2 6 3 4 2 存在肤色干扰的手势识别实验 2 9 筚下认知校掣的运动人千三维跟踪方法研究 3 4 3 弯曲变形手势的识别 3 0 3 5 算法分析 3 2 3 5 1 算法识别率的分析 3 2 3 5 2 算法特点分析 3 2 3 6 本章小结 3 2 第四章单目视觉下运动人手三维跟踪 4 1 运动人手跟踪系统的实验平台 3 5 4 2 手势特征点的提取 3 6 4 3 人手的状态空问描述 3 7 4 4 基于传统粒子滤波算法的运动人手跟踪 3 8 4 4 1 传统粒子滤波算法原理 3 9 4 4 2 基于粒子滤波算法的运动人手跟踪 4 3 4 4 3 运动人手跟踪实验结果 4 7 4 4 4 基于粒子滤波算法的运动人手跟踪存在的主要问题 5 0 4 5 本章小结 5 1 第五章基于认知模型的运动人手三维跟踪 5 1 基于数字手套的3 d 虚拟辅助平台开发 5 3 5 1 13 d 虚拟辅助平台开发 5 3 5 1 23 d 虚拟辅助平台数据分析 5 6 5 2 基于多表达式编程算法的数据拟合 6 0 5 2 1 多表达式编程算法简介 6 0 5 2 2 数据拟合结果 6 2 5 2 3 数据状态变化分类 6 6 5 3 认知模型简介 6 7 5 3 1g o m s 模型简介 6 8 5 3 2 本文提出的g a m a 模型 6 9 5 4 基于认知模型的运动人手跟踪及其实验结果 7 2 5 4 1 实验环境 7 4 5 4 2 实验评价标准 7 4 1 1 i i i i v 济南人 硕f j 学位论文 鼍 皇 曼曼曼 曼 曼曼曼曼皇曼曼 曼曼曼曼鼍曼曼i 一i i 一 一一一一i i b e 皇曼曼曼曼 摘要 通过视觉计算对视频图像序列中的运动人手的姿态进行估计 3 d 跟踪 是人机 交互 h u m a nc o m o u t e ri n t e r a c t i o n h c i 研究中的一个基础性和关键性的课题 主要 涉及到计算机视觉 人机交互理论 预测估计方法学等众多交叉学科 对其进行深入 研究 对于深化智能人机交互理论和应用 推进相关学科的发展具有重要意义 单目视觉条件下基于模型的运动人手三维跟踪的主要目的是 连续获取手势帧图 像相对应的三维手势的位置和姿态 为实现自然 和谐的人机交互打下良好的基础 其跟踪方法的本质主要是依据k l 时刻的3 d 手势模型参数和第k 时刻的手势帧图像 的数据信息 预测k 时刻的3 d 手势 从而达到跟踪的目的 基于模型的跟踪方法特 点在于建立3 d 手势模型特征和手势图像特征之间的映射关系 利用观察到的手势图 像特征与3 d 手势模型进行相似性度量从而确定误差最小的模型参数 本质上是一个 在高维空间进行搜索和匹配的问题 然而由于人手是一个复杂的非刚性的多链接物 体 且手势本身具有多义性 多样性以及在时间和空间上存在差异性的特点 并且人 手具有高自由度 手势的这种高维状态表达是姿态估计中有效全局搜索真实手势的最 大障碍 假设运动过程中每个手势自由度只有两个变化趋势 那么对于具有3 3 个自 由度的人手来说 每次运算量为2 3 3 搜索真实手势时容易陷入 维数灾难 的陷阱 使手势跟踪实时性成为一个遥不可及的事情 本文结合计算机科学和认知心理学等相关学科 对3 d 运动人手跟踪进行多学科 的交叉讨论和研究 提出了基于认知模型的运动人手的三维跟踪方法 主要对以下几个关键问题进行了研究 1 复杂背景下基于空间分布特征的的手势识别 手势识别是先进人机交互研究的一项关键技术 基于自然人手的新型的人机交互 理论和应用中 要求用户的手势能处于自然状态 使人能够以自然的方法进行人机交 互 本文作者结合手势的全局特征和局部特征对手势进行了更为全面的描述 并且在 识别过程中引入 搜索窗口 和 随机采样机制 搜索窗口 的引入 实现了准 确定位一定尺寸的只包含手势区域的 搜索窗口 后续的识别过程仅在该 搜索窗 口 内进行 一方面缩小了预处理范围 减少了不必要的计算过程 提高了识别速度 另一方面 避免了噪声点和类肤色的干扰 能够做到有大量噪声点和人脸干扰时正确 v 基于认知模型的运动人于三维跟踪方法研究 i i i m m m m 曼寰曼鼍曼 曼曼曼曼 曼曼曼曼曼曼 曼 曼曼 曼 曼曼 曼曼曼曼曼曼曼曼曼曼曼鼍 识别手势 提高识别率 结合手势的形状特征引入的随机采样 提高了手势识别速率 本算法不仅能识别总体区分度比较小的手势 且能够识别存在一定弯曲程度的手势 为和谐 自然的人机交互创下了基本条件 2 提出了基于认知模型的运动人手的三维跟踪方法 自然人机交互过程中 处处都存在着操作者的心理活动 该心理活动直接影响到 操作者的运动形式 本文运动人手跟踪方法以认知心理学 行为科学等为理论基础 研究操作者在特定实验条件下的认知心理特征与人手运动的行为特性 首先 运用观 察法 实验法 口语报告法等心理学分析方法研究特定人机交互条件下不同操作者 的认知心理特点和手势运动特点 并经过训练使不同的操作者实现同一个完整的运动 过程 并借助于虚拟辅助平台获取运动数据 然后对数据进行认知曲线拟合 使手势 运动特点具体化 数字化 为后续的采样做铺垫 并在此基础上分析数据状态变化趋 势 以概率的方式对运动手势数据进行分类 为粒子滤波采样方法提供了一种高效 统一的数学认知模型 以此为基础的采样算法可以避免盲目的搜索 实现高维空间下 跟踪手势全自由度的运动姿态时减少对动态模型的依赖 而是更多地信任认知模型提 供的运动线索 实验结果表明 与传统滤波算法相比 基于认知模型的手势跟踪算法 可以利用更少的运行时间达到更高的跟踪精度 本文的许多研究仍然需要更进一步的探索研究 在自然的人机交互过程中 处处 都存在着操作者的心理活动 本文对操作者的心理特征研究只是基于部分简单的运动 场景 存在着局部性和肤浅性 普通情况下操作者的普遍心理特征还需要进一步的探 索研究 关键词 运动人手跟踪 认知模型 维数灾难 手势识别 人机交互 v i 济南人学硕 j 学位论文 a b s t r a c t r e s e a r c ho nt h r e e d i m e n s i o n a l p o s t u r ee s t i m a t i n ga n dt h r e e d i m e n s i o n a l h a n d t r a c k i n gi nv i d e os e q u e n c e si st h ef u n d a m e n t a la n dk e yp r o j e c tw h i c hc o v e r sv a r i o u s c r o s s d i s c i p l i n e s s u c ha sc o m p u t e rv i s i o n h u m a nc o m p u t e ri n t e r a c t i o n h c i e s t i m a t i o n m e t h o d o l o g y s o i ti sm o s ts i g n i f i c a n tt oc o n d u c tt h o r o u g hr e s e a r c ho nt h r e ed i m e n s i o n 3 d h a n dt r a c k i n gf o rb o o s t i n gt h e o r i e sa n da p p l i c a t i o n so fi n t e l l i g e n th c ia n dp r o m o t i n gt h e a p p l i c a t i o na n d r e s e a r c h e so fr e l a t i v ed i s c i p l i n e s u n d e rt h ec i r c u m s t a n c eo fs i n g l e v i e w t h em a i np u r p o s eo fa p p e a r a n c e b a s e d t r a c k i n ga n dm o d e l b a s e dt r a c k i n gi s t oo b t a i nt h e3 dh a n dg e s t u r e sa n dt h e i rp o s i t i o n s c o r r e s p o n d i n g t ot h ef r a m ei m a g e s a n dt h em a i n m e t h o do f t r a c k i n gi sg e t t i n gt h e3 d h a n d g e s t u r e sa tt i m ekb yp r e d i c t i o na n df i l t e r i n ga c c o r d i n g t ot h e3 dh a n dg e s t u r e sa tt i m ek 1 拓 a n dt h ef l a m ei m a g e sa tt i m ek a n dt h em a i nf e a t u r eo ft h i sm e t h o di sb ye s t a b l i s h i n gt h e m a p p i n gr e l a t i o no ff e a t u r e so f3 dh a n dg e s t u r e sa n dt h ef e a t u r e so ff r a m ei m a g e s a n d g e t t i n gt h e3 dh a n dg e s t u r e sw h o s em o d e le r r o ri ss m a l l e s t i ti sap r o b l e mo fs e a r c h i n g a n dm a t c h i n gi nh i g hd i m e n s i o ns p a c ef r o mi t sv e r ye s s e n c e b e c a u s et h eh a n dg e s t u r e o ni t s e l f i sc o m p l e x a n di sc h a r a c t e r i z e db ym u l t i f o r m i t y i na p p e a r a n c e a m b i g u o u s n e s si ns e m a n t i e n e s sa n dd i f f e r e n c e si ns p a c e t i m e v i s i o n b a s e d t r a c k i n ga n dr e c o g n i t i o nt ot h eh u m a nh a n di sac h a l l e n g i n gp r o j e c t b e s i d e s t h eh a n d g e s t u r ei sc h a r a c t e r i a t i co fh i g hd e g r e eo ff r e e d o f a s s u m e dt h a te a c hd o fo n l y h a st w o c h a n g et r e n d a n dt h ec o m p u t a t i o n a lc o m p l e x i t yc a l lg e tt o 2 3 3f o rt h eh a n dg e s t u r e t r a c k i n gw h i l et h eh a n dg e s t u r ei n c l u d i n g3 3d o f s a n dt h ec o m p u t a t i o n a lc o m p l e x i t yi s t o oh i g ht or e a c ht h eg o a lo fr e a l t i m et r a c k i n g t oa d d r e s st h e s ep r o b l e m s an o v e lh a n dt r a c k i n gb a s e do nc o g n i t i v em o d e li s p r o p o s e dw h i c hc o m b i n ec o m p u t e rs c i e n c ea n dc o g n i t i v ep s y c h o l o g yr e l e v a n td i s c i p l i n e t h e p a p e r r e s e a r c h e so nt h ef o i l i n gk e y p r o b l e m si n3 d h a n dt r c k i n g 1 g e s t u r er e c o g n i t i o ni nc o m p l e xb a c k g r o u n db a s e do nd i s t r i b u t i o nf e a t u r e so fh a n d g e s t u r er e c o g n i t i o ni so n eo ft h ek e yt e c h n o l o g i e si na d v a n c e dh u m a n c o m p u t e r i n t e r a c t i o n i nt h i sp a p e r ah a n d d i s t r i b u t i o n f e a t u r e s b a s e da p p r o a c ht oh a n dg e s t u r e r e c o g n i t i o ni sp r e s e n t e d i nt h i sm e t h o d s e a r c h w i n d o wi su s e dt os e l e c t i n gt h ev a l i dh a n d v i i c h a r a c t e r i s t i c s f i r s t w eu s et h em e t h o do fo b s e r v m i o n e x p e r i m e n t p s y c h o l o g y o r a l r e p o r t sa n do t h e ra n a l y s i sm e t h o d st os t u d yc h a r a c t e r i s t i c so ft h eo p e r a t o r sc o g n i t i v ea n d p s y c h o l o g i c a l c h a r a c t e r i s t i c so f g e s t u r em o v e m e n tw h i c ho c c u r r e di nas p e c i f i c h u m a n c o m p u t e ri n t e r a c t i o n a n dt r a i n e dt od i f f e r e n to p e r a t o r sw i t hac o m p l e t e i m p l e m e n t a t i o nm o v e m e n t b yt h eh e l po fav i r t u a la s s i s t a n tp l a t f o r mf o rg e t t i n gt h e m o t i o nd a t a a n dt h e nu n d e r s t a n d i n gt h ed a t ac u r v ef i t t i n g t om a k ec o n c r e t eg e s t u r e s m o v e m e n tc h a r a c t e r i s t i c s d i g i t a l l a y i n gt h eg r o u n d w o r kf o rt h ef o l l o w u ps a m p l e a n do n t h i sb a s i s w ea n a l y z et h ev a r i a t i o nt e n d e n c yo ft h ed a t a c l a s s i f yt h ed a t ao ft h eg e s t u r e b y w a yo fp r o b a b i l i t y f o rt h ep a r t i c l ef i l t e rs a m p l i n gm e t h o dp r o v i d e sa ne f f i c i e n t u n i f i e d m o d e lo fm a t h e m a t i c a lk n o w l e d g e a sab a s i sf o rt h es a m p l i n gm e t h o dc a l la v o i db l i n d l y s e a r c h i n gi nh i g hd i m e n s i o n a ls p a c e a n dr e d u c e dt h ed e p e n d e n c eo nt h ed y n a m i cm o d e l w h i l et r a c k i n gt h eh a n dg e s t u r e b u tm o r et r u s tt h ep r i o r ik n o w l e d g ep r o v i d eb yt h e c o g n i t i v em o d e l t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tc o m p a r e dw i t ht h et r a d i t i o n a lf i l t e r i n g a l g o r i t h m o u rh a n dt r a c k i n ga l g o r i t h mw h i c hb a s e do nc o g n i t i v em o d e lc a nu s el e s s r u n n i n gt i m et oa c h i e v eh i g h e rp r e c i s i o n k e yw o r d s h u m a nh a n dt r a c k i n g c o g n i t i v em o d e l d i m e n s i o nd i s a s t e r h a n dg e s t u r e v i i i 济南歹 学硕l 学化论文 r e c o g n i t i o n h u m a n c o m p u t e ri n t e r a c t i o n i x 基于认知模掣的运动人了一i 维跟踪方法研究 曼 曼曼曼曼曼曼曼 曼 曼曼曼曼曼曼曼曼曼曼曼 曼曼曼 曼寰 i i i 曼曼曼曼曼曼曼蔓曼皇曼曼曼皇曼 曼曼曼蔓曼 曼 曼曼 曼曼曼曼曼曼 曼曼皇曼曼曼曼 曼蔓曼曼曼 曼 x 济南人学硕f j 学 一论文 1 1 研究背景 第一章绪论 人机交互技术和信息处理技术是2 1 世纪公认的四项重大技术之一 1 是一个颇 具挑战性的研究课题 现代的人机交互设计已经逐步从多功能设计发展成多元化和人 性化的设计 以用户为中心的设计思想逐渐取代以计算机为中心的设计而成为交互设 计的发展主流 中华人民共和国国务院国家中长期科学和技术发展规划纲要 2 0 0 6 2 0 2 0 提出 智能感知技术 和 虚拟现实技术 将是未来发展中的重点发 展领域和优先发展主题 目前 基于计算机视觉的3 d 自然人手运动跟踪 已经逐步发展成人机交互领域 中的一个核心课题 利用人体的各种姿态或不同的手势状态作为计算机的输入设备已 经逐渐成为人机智能交互领域的一个重要组成部分 手势是人手或者手和臂结合产生 的各种姿势或动作 包括静态手势 指姿态 单个手形 和动态手势 指动作 由一系 列姿态组成 2 早在4 0 年代时 心理学家q u e k p a v l o v i c 等就对手势进行了分类 无意识的手运动 糯动卜雾运动 f 表示动作 交流手势 表示符号f 嚣昙辜雾 基于该手势分类方法可以得出结论 手势是人类意识支配下的一种人与人之间的 交流方式 通过人手做出的各种动作 如 手指的弯曲 伸展及手势在空间所指示的 方向等 可以表达人们之间彼此的感情或人类交流时所包含的某种含义或者意图 甚 至可以表达某项任务完整的执行过程 因此如果能够充分利用人类丰富的手势信息实 现人机交互 比如虚拟现实环境 遥控机器人 哑语手势交流等 可以使用户直接 利用人类的自然技能而不需要经过刻意的训练 就能实现自然直观的 操作灵活并且 具有强大功能的人机接口 因此 基于计算机视觉的3 d 运动人手跟踪成为国内外的 一个研究热点 但由于人手是一个多关节的 复杂的非刚性物体 使得这一课题既具 有重大意义又极具挑战性 綦于认知模掣的运动人 r 三维跟踪方法研究 虚拟现实 v r 技术的广泛应用迅速推动了基于计算机视觉的运动人手跟踪和 手势识别技术的发展 目前 键盘和鼠标仍然是人与计算机交互过程中的重要工具 但是在以用户为中心的人机交互设计思想中 人们不仅仅满足于通过简单的键盘输入 或屏幕显示输出信息 键盘和鼠标等已经不能够满足和谐的人机交流 形成所谓的 人 机直接对话 这些设备在v r 系统中使用起来极为不自然 另一方面 目前的大多 数人机交互系统都是基于硬件传感器 如数据手套等人机交互工具 主要利用数据手 套来感应手形的变化 3 4 并通过在指关节设置感应环识别手势 5 实现运动人手 跟踪的目的 采用数字手套作为交互工具的优点主要是 算法简单 准确 且不受复 杂背景 光线等外界条件的影响 但是该方法需要使用者佩戴数据手套 6 或者电磁 波发射器等接触性传感器 c o n t a c tt y p es e n s o r s 这在一定程度上影响了交互界面的 友好性 并且由于设备价格昂贵 内部传感部件容易磨损老化等 很难被一般用户接 受 基于视觉的手势跟踪与识别方法则在一定程度上为使用者提供了更自然 更方便 更直接 成本更低的人机交互方式 由于人机交互在现代的许多领域中都属于一门学科 是一个跨学科的领域 且人 手在运动过程中受到人的信念和潜意识的支配 涉及到人类的思维活动 心理活动等 高级行为 因此结合计算机科学和认知心理学等跨学科技术进行运动人手的3 d 跟踪 和识别是目前国内外人机交互领域新兴的研究思路 最近几年在国家自然科学基金项目 面向实时性和鲁棒性的自然人手粒子滤波跟 踪方法研究 6 0 7 7 3 1 0 9 山东省自然科学基金项目 虚拟样机人机交互界面设计中 自然人手的跟踪方法研究 山东省教育厅科技计划项目 基于认知心理学的自然人 手状态采样方法及其在运动人手跟踪中的应用研究 j 0 7 y j l 8 等项目的支持下 对 人机交互和虚拟现实技术进行了更为深入的理论研究和应用研究 本文正是在这样的 研究背景下结合计算机科学和认知心理学等相关学科 对3 d 运动人手跟踪方法进行 多学科的交叉讨论和研究 体现人机交互领域中以人为本的和谐人机交流方式 1 2 研究现状及所存在的问题 1 2 1 相机标定 运动人手跟踪过程中 首先需要解决手势特征点的三维空间坐标与二维图像坐标 的对应关系问题 手势图像上每一点的亮度反映了人手表面某特征点反射光的强度 该点在图像上 的位置与空间物体表面相应点的几何位置有关 这些位置的相互关系 由摄像机成像 2 济南人 r 7 i j r il 学f t 论文 的几何模型决定 该几何模型的参数称为摄像机参数 为得到这些参数而进行的实验 与计算的过程称为摄像机标定 摄像机标定是实现运动人手跟踪过程中的一个非常关 键的步骤 其标定结果的精度直接影响运动人手跟踪结果的准确性 因此 摄像机标 定是实现人手跟踪的前提和基础 提供标定精度是摄像机标定技术的重点 目前的摄像机标定技术主要分为两类 基于传统方法的摄像机标定技术和摄像机 自标定技术 其中传统的摄像机标定按照算法思路可以分为以下几类 利用最优化算法进行标 定的传统摄像机标定方法 利用变换矩阵进行标定 考虑畸变补偿的两步法 双平面 标定方法以及其他一些标定方法 最优化算法进行相机标定的优点是可以假设光学成 像模型非常复杂 由此引发的问题是 标定结果依赖于摄像机的初始给定值 如果该 值不恰当 则很难通过优化得到最终的正确结果 优化程序运行时间比较长 无法实 时得到结果 f a i g 7 1 提出的方法是该类标定算法的典型代表 该算法利用了针孔摄 像机模型的共面约束条件 至少利用了1 7 个参数来描述每一幅图像与其三维物体在 空间的约束关系 计算量非常大 摄像机自标定技术主要利用像机运动过程中周围环境图像问的对应关系 不依赖 于任何标定物 大致分为以下几种 利用绝对二次曲线和极线变换性质解k r u p p a 方 程的摄像机自标定方法 8 分层逐步标定法 基于二次曲面的自标定方法 基于主 动视觉的摄像机自标定技术以及其他改进的相机自标定技术 摄像机自标定技术相对于传统的标定方法具有更好的实用性和灵活性 但是其精 度仍然有待于进一步的提高 1 2 2 手势识别 手势识别是先进入机交互研究领域中的一项关键技术 基于自然人手的新型人机 交互理论和应用中 要求用户的手势能处于自然状态 能够以自然的方法进行人机交 互 因此自然人手的手势识别是手势识别技术发展的趋势和目标 魏育成博士论文中 9 提出运用粒子滤波算法进行手势跟踪 跟踪过程中将粒子 的均值漂移引入到粒子滤波过程当中 这在一定程度上避免了粒子滤波采样过程中的 采样恶化和采样枯竭问题 提高了有效粒子的数目 在实时跟踪手势的基础上 提出 了基于时序模板的轨迹分析方法 并用两层分类器对7 种动态手势进行分类识别 通过机器学习的方法实现手势识别是一种重要的手势识别研究方法 通过机器学 习的方法获取高维特征集与手势间的关系 从而解决高维特征空间下的状态搜索问 3 基于认知模型的运动人了 i 维跟踪方法研究 题 h m m h i d d e nm a r k o vm o d e l 就是机器学习方法的一个典型代表 可以有效提取 并识别空间手势的时空动态模型 1 0 1 5 一个h m m 由大量的隐含状态组成 每个状 态含有一个从本身到其他状态的转移概率 转移概率仅取决于该状态前的n 个状态 称为n 阶m a r k o v 过程 h m m 的本质在于量化时间序列 将其变为少量的离散状态 并且在这些状态之间存在着转移概率 h m m 是一种高度的时间尺度不变量 可以找 到产生现有观测序列的最可能的状态序y t j 1 6 1 7 1 c h u n g l i nh u a n g 18 等实现了基于模型的手势识别系统 该系统主要包括手势特 征提取 训练和手势识别三大部分 手势特征提取阶段 结合图像的空间信息和时间 信息进行手势图像的特征提取 训练阶段采用主成分分析法来描述空间形状变化 运 用h m m 来描述时间形状变化 并采用改进的h a u s d o r f 艇 离来度量特征图像与事先存 储的模型的匹配程度 手势识别阶段 利用学习好的主成分分析模型和h m m 从输 入的图像序列中产生测量模型 最后利用v i t e r b i 算法 1 2 确定手势 该方法能够较好 的识别出1 8 种连续变化的手势 虽然h m m 算法具有比较成熟的理论基础 已经广泛应用到手势识别系统中 但 是他无法处理存在相关性的时间序列 且不易进行多个过程的交叉处理 另一种研究方法主要是基于网格技术 1 9 2 0 该方法没有从理论上解决网格与连 续变形间的相互关系 实质上 大多数的人机交互系统中 主要是依据伸直手指的数 目或手势轮廓信息进行手势的分类 识别 把每个手势关节分为伸 缩两种状态 抹 煞了用户操作过程中手势多样性和用户操作意图的复杂性 因此 对于手势这样一个关节式的 复杂变形的非刚性物体 如何进行快速的识 别而又不需要对空间操作者的手势进行过多的限制 直接关系到和谐人机交互的方便 性和自然性 1 2 3 单目视觉下的运动人手跟踪 基于计算机视觉的运动人手3 d 跟踪系统的主要目的是根据摄像机获取的手势 帧图像数据信息恢复手势的空问位置和姿态 例如手指问的关节角度 世界坐标系下 手势的空间位置等 由于人手本身具有多样性和多义性 并且在时间和空间上具有差 异性等特点 再加上人手是一个多关节的 复杂多链接体 具有高自由度 搜索跟踪 时容易陷入 维数灾难 等问题 因此 基于计算机视觉的运动人手跟踪是一个极富 有挑战性的研究课题 激发了研究者的浓厚兴趣 目前的运动人手跟踪方法研究从总体上可以分为两大类 基于表观的跟踪方法和 4 济南人学硕f j 学伊论文 基于模型的跟踪方法 2 l 其中基于表观的方法又称为基于视图的方法 该方法的本 质是在图像特征空间和手势空间之间建立映射关系 跟踪过程中根据手势图像特征获 取手势的估计姿态 该方法一般是建立在对各种可能手势描述数据集的基础上进行学 习和训练的 主要适用于跟踪通讯类的手势 针对人手这种复杂的多链接体 目前已经提出了很多的基于模型的跟踪理论和跟 踪方法 其中分析 合成技术就是一种普遍采用的跟踪方法 首先对合成人手的3 d 模 型进行手势特征检测和参数估计 然后调整模型参数 根据跟踪的先验知识和人手运 动的约束条件 对该模型参数进行逐步的求精和优化 直到获取满意的3 d 手势状态 参数为止 j m r e h g 等人 2 2 2 4 采用分析 合成技术进行3 d 跟踪 后来这种方法成 为通用链模型跟踪 a r t i c u l a t e dm o d e lt r a c k i n g 2 5 的基础 数据库方法是另外一种确 定粗略模型的方法 在n o b u t a k as h i m a d a 等人 2 6 的研究中 通过索引图像库 首先 找到比较粗略的3 d 手势模型 然后提取3 d 人手的手势特征并建立其与手势帧图像 之间的对应关系 进一步获取更精确的模型 最后通过滤波预测技术获取准确的手势 1 综上所述 该类方法首先需要确定一个初始模型 然后通过循环进行合成并比较 最 终得到精确的3 d 手势 这是基于分析 合成方法的一个基本特征 这种研究模式的缺 点主要有 对模型求精过程的优化函数缺少基本的评价标准 精化过程的时间开销大 另一方面贝叶斯 b a y e s i a n 方法通过在状态空间中对系统状态进行预测和滤波 已经成为跟踪领域的重要组成部分且被加以广泛应用 该方法的实质在于 用已知信 番 息构造系统状态变量的后验概率密度分布 该分布可以通过状态的先验分布和状态与 观测的似然函数确定 其核心步骤主要有两步 幕于认知模型的运动人于 三维跟踪方法研究 映射 计算随机向量统计特性的传播 与e k f 滤波相比u k f 能更好地接近状态方程的 非线性特性 估计精度更高 同时因为不需要计算雅克比矩阵 时间开销明显减少 单彩峰提出的一种改进的粒子滤波 p f 算法m s e p f 3 1 3 2 1 通过加入均值漂移步骤 实现了更为有效的采样策略 提高了有效粒子数 在一定程度上避免了传统粒子滤波 的采样恶化和采样枯竭的问题 m s b p f 结合颜色和运动信息计算每个样本的权值 实现了智能轮椅人机交互场景下的实时手势跟踪 本文主要研究基于认知模型的运动人手跟踪方法 传统的基于模型的运动人手跟 踪方法的本质主要是根据k 一1 时刻的3 d 手势参数和第k 时刻的手势帧图像数据信 息 预测k 时刻的3 d 手势 从而达到跟踪的目的 图1 1 阐述了该方法的基本问题 这种方法的主要特点在于建立模型特征和手势图像特征之间的映射关系 利用观察到 的手势图像特征与3 d 手势模型进行相似性度量从而确定误差最小的模型参数 本质 上是一个在高维空间进行搜索和匹配的问题 由于人手自由度高达3 3 个 搜索匹配 的过程中容易陷入 维数灾难 问题 使得计算量巨大 无法满足实时性的要求 本 文结合认知心理学 通过研究人手运动过程中人的思维特点 习惯特点和人手运动过 程中的动作序列化特点 进行运动人手3 d 跟踪 旨在降低空间搜索的范围 减少计 算量实现实时的运动人手跟踪 图1 2 给出了本文基于认知模型的手势跟踪系统的体 系结构 图1 1 运动人手跟踪问题描述 6 时亥dk 的 3 d 手势一 其中图像分割的主要任务是把运动人手从复杂背景中分割出来 三维人手初始化 旨在获取运动人手初始状态时的运动参数 2 d 图像特征提取主要是提取当前手势帧 荪 图像特征 本文主要提取手势轮廓特征 手势特征点信息作为图像的主要特征信息 然后根据本文提出的认知模型结合提取的手势帧图像的特征信息进行相似性匹配 实 现运动人手的跟踪与识别 1 3 论文内容安排 本论文的内容组织结构如下 第一章主要介绍论文的研究背景 阐述了论文研究的目的 意义 并重点分析了 目前相关研究领域的研究现状 技术特点及存在的主要问题 第二章主要介绍基于计算机视觉的运动人手跟踪的前提和最基本的问题即摄像 机参数标定方法 在本章节中对摄像机内参数标定方法进行了讨论 提出了本文基于 粒子群优化算法的摄像机内参数标定方法 并通过实验验证了本文算法的有效性 为 单目条件下基于认知模型的运动人手的3 d 跟踪 识别和人手模型的初始化问题奠定 了基础 第三章主要讨论复杂背景下运动人手识别的相关研究 结合人手的整体姿势和局 部姿态提出了本文的基于空间分布特征的复杂背景下运动人手识别算法 为下一章运 动人手跟踪过程中人手模型的初始化提供了前提 同时介绍了本文中用于实现复杂背 景下运动人手提取算法 第四章运用传统的粒子滤波算法实现运动人手的跟踪 介绍了本文算法的跟踪实 7 恭予认知模掣的运动人下三维跟踪方法研究 1 iii 曼曼曼篡 曼 i i 曼量曼苎 曼曼曼 曼曼曼曼 曼曼曼曼曼曼置蔓 验平台 3 d 人手模型的状态空间描述 手势特征点的提取 最后提供了本文基于传 统粒子滤波跟踪算法的详细实验结果 并对本文算法进行了评价 指出其中存在的不 足 第五章结合认知心理学理论对人手运动过程中的心理特点进行研究 提出了本文 的认知模型 并实现了辅助平台的建立 通过分析辅助平台获得的实验数据实现运动 人手跟踪抽象过程的具体化 对基于认知模型基础上的运动人手跟踪方法进行了详细 的研究阐述 并给出了实验结果 第六章是对本文的总结和对未来工作的展望 对论文进行了总结 同时提出了论 文下一步的研究方向与研究思路 济南人学硕i 学伊论文 第二章基于粒子群优化算法的摄像机内参数标定方法 摄像机标定是实现基于计算机视觉的运动人手跟踪的前提和最基本的问题 其标 定结果的精度直接影响运动人手跟踪结果的准确性 因此 做好摄像机标定是实现后 续人手跟踪的前提和基础 提供高标定精度是摄像机标定技术的重点 本文提出的基于粒子群优化算法的摄像机标定方法 只需要拍摄摄像机前标定盒 的图像 提取标定盒上每个网格点的三维空间坐标和二维图像坐标 然后选取训练样 本利用粒子群优化算法进行相机内参数的标定 实验结果表明 运用该粒子群优化算 法进行摄像机标定能达到较高的精度 为传统的标定算法提供了一种新的思路 且在 运动人手三维跟踪实验中取得了令人满意的结果 2 1 引言 相机校准是基于计算机视觉进行图像处理中的一项基本任务 其主要目标是确定 相机的参数 本文主要恢复内部参数 相机自标定技术 3 3 3 7 是相机校准的一种常 准 了 条 数 等 两 用问圆步对多于利该运 堆于认知模型的运动人丁 维f 艮踪方法研究 入的方法计算出两张图 该方法考虑用局部插入 图像用顶点和标定格交点一致的三 角形标画 然后在三角形内线性样条插值 该方法利用线性方法就可以求解有关参数 但是要求解大量的未知参数 存在过分参数化的问题 张正友标定法 4 0 是一种灵活 的方法 该方法是在自标定与传统标定之间的一个妥协方法 该方法假设平面图板在 世界坐标系中z 0 通过线性模型分析计算出摄像机参数的优化解 然后利用最大 似然法进行非线性求精 在这个过程中标定出了考虑镜头畸变的目标函数 最后求解 出相机的内 外部参数 这种标定方法具有较好的鲁棒性 又不需昂贵的精制标定块 但张正友方法在进行内外参数估计时 由于假定模板图像上的直线经透视投影仍为直 线 进而进行图像处理 获得亚像素精度的点坐标 该过程引入了实验误差 所以在 广角镜畸变比较大的情况下 校正效果偏差比较大 还有一种方法是利用灭点来校准相机 4 1 4 3 但选择灭点时可能存在较大误差 尤其是在图像边界几乎平行的条件下 结果可能不稳定 文献 4 4 q b 提到的基于单个 自适应神经元的摄像机传统标定算法 将单个神经元学习算法引入到传统的摄像机标 定领域 该方法的标定精度较高 与传统的各种优化算法相比具有简单实用 计算量 小的优点 但是权值的初值确定时运用了一次雅可比矩阵 比较复杂 本文提出的基于粒子群优化的摄像机内参数标定方法 只用一幅图像进行高精度 的相机内部参数的校准 利用该方法进行摄像机标定 不需预先建立成像系统的模型 结构 也不必对系统本身的性质做过多假设 通过直接学习标定系统的输入输出数据 归纳出成像系统的输入输出关系 4 5 由于粒子群优化算法在逼近能力 收敛速度等 方面优于其它的非线性优化算法 在进行摄像机标定的过程中较神经网络标定算法具 有更大的优势 2 2 经典针孔相机模型 摄像机参数是相对于某种几何成像模型的 这个模型是对光学成像过程的简化 以最常用的针孑l 相机模型 4 6 为例 所涉及的参照系如图2 1 所示有世界坐标系 e 匕 z w 摄像机坐标系 t e 乙 图像坐标系 v 其中z c 轴为摄像机的光轴 它与图像平面垂直 相机成像过程可由世界坐标系 摄相机坐标系 图像坐标系等几 个坐标系间的3 次转换来表达 世界坐标系及相机坐标系的转换可以通过3 3 的正交 单位旋转矩阵r 和平移向量r 来描述 再将物体按照针孔成像规则转换到图像坐标系 中 最后由图像坐标转换到像素坐标 l o 济南大学硕 学付论文 h n a g 艮 够 t k k 乙 v 卜 o p t i c a la x i s 图2 1 数码相机成像模型 舻 五瞄 1 专1 莘 k 昙 习 必 c 川 中的坐标 在图象坐标系上的齐次坐标 最和s 分别表示像平面上沿x 轴和y 轴 的采样尺寸因子 砜 v o 是像平面的基点像坐标 五为比例因子 f 是相机的内部 f 鼍1 专1 葶 喜昙习 言昙u o q 2 另一方面 世界坐标系中的点只与图像坐标系中的点 之间有如下关系 其中 是从摄像机坐标系到世界坐标系的旋转矩阵 乙是从世界坐标系到摄 将式 2 4 代入式 2 1 得到五尸 巩 l 只一取 即 荩 认知模型的运动人于三维跟踪方法研究 曼曼曼皇曼曼曼 皇曼曼曼曼i i 一i i 曼曼曼曼曼曼曼曼曼鼍曼曼皇曼曼 曼皇曼曼曼曼曼 曼 皇曼曼曼曼曼曼皇曼 曼 鼍曼 曼 鼍蔓曼皇曼皇皇曼 2 p 用0 一只一用 一r w c 2 5 其中k r w c 所以 式 2 5 变为 2 p 取只一巩乙 2 6 在摄像机固定 标定物自由移动的情况下 可以设定世界坐标系与摄像机坐标系 重合 此时如 1 玩 0 式 2 6 变为 2 p f e 2 7 本文提出的标定方法就是建立在式 2 7 所描述的透视几何关系下进行标定的 2 3 基于粒子群优化的摄像机内参数标定算法 粒子群优化是k e n n e d y 禾1 1 e b e r h a r t 等 4 9 于1 9 9 5 年提出的一类模拟群体智能行 为的优化算法 粒子群优化算法 p s o 可以描述为 随机初始化一个粒子群 假设数量 为m 其中