（计算机应用技术专业论文）基于图像序列的连接体和弹性体三维运动分析.pdf

浙江理工大学硕士学位论文 摘要 物体的运动估计是计算机视觉研究中的一个重要方向，它包括刚体和非刚体运动分析 两大类。由于刚体运动的简单性，运动分析的早期研究大都基于刚性假设展开并形成了一 套成熟的理论框架。然而，现实世界中大多数运动物体都具有非刚性，因此用刚性假设来 描述现实世界中物体运动是不充分的，需要对非刚体运动进行深入研究。 本文主要针对非刚体中的连接体和弹性体运动展开分析，提出了基于特征点对应的运 动模型和算法。本文主要内容归纳如下： 第1 章介绍了非刚体运动的基本知识，分析了国内外非刚体运动的研究现状，提出了本 文主要的研究内容和研究方法。 第2 章介绍了三维运动估计的基本概念，分析了三维运动的表示以及一般的分析方法。 笫3 章探讨了单目摄像机的标定方法，要估计物体的三维运动必须先建立摄像机模型， 因此要通过摄像机标定求出摄像机的内、外参数。然后，基于单目摄像机标定结果，给出 了双目立体测量的方法，为下一章的实验研究提供第一帧图像中特征点的三维空间坐标。 第4 章研究了基于小平面对应的连接体运动分析方法。在求解运动参数时，根据优化 方法以及对误差的分析提出了两步的计算方法，即先求解第二帧的z 坐标，然后再根据三维 点匹配求解运动参数。由于能提供很好的初值并利用了图像序列的特点，求解的值具有很 好的鲁棒性。最后采用本文的方法对手指运动进行了分析，实验表明该方法能很好地恢复 出手指的三维运动轨迹。 第5 章采用m a r k o v 随机场的方法研究弹性体运动。首先讨论 m a r k o v 随机场的基本理 论，给出了解决问题的一般框架。然后针对弹性体的运动方式建立了相应的能量函数，包 括似然能量和先验能量。为了求解能量最小状态，讨论了模拟退火算法，并根据具体情况 做了相应的改进。实验结果表明该方法能鲁棒地求解弹性体运动参数。 第6 章对本文研究工作进行了总结，并对未来的研究工作进行了展望。 关键词：连接体运动估计；弹性体运动估计；摄像机标定；块匹配跟踪：m a r k o v 随机场； 模拟退火算法 浙江理工大学硕士学位论文 a b s t r a c t t h ee s t i m a t i o no fm o t i o n ，w h i c hi n v o l v e st h er i n da n dn o n r i g i dm o t i o na n a l y s i s ，i sa n i m p o r t a n tr e s e a r c hf i e l di nt h ec o m p u t e rv i s i o n s i n c et h er i g i dm o t i o nf o r m i sm o r es i m p l e rt h a n o t h e r s ，t h em o t i o na n a l y s i sa l w a y su s e dt h er i g i da s s u m p t i o na st h ep r e c o n d i t i o no fa n a l y s i si n t h ee a r l ys t u d ya n dh a sa l r e a d yc r e a t e das e r i e so fr i p et h e o r e t i c a lf r a m e w o r k s b u ti nt h er e a l w o r l d ，t h e r ea t eal o to fn o n r i g i dm o t i o ns u c ha st h ef i n g e rb e n d i n g , f a c ea n dh u m a nm o t i o na n d s oo n s oi ti sn e c e s s a r yt op r o v i d es o m eu s e f u lw a y so rt h e o r i e sf o ra n a l y z i n gt h en o n r i g i d m o t i o ni nt h er e a lw o r l d t h i sp a p e rm a i n l ya n a l y z e st h ee l a s t i ca n dt h ea r t i c u l a t e dn o n r i g i dm o t i o n s o m ec o n s t r a i n t t e r m sa r cu s e dt ob u i l dam o t i o na n a l y s i sm o d e l t h em a i nc o n t e n t so ft h i sp a p e ra r ea sf o l l o w s ： c h a p t e r lf i r s t l yi n t r o d u c e st h es i m p l ec o n c e p to fn o n - r i g i dm o t i o n t h ec u r r e n ts t a t u sq u oo f n o n r i g i dm o t i o ne s t i m a t i o n i sa n a l y z e da n dt h em a i nr e s e a r c hc o n t e n t so ft h i sp a p e ra r e o u t l i n e d c h a p t e r 2i n t r o d u c e s , s o m eb a s i cc o n c e p t sa b o u tt h e3 dm o t i o n t h ed e s c r i p t i o no f3 d m o t i o na n dt h ec o m m o ne s t i m a t i o nm e t h o di sa n a l y z e d c h a p t e r 3d i s c u s s e st h ew a y sa b o u tc a m e r ac a l i b r a t i o n c a m e r ac a l i b r a t i o ni su s e dt os o l v e l e n sf o c a la n dd i s t o r t i o nc o e f f i c i e n tw h i c hc a nc o n s t r u c tac a m e r am o d e ld u r i n ge x a c t l y e s t i m a t i n gt h en o n r i g i dm o t i o n t h e n , b a s e do nt h e r e s u l t so fo n ec a m e r ac a l i b r a t i o n ， t w o c a m e r am e a s u r e m e n tm e t h o di sd i s c u s s e di no r d e rt og e tt h ec o o r d i n a t e so ff e a t u r ep o i n t si n t h ef i r s tf r a m e i nc h a p t e r 4 ，t h ea r t i c u l a t e dm o t i o nb a s e do nal i t t l ep l a n ei sa n a l y z e d f o rs o l v et h em o t i o n p a r a m e t e r s ，w ep r o p o s e da t w os t e pm e t h o db a s e do nt h ea n a l y s i so fo p t i m i z a t i o na n dd a t ae r r o r i tf i r s t l ys o l v e st h ezc o o r d i n a t e sf o rn e x tf l a m e ，a n dt h e no b t a i n st h em o t i o np a r a m e t e r sb yt w o s e to fc o r r e s p o n d i n g3 dp o i n t b e c a u s et h em e t h o dc a np r o v i d eag o o di n i t i a lv a l u ea n du s i n gt h e f e a t u r eo fi m a g es e q u e n c e ，t h ee s t i m a t i o ni sr o b u s t f i n a l l yw ea n a l y s i st h ef i n g e rm o t i o nb y u s i n gt h i sm e t h o d ，t h ee x p e r i m e n ts h o w i tr e s t m c t u r et h ef i n g e rm o t i o ne f f e c t i v e l y 一 堑坚墨三奎兰堡主堂篁丝奎 c h a p t e r 5a n a l y s e st h ee l a s t i cm o t i o nb yu s i n gt h ef r a m e w o r ko fm a r k o vr a n d o mf i e l d f i r s t l y , t h et h e o r yo fm a r k o vr a n d o mf i e l di si n t r o d u c e da n dt h es o l v i n gf r a m e w o r ko fp r o b l e m i sg i v e n t h e n , t h ee l a s t i cm o t i o ni sa n a l y z e da n dt h e e n e r g yf u n c t i o nw h i c hi n c l u d e sl i k e l i l l o o d e n e r g ya n dp o s t e r i o re n e r g yi sp r o p o s e d b ym e a n so ft h el i n ep r o c e s s , t h ea r t i c u l a t e dm o t i o nc a n b es e g m e n t e di n t os o m es m a l lp a t c h e sw h i c hh a v es a m em o t i o np a r a m e t e r s t os o l v et h e p r o b l e mo fm i n i m i z i n ge n e r g y , t h ei m p r o v e ds i m u l a t e da n n e a la l g o r i t h mi s a n a l y z e d t h e e x p e r i m e n t a lr e s u l t st e s t i f yt h ee f f e c t i v e n e s so ft h i sm e t h o d k e yw o r d s ：a r t i c u l a t e dm o t i o ne s t i m a t i o n ；e l a s t i cm o t i o ne s t i m a t i o n ；m a r k o vr a n d o mf i e l d ； c a m e r ac a l i b r a t i o n ；s i m u l a t e da n n e a lm e t h o d ；b l o c k m a t c h i n gt r a c k 浙江理工大学学位论文原创性声明 本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，是本人在导师 的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰 写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。 浙江理工大学学位论文版权使用授权书 学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家 有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权浙江理工 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在 、 不保密日 学位论文作者签名：舞奢现肆 日期：纠年月1 4 ，日 年解密后使用本版权书。 指导教师签名：砖j 晴 日期：弘坶) 年；月刃日 浙江理工大学硕士学位论文 第1 章绪论 1 1 非刚体运动视觉的研究意义 运动分析是计算机视觉研究的一个重要部分。它尝试从图像序列中分辨出物体并能估 计出物体的运动。生活中我们能轻易的分辨出眼前运动的物体并做出相应的反应，比如穿 越马路的时候要躲避来往的汽车，打篮球的时候要接住对方的传球，但是实际应用计算机 分析的时候却发现很困难。 由于刚体运动的简单性，早期的运动分析研究都集中在刚体运动分析上【1 】【2 1 【3 1 ，刚性假 设对运动分析有严格限制，认为运动物体表面各个点之间的距离和角度是不变的，因此运 动分析的时候只需要估计一个正交矩阵和一个平移向量即可。但是，人们也注意到，现实 中的物体运动更多是非刚性的运动，比如天上的云团、街道上的行人、以及医学上对心脏 运动的分析等，在这些情况下，刚性假设就不能成立。人们需要建立新的非刚体运动分析 理论。 l 。2 非刚体运动形式的分类 由于非刚性运动的物体形状是变化的，有时候拓扑结构也会发生变化，这使得非刚体 的运动分析特别困难。非刚体运动不能由一组固定的参数表达出来，除非对它施加一些确 定性限制。为此，对非刚体运动分析不能像刚体运动那样可以找到一个普适的算法来确定 运动参数，而首先需要对非刚性运动进行分类，然后针对不同的运动类型选择和建立相应 的方法进行分析。这样，非刚体运动分析问题被限制在某个特殊的类型中，设计算法时可 以计算的简便性为出发点做出特殊的非刚性假定。 非刚性运动的初步分类是由h u a i l g 【4 1 于1 9 9 0 年首先提出，他建议将非刚体运动分为3 大 类：连接型( a r t i c u l a t e d ) 非刚体运动、弹性型( e l a s t i c ) 非刚体运动和流体型( f 1 u i d ) 非 刚体运动。k a m b h a m e t t u 5 l 等人基于物体的非刚性程度又提出了一个范围更广的分类方法， 如图1 所示，他们把运动物体分为8 类： ( 1 ) 刚体运动( r i g i dm o t i o n ) 物体在运动中其上各点的距离和角度保持不变。即 物体上各点的运动具有一致性。 ( 2 ) 连接体运动( a r t i c u l a t e dm o t i o n ) 连接体运动是分段刚体运动。它假定物体由 若干部分组成，每一组成部分的运动是独立且刚性的，但整体运动又具有非刚性。 人体运动一般被认为是连接体运动。 1 浙江理工大学硕士学位论文 ( 3 ) 类刚体运动( q u 勰i - r i 西dm o t i o n ) 类刚体运动限制物体只具有较小的形变。 一般情况下，很短时间间隔内的运动都可视为类刚体运动。 ( 4 ) 等距运动( i s o m e t r i c m o t i o n ) - i 垂动中，物体表面上点的间距保持不变。 ( 5 ) 等角运动( c o n f o r m a lm o t i o n ) 运动中，物体表面上曲线间的角度保持不变， 但各个点的距离却是可以发生变化的。 ( 6 ) 同形运动( h o m o t h e t i cm o t i o n ) 运动中，物体表面的膨胀或收缩运动保持一 致性。 c 7 ) 弹性体运动( e l a s t i em o t i o n ) 在弹性体运动中，物体的形状改变应满足一定 程度的连续性和平滑性要求。较为常见的例子有：心脏运动、衣服摆动、金属薄 片的融化等。 ( 8 ) 流体运动( f l u i d i cm o t i o n ) 流体运动除了要满足连续性假设外，还牵涉到拓 扑变化和湍流形变等。 图1 1 物体的运动分类 图1 1 所示的分类囊括了从近似刚性的物体到高度非刚性的物体。在非刚性运动中，除 了弹性运动( e l a s t i c ) 和流体运动( f l u i d ) 是无约束的非刚体运动外，其余都是受限制的非 刚性运动。 1 3 非刚体运动研究现状 非刚体运动有不同的类型，每种类型都有不同的运动形式及不同的运动约束条件，研 究的时候需要针对具体的类型进行不同的研究。目前研究较多的是连接型和弹性型非刚体 运动【6 】同。因此，本文下面将主要对这两种类型的非刚体运动进行分析。 2 浙江理工大学硕士学位论文 1 3 1 连接体运动 自然界中，人体、动物和机器人等大部分运动都属于连接体运动。由于很多应用与人 有关，在分析连接体运动时，大多文献中都以人体运动为研究对象，譬如人体步态研究、 手或手指运动的分析等。连接体运动分析的方法可分为两类：无先验形状模型的方法和有 先验形状模型的方法。下面对这两种方法进行介绍。 1 无先验形状模型的连接体运动分析 在无先验形状模型可利用时，大多数方法通过估计相邻帧间关节点的运动来描述人体 结构。此时，需要作对特征对应关系一些启发性假设，以减小搜索空间，并最终得到相邻 帧间关节点的唯一对应关系。对这类方法来说，相邻帧间关节点的运动分析是识别和估计 人体运动的关键，特征对应的准确与否对其后的运动估计起着至关重要的作用。 b o b i c k 8 】f 9 1 的研究重点是关节点的m u ) ( m o v i n gl i g h td i s p l a y ) 轨迹，由于他们可以 直接从距离数据中获取关节点的3 d 位置，因而不需要进行特征对应。这使得他们把注意力 放在图像的高层处理上，如行为识别和理解等。 n i y o g i 和a d e l s o n 1 0 l 利用时空切片法进行人的跟踪。他们首先观察由人的下肢轨迹所产 生的时空交织模式，形成可粗略识别人体的步态分析结果。然后在时空域中定位头的运动 投影，接下来识别其他关节的轨迹，最后利用这些关节轨迹勾画出一个行人的轮廓。利用 该2 d 轮廓，可以产生更准确的步态分析结果，以识别出符合该步态的某个人。 s h i o 矛1 s k l a n s k y l l l 】认为当出现遮挡现象时，很难完全检测出图像中的人体轮廓。但如 果它们处于不同的运动方向，即使人体灰度或颜色没有显著的不同，也可以利用运动信息 检测出轮廓。因此他们把研究重点放在了人体区域的2 d 平移运动上，利用与光流法相似的 方法，把具有相同速度方向和大小的像素组成一块，每一块的速度收敛于若干帧的全局平 均速度，该全局平均速度即为整个人体的运动速度。由于各部分的运动是连续的，基于入 体模型和运动信息，利用迭代融合算法就可以把人体的各部分融合成为一个整体。 2 有先验形状模型的连接体运动分析 生活中可以发现，人们在分辨东西的时候是把看到的物体同记忆中的物体进行比较分 析的，即大脑对物体的运动分析是基于模型的，显然这样可以减少复杂性。基于模型的非 刚体运动方法研究的也比较多，常用的模型有线模型和实体模型等。 c h e r t 和i j e e 【1 2 】提出了一种线模型，它包括1 7 个子段和1 4 个关节点，分别表示头、躯干、 臀、手和脚，并假定躯干和臀部是刚性的。每一刚性子段的长度和每个关节点的3 d 坐标构 3 浙江理工大学硕士学位论文 成模型的参数集。根据步态分析的要求，他们给出了一些约束条件，然后利用这些约束条 件求解。但是这种方法要在所有可能的3 d 形状组合空间中进行搜索，因此计算量很大。 与c h e n 和l e e 的线模型相类似，d o c k s t a d e r l l 3 悃1 5 个参数定义人体结构，此外还用了1 0 个参数将线模型约束在一定3 d 空间内。在运动学方面，增加了固定约束和柔性约束。固定 约束与人的体形相关，事先通过对人体的测量可以得到，它包括速度和加速度的限制、模 型的比例因子、模型中各参数的最大最小旋转距离等。此外，对模型中的每一参数，通过 对前人运动样本的学习，得到符合某一先验概率分布的柔性约束。在室内环境中，该方法 实现了多目图像序列中多人复杂运动的跟踪，并且在遮挡情况下也能鲁棒的实现跟踪。 潘春洪和马颂德【1 4 l 在没有任何特殊标志点的情况下，提出了一种多约束融合的方法。 他们利用棍棒模型来模拟人的手臂，通过处理单目图像序列来自动获取图像序列中手臂关 节点的对应；然后再利用刚体约束、结构约束和运动平滑性约束求得人手臂的三维运动轨 迹。 刘小明【1 5 】等以2 d 人体块模型来表示人体在2 d 平面上的投影。2 d 块模型由1 0 个长方形 组成，各长方形的中心线即为人体投影后的骨架，中心线将相应的长方形分为等面积的两 部分。长方形的长为刚体投影后的长度，宽由人体学知识来定义。在用户标注第一帧人体 各个关节点的基础上，结合运动预测和块的匹配，从头部顶点开始，按自上而下的顺序依 次识别出人体各部分，最后获得人体的2 d 运动骨架序列。该方法不针对特定人体运动方式， 能对复杂背景中人体的大幅度运动进行跟踪。 g o n c a l v e s 等1 1 6 1 利用一个已标定的摄像机，解决人手臂的3 d 运动估计问题。他们用圆 锥体对上手臂和下手臂进行建模，且假定肩膀和肘关节点是球形的。分析时，将3 d 手臂模 型的透视投影与图像中的真实手臂相比较，通过动态调整模型尺寸和方位，迭代计算模型 投影和真实图像间的误差直到最小。 1 3 2 弹性体运动 弹性体运动分析方法可分为无先验模型的和基于先验模型的两种。基于模型的方法使 得系统可以匹配和跟踪视频数据。比如利用形变模型，那些表面上看来没有结构特征的弹 性体运动也可以用少量参数进行描述，此时运动恢复问题常被简化为参数估计问题。因此， 大多数弹性体运动分析方法都事先假定物体模型，然后用模型参数变量来建模物体的形 变。 一般而言，与无先验模型的方法相比，基于模型的方法具有限制形变体自由度的优点， 4 浙江理工大学硕士学位论文 在特征匹配过程中，可以减小搜索空间，从而简化特征对应问题。但是如果事先无法获得 运动结构的先验知识，基于模型的方法会产生运动估计误差，也无法准确地恢复出形状。 在这种情况下，应先采用无先验模型的方法来确定q f l l j 体运动特性，据此再选择一种恰当 的模型以改进或增强分析效果。 1 无先验模型的弹性体运动分析 由于没有先验形状信息，研究人员必须要利用图像特征来跟踪非刚体运动，因此，这 类方法的分析过程通常由三部分组成：特征提取、特征对应、运动和结构恢复。其中，建 立图像间特征的对应关系是从运动中恢复结构的关键步骤。 在分析弹性体运动时，一般采用以下两种特征：低层特征( 如点) 和高层特征( 如轮 廓) 。以点作为图像特征，其匹配结果的精度极大地依赖于非刚体运动是否满足运动平滑 性假设，因而在形变较大时不适合使用点特征。与点特征相比，轮廓特征可以提供更多的 信息，所以在建立轮廓的帧间对应关系时，可以适当放松对非刚体运动的某些限制性假设， 如局部刚性或帧间运动较小等限制。此外，由于轮露中还包含有物体的结构信息，基于轮 廓的匹配结果比基于点的匹配结果具有更好的鲁棒性。然而如何可靠地从一系列非剐体形 状中提取出轮廓，也是一个相当难以解决的问题。 常用的特征对应方法是将有限的特征集从图像序列中提取出来，并进行检查和比较， 然后按照相似性的方法进行一对一的映射。 s t f i c k l a n d 和m a o l l 7 l 发展了一种解决非刚体形状图像对应问题的松散算法。他们用一个 相互连接的点网来描述边缘的映射。重要的点，比如分支点和拐点被用来作为初始匹配的 依据。这些点的匹配是一个松弛的迭代过程，每一步迭代依据相邻节点的几何特征、平均 运动矢量和点的相互关系来判别相关性。这种技术已经被应用在了液体流动追踪以及火焰 图像描述中i 嘲。 b a j c s y 1 9 】提出了一个多分辨率的弹性匹配算法来处理医学图像。脑图和c t 图像的匹配 是通过由粗到精的方式来进行的。图像大致定位后，先采用粗略的方式进行匹配，然后用 一个弹性的限制方程控制模型的变形，这些步骤一直持续到找到满意的匹配为止。这个算 法被证明是有效的而且其对于微小变形的限制也可以放宽。 建立了图像序列间的特征对应关系之后，就可以基于相应的运动模型进行运动分析和 重建。l z h o u 2 0 1 等人在正交投影方式下，利用仿射运动模型来描述局部云层运动。由于很 难保证相邻帧间云层的运动完全相同，在仿射运动模型中增加了一个比例因子以放松对运 动一致性的要求。在确定相邻帧特征点对应关系时，作者没有利用简单的模板匹配方法， 5 浙江理工大学硕士学位论文 而是结合由仿射模型得到的特征点与模板匹配得到的特征点候选集问的对应关系，通过最 小化误差来同时估计匹配和云层的运动。 汪亚明【2 1 i 等人提出了在单目图像序列中利用i e 贝j 化的方法解决局部的三维非刚体运 动估计问题。首先利用仿射运动模型并结合中心投影方式提出了运动估计的最小二乘模 型；然后针对三维运动估计的不适定性提出了正则化的运动估计方法，以正则化的形式融 入运动的先验知识，使运动估计的结果更具鲁捧性；最后利用l e v e n b e r g - m a r q u a r t 方法实现 运动参数的求解。 b l a c k 2 2 1 等人利用运动的局部参数化模型来恢复和识别人脸的非刚体运动。在空间和时 间的局部区域内，参数化模型不仅可以准确地建模人脸的非刚性运动，还可以根据少量参 数对运动进行简单描述。并且这些参数本身与脸部表情特征存在着内在联系，他们在缺乏 头部运动信息的前提下，对如何利用局部参数运动来识别脸部表情问题进行了探讨。 2 基于模型的弹性运动分析 目前，常用的弹性体形状模型有两种：参数化模型( p a r a m e t e r i z e dm o d e l s ) 和基于物 理特性的模型( p h y s i c a l l y b a s e dm o d e l i n g ) 。前者适合于描述形状为静态的物体，如果作适 当的调整，也能够用来模拟变形的表面。后者是动态的，它通过刚体的限制和非刚性的变 化来控制，这里的非刚性变化可以通过组l a g r a n g i a n 运动方程来描述。这些模型在模拟 复杂的局部形变时可以达到较好的效果。 ( 1 ) 参数化模型 参数化模型要求研究人员必须充分了解物体的先验形状信息，由于非刚体运动的复杂 性，使它不能很好地描述非刚体的动态形变，因此只能适用于一部分非刚体的运动分析。 迄今为止，研究人员已提出了若干种表面参数化模型用于描述物体的几何形状，如样条函 数( s p l i n e s ) 、超二次曲面( s u p e r q u a d r i c s ) 等。 样条函数从1 9 世纪6 0 年代开始就被广泛应用于计算机辅助几何设计和计算机图形学 中。现在，研究人员又发现可以将它们应用于建模和数据简化中【捌。在文献【2 4 】中，b o o k s t e i n 将薄板样条函数应用于标志点的匹配，建模生物形体的变化，证明了薄板样条函数是一个 非常有用的形状分析工具。在文献【2 5 】【2 6 】【2 7 】中，薄板样条函数被用来解决非刚性图像和 医学图像中的匹配问题。在文献1 2 8 1 q b ，蔡志锋等人将线性弹簧网模型和薄板样条模型结 合起来实现两幅医学脑图像之间的变形匹配。f i g 【i e i r e d o 等人【2 9 1 针对形变轮廓也提出了一种 基于b 样条函数的无监督自适应估计算法。 ， 另一种常用的表面参数化模型是超二次曲面。s o l i n a 暑 i b a j c s y 3 0 】利用描述全局形变的超 6 浙江理工大学硕士学位论文 二次曲面，从距离图像中恢复物体的参数模型。以三维距离特征点作为输入，他们首先设 计了一个能量函数，能量函数的值与模型表面点的距离及模型的轮廓尺寸有关。然后利用 最小二乘估计方法，通过最小化能量函数恢复模型。 ( 2 ) 基于物理特性的模型 物理特性模型用一组拉格朗日运动方程来表达非刚体运动规律，因而具有动态特性。 此外，利用物理特性建模图元可以解决在非刚体运动分析中经常遇到的3 d 形状重建问题。 与参数化模型相比，基于物理特性的模型更适合描述非刚体的运动，可用来对复杂的局部 形变进行建模。但是在建立某种非刚体的物理特性模型前，研究人员也必须十分了解该非 刚体的物理特性，否则很难建立起恰当的模型，也得不到好的估计结果。基于物理特性模 型的建模方法以计算物理学研究成果为基础，目前，已有若干种基于物理特性的模型被应 用在图像分析上，如：s n a k e 模型、形变超二次曲面模型等。 s n a k e s 首先由k a s s 等人提出，是主动轮廓模型的一种，它通过外部势能影响和内部能 量约束以达到能量最小化，当取消外部力时s n a k e s 就退化为样条函数。m c i n e m e y 等) k t 3 1 p 2 1 利用另一种与s n a k e 相似的形变模型3 d 弹性b f l l o o n 模型解决左心室3 d 形状恢复和运 动跟踪问题。该模型以张力作用下的薄板样条为基础，利用非刚体表面的弹性特性形成内 部力，视频数据产生外部力，使其进行与视频数据相对应的形变。有限元方法可以将b o l l o o n 模型离散成为一组相互连接的三角形图元，为物体表面提供了一个解析表示形式。有限元 的节点变量不仅包含了节点的位置，还包含了与薄板样条能量函数相对应的一阶、二阶偏 微分。 t e r z o p o u l o s 等人【3 3 】提出的形变超二次曲面是一种具有全局和局部形变特性的动态表 面模型，它以超二次椭球体来表示全局形状参数，以薄板样条来表示局部自由度。形变超 二次曲面的这种局部，全局表示能力，使其可以同时满足形状重建和形状识别要求。b a r d i n e t 等人【蚓将形变超二次曲面应用于心脏3 d 形变分析中，由于该模型可以用较少的参数来表示 大量的无结构特征的3 d 数据点，因此可以很好地跟踪各类心脏图像中的左心室运动。 l z h o u l 3 5 懈超二次曲面模型作为全局约束应用于人脸的运动分析中，消除了局部模型中的 误差，使得分析的结果更有意义。 1 4 本文研究的问题、内容及方法 本文以连接型和弹性型非刚体运动为研究对象，从不同角度对它们的运动进行了分析， 并提出了新的非刚体运动分析方法。本文内容组织如下： 7 浙江理工大学硕士学位论文 第2 章分析了三维运动分析的基本理论和基本方法。介绍了一般的物体运动表示方法、 仿射成像模型以及三个坐标之间的变换关系，并讨论了两种运动估计方法基于特征对 应和基于光流计算的运动估计方法以及它们的优缺点。 第3 章研究了t s a i 摄像机标定方法。要对物体的运动做精确的估计，必须先建立摄像机 模型，即对摄像机进行标定。另外，由于本文算法要求知道运动物体的第一帧坐标，因此 在标定的基础上还研究了双目摄像机的测量。 第4 章研究了基于小平面对应的连接体运动，本文以手为研究对象，详细分析了基于 二维图像序列分析手指三维运动的特点，采用了一种两步的方法分析运动参数。最后采用 优化方法求解，实验表明该方法能很好地恢复出手指的三维运动轨迹。 第5 章提出了基于m a r k o v 随机场的三维弹性体运动估计方法。利用m a r k o v 随机场的方 法可以建立弹性体局部三维运动参数之间的约束关系，这些约束可以通过g i b b s o 量来表 示。能量最小状态对应弹性体运动一致性的区域划分，最优化求解时采用了模拟退火方法。 第6 章对本文的研究工作进行了总结，并对未来的研究方向进行了展望。 8 浙江理工大学硕士学位论文 第2 章三维运动分析的基本概念和方法 2 1 三维运动分析的基本问题 三维运动分析的目的就是根据摄像机拍摄到的图像对物体的三维空间运动进行分析。 在双摄像机拍摄的情况下，物体的深度信息可以通过三角测量方法得到，该方法主要应用 在三维场景的重建中。而单摄像机拍摄的情况下，由于无法从二维图像中获得物体的深度 信息，要估计物体的运动和结构就比较困难。t o m a s i 和k 柚a d e 【3 6 】提出了一种分解方法， 该方法可以很好地解决利用多幅图像估计仿射物体结构和运动的问题。但这种方法只适用 于刚体，对于非刚体的运动，更多的还是依靠模型或通过施加约束的方法进行优化求解。 考虑一般的物体运动，假设物体上有一组相关的点，运动前在时刻坐标为 p f 瓴，只，毛) ，( f - 1 , 2 , ) ，运动后在乞时刻的坐标为p f 饥：咒，( f - 1 , 2 , ) 。三维运动分析 的基本问题就是如何利用运动前后相邻时刻两幅图像的投影点坐标( 置，誓) 与 只k 互：( f - 1 , 2 ，) 估计和分析三维空间中相应物体运动表面的结构和运动参数。图2 1 给出了某个特征点运动前后的坐标关系示意图。显然由于成像过程中失去了特征点的深度 信息，同一条投影线上的点在图像上的成像是相同的。 图2 1 特征点运动前后坐标关系图 2 2 坐标系 分析物体运动时需要建立相应的坐标系，在投影模型中有三个坐标系需要考虑【3 7 1 ，它 们分别是图像坐标系吼毛咒( 或d ，) ，) ，摄像机坐标系吱t k 与世界坐标系d 。y 。气。 9 浙江理工大学硕士学位论文 如图2 2 所示，o e x e y ，表示图像的象素坐标系，每一点的坐标( b ，y ，) 分别是该象素在图像 数组中的列数与行数。实际计算的时候需要将其转换为用物理单位表示的位置，即需要建 立以物理单位( 例如毫米) 表示的图像坐标系吼毛咒。该坐标系以摄像机光轴与图像平面 的交点q 为原点，毛轴与咒轴分别与轴和y ，轴平行，在吼毛儿坐标系中，若吼在q y ， 坐标系中的坐标为( x p 。，。) ，每一个象素在吒轴与咒轴方向上的物理尺寸分别为出，d y ， 则图像中任意一个象素在两个坐标系下的坐标有如下关系， 驴 2 砸， y p 。盖 n 妇 r d 图2 2 图像象索坐标与物理坐标的转换 可以用齐次坐标与矩阵形式将上式表示为 2 - ( 2 ) 摄像机成像几何关系可由图2 3 表示。其中点d c 称为摄像机光心，轴和咒轴与图像 的工轴与y 轴平行，轴为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点巳即 为图像坐标系的原点，由点d c 与t ，y 。，乙轴组成的直角坐标系称为摄像机坐标系。 由于摄像机可安放在环境中的任何位置，在环境中还需选择一个基准坐标系来描述摄 像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。摄像机坐标 锄跏， o膨。 圪o o 浙江理工大学硕士学位论文 系与世界坐标系之间的关系可以用旋转矩阵r 与平移向量t 来描述。设空间中某一点p 在世界坐标系与摄像机坐标系下的齐次坐标分别为( k ，y 。，乙，矿与纯，咒，乙，1 ) r ，则存在 如下关系： 艺 y c 乙 1 rt 1 。l o r 1i 善 y 。 z ” l 其中，r 为3 x 3 正交单位矩阵，t 为三维平移向量，0 7 一( o 00 ) 。 图2 3 摄像机坐标系与世界坐标系 2 ( 3 ) 2 3 成像模型 空间任何一点p 在图像上的成像位置可以用针孔模型近似表示，即任何点p 在图像上 的投影位置p 为光心0 。与p 点的连线d c p 与图像平面的交点，这种关系也称为中心射影或 透视投影。由比例关系，透视投影成像模型中存在如下关系式： 毛。篮 乙 y 。盟 2 一( 4 ) 其中，阮，咒) 为p 点的图像坐标，纯，y c ，乙) 为空间点p 在摄像机坐标系下的坐标。用齐 次坐标与矩阵表示上述透视投影关系有 浙江理工大学硕士学位论文 乙刚： 【1 o 0 0 0 1 ，00 f 01 0 i t 儿 z 。 1 2 一( 5 ) 将式2 一( 2 ) 与2 一( 3 ) 代入上式，可以得到以世界坐标系表示的p 点坐标与其投影点p 的象素 坐标( ，y ，) 的关系： 料 纥0o 。 0 y ，。 001 一雕锄暑 雕 工 y 。 z w 1 h y 。 z w 1 一m 1 m 2 x 。一m x 。2 一( 6 ) 式中，q 一，出，a ，- d y ，m 为3 x 4 矩阵，称为投影矩阵。m ，完全由a ，a ，b 。，y p o 决 定，由于q ，c r y ，, 0 。，y ，。只与摄像机内部结构有关，因此该矩阵被称为摄像机的内部参数矩 阵；m ，完全由摄像机相对于世界坐标系的方位决定，称为摄像机的外部参数矩阵。 另一种比较重要的投影模型是正交投影。正交投影不考虑实际点的z 坐标，等价于沿 与光轴平行的方向把每个点投影到图像平面，图2 4 给出了正交投影的示意图。正交投影 可以看作是焦距，无穷远的透视投影，如公式2 7 所示。正交投影比透视投影更简单，因 此在许多情况下用它来近似透视投影进行理论检验。 吒 2 图2 4 正交投影 1 2 1_tlij t 1 r 矿 _1t_【 1_jlj_j o 0 o o o 1 浙江理工大学硕士学位论文 轴的旋转和平移设“时刻三维空间物体上某一点p ( x ，y ，z ) ，在t 2 时刻运动到 p ( x ：_ ) ，：z ) ，那么运动前后，它们的坐标应满足如下关系： | j 】| r 即 2 邻， r 2 鞋r 3 1 芝r 3 3 h 习 2 。 【 ，3 2 j【业j 2 5 三维运动分析方法的基本分类 三维运动分析方法大致可分为两类【3 8 l ：基于特征对应的运动估计方法( f e a t u r eb a s e d m o t i o n e s t i m a t i o n ) 和基于光流场的运动估计方法p 9 】( o p t i c a lf l o wb a s e dm o t i o n e s t i m a t i o n ) 。 2 5 1 基于特征对应的运动估计方法 任何一个运动物体都有一系列的特征，如物体表面的一些尖锐点、边缘直线或曲线、 边缘角或运动物体的表面等。这些特征相对容易辨认，而且容易被自动提取。所谓基于特 征对应运动估计，就是基于运动前后两帧或多帧图像里的，1 个对应特征，求解物体的结构 及运动参数。基于特征对应的运动估计方法一般包括以下三个主要步骤： ( 1 ) 获取相邻图像帧中运动物体的特征； ( 2 ) 建立图像序列帧间特征的对应关系； ( 3 ) 根据帧间的特征对应关系采用适当的模型计算运动物体的结构及运动参数。 基于特征的三维运动估计方法采用的特征主要以下有三种： 浙江理工大学硕士学位论文 基于特征点：一般选取角点或曲率变化较大的点作为特征点，实际中常采用h a r r i s 角 点检测器i 柏l 【4 1 1 、k l t 角点检测器1 4 2 】【4 3 】提取角点。k l t 方法将特征点的提取和跟踪一起考 虑，由于物体表面各个点的运动是任意的，弹性体运动分析往往是基于特征点的。本文的 弹性体运动分析也采用基于特征点的运动估计方法。 基于边缘：边缘比特征点提供了更多的信息，常用c a n n y 算予【4 4 l 进行边缘的提取，相 比于一般基于灰度梯度的边缘检测方法，c a n n y 算子在抗噪声干扰和精确定位之间提供了 一个最佳的折衷方案。要从边缘中提取出有语义的部分也是很困难的，以人体运动图像为 例，由于图像中衣服的皱褶和皮肤的相似性，往往很难从背景中分割出有语义的身体的各 个部分。 基于区域：区域能提供比边缘和点更多的信息，因此在不同帧间建立区域的对应关系 可以得到更鲁棒的解，但是如何提取区域并建立对应关系却有很大困难。比如区域与背景 的对比度不是很明显，非刚性物体的区域还会发生不同程度的变化，这也给正确匹配增加 了困难度。可以采用基于光流模板匹配的方法来实现区域的跟踪【4 5 】。 2 5 2 基于光流计算的运动估计方法 1 9 5 0 年，g i b s o n 首次提出光流概念( o p t i c a lf l o w ) ，它在计算机视觉、运动视觉计算 中发挥了重要的作用。当人的眼睛观察运动物体时，外界的景象在人眼的视网膜上产生一 系列变化的图像，这一系列变化的图像信息“流过”视网膜，称之为“光流”或“平面光 流”。光流可以利用图像序列计算而得到。 i 殳l ( x ，y ，f 1 ) 是运动前t 1 时刻成像平面点( x ，y ) 的亮度，运动后t 2 时刻成像平面点( x ，y ) 的亮度记为，( 石，y7 ，t ：) 。假设当t 很小时，成像平面上的相应点的亮度保持不变，即有： 1 ( x ，y ，t 2 ) - l ( x ，_ ) ，f 1 )2 - ( 1 0 ) 将，( z ，y ，t ：) 在( x ，) ，) 点用泰勒级数展开，得到： i ( x ，y7 ，t 2 ) = i ( x + a x ，y + a y ，+ a t ) - ，( 毛y ，) + 罢缸+ + 等缈+ + 堕o t 缸+ i l 。， 2 - ( 1 1 ) 将式2 一( 1 0 ) 代入上式，略去高次项 d j 后，可得到： 1