（生物医学工程专业论文）基于视频图像的人体运动识别与跟踪研究.pdf

哈尔滨工程大学硕士学位论文 a b s t r a c t i nr e c e n ty e a r s ，i ti so n eo fm em o s ti m p o n a n tr e s e a r c hs u b j e c t st l l a tt h e d e t e c t i n g ，r e c o g n i z i n ga n d 订a c k i n go f 血e 血t e r e s t e dp a r tf 如mp e r s o n s v i d e o i m a g e si nt h e 矗e l do fi m a g ep r o c e s s i n ga 1 1 dc o m p u t e rv i s u a l i z a t i o n a n di th a s w i d ea p p l i c a t i o n s ，s u c ha si nm ec l i n i c a lf i e l d ，i ti sv e r yu s e f u li nm ed i a g n o s i n g a n dh e a l i n go ft h ed i s a b l e dp e o p l eb ya n a l y z i n gt h et 1 1 e i rk i n e t i ci n f o 肌a t i o n ；a 1 1 d i nt h ea t l l l e t i cs p o r t s ，i ti sh e l p 血1i nm ep r o m p t i n ga c h i e v e m e m sa i s ob ya 1 1 a l y z i n g t 1 1 ek i n e t i cs t a t u so ft h ea m i e t e s t h ep m c e s so fk i n e t i ca n a l y s i si n c l u d e st h e f o l l o w i n g s f i r s t l 弘t h ec a p n l r eo ft l l ei m a g e sf 而mt h ev i d e oc 锄e r a ；s e c o n d l y ，t h e p r o p e rt r a c k i n ga l g o r i m m sa r ea d o p t e df o rm et r a c k i n go ft h ep e r s o n s j o i n t s ； t h i r d l y ，t h et h r e ed i m e n s i o n a lr e c o n s 仃u c t i o no f j o i n t s lc o o r d i n a t e s ；a n de v e n t u a l l y t h ek i n e t i ca 1 1 a l y s i sb ym eo b t a i n e dp a r a m e t e r s t h em a i nc o n t e mi sh o wt oc o n n m 也ei n f o r m a t i o no fj o i n t sf a s ta n d a c c u r a t e l yu n d e tt h eg u a r a n t e eo ft h em a t c h i l l gp r e c i s i o ni nt h i sp 印c rab e t t e r a l g o r i t h 】1 1o fa d a p t i v es i z es e a r c h ( a s s ) d e p e n d e do nf o u rs t 印s e a r c h ( f s s ) i s a d o p t e db yan e wm a t ( i h i n g 刚锄o nr e l i e do nt e x t u r ei nt h ep a p e r b e s i d e s ，也e m e a ns h i f ta l g o r i t h m ( m s a ) i sm a i n l y 咖d i e d ，a n da ni m p r o v e da l g o r i t h mb a s e d o nm s ai sp r o p o s e d ，w h i c hi sc a l l e dd y n 锄i cm e a ns h i f ta l g o r i t h m ( d m s a ) ， a 1 1 di ta d a p t sf o rt h eg r e a tm o v i n go b j e c t s c o m p a r i n gt h ee x p e r i m e n t a lr e s u l t so f m s aw i l hd m s a ，d m s ai sb e t t e rt h a nm s ab e c a u s eo fu s i n gt h es p a t i a l i n f 0 h n a t i o no fo b j e c t s a n dt h er e l i a b i l i t y 砒l dv a l i d i t yo f 仃a c k i n go b j e c t sb y d m s ai si m p r o v e d i no r d e rt 0i m p r o v et h ee x a c m e s so ft r a c k i n go b j e c t s1 i k e h u m a l lb o d yj o i n t s ，t 1 1 en e wt r a c k i n g a l g o r i t l l r n sb a s e do ns e v e r a lk i n d so f m o m e l l t s 、w h i c ha r ee m b e d d e di nd y n 锄i cm e a l ls h m ，a r ep r o p o s e di nt h ep a p e l t h ee x p 嘶m e n t a lr e s u l t ss h o wt h a tt 1 1 et r a c k i n gv e r a c i t ya n dr e l i a b i l i t ya r em o r e i m p r o v e da n ds a t i s f a c t o r yr e s u l t sc a nb eo b t a i n e dw h e nt h e s ea l g o r i t h m sa r e 印p l i e dm t h et r a c k i n go f h u m a l l j o i n tp o i n t s 哈尔滨工程大学硕士学位论文 k e y w o r d s ：m o v i n go b j e c tt r k i n g ；m e a ns h j ra l g o r i t h m ；d y n a m i cm e a ns 1 1 i f t a l g o r i t h m ；h u m a nj o i n tp o i n t s 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，e | 1 作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：型坚 日期：少年弓月争日 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 课题研究的意义和目的 运动目标跟踪是数字视频技术发展过程中产生的一个重要的研究课题， 其结果l l 一包含着目标运动的大量信息，这些信息在基于内容的视频传输、视 频检索、医学图像分析，基于安全要窖部门的视频监控等许多领域都有着十 分重要的研究意义。此外，运动目标跟踪在军事的武器制导和控制中，在提 高武器打击的精度和准确度方面也有着重要的应用。在临床医学方面，利用 视频图像对肢体伤残患者的运动康复过程进行自动的识别与跟踪，并借助计 算机对患者的动作进行分析，将对患者的病症诊断和康复情况的评定起到很 好的辅助作用。在体育运动方面，利用视频图像对运动员的运动过程进行自 动的识别与跟踪，并借助计算机对运动员的动作进行分析，也将对运动员的 训l 练起剑很好的辅助作用。例如，悉尼奥运会游泳池池壁内配置有功能十分 优良的高速摄影设备，可对运动员的全程动作进行跟踪拍摄，实时处理，为 诊断技术动作、优化技术方案和模拟最佳动作提供了科技支持。这种测试设 备精度之高，己达到令人惊讶的程度，科学技术正在帮助人们不断跨越人类 的运动极限。本课题研究目的是如何快速、准确地确定视频图像序列中人体 各个关= 肖点的位置。 运动目标识别与跟踪在技术上由于涉及到计算机图像处理、视频图像处 理、模式识别以及人工智能等诸多领域。因而，具有较高的研究价值和实际 应用的意义。目前，在美国、日本、欧洲已经进行了大量的目标检测、识别 与跟踪的研究工作，在国内也具有了一定研究的规模，同时也定期召开一些 相关会议探讨研究成果和发展方向。 哈尔滨工程火学硕士学位论文 1 。2 本文研究的主要内容及其所做工作 本文研究的主要内容就是如何快速、准确地匹配前后连续两帧图像中关 节点的位置。通过对人体运动图像序列的分析，我们可以看出，在连续两帧 图像中，关节点部位的特征相似性很强，这样我们就可以根据前一帧图像中 关节点部位的信息采用模板匹配算法匹配得到下一帧图像相应关节点的位置 信息，要想得到精确的位置信息就要选择一个合适的模板匹配算法。 在本论文研究期间，本人阅读了国内外大量关于模板匹配算法的资料， 经过研究我认为在整个匹配过程中重点解决两个问题：一是匹配精度问题， 二是搜索速度问题。匹配的准确性主要依赖于像素块匹配所用的匹配准则。 目前主要用到的匹配准则是两个相匹配像素块之间的误差度量( b l o c k d i s t o r i l i o nm e a s u r e ，简记为b d m ) ，它包括三种基于像素块匹配的误差度量： f 1 ) 基于0 相关函数的( c c f ) 的b d m ：( 2 ) 基于规一化均方误差值( m e a ns q u a r e e 盯o r ) 的b d m ；( 3 ) 基于规一化绝对误差值( m e a na b s o l u t ee r r o r ) 的b d m 。搜 索的速度依赖于搜索算法，对于宽度为2 w 的正方形查找窗口来说，如果采 用遍历搜索算法( 即计算查找区域中每个像素位置的b d m ，然后根据匹配准 则得出最佳匹配像素块) ，则需要计算( 2 w - n + 1 ) ( 2 w m + 1 ) 次b d m 。这样复 杂的计算对于关节点跟踪来说速度太慢。因此我们需要利用快速块匹配算法 ( f a s tb l o c km a t c h i n ga l g o r i t h m ，简记为f b m a ) 来加快搜索速度。现在流行的 快速块匹配算法有2 d ( 二维) 对数查找算法( r i w o d i m e n s o n a ll o g a r i t m ，t d l ) ， 三步查找算法( t l r e es t e ps e a r c h ，t s s ) ，交叉查找算法( c r o s ss e a r c h a 1 9 0 r i t h l n ，c s a ) ，四步运动矢量查找算法( f o u rs t e ps e a r c h ，f s s ) 等。但是由 于这些伙速块匹配算法采用的都是由粗到细的查找策略，如果在前面的步骤 罩做出不合适的选择就会把全局最优的运动矢量排除在外，找到的只是局 部最优解，这样易出现误匹配，从而也就影响到匹配精度。因此在查找过程 中应增加候选点或约束条件来减少误匹配。例如，在四步运动矢量查找算法 ( f s s ) 的j i 础之上提出的一种效率更高，查找更准确的自适应大小查找算法 ( a d 即t i v es i z es e a r c h ，a s s ) 。实验结果表明这种新的跟踪算法具有跟踪效率 高，误匹配概率较小的优点，还可以根据不同的运动自动调整搜索窗口，这 哈尔滨工程大学硕士学位论文 些都有利于该算法在实际中的应用。均值偏移算法( m s a ) 在图像的滤波、分 割、识剐等领域都有着非常广泛地应用。因而，本文采用了均值偏移算法对 人体运动进行了跟踪。但是，由于现有的均值偏移算法均采用固定的搜索窗 口进仃心踪，它不能适应复杂及微小目标运动情况。因而，本文在均值偏移 算法的j i 跏出上提出了动态均值偏移算法( d m s a ) ，该算法可以根据目标不同的 运动情况自动调整搜索窗口，提高了运动目标的匹配精度，从而有利于该算 法在实际中的应用。本文为了更进一步地提高跟踪运动目标的准确性，分别 又提出了将动态均值偏移算法与h u 矩、z e h l i k e 矩、复数矩、旋转矩等结合 的目标跟踪算法，并分别比较了其跟踪目标的准确性。实验结果表明，采用 动态均值偏移与矩结合的跟踪算法具有跟踪效率高，误匹配概率小的特点， 这些都有利于这些算法在实际中的应用。 1 3 人体运动跟踪的发展趋势 从_ f | _ f 究角度看来，国外跟踪人体运动的类型己由简单运动，如步行、跑 步过渡剁对人体自由运动乃至复杂的体操动作的跟踪与分析；由跟踪单个运 动人体剁跟踪多个人体目标；跟踪的视点从单目视觉到多目视觉；跟踪时由 人：r 二f ：预逐步向自动化标注的方向过渡；最终是能自动地、准确地、实时地 跟踪与分析人体运动j 。 从应用角度看来，人体运动分析将在如下领域发挥重要作用。 131 智能监控 这n 所指的“智能”包含两个方面的含义。一种“智能”是指系统能够 在定1 i j 场景中检测是否有目标的出现( 如通过检测人脸的方法) ，防止只是 简单的j 1 1 过运动目标检测所造成的错误报警( 例如，因为刮风摇动树枝而造成 的误报。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其 行为进行识别和分析，跟踪可疑行为( 如经常在重要地点徘徊的行为) 从而采 取相应n 勺报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、 办公大楼、住宅小区等地，以实现对这些场所的智能监控【7 培 。 哈尔滨上程大学硕士学位论文 1 32 运动分析 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对 于建立人体的几何模型、解释人体的运动行为机制，从而提高它的运动性能 有着积极的推动作用，从而可以将其应用于体育运动、医学步态分析中。目 前的医学步态分析是一个旨在提供诊断和治疗支持的研究领域，它可以提供 人体i k 步态建模的线索，有助于开发生物反馈系统来分析病人的步态，判 断其腿。1 _ i j 受伤情况或畸形程度，从而做出积极的整形补偿或有效地治疗。当 然，步忠分析也可以作为独特的生物特征用于人的远距离身份鉴别。另外， 人体的行为识别和运动分析也可以应用于从大量的体育活动数据库中进行基 于内容的快速搜索1 9 “。本文研究工作就是为了在运动解析系统上进行运动 解析而获取必要的人体运动参数。 1 33 高级用户接口 例如，可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而 实现人与计算机之间的智能交互 1 3 _ 1 ”。此外，通过对手势语言的理解，还可 以迸 j ：悖几与计算机之间的手语交流。 1 3 4 虚拟现实 f | i m 许多电脑游戏中人的形体、运动和行为交互的设计逼真性实际得 益于物删空帕j 中的人体运动分析，包括人体模型和关节运动机制的获取及姿 势的恢复等；基于互联网络的交互式空间的开发刚刚起步，如虚拟聊天室， 在进行文本交流的同时，也可以通过二维图标来导航用户。如果增加手的姿 势、头的姿势、面部表情等线索，将会给参与者们提供更加丰富的交互形式。 另外，人体运动分析在视频会议、人物动画、虚拟工作室等其它虚拟现实1 1 6 。1 9 场合也向着相当广泛的应用。 哈尔滨：【：程大学硕士学位论文 13 5 基于模型的视频编码 通过提取一定静态场景中人物的形态特征参数和3 d 姿态参数，用较低 的数据：谴对视频数据流加以描述，咀实现视频数据的压缩和基底比特率传送 2 0 _ 24 】。观频编码也可以应用在因特网上展开的远程视频会议以及v o d f v i d e o ( ) 1 1 - d e m a n d ) 视频点播。 总之，人体运动跟踪的研究己涉及到计算机视觉、模式识别、视频图像 处理等方面的理论问题和实际应用问题，而对人体这一带有关节旋转运动的 目0 体目标的跟踪与分析将会促进这些领域在理论上产生新的处理方法，并将 对诸彩应用领域产生潜在的影响。 1 4 论文的主要工作 第l 章，介绍了人体运动跟踪的研究意义，发展现状及其发展趋势，并 概述了小文的主要研究内容。 第2 章，对人体运动的跟踪方法进行了简介，并对人体运动跟踪存在的 难点问题进行了研究。 笫：；章，介绍了三类常用的跟踪方法，并详细地介绍了各种块匹配跟踪 算法和基于特征的跟踪算法。 第4 章，研究了均值偏移算法，并提出了对其改进的动态均值偏移算法。 在详细地对各种常用矩进行研究的基础上，提出了将它们分别与动态均值偏 移算法川结合的多种跟踪算法。 哈尔滨工程人学硕士学位论文 第2 章人体运动的识别与跟踪 2 1 人体运动的跟踪方法 目标跟踪是对视频序列中对象的时空变化进行监控，它包括对象的存在、 位置、大小和形状等等。跟踪等价于在连续的图像帧间创建基于位置、速度、 形状、纹理、色彩等有关特征的对应匹配问题，常用的数学工具有卡尔曼滤 波( k a l n l a nf i l t e r i n g ) 、c o n d e n s a t i o n 算法及动态贝叶斯网络( d y n 锄i cb a y e s i a n n e t w o l k ) 等。其中k a l m a nf i l t e r i n g 是基于高斯分布的状态预测方法，不能有 效地处理多峰模式( m u t i m o d e ) 的分布情况；c o n d e n s a t i o n 算法是以因子抽样 为基础的条件密度传播方法，结合可学习的动态模型可完成鲁棒的运动跟踪。 目6 ，跟踪研究分类有多种方法，例如，就跟踪对象而言：有跟踪如手、脸、 三l 、腿“f 身体局部部分与跟踪整个人体的；就跟踪视角而言，有对应于单摄 像机的+ 卜一视角、对应于多摄像机的多视角和全方位视角。当然还可以通过 跟踪夺m j ( 二维或三维) 、跟踪环境( 室内或户外) 、跟踪人数( 单人、多人、人 群) 、摄像机状态( 运动或固定) 等方面进行分类。下面对常用的人体跟踪算法 加以介绍。 21 1 基于模型的跟踪( m o d ei _ b a s e dt r a c k n g ) 传统的人体表达有如下三种。 ( 1 ) 线副法( s t i c kf i g u r e ) ：人运动的实质是骨骼的运动，因此该表达方法将身 体的器个部分以直线来近似，例如k a f a u l o v a 【2 5 】建立了人体运动学的分层 模型，用于单目视频序列中人体的跟踪。 ( 2 ) 二一垒| ；_ 轮廓( 2 一dc o n t o u r ) ：该人体的表达方法直接使用与人体在图像中的投 影乱父，如j u 【26 j 等提出的纸板人模型，它将人的肢体用一组连接的平面 区域块所表达，该区域块的参数化运动受关节运动( a r t i c u l a t e dm o v e m e m ) 的约束，陔模型被用于关节运动图像的分析；n i y o 西与a d e l s o n 2 7 】利用时 哈尔滨工程人学硕士学位论文 空切片方法进行人的跟踪：首先观察由人的下肢轨迹所产生的时空交织模 式，然后在时空域中定位头的运动投影，接下来识别其它关节的轨迹，最 后利用这些关节轨迹勾画出一个行人的轮廓。 ( 3 ) 立体模型( v 0 1 u n l e t r i cm o d e l ) ：它是利用广义锥台、椭圆柱、球等三维模 型柬拙述人体的结构细节，因此要求更多的计算参数和匹配过程中更大的 计算量。例如r o l l r l 2 8 】使用1 4 个椭圆柱体模型来表达人体结构，坐标系统 的原点被定位在躯干的中心，目的是想利用该模型来产生人体行走的三维 拙迓：w a c h t e r 与n a g e l l ”l 利用椭圆锥台建立三维人体模型，通过在连续 的斟像帧问匹配二维人体模型的投影来获得人运动的定量描述，其中它利 用j 迭代的扩展卡尔曼滤波方法，结合边缘、区域信息及身体解析约束条 件确定身体关节运动的自由度，实现单目图像序列中人的跟踪。 2 1 2 基于区域的跟踪( r e g io n b a s e dt r a c kin g ) 基 二区域的跟踪方法目前己有较多的应用，例如w r e n 等利用小区域特 征进行室内单人的跟踪，文中将人体看作由头、躯干、四肢等身体部分所对 应的小区域块所组成，利用高斯分布建立人体和场景的模型，属于人体的像 素被规划于不同的身体部分，通过跟踪各个小区域块来完成整个人的跟踪。 摹于隧城跟踪的难点是如何处理运动目标的影子和遮挡，这可以利用彩色信 息以及阴影区域缺乏纹理的性质来加以解决，如m c k e n n a 【3 1 j 等首先利用色彩 和梯度信息建立自适应的背景模型，并且利用背景减除方法提取运动区域， 有效地消除了影子的影响。然后，跟踪过程在区域、人、人群三个抽象级别 上执行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约束 的条件f 组成的，同时人群又是由单个的人组成的，因此利用区域跟踪器并 结合人| q 表面颜色模型，在遮挡情况下也能够较好地完成多人的跟踪。 21 3 基于特征的跟踪( f e a t u r e 岫a s e dt r a c kin g ) 挞j _ 特征的跟踪包括特征的提取和特征的匹配两个过程。p o l a j l a 与 n e l s o n 旧的文章就是一个很好的点特征跟踪的例子，文中将每个行人用一个 哈尔滨工程人学硕士学位论文 锕形枢付闭起来，封闭框的质心被选择为跟踪的特征。在跟踪过程中若两人 出现柏j 幔遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行。 该方法i 内优点是实现简单，并能利用人体运动来解决遮挡问题，但是它仅仅 考虑了、p 移运动，如果结合纹理、彩色及形状等特征可以进一步提高跟踪的 鲁棒性。另外，以卡尔曼滤波形式的点、线特征的跟踪技术在计算机视觉领 域中已被很好地开发，如j a i l g 与c h o i 【33 】利用区域的形状、纹理、色彩和边 缘特征信息建立了活动模板，结台卡尔曼滤波的预测方法，使特征匹配能量 函数最小化来完成运动目标的跟踪过程，该活动模型对于非刚性物体的跟踪 具有很好的自适应性。 需馁指出，基于多摄像机的人的运动跟踪也得到了一定的研究，如利用 多摄像机对人进行跟踪，通过选择最好的视点来解决人与人之间的互遮挡和 自身遮挡问题。不过，目前有关多摄像机研究的文章并不是很多。 2 2 人体运动识别的方法 2 2 1 模板匹配方法( t e m p ia t em a t c h ；n g ) 采用模板匹配技术的行为识别方法首先将图像序列转换为一组静态模 式，然后祉识别过程中和预先存储的行为标本相比较。例如b o b i c k 与d a v i s 川 采用运动能量图像m e i ( m 0 t i o ne n e r g yi m a g e s ) 和运动历史图像m h i ( m o t i o n h i s t o r yi m a g e s ) 来解释图像序列中人的运动。序列中的运动图像首先经过差分 运算并_ 值化，而后这些包含运动区域的二值化运动图像随着时间累加形成 m e i ；女后m e i 增强为m h i ，m h i 中每个像素的值与该位置的持续运动时间 成比例每个行为由不同视角下图像序列的m e i 和m h i 所组成，从中可以 提取出据于矩的行为特征用于识别阶段的模板匹配。p o l a i l a 与n e l s o n 【3 2 利用 二维网格的特征进行人的运动识别，首先计算连续帧间的光流场，并将每个 光流帧在空间栅格上沿x 和y 方向分解，每个单元格的幅度被累加，从而形 成一高维特征向量用于识别，为了归一化运动的持续时间，他们假设人的运 动是周期性的，并将整个序列分解为该行为的许多循环过程。最后，采用最 哈尔滨工程大学硕士学位论文 近邻算法进行行为识别。模板匹配技术的优点是计算复杂度低、实现简单， 然而它刈丁噪声和运动时间间隔的变化是敏感的。本文就是用模板匹配方法 来进行运动图像序列中关节点的跟踪。 22 2 状态空间方法( s t a t es p a c ea p p r o a c h e s ) 摹j 一状态空间模型的方法是定义每个静态姿势作为一个状态，这些状态 之削通过桀种概率联系起来。任何运动序列可以看做为这些静态姿势的不同 状态之问的次遍历过程，在这些遍历期间计算联合概率，其最大值被选择 作为分类行为的标准。目前，状态空间模型已经被广泛地应用于时间序列的 预测、估计和检测，最有代表性的是h m m s 。每个状态中可用于识别的特征 包括点、线或二维小区域。例如y 鲫a t o ”5 j 等利用二维小区域块的运动、彩色、 纹理等特征进行人的行为识别。人的运动区域块的网格特征被用作学习和识 别的低级特征；学习是利用h m m s 来为每个类别产生符号模式：模型参数的 优化是利用b a u m w e l c h 算法实现的；识别是以给定序列图像下前向计算 ( f o r w a r dc a l c u l a t i o n ) 的结果而确定。b r e g l e r i ：3 6 基于人体动力学在不同抽象等 级的统h 分解中提出了一个综合性的网络用来识另0 人的运动：识别过程起始 于低级处理，基于运动、彩色相似度和空间接近程度等的小区域块以混合高 斯模型求估计，不同的身体部分区域在图像序列中被跟踪：在中级处理阶段， 具有敛运动特性的区域被匹配为动力学系统中的简单运动( 如行走被认为 是两个简单运动的组成，一个是腿的支撑，一个是腿在空中的摆动) ；高级阶 段，h m m s 被用来作为这些中级动力系统的混合模型来表达复杂的运动，识 别过程通过最大化h m m s 的后验概率来完成。状态空间方法虽然能克服模板 匹配的缺点，但通常涉及到复杂的迭代运算，算法的步骤较为复杂，难以应 用到实际l ：作中。 2 3 人体运动跟踪的难点问题 到订为止，人体运动分析研究已经取得了很大的成果，一些运动分析 系统铂：。火际应用中也取得了较好的效果，但下述几个方面仍是今后研究的难 哈尔滨：r 程大学硕士学位论文 点问题 2 31 运动分害0 ( m o t i o ns e g m e n t a t i o n ) 快速准确地运动分割是个相当重要但又是比较困难的问题。这是出于动 态环境i | _ | 捕捉的图像受到多方面的影响。比如天气的变化、光照条件的变化、 背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的 遮挡、i 鳢至摄像机的运动等，这些都给准确有效地运动分割带来了困难，就 以运动i ：| 标的影子为例，它可能与被检测的目标相连，也可能与目标分离。 在6 u 者悄况下，影子扭曲了目标的形状，从而使得以后基于形状的识别方法 不再i 乱在后者情况下，影子有可能被误认为为场景中一个完全错误的目 标。j 文引l 前图像运动分割主要利用背景减除方法，但如何建立对于任何复 杂环境n q 动态变化均具有自适应性的背景模型仍是相当困难的问题。 2 3 2 遮挡处理( o c c lu s io nh a n d iin g ) 同l 讨，大部分人体运动分析系统都不能很好地解决目标之间互遮挡和人 体自遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。 遮挡时，人体只有部分是可见的，而且这个过程一般是不可训练的，简单依 赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深度所 带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与身体各部分之 问的准确对应问题。另外，一般系统也不能完成何时停止和重新开始身体部 分的麒i 京，即遮挡前后的跟踪初始化缺少自举方法。目前有人利用统计方法 可获得的图像信息中进行人体姿势、位置等的预测；不过，对于解决遮挡问 题最有兵际意义的潜在方法应该是基于多摄像机的跟踪系统。 2 33 三维建模与跟踪( 3 一dm o d e lin ga n dtr a c k in g ) 爿i 方法在早期的人体运动分析中证明是很成功的，尤其对于那些不需 要精确的姿势恢复或低图像分辨率的应用场合( 如交通监控中的行人跟踪) 。 o 哈尔滨工程大学硕士学位论文 二维跟踪有着简单快速的优点，但主要的缺点是受摄像机角度的限制。而三 维方法在不受限的和复杂的人体运动判断( 如人的徘徊、握手与跳舞等) 、更 加准确n q 物理空f 刚的表达、遮挡的准确预测和处理等方面的优点是二维方法 所不能比拟的，它能提供更加有意义的与身体姿势直接相关的可视化特征用 于行为| j l 别。同时，三维恢复对于虚拟现实中的应用也是必需的。 酬1 1 口，基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很 少，且火部分系统由于要求鲁棒性而引入了简化的约束条件。二维跟踪也导 致了从图像中人体模型的获取、遮挡处理、人体参数化建模、摄像机的标定 等一系删难题。以建模为例，人体模型通常使用许多形状参数所表达。然而， 目前的模型很少利用了关节的角度约束和人体部分的动态特性，而且过去的 一些：1 ：作几乎都假设3 d 模型依据先验条件而提前被指定，实际上这些形状 参数应、从图像中估计出来。总之，3 d 建模与跟踪在未来工作中应值得更 多的关注。 23 4 多摄像机的使用( u s eo fm u i t ip iec a m e r a s ) 使j 1 j 多摄像机的三维人体的跟踪研究还很缺乏，身体姿势和运动在单一 视角下l l 于遮挡或深度影响而容易产生歧义现象。因此，使用多摄像机进行 三维姿势跟踪和恢复的优点是很明显的。同时，多摄像机的使用不仅可以扩 大监视的有效范围，而且可以提供多个不同方向视角以用于解决遮挡问题。 很明显未来的人运动分析系统将极大受益于多摄像机的使用。对于多摄像 机跟踪系统而言，我们需要确定在每个时刻使用哪一个摄像机或哪一幅图像。 也就是说，多摄像机之间的选择和信息融合是一个比较关键的问题。 2 351 i 生台甚评估( p e r f o r m a n c ee v alu a tio n ) 收m i 言，鲁棒性、准确度、速度是人体运动分析系统的三个基本要求。 例如，系统的鲁棒性对于监控的应用特别重要，这是因为它们通常被要求是 自动、连续地工作。因此这些系统对于如噪声、光照、天气等因素的影响不 能太敏感，系统的准确度对于控制应用特别重要。例如基于行为或姿势识别 哈尔滨工程大学硕士学位论文 的接口控制场合。而系统的处理速度对于那些需要实时高速的监控系统而言 更是非常关键。因此，如何选择有效地工作方案来提高系统性能、降低计算 代价是个特别值得考虑的问题。同时，如何利用来自不同用户、不同环境、 不同实验条件的大量数据测试系统的实时性、鲁棒性也相当重要。 2 4 本章小结 本：l 对人体运动的识别与跟踪的方法进行了简介，并对人体运动跟踪存 在的难? 讣日题进行了说明。 哈尔滨工程大学硕士学位论文 第3 章人体关节点的跟踪算法 3 1 人体关节点跟踪的基本思想 前面我们了解到跟踪等价于在连续的图像帧间创建基于位置、速度、形 状、纹那、色彩等有关特征的对应匹配问题。在连续的两帧图像中，由于关 节点部位的特征相似性很强，我们可以根据前一帧图像中关节点部位的信息 匹配得剑f 一帧图像相应关节点的位置信息。这实际上就是一个模板匹配的 过程。模板匹配整个过程的基本流程图如图3 1 所示。 图3 1 关节点跟踪的基本流群图 1 3 哈尔滨工程大学硕士学位论文 在犍个匹配过程要解决两个问题，一是匹配精度问题；二是搜索速度问 题。首先，匹配的准确性依赖于块匹配所用的匹配准则。其次，搜索的速度 依赖丁a 找算法。 3 。2 人体关节点跟踪的方法 叫i 0 在计算机视觉领域中，常用的跟踪方法有三大类：块匹配法( b 1 c o k m a t c h i n g ) 、光流法( o p t i c a ln o w ) 和基于特征的跟踪方法。每一类方法都有自 山的优冉捌小足，根据具体问题的不同，分别应用在不同的方面。接下来我 们将要介绍这几类方法。 3 2 1 块匹配方法 块幽驰在双目成像、目标跟踪等领域已有了较广泛地应用，而且已经被 许多视硼编码标准所采纳，如m p e g 1 、m p e g 2 、m p e g 4 、 l 2 6 1 、 l 2 6 3 和h 2 6 l 等。块匹配法是把一个象素块作为一个整体考虑，运动方法表示简 单。块匹配法的基本思想是选定图像序列的宏块，然后对于当前帧中的给定 宏块根据一定的匹配准则在前一帧或后一帧的某一给定搜索范围内找出与当 前块最相似的块，即匹配块。由匹配块与当前块的相对位置计算出运动位移， 所得的 i 侈即为当b i 块的运动矢量。 图3 7 给出了块匹配算法的具体描述。 在给定序列图像的连续两帧图像，和一l ，对于图像中的象索点( ，) ， 以此象索点为中心形成一个大小为m 的块，物体的运动范围局限在这个 块内。嘲绕图片什l 中的对应象素点伍，们建立一个大小为 们l 搜索窗口。 搜索窗h 的具体大小可根据有关图像间最大可能位移的先验知识来确定。 甄，) 是贞图片中目标象素块包含的象素点，“聊+ 女，n + d 是在当前帧件1 中匹 配象素块包含的象素点，0 ，g ) 是物体帧间运动向量( 即象素块位移) 。图3 3 是块匹y 屺法的示意图。 哈尔滨：【程大学硕士学位论文 图3 2 块匹配法中象素的搜索 图3 3 块匹配法的示意图 图二2 和3 3 中显示待匹配块与搜索区域的这种关系是基于平移的块运动 模型， 一般彳i 考虑块的旋转、缩放和变形，认为各个块之间的平移是相互独 立的，而且物体的旋转等运动可以通过块的逐段平移加以逼近，其最大的优 点是计葬量相对比其他算法是最小的。 运动估计算法中常用的匹配准则有三种，即最小绝对值差( m a d ) 、最小 均方淡蓐( m s e ) 和归一化互相关函数( n c f f ) 。它们的定义分别如下所示。 ( 1 ) 最小绝对值差 哈身；滨工栏大学坝十学位论文 心d ( f ，- ) 2 去萎荟阮咖，h ) 一五一t + 咖+ 爿 ( 3 1 ) 式i31 ) 中，( f j ) 为位移矢量。f k 和f k 1 分别是当前帧和前一帧的像素灰度 值，m 为宏块大小，当在某一点卢“，产v 处m a d ( “，v ) 最小，则该点即为 要找的最优匹配点，v ) 即为该块的运动矢量。 2 ) 最小均方误差 1盯 2 m 范( f ，) 2 高萎荟阢( 垅川一 肌+ 妇+ 棚 ( 3 2 ) m s i = 值最小的为最优匹配点。 ( 3 1 规一化互相关函数 五( 辨，聪) 五一，沏+ f ，砟+ ) c 肝2 五百立丝1 可f 厂1 ( 3 - 3 ) r “ ”o r 肘 “2 、 i 靠( ) ll 丘，“”+ 圳 l = ln = 】jl = 1n = 】j n ( f f 的最大的为最优匹配点。 从【：酗的公式( 3 1 ) 、( 3 2 ) 、( 3 3 ) 中我们很容易看出各个b d m 的计算 量，很程然式( 3 3 ) 的计算量要比式( 3 1 ) 、( 3 2 ) 的要大得很多。但是从匹配 精度来吼式( 3 3 ) 要比前两种方法更可靠。在运动估计中，匹配准则对匹配 的精度j ；响不是很大，出于m a d 准则不需做乘法运算，实现简单、方便， 所以使用最多。但通常使用s a d 代替m a d 。s a d ( s 啪o f a b s o l u t ed i 虢r e n c e ) 即求和绝对误差，定义如式( 3 4 ) 所示。 删d ( f ，) = i 兀( m ，聆) 一 一，( 研+ f ，聆+ 州 ( 3 4 ) 然而，即使对于式( 3 一1 ) 中定义的b d m ，查找的计算量也很大。例如， 对于宽度为m 的正方形查找窗口来说，如果采用遍历查找算法f 即计算查找 区域中每个像素位置的b d m ，然后根据匹配准则，得出最佳匹配像素块) ， 则需要i 算( m 一脚十1 ) ( m 一行+ 1 ) 次b d m 。这样复杂的计算对于像人体关 节点这样的目标的跟踪来说速度太慢，因此，我们需要利用快速块匹配算法 ( f a s tb j 【) c km a t c h i n g a l g o r i t k ，简记为f b m a ) 。 哈尔滨工程大学硕士学位论文 搜索算法选择恰当与否对运动估计的准确性、运动估计的速度都有很大 的影u 虮有关搜索算法的研究主要是解决运动估计中存在的计算复杂度和搜 索精度这矛盾。 3 211 全搜索法( f u | is e a r c hm e t h o d f s ) 伞搜索法也称为穷尽搜索法，是对搜索范围内所有可能的候选位鼹计算 s a d ( j ，) 值，从中找出最小的s a d ，其对应的偏移量即为所求的运动矢量。 此算法虽然计算量大，但它最简单、可靠，并且找到的点必为全局最优点。 如图3 4 所示。 f s 算法具体描述如下。 ( 1 ) 从原点出发，按顺时针方向由近及远，在逐个像素处计算s a d 值， 直到遍历搜索范围内所有的点。 ( 2 ) 征所有的s a d 中找到最小块误差m b d ( m i n i n u mb l o c kd i s t o r t i o n l 点 f s a d 值最小的点) ，该点所在位置即对应最佳运动矢量。 幽3 4 全搜索法 f s 算法是最简单、最原始的块匹配算法，由于可靠且能够得到全局最优 的结果，通常是其他算法性能比较的标准，但是由于它的计算量的确很大， 这就限制了它在需要实时场合的应用，因而要考虑其他的方法进行搜索。 1 7 哈尔滨工程人学硕士学位论文 3 2 22 二维对数法t d l ( t w o d j 怕n s o n a il o g a r i t h m t d l ) 二维对数搜索法由j r j a i n 和a k j a i n 提出1 3 7 j ，它开创了快速搜索算法 的先例，分多个阶段搜索，逐渐缩小搜索范围，直到不能再小雨结束。其基 本思想足从原点丌始，以十字形分布的5 个点构成每次搜索的点群，通过快 速搜索跟踪m b d 点。 t d 【。算法具体描述如f 。 ( 1 ) 从原点丌始，选取一定的步长，在以十字形分布的5 个点处进行块匹 配计算并比较。 ( 2 ) 若m b d 点在边缘四个点处，则以该点作为中心点，保持步长不变， 重新搜索十字形分布的5 个点；若m b d 点位于中心点处，则保持中 心点位置不变，将步长减半，构成十字形点群，在5 个点处计算。 ( 3 ) 牲中心点及周围8 个点处找出m b d 点，若步长为l ，该点所在位置 即对应最佳运动矢量，算法结束：否则重复步骤( 2 ) 。 图3 5 是二维对数法的一个搜索例子。图中点 o ，+ 4 、【+ 4 ，+ 4 】、【+ 6 ， + 4 是每个搜索阶段的最小块误差点。最终运动矢量为【+ 5 ，+ 4 】，每个点上的 数字表明了是那个阶段搜索时计算的候选块的位置。 t 丫l i 肇 lr l 土 书丫r p l 卜i 上l 上 t i 上 丫 l i i 圈35 二维对数搜索法 t d l 算法搜索时，最大搜索点数为2 + 7 l o 缸”，这里矽表示最大偏移量 出。( 或咖) 。若发现新的十字形点群的中心点位于搜索区的边缘，则步长 哈尔滨工程大学硕士学位论文 也减半。t d l 算法的前提是假设搜索内只有一个谷点，如果搜索区内存在多 个谷点时，该方法找到的可能是局部最小点。 3 2 2 3 三步搜索法( t h r e es t e ps e a r c h ，t s s ) 三步搜索法与二维对数法类似，是t k o g a 等人提出的f 3 4 l ，由于简单、 健壮、性能良好等特点，为人们所重视。若最大搜索长度为7 ，搜索精度取 一个像索，则依次步长取为4 ，2 ，l ，只需三步即可满足要求，因此而得名三 步法。 t s s 算法的基本思想是采用种由粗到细的搜索模式，从原点开始按一 定步长取周围8 个点构成每次搜索的点群，然后进行匹配计算，跟踪最小块 误差的m b d 点。 t s s 算法具体描述如下。 ( 1 ) 从原点开始，选取最大搜索长度的一半做为步长，在周围距离步长的 8 个点处计算m a d 并比较。 ( 2 ) 将步长减半，中心点移到上一步的m b d 点处，重新在周围距离步长 的8 个点处计算m a d 并比较。 ( 3 ) 在中心点及周围8 个点处找出m b d ，若步长为1 ，该点所在位置即 对应最佳运动矢量，算法结束；否则转到步骤( 2 ) 。 一个可能的搜索过程如图3 6 所示。图中点【+ 4 ，+ 4 】、 + 6 ，+ 4 是( 1 ) 、( 2 ) 步的最小块误差点。( 3 ) 步得到最终运动矢量为【+ 7 。+ 5 ，每个点