（通信与信息系统专业论文）人体运动的检测与跟踪方法的研究.pdf

中山大学硕士学位论文 人体运动的检测与跟踪方法的研究 论文题目：人体运动的检测与跟踪方法的研究 专业：通信与信息系统 硕士生：李宁智 指导老师：沈伟( 教授) 摘要 运动检测技术被广泛应用于军事、娱乐、生活等领域，起着重要的作用，而 人体的运动检测与跟踪则是其中重要的一方面。在一般的检测中，被检测的人体 通常为匀速运动物体，而本文针对羽毛球、网球这些运动场上的人体进行研究， 其特点是人体通常是变速运动且各肢体还可能有方向突变的运动，用以往的算法 难以解决。 本文首次将正交高斯厄米特矩( o r t h o g o n a lg a u s s i a n h e r m i t em o m e n t s o g h m s ) 应用在球场上的运动物体分割，在序列图像中进行运动检测，利用 o g h m s 的抗干扰性将运动的人体很好的分割出来：在此基础上将肤色分割结合 到运动检测领域中，对当前帧图像进行肤色分割，再与o g h m s 得出的运动图像 共同作用，提取出运动的肢体：建立中等复杂度的基于线图法构建的人体模型， 用在人肢体的跟踪上：在跟踪算法上，提出不基于运动方程的肢体跟踪算法，在 人体模型基础上建立人体运动模型，有效的对球场上运动的人体进行跟踪。 采用该算法对羽毛球、网球视频中的序列图像中的人体进行检测与跟踪，得 到良好的效果。 关键字：o g h m s ，肤色分割，人体检测与跟踪 中山大学硕士学位论文人体运动的检测与跟踪方法的研究 t i t l e ：h u m a nb o d ym o t i o nd e t e c t i o na n dt r a c k i n g m a j o r ：c o m m u n i c a t i o n s i n f o r m a t i o ns y s t e m s n a m e ：l in i n g z h i s u p e r v i s o r ：p r o f e s s o rs h e n w e i a b s t r a c t m o t i o nd e t e c t i o ni sa ni m p o r t a n tt e c h n o l o g yb e i n gw i d e l yu s e di n m i l i t a r y , e n t e r t a i n m e n t ，e v e r y d a yl i f ea n do t h e rf i e l d s ，a n dh u m a nd e t e c t i o na n dt r a c k i n gi sa v e r yi m p o r t a n tp a r to ft h i st e c h n o l o g y h u m a nm o t i o ni nb a d m i n t o na n dt e n n i si s a l w a y sc h a n g i n ge i t h e rs p e e do rd i r e c t i o n ，w h i c hi sm u c hd i f f e r e n tf o r mt h eo r d i n a r y f i e l dw h e r eh u m a nm o t i o ni su n i f o r mm o t i o n i ti sh a r dt ou s en o r m a la l g o r i t h mt o s o l v et h e s ep r o b l e m s i nt h i sr e s e a r c h ，o r t h o g o n a lg a u s s i a n h e r m i t em o m e n t s ( o g h m s ) w h i c hi sn o t s e n s i t i v et on o i s ei su s e di np l a y g r o u n df o rm o t i o nd e t e c t i o nf r o mi m a g es e q u e n c e s k i ns e g m e n t a t i o ni su s e df o rd e t e c t i n g m o v i n gb o d y , b yt h e e f f e c to fs k i n s e g m e n t a t i o na n dm o t i o ni m a g ew h i c ho b t a i n e db yo g h m s ，h u m a nb o d yi s w e l l s e g m e n t e d c o n s t r u c tah u m a nm o d e la tt h ei n t e r m e d i a t el e v e lw h i c hi sb a s e do ns t i c k f i g u r ef o rh u m a nb o d yt r a c k i n g an e wt r a c k i n ga l g o r i t h mw h i c hi s n o tb a s e do n m o t i o nf u n c t i o ni sp r o p o s e d i tc a nr e c o g n i z ea n dt r a c kt h eh u m a nb o d yw e l li nt h e p l a y g r o u n d t h ea l g o r i t h mw o r k sw e l lw h e nd e t e c t i n ga n dt r a c k i n gh u m a nb o d yi ni m a g e s e r i e so fb a d m i n t o na n dt e n n i s k e y w o r d s ：o g h m s ，s k i ns e g m e n t a t i o n ，h u m a nd e t e c t i o na n dt r a c k i n g 中山大学硕士学位论文 人体运动的检测与跟踪方法的研究 第一章绪论 人体运动的目标检测是计算机视觉领域中倍受关注的前沿课题。人体运动的 视觉分析是指从图像序列中进行人体的检测、跟踪、识别与行为理解。本文主要 的研究工作，从单目的视频序列图像信息中检测与跟踪人体的运动，提取人体的 运动参数，采用线图的方法构建人体结构和姿态模型，为最终达到对人体运动的 行为理解并加以应用的目的而开展的前期研究。研究工作中，用于实验的视频数 据是实际拍摄的网球和羽毛球项目的真实视频。 1 1研究背景 行为分析是计算机对运动的目标物体进行检测与跟踪，并根据其运动的轨迹 与特性作出的智能化判断与分析。随着社会的飞速进步，科技、经济的不断发展， 行为分析的研究有着越来越重要的作用：一方面，人类需要处理越来越多的事务， 迫切需要将其中的一部分事情交由机器自行分析处理，以缓解压力：另一方面， 当人面对大批量相似的数据时，容易疲劳，导致错误产生，也需要有机器进行辅 助的判断，减少错误或者纠正错误，因此让计算机自主的对物体的运动做出行为 分析，对人类的生活有着深远的意义。行为分析已经在许多领域中得到良好的应 用，比如：国防中目标的锁定、气象预报中云层走向的估测、电影特技中演员身 影的提取、安全保卫中场景的检测等。 由于对行为分析的研究有着重要的意义，因此国内外众多的科研机构以及商 家对这个领域产生了浓厚的兴趣，开展了大量的研究工作。1 9 9 7 年美国国防高 级研究项目署d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 针对战场以 及民用场景的自动监控以及视频理解，组织卡内基梅隆大学( c a r n e g i em e l l o n u n i v e r s i t y ) 、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 等多家高校设立 了视觉监控项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) f 1 9 1 ；实时视觉监控系 统w 4 【2 0 1 不仅能够有效地对多人进行分割、跟踪，并且还能对人是否携带物体进 行检测；1 9 9 9 年欧盟i s t ( n f o m l a t i o ns o c i e t yt e c h n o l o g i e s ) 的f r a m e w o r k5 程序 委员会为了开发出有效管理公共交通的系统，设立项目a d v i s o r ( a n n o t a t e d 第一章绪论 d i g i t a lv i d e of o rs u r v e i l l a n c ea n do p t i m i z e dr e t r i e v a l ) ，该系统的技术领域包括 了人群和个人的行为模式分析、人机交互等研究2 5 】；作为商业机构i b m 与 m i c r o s o f t 等公司也对行为的分析进行了研究，逐渐将基于视觉的手势识别接口 应用于商业领域中【2 6 】【2 7 】。 当前国际上众多权威期刊和科学杂志都将运动分析作为主要的研究内容 之一，主要的刊物有：i j c v ( i n t e m a t i o n a lj o u r n a l o fc o m p u t e rv i s i o n l ， c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) ，p a m i ( i e e et r a n so np a t t e m a n a l y s i s a n dm a c h i n e i n t e l l i g e n c e ) ，1 v c ( i m a g e a n dv i s i o n c o m p u t i n g ) ， i c c v ( i n t e m a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) ，c v p r ( i e e ec o m p u t e rs o c i e t y c o n f e r e n c eo n c o m p u t e rv i s i o na n dp a t t e mr e c o g n i t i o n ) ，e c c v ( e u r o p e a n c o n f e r e n c eo nc o m p u t e rv i s i o n ) ，t w v s ( t e e ei n t e r n a t i o n a lw o r k s h o po nv i s l i a l s u e i n a n c e l 。【2 8 l 行为分析主要分为对物体运动的分析与对人体运动的分析。 1 1 1 人体分析应用范围 以人为主体的分析，是行为分析中重要的一环，有着广泛的应用领域，可以 将其归类为： ( 1 ) 智能监控( s m a r ts u r v e i l l a n c e ) 在某些场合，基于安全或监督等理由，需要安装摄像头对场地进行智能监 控。比如对高安全要求的区域进行监控【l 】【2 心对办公室的监管p j 【5 j ，公共场合中对 人群的分析，以及在一些特别的场合将人体生物特征识别与智能视觉系统相结 合，分析指纹或人脸的识别、步态等6 1 【7 】 8 】决定进入特定区域的权利。 ( 2 ) 高级用户接口( a d v a n c e dp e r c e p t u a li n t e r f a c e ) 该接口的作用是通过人的某些行为举止来控制机器的运作，从而实现更高 效、迅捷、方便的控制手段。其中有通过手势作为判断标准的【9 】( 1 0 i ，如利用手势 实现p p t 演示基本操作i ；也有通过动作来判定的，如在智能课室中通过手的指 点来控制仪器动作 1 2 】、办公室中找到测试人员制定的物体吲等。 ( 3 ) 运动分析( m o t i o na n a l y s i s ) 运动分析可在多个领域中发挥重要作用。其一，可以应用在运动项目中的 各种分析：足球比赛的分析【1 3 1 ，壁球场上球员击球的判断【1 4 】，对网球运动员各 中山大学硕士学位论文人体运动的检测与跟踪方法的研究 种运动姿态的判断1 5 1 等。借助计算机的辅助，可以更好的在电视直播、辅助判断、 运动员资料分析等方面提高准确率。其二，在医学步态分析中广泛运用【1 7 1 。 它的目的是通过人体正常步态进行建模，开发生物反馈系统来分析病人的步态， 有助于判断其腿部受伤情况或者畸形程度，从而做出积极的整形补偿或有效的治 疗。 ( 4 ) 虚拟现实( v i r t u a lr e a l i t y ) 虚拟现实为人们提供了在虚拟的环境中模拟现实行为的平台。目前许多电 脑游戏和电影动画中人体运动非常逼真流畅，是由于对真实的人体进行跟踪分 析，获取真实的运动数据，从而得出运动方程，进而就可以在虚拟环境中恢复出 逼真的动作。 本文主要针对运动场上的人体进行研究。其中对人体运动的研究分析是运动 分析中重要的一环。 1 1 2 运动场上的人体检测与跟踪 对人体运动分析的前提是对人体进行检测与跟踪，而将人体检测跟踪技术运 用于运动场中，有广泛的应用前景： 各类竞技运动项目有着深厚的群众基础，足球世界杯、n b a 联赛、网球大师 赛、羽毛球世锦赛等等，令广大球迷疯狂，无论是电视的直播解说还是赛后评述， 如果借助计算机把人体提取出来进行虚拟演示，会令节目更加生动，吸引更多的 观众。 专业训练队在赛后要通过观看录像进行分析训练，但可能其中一大部分是需 要裁减的无用资料。比如要观察网球中对手正手击球的录像，就要人工的选取其 中相应的镜头来分析，耗费太多的时间，若用计算机自动获取，则效率大大提高。 比赛过程中，常常需要实时对运动员的一些数据进行实时统计，例如每场n b a 比赛，都会把球员的数据实时放在网上以供球迷查阅。在比赛中若球员对裁判的 判罚持有异议，处理不好会导致情况激化产生斗殴。以上情况如果改用计算机对 人体自动分割识别，作为辅助，可以大大提高效率与权威性。 对运动项目中的人体检测跟踪进行研究，有重要的学术意义。运动场中人体 的运动常常是不规则的，包含了速度的突变，方向的变换，肢体的遮挡，各部分 肢体运动差异大，室外光照变化大等多方面的问题，难以靠单一的理论算法解决， 第一章绪论 这促使研究人员需要更加广泛的理论知识，综合出新的理论来解决。 因此将人体检测与跟踪应用在运动项目中的识别，有着重要的意义。 1 2 研究现状 人体运动视觉分析的过程是将输入的视频流转换成语义流输出，主要包括了 几个方面的内容：运动检测、人体识别、人体跟踪、行为理解与描述。各模块之 间的关系可以用图1 1 表示： 视频流 图1 1 人体运动视觉分析流程 i 语义流 其中在人体识别、跟踪行为理解分析这几部分，可能会用到人体模型，这又牵涉 到人体建模的问题，下面将对以上几个部分及相关内容进行介绍。 1 2 1 运动检测 运动检测的方法主要可以分为：背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 【1 8 】、 时间差分法( t e m p o r a ld i f f e r e n c e ) 1 9 】、光流法( o p t i c a lf l o w ) 2 0 】。 ( 1 ) 背景减除法 该方法通过图像序列中的静止物体创建背景帧，将当前帧与背景帧进行比 较，通过阈值分割不同灰度值的区域块从而获取运动区域。此法优点在于运算相 对简便、速度较快，较好的适应实时的要求。为了更好的获取背景，可以采用自 适应的背景减除【2 l 】【2 引，该方法能较好的解决慢速光强度变化的问题。但是这一 类方法抗干扰性较差，对快速的光亮变化和干扰物体的抖动的适应能力不强，难 以自适应的解决不同速度的运动物体的检测【2 3 1 ，并且只能适用于静态的背景下运 动的检测。 4 中山大学硕士学位论文人体运动的检测与跟踪方法的研究 ( 1 ) 时间差分法 时间差分方法利用连续的图像序列前后几个相邻帧图像之间，基于像素的时 间差分并且阈值化来提取出图像中的运动区域。早期的方法是利用相邻两帧差分 来获得运动物体【2 4 l ，之后的改进方法是白适应背景获取法与三帧差分结合的混合 算法【2 9 1 。时间差分能够比较好的适应背景运动的问题，但是其检测出来的物体容 易产生空洞。基于正交高斯厄米特矩( o a h o g o n a lg a u s s i a n h e r r n i t em o m e n t s o g h m s ) 的运动物体检测技术【3 0 】 3 1 1 是一种比较新颖的方法，该方法可以根据 需要自由选取窗口大小，实现最佳的分割，且该算法对光照变化与速度变化不太 敏感，能够较好的在干扰较大的图像序列中提取出运动物体，该方法是本文提取 运动物体所采用的方法。 ( 2 ) 光流法 光流是通过运动物体被观测表面上的像素点运动的瞬时速度场，利用运动 图像序列中强度数据的时域变化和相关性，来确定图像像素位置的运动情况，从 而有效地提取和跟踪运动目标。光流法适用于由于摄像头移动而导致背景也整体 移动的场合【2 9 1 ，但是光流法的计算相对复杂，抗噪声能力差，没有特殊的硬件支 持下速度缓慢。当只是需要从静止背景下的提取运动目标时性价比不高。 1 2 2 人体模型 在进行人体的识别、跟踪与行为分析中，对于利用先验形态知识来处理的， 称为m o d e l - b a s e d ：对于不利用先验形态知识直接进行处理的，称为 a p p e a r a n c e b a s e d 或者v i e w b a s e d 3 2 1 ，特点如下： ( 1 ) m o d e l b a s e d 该方法由于使用了先验知识，所以能够比较好的对感兴趣的部分进行建 模、识别、跟踪，效果比较好，但是由于先验知识的约束，使得该方法的通 用性不足，一般只能够适用于特定的场合。 ( 2 ) a p p e a r a n c e b a s e d 或者v ie w b a s e d 该方法并不利用先验知识，而是在处理股过程中自动学习，最终对感兴 趣的人体进行跟踪识别，由于不依赖先验知识，通用性比较高，但是也导致 准确率不足，实现相对困难，在特定的场合中，并不如m o d e l b a s e d 的效果 好。 第一章绪论 对于人体的表示，主要有以下几种方法： ( 1 ) 环绕框( b o u n d i n g b o x ) 用一个矩形框将人体包围起来，作为一个运动目标来处理，不考虑人的肢 体等细节。这种方法通常用于多个运动物体跟踪，或者没有足够的分辨率进 行细节跟踪单个人体的情况。i n t i l l e ，b o b i c k n 3 1 将该方法应用于美式足球的 检测与理解当中。利用环绕框来识别跟踪物体，比较方便，但是由于丢失了 人行为的细节部分，因此只能进行初步的判断。 ( 2 ) 线图法( s t i c kf i g u r e ) 在对人研究时，把人各部分用一条直线段代替，然后通过关节相连，形 成人体3 3 1 ，该方法能够较好的反应人体的客观姿态，计算量不太大，效果良 好。例如，k a r a u l o v a 3 4 1 建立了人体运动学的分层模型，用于单目视频序列午 人体的跟踪。 ( 3 ) 二维轮廓( 2 dc o n t o u r ) 采用客观的事物在二位平面上的投影来代表真实的三维物体，避免了三 维计算的复杂，又能比较好的反映客观事物，效果良好。其中的方法有剪影 模型( s i l h o u e t t ec o n t o u rm o d e l ) 3 s 】、二维水滴模型( 2 db l o bm o d e l ) 3 6 1 、 纸板模型( c a r d b o a r dm o d e1 ) 3 7 】。 ( 4 ) 三维体积( 3 dv o l u m e t r i cm o d e l ) 通过多面体来表示真实物体的一种方法，由于是立体的表示方法，它能更 好的对人的各部分细节充分刻画，效果比较好，但是由于参数太多，因此计算十 分复杂，并且进行三维的信息时，需要要到空间信息，也要求了要多个摄像头的协 同合作。常用的表示方法有椭圆柱表示法( e l l i p t i c a lc y l i n d e r s ) 3 8 1 ，圆锥体 表示法( g e n e r a liz e dc o n e s ) 3 9 1 ，以及球体表示法( s p h e r e s ) 4 0 1 。 在本文中，考虑到计算量的问题，不考虑3 d 的模型；环绕框虽然简便，但是 丢失了太多的信息，不能很好的反映运动场上的信息，因此排除：二维轮廓法中 的剪影模型、水滴模型，在遮挡时会丢失信息，本文将不采用；线图模型与纸板 模型比较相近，但是若要用纸板模型跟踪人体，常常需要预先设定代替肢体的纸 板大小，而运动场中人位置的变化、动作的改变，都将导致纸板模型的失效；线 图模型虽然丢失了具体的人肢体信息，但是抽象出来的形状一样能够被良好的感 知，因此本文采用线图法来构建人体模型。 6 中山大学硕士学位论文 人体运动的检测与跟踪方法的研究 1 2 3 人体识别 从序列图像中把检测出的运动物体中的人体单独分割出来，抽取出其中有用 的信息，就是人体识别。 ( 一) 从识别目标上分，可分为：粗线条识别，中等复杂度识别、细节识别。 ( 1 ) 粗线条识别 将人体作为一个整体识别出来，只要找出运动人体的政一个范围就足够了， 并不需要对人体的细节部分进行处理。该方法用途广泛，在智能监控4 ，步态识 别，球场信息的理解n 3 1 等多方面都得到良好的应用。 ( 2 ) 中等复杂度的识别 人体将不再是一个单独的识别块，而是由多个部分组合而成的，但组合的部 位并不太多。例如在人群识别中，利用人的头部信息来定位整一个人 43 1 。该识别 方法比粗线条的识别拥有更多的信息，可以做出更多的判断，计算复杂度适中， 本文也采用该识别方法对人体进行识别。 ( 3 ) 细节识别 将专门针对人体某一部位进行的识别称为细节识别。其应用范围为手势的 识别 1 2 】、人脸部表情的识别，细节识别关注的问题一般是某一细节，因此，主 要应用于人机接口这一领域的【4 4 1 。 ( 二) 从识别的物体的特性来分，可分为： ( 1 ) 基与形状信息的分类( s h a p e - b a s e dc l a s s i f i c a t i o n ) 基于形状信息的分类2 4 1 是利用检测出的运动区域的形状特征进行目标分 类的方法。_ 般采用的特征包括区域的分散度、面积、宽高比等。 ( 2 ) 基于运动特性的分类( m o t i o n - b a s e dc l a s s i f i c a t i o n ) 。基于运动特性的分类5 0 1 是利用人体运动的周期性进行目标分类的方法。因 为人的运动是具有周期性的，其自相关也是周期性的，所以通过分析目标是否存 在周期性的运动特性可以将人识别出来。 1 2 4 人体跟踪 人体跟踪要解决连续的图像帧间创建基于位置、速度、形状、纹理、色彩等 有关特征的对应匹配问题。跟踪是依赖于识别存在的，根据不同的识别方式以及 第一章绪论 采用不同的人体模型，跟踪的对象可以是整个人体【1 3 】 4 1 】【4 2 i ，身体的一部分【4 4 i 世 手。 跟踪的视觉角度可以分为单摄像机 6 】多摄像机龇4 5 1 和全景摄像机【4 6 1 等。 识别与跟踪之间有着非常紧密的关系，结合在一起处理有两种分发：一种是 结构上的重构、不需重构；另一种是时域上的静态、动态。 如果把人体看作一个整体，则结构上不需要重构；如果通过识别出人体的各 个组成部分再整合成一个人，则需要重构。 不考虑动作的相关性，而只对当前帧进行分析的情况，是静态的；考虑动作 相关性，对相邻帧进行分析处理，则是动态的。 当需要对人体肢体进行跟踪的时候，会出现阻挡问题，在不同场合有不同的 i 解决方法：利用运动的周期性，比如跑步姿态识别【5 4 i ，网球动作的识别 1 5 】；或 者通过先验的运动方程来进行跟踪的，如对行人步态的跟踪2 引。但上述方法只是 用于同一个视角的摄像机，如果换了方向，则要重新设定周期特征点或者运动方 程，并不能广泛适用。 1 2 5 行为理解与描述 行为理解需要将跟踪后获得的信息，与周边环境相联系，利用相关性，得出 场景中发生的事件。对于人的行为理解而言，目前主要有下述两种方法。一种是 模板匹配方法( t e m p l a t em a t c h i n g ) 4 7 1 ，另一种是状态空间方法( s t a t es p a c e a p p r o a c h e s ) 【4 8 1 。在图像序列中，人体的运动是复杂多变的、难以描述的，常常 需要利用到很多细节的信息，处理过程相当复杂；再加上当前对人类的感知方法 的研究并不成熟，因此人体的行为理解与描述是一个难点。 1 2 6 利用矩的分割与识别 矩的形式多种多样，被广泛的应用到图像处理、模式识别当中。 在图像的分割上，应用正交o g h m s 可以得到较佳的效果。例如在指纹识别中， 采用o g h m s 进行分割5 1 】；在视频序列中也同样可以采用o g h m s 进行运动物体的检 测，其优点是算法简单、抗干扰能力强，可以根据需要选择需要的窗口大小来达 到最佳效果【2 3 】【3 0 】【3 1 1 。 中山大学硕士学位论文人体运动的检测与跟踪方法的研究 在识别方向上，各阶矩的值可以作为区分物体的标准。其中不变矩是基于不 同矩的组合而得到新的矩，由于它与物体的位置、方位以及表示物体的比例因子 都不相关，因此可以很好的作为区分物体的标准：例如人脸识别【52 1 ，军事上的机 动物体的识别5 3 l 等。 1 3 论文基本结构 本文一共分为六章： 第一章讲述研究背景与研究现状，阐述了研究的意义，比较当前算法的优略， 并介绍论文结构。 第二章介绍正交g a u s s i a n h e r m i t e 矩进行运动检测的原理与数学依据，并提 出将该算法应用在变化情况复杂的运动场中进行运动物体检测。 第三章对检测出来的运动物体利用彩色信息再次分割，对目标进行分类，并 提出一种人体模型。将彩色二次分割得出人的肢体部分，与人体模型相结合，利 用这些信息重构人体。 第四章提出一种在中等复杂度识别的基础上，不基于运动方程跟踪方法，利 用人体运动模型对人体进行跟踪预测。 第五章给出实验数据并进行分析，验证算法的有效性。 第六章总结全文内容，对研究工作进行评述，并对未来展望。 9 第二章基于正交g a u s s i a n - h e r m i t e 矩的运动物体检测 第二章基于正交g a u s si a n - h e r m it e 矩的 运动物体检测 2 1 概述 本文主要是针对运动场上运动人体的检测，目前运动检测主要方法在这一 领域上的应用各有优缺点： ( 1 ) 背景减除法较简单，实现方便，也有不少自适应背景的算法，但是这 类算法抗干扰性较差，对快速的光亮变化和干扰物体的抖动的适应能力不强，难 以自适应的解决不同速度的运动物体的检测【2 3 】。 r ( 2 ) 帧差法利用相邻帧对应像素点的变化来找出运动物体，该方法不需要 恢复背景，有一定的抗干扰能力，但是容易产生空洞问题。在运动场上，人体速 度变化不定，如果仅仅利用帧间对应像素的差值来计算，效果并不佳。 ( 3 ) 光流法抗干扰能力强，能较好的适应摄像头运动的问题，但运算非常 复杂，在背景为静止的情况下，采用该算法的性价比不高。 运动场上运动人体的检测，与一般监控的运动物体特性并不一样。一般监 控中不管主体是人或者是物，多为匀速运动的，且各检测目标的速度差异不大。 而运动场上的检测对象却有不同的特性： - - ( 1 ) 检测对象的速度是多变的。作为检测对象的运动员，在不同的状态 下，速度变化差异很大。比如网球运动中，在运动员等球过程中， 人体相对静止，而在追击球的时候，运动速度则会突然加快。 ( 2 ) 各肢体的运动方向与速度不同。检测运动物体过程中较难适应这种 广泛速度变化范围。 ( 3 )时常出现遮挡问题。在运动过程中，常常会出现肢体之间的遮挡问 题。 ( 4 )阴影的干扰。运动场上常常会出现阴影的干扰，比如室内的灯光、 室外的阳光，都会产生阴影，干扰运动检测。 由于运动场上运动物体检测的特殊性，需要一种能够适应速度变化，抗干 扰能力强的算法。而基于o g h m s 的运动检测算法则符合这些要求。 1 0 中山大学硕士学位论文人体运动的检测与跟踪方法的研究 2 2o g h m s 的原理与性质 0 g h m s 由于引入了g a u s s i a n 函数这种有平滑效果的函数，因此对噪声并不 敏感 5 5 1 ，通过对窗口的选取，可以得到最佳的分割效果，适合于光照变化与物体 抖动的场合，与其他同类算法进行比较，0 g h m s 对运动物体的检测效果更好 2 3 1 。 考虑到运动场运动物体的多变性，因此尝试将基于0 g h m s 检测方法用于运动人体 的检测。 2 2 1h e r m i t e 矩 h e r m i t e 多项是一种正交多项式，其表达式为： 只：h n ( 二) 其中： h 。( f ) = ( 一1 ) 疗e x p ( t 2 ) ( d ”衍n ) e x p ( f 2 ) 仃为g a u s s i a n 函数的标准偏差。 若输入信号为s ( x ) ，则在一维情况下，l q 阶h e r m i t e 矩表示为： ( ( x ) ) = e s ( x + f ) ( f ) 出 = ( e ( f ) ，s ( x + f ) ) ( n _ o ，l 2 ) 2 2 2 正交g a u s s i a n h e r m i t e 矩 o g h m s 是由j s h e n 等5 5 1 提出的，其推例如下。 假设输入信号为s ( x ) ，则该信号的o g h m s 为： 1，+ 以( x ，s ( x ) ) = ij ( x + f ) 俄( t ) d t = ( 俄( f ) ，s ( x + f ) ) 其中b n ( t ) 为g a u s s i a n 函数g ( x ，6 ) 与h e r m i t e 多项式p ( t ) 的乘积： 吃( f ) = g ( t ，盯) 只( f ) g ( x ，仃) = ( 1 2 , f 芴o ) e x p ( 一x 2 2 c r 2 ) 在计算o g h m s 时，一般采用递归的方法，表达式为： ( 2 - 1 ) ( 2 2 ) ( 2 - 3 ) ( 2 4 ) ( 2 - 5 ) 第二章基于正交g a u s s i a n h e r m i t e 矩的运动物体检测 a l ( x ，s 坍( x ) ) = 2 ( 以一0 m 一2 ( x ，s 肼( x ) ) + 撕m o l ( x ，1 ) ( n 2 ) 2 - 6 其中s 研( x ) = ( d 册d x 小) s ( x ) ，s o ( x ) = s ( x ) 。而m o ，m i 则表示为： m o ( x ，s ( x ) ) = g ( x ，o r ) 木s ( x ) m ( ( 砌= 2 仃( 丢) ( 贴，硼似x ) 设一组序列图像 f ( x ，y t ) 户0 12 ，f ( x ，y t ) 代表t 时刻的图像， 上像素点的坐标，根据式( 2 6 ) ，可推出则其o g h m s 应表示为： 鸭( f ，f ( x ，y ，f ) ) = l f ( x ，y ，f + v ) 吃( v ) d v 根据( 2 - 7 ) ，可以推出它的递归表达式为： ( x ，y ) 代表了图像 ( 2 8 ) 坂( f ，f ( x ，y ，f ) ) = 2 ( 玎一1 ) 鸭一2 ( t ，f ( x ，y ，f ) ) ( 2 9 ) + 2 0 3 4 一i ( f ，f 1 ( x ，y ，f ) ) 一般在计算序列图像的o g h m s 时，只采用l ，3 ，5 次阶就已足够。 2 2 3 正交g a u s s i a n h e r m i t e 矩的性质 o g h m s 主要有3 个性质，如下文所述： 性质1 设g a u s s i a n 函数为g ( x ，6 ) ，f ( x ，y t ) 为序列图像( f 【x ，y t ) ) t ：0 12 种t 时 刻的图像，则： 雠胞圳= 拟参) ( 如y ) q 枷) = ( 羔口筹) 酏川) 圳) a i 由g a u s s i a n 函数的标准偏差g 确定。 上式( 2 1 0 ) q ，2 。a ( d 衍) g ( f ，盯) 称为o g h m s 的基函数，它是g a u s s i a n 函数各阶导数的线性组合而成的。由于g a u s s i a n 滤波器能够较好的滤除噪声， 而o g h m s 可以看成是各阶g a u s s i a n 滤波器的线性组合，因此能够有效的滤除各 1 2 中山大学硕士学位论文 人体运动的检测与跟踪方法的研究 种噪声。 性质2 设g a u s s i a n 函数为g ( x ，6 ) ，坟x ，y ，t ) 为序列图像 f i x ，y ，t ) t = o ，1 2 种t 时 刻的图像，则当n = 2 k ( n 为偶数) 时： 坂( f ，m 川) = 争k 万d 2 i ( g ( m 圳) ) ( 2 1 1 ) 当n = 2 k + l ( n 为奇数) 时： k n 1 2 i + 1 鸭亿m 川) 2 酚+ - 知( 酏川圳) ) ( 2 1 2 ) a i 由g a u s s i a n 函数的标准偏差。确定。 在检测运动物体过程中，一般使用l ，3 ，5 次阶的o g h m s ，可以l 主t ( 2 1 2 ) 与递 推公式( 2 9 ) 得到。 性质3设g a u s s i a n 函数为g ( x ，o ) ，f ( x ，y t ) 为序列图像 f ( x ，y t ) t = 0 12 种t 时 刻的图像，根据性质1 ，可以得到其o g h m s 的基函数为： f ( f ，万) = 二a i ( d d t f ) g ( f l ，c r ) ( 2 1 3 ) 当f ( t ，6 ) = 0 时，基函数在( 一( 3 0 ，+ ) 上有n 个不同的实数根，即有n 个不同的 过零点。如图2 1 所示。 ( a ) 0 阶( b ) 1 阶( c ) 2 阶( d ) 3 阶 ( e ) 4 阶( f ) 5 阶( g ) 6 阶 ( h ) 7 阶 图2 1 正交g a u s s i a n h e r m i t e 矩空域基函数 第二章基于正交g a u s s i a n h e r m i t e 矩的运动物体检测 可见n 阶对应着n 次振荡，在序列图像中，通过过零点两边正负的差异，找 出相邻帧中对应像素点的差异，也就是物体的运动。o g h m s 的特性显示出它与 其它的正交矩一样，能够在图像处理上区分不同的物体。 2 3 基于正交g a u s s i a n h e r m i t e 矩的运动物体检测 在运动检测中，利用时域上的导数可以从序列图像中提取出运动物体，而 o g h m s 则是这些导数的组合，因此可以用o g h m s 来提取运动物体。在检测运 动物体时，采用o g h m s 的奇次阶组合来计算，而根据上文中的3 个性质可知， o g h m s 的基函数是奇次阶高斯函数的线性组合。考虑到计算量与分割效果，在 进行运动目标检测时，只采用l 、3 、5 次阶进行计算，得出正交g a u s s i a n h e r m r e 矩图像( o g h m i s ) 。 2 3 1 一、三、五次阶o g h m s 的信息 阶次越高的o g h m s ，包含越多的运动信息。作为3 阶的0 g 饨m j m 3 ， 是在时域上l 阶与3 阶g a u s s i a n 函数导数滤波器对序列图像的加权和。而m 5 则 是在时域上3 阶与5 阶g a u s s i a n 函数导数滤波器对序列图像的加权和。阶数越 高，对运动信息越敏锐，同时对噪声也越敏感。 2 3 2o g h m i s 的计算 对于l 、3 、5 次阶的o g h m s ，并不能从这些数据中直接获取运动目标，而 需要将它们组合到个分量上输出，得到正交g a u s s i a n h e r m i t e 矩图像。由于 o g h m s 是正交矩，其l 、3 、5 次阶是正交的，因此可将l 阶o g h m s 看成图像 f ( x ，y t ) 在坐标轴i 上的投影：将3 阶o g h m s 看成图像f ( x ，y t ) 在坐标轴2 上的投 影；将5 阶o g h m s 看成图像f ( x ，y t ) 在坐标轴5 上的投影。又因为坐标轴l 、3 、 5 是正交的，因此可在这3 个坐标轴构成的空间中用m 来表示实际的物体运动， 表达式为： m ( x ，y ，f ) = m ? + 嵋+ m ； ( 2 1 4 ) 2 3 3 正交g a u s s i a n h e r m i t e 矩的模板 1 4 中山大学硕士学位论文人体运动的检测与跟踪方法的研究 在检测运动物体时，如果每次都重新计算o g h m s 的基函数，势必使运算量 变的庞大，而使用模板操作则可简化运算过程，因此在进行运动物体检测之前， 应当先确立适合的模板。一个模板主要有3 个参数：模板维度、窗口大小、模板 数值。 ( 1 ) 模板维度 由于要利用时域信息检测运动物体，采用帧差的方法求出图像中每一点 值，因此模板的其中一维对应在时间轴上。每一帧图像在空域上的差别是该 时刻各个物体之间的差别，对同一个物体则检测不到其运动性，因此在空域 上没有维度。从时域空域上的特点可知，检测出运动物体只需采用一维的 o g v i s 制作模板。 ( 2 ) 窗口大小 窗口大小与g a u s s i a n 函数的标准偏差1 3 有关。令窗口大小为n o ，则应 当满足n o = 1 0 6 + l ，此时定位误差在许可范围之内2 3 1 。考虑到计算量与计算 效果，本文只考虑窗口大小为3 、5 的时候，对应的标准偏差为o 2 、o 4 。 ( 3 ) 模板数值 o g h m s 基函数的有效范围是从( 一，+ ) ，由于窗口大小已确定的缘故， 若模板取值时在整个有效区间取，会令模板丢失主要的信息。因此把取值范 围的最大最小值定在基函数接近o 的地方。由此可得，窗口大小为3 时，取 值域为 一0 9 9 7 2 ，0 9 9 7 2 ；窗口大小为5 时，取值域为 - 1 4 2 8 5 ，1 4 2 8 5 。根据 o g h m s 性质2 奇次阶公式( 2 1 2 ) 与递推公式( 2 9 ) 可以得到l 、3 、5 次阶 o g h m s 表达式，在通过性质1 ( 2 1 0 ) 计算出l 、3 、5 次阶的o g h m s 模板。 窗口大小为3 时，模板如图2 2 所示： ( a ) 一阶模板 ( a ) 三阶模板 ( a ) 五阶模板 图2 21 奉3o g h m s 模板 1 5 第二章基于正交g a u s s i a n h e r m i t e 矩的运动物体检测 窗口大小为5 时，模板如图2 3 所示： ( a ) 阶模板 ( a ) 三阶模板 ( a ) 五阶模板 图2 3 1 宰5o g h m s 模板 采用模版操作使o g h m i s 的计算变得简单方便。 2 4 在o g h m i s 上对运动物体的分割 得到o g s 之后，并不能从中直接提取运动物体，必须对得到的图像进行 分割。同一幅图像中处在同一个物体中的像素点有着很强的空间相关性，若仅仅 简单的设定阈值分割，会对这种相关性造成破坏，使分割的鲁棒性降低。在分割 方面，不变矩算法( i n v a r i a b l em o m e n t sm e t h o d - - i m m ) 虽然相当有效，但并没有考 虑物体的空间相关性，因此j s h e n 等【5 6 j 提出了n o n s y m m e t r i cm e m b e r s h i p 函数得 出o g h m i s 下的m e m b e r s h i p 函数【3 。1 ，在此基础上应用f u z z yr e l a x a t i o n 算法( f r m ) 进行分割，从而保证了分割时物体各像素之间拥有较强的空间相关性。 2 4 1o g h m i sm e m b e r s h i p 函数 j s h e n 等 5 6 】提出l o j n o n s y m m e t r i cm e m b e r s h i p 函数