（通信与信息系统专业论文）电视监控系统中的活动目标检测与跟踪算法的研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：丝墼日期：鲨竺：三：竺 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本 学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：二随导师签名：乏隧日期史卫兰：! 、! 山东大学硕士学位论文 摘要 近年来，随着电视监控系统不断向数字化和智能化发展，作为 智能监控技术核心的活动目标自动检测与跟踪技术已经引起了越来 越多的国内外厂商和学者的重视并进行了一系列的研究。随着时代 的进步，这项技术也在不断的发展完善，在某些场合下甚至可以完 全替代人工监控。活动目标的检测与跟踪技术在未来必将有广阔的 应用前景并能为社会带来巨大的经济效益。 本文阐述了活动目标检测与跟踪技术的现状，研究了主要的检 测与跟踪算法及其涉及到的基本理论在此基础上提出了一种自动 检测跟踪系统。该系统由运动物体检测和运动目标跟踪两部分组成。 该系统完全用软件实现，运行于普通个人计算机上，使用单个静止 c c d 数字摄像机得到的灰度图像序列作为输入，能够对单人或多人 的运动行为进行监控。 在运动目标的检测方面，本系统首先用中值滤波去除噪声，然 后使用固定背景差分与帧间差分相结合的改进检测算法，分别求出 背景差分和帧间差分所得到的图像，然后将两部分对应像素相与， 就得到当前帧中准确的运动目标的形状。对于运动区域，该系统将 其与像素灰度的统计信息相结合，能够分析前景活动区域包含几个 运动目标，将该区域合理的分给每个运动目标，并对他们分别进行 跟踪。在跟踪中采用了区域跟踪与特征点跟踪相结合的方法，把每 个运动者对应运动区域的中心点作为运动的特征点进行跟踪。在水 平与垂直两个方向上根据特征点的位置分别建立卡尔曼滤波器，通 过预测下一帧中该特征点的位置建立连续帧之间特征点的联系。 通过对室外采集的图像序列进行的实验，证明本系统通过改进 的检测算法能够准确的检测出运动者的具体位置，并通过卡尔曼滤 波得到下一帧中的预测位置和速度。同时该系统具有实现简单，运 算快速与稳定的特点，为运动目标的检测与跟踪提供了一种切实有 效的，具有实用价值的方案。 关键词：运动目标检测；运动目标跟踪：卡尔曼滤波：背景差分； 帧间差分 山东大学硕士学位论文 a b s t r a c t r e c e n t l y ，w i t ht h ed i g i t a l a n di n t e l l i g e n td e v e l o p m e n to ft e l e v i s i o n s u r v e i l l a n c es y s t e m ，m a n yc o m p a n i e sa n ds c h o l a r sa th o m ea n da b r o a d t h i n kh i g h l yo fa u t o m a t i cd e t e c t i o na n dt r a c k i n go fm o v i n go b j e c t sa n d w o r ko nt h i sf i e l d w i t hf a s td e v e l o p m e n t ，t h i st e c h n o l o g yc a nr e p l a c e h u m a nt os u p e r v i s et h et a r g e ti nc e r t a i nf i e l d a sa ne s s e n t i a lp a r to f t h ea u t o m a t i cs u r v e i l l a n c es y s t e m t h er e s e a r c hi nt h i sa r e ac a np r o v i d e b r o a dp o t e n t i a lu s ei nt h ef u t u r ea n de c o n o m i cb e n e f i t st ot h es o c i e t y t h i sa r t i c l et e l lst h es i t u a t i o no ft h ew o r ko n m o v i n go b j e c t d e t e c t i o na n dt r a c k i n g ，a n da n a l y z e st h ef o u n d a t i o n a lt h e o r i e so ft h e s e t e c h n o l o g l e s ，t h e nb r i n g s o u ta na u t o m a t i cd e t e c t i o na n d t r a c k i n g s ys t e m b a s e do n p r e v i o u s w o r k t h i s s y s t e m c o n s i s t st w om a i n c o m p o n e n t s ：m o v i n go b j e c td e t e c t i o na n dm o v i n go b j e c tt r a c k i n g t h e e n t i r es t r u c t u r ei sb u i l tt h r o u g hs o f t w a r e ，a n dr u no np c s i to p e r a t e so n m o n o c u l a rg r a y s e a l ev i d e oi m a g e r yc a p t u r e d b ys t a t i cc c dd i g i t a l c a m e r a t h i ss y s t e mc a nb ea p p l i e di nd e t e c t i n ga n dt r a c k i n gs i n g l eo r m u l t i p l ep e o p l e ，a n dm o n i t o r i n gt h e i ra c t i v i t i e s t h i ss y s t e ms t a r t sw i t hm o v i n gt a r g e td e t e c t i o n ，w h i c hm a k e su s eo f t h em e d i a nf i l t e rt of i l t e r0 u tt h en o i s eo nt h ef o r e g r o u n do b j c o t sa tf i r s t t h e ni tu s e si m p r o v e da l g o r i t h mt h a tc o m b i n e db a c k g r o u n dm o d e la n d f r a m ed i f f e r e n c e i tw i l l g e t f r a m ed i f f e r e n c e sa n d t h ed i f i e r e n c e b e t w e e n b a c k g r o u n dm o d e la n d c u r r e n tf r a m e i tw i l l c o m p a r et h e p i x e l so ft h et w od i f f e r e n e ep i c t u r e s ，a n de x t r a c tt h ep i x e l so fs a m e g r a y s c a l e t h e s ep i x e l sc o n s t r u c tt h ef i e l do fm o v i n gt a r g e t t h e n ， t h i ss c h e m ee m p l o y sac o m b i n a t i o no fs h a p e a n a l y s i s a n dg r a y - s c a r e s t a t i s t i c a li n f o r m a t i o n t h e ni tc a nd e t e r m i n ew h e t h e ra f o r e g r o u n d r e g i o n c o n t a i n s m u l t i p l eo b j e c t a n d s e g m e n tt h er e g i o ni n t os e v e r a l p a r t s t h e nt r a c kt h e m s e p a r a t e l y t r a c k i n ge m p l o y s am i x t u r eo f r e g i o n 。b a s e dt r a c k i n g a n df e a t u r e - b a s e d t r a c k i n g ，w h i c hr e g a r d t h e c e n t e ro ft h em o v i n gr e g i o nt h a tm a t c h e sc e r t a i np e o p l ea st h ef e a t u r e p o i n t t h et r a c k i n gf r a c t i o n ss e t u pt w ok a l m a nf i l t e r sa c c o r d i n gt ot h e a b s c i s s aa n do r d i n a t ep o s i t i o no ft h ef e a t u r ep o i n t s ，a n dc o r r e l a t et h e n e x tp o s i t i o nb ye s t i m a t et h ep o s i t i o no ff e a t u r ep o i n ti nn e x tf r a m e e x p e r i m e n t si no u t d o o rs u r r o u n d i n g ss h o w st h a tt h i ss y s t e mw i t h i m p r o v e d d e t e c t i o n a l g o r i t h m i s c a p a b l e o f d i s c o v e r i n g t h e m o v i n g t a r g e ta n dl o c a t i n gi t sp o s i t i o n ，a n di tc a np r o v i d e si n f o r m a t i o na b o u t t h ev e l o c i t ya n da c c e l e r a t i o no ft h em o v i n g p e o p l eb ym e a n so fk a l m a n f i l t e r e x p e r i e n c es h o w st h a tt h i ss y s t e mi sf a s ta n dr o b u s t ，i ts h o u l d p r o v i d ea ne f f e c t i v em e c h a n i s mf o rp r a c t i c a lu s e k e y w o r d s ：m o v i n go b j e c td e t e c t i o n ；m o v i n go b j e c tt r a c k i n g ；k a l m a n f i h e r ；b a c k g r o u n dd i f f e r e n c e ：f r a m ed i f f e r e n c e 2 山东大学硕士学位论文 第一章绪论 1 1 课题研究背景及意义 在现阶段，电视监控系统作为公共安全领域中的一项重要技术 已经得到了广泛的应用。但是仍然存在很多电视监视系统，其功能 仅仅停留在监控者对视频信号的人工监视和事后录像分析上，并没 有充分利用目前计算机技术高速发展所提供的强大计算能力，即使 少数数字监控系统也仅仅是提供多画面显示及硬盘录像类的简单功 能。鉴于此，目前在国内外学术界及工业部门都开始着眼于研究新 一代的高级视觉监视系统，逐步实现视觉监视系统从模拟监控到数 字智能监控的迈进。 在计算机智能监控系统中，监控系统首先对图像进行预处理去 除噪声，然后通过适当的检测算法确定运动目标，继而通过跟踪算 法在摄像机视野内跟踪运动目标，同时进行报警以及保存视频数据 等一系列工作。而在这个系统中，其的核心部分就是运动目标检测 与跟踪算法技术，这个技术是保证整个系统实现其功能的关键。 近几年来，随着电视监控技术的发展与计算机性能的不断提高。 活动目标自动监控技术也越来越受到人们的青睐，众多的研究人员 对这项技术进行了的研究并在交通管理、军事目标跟踪、生物医学 等很多领域都对这项技术进行了应用。如果这项技术能够很好的应 用在某一监控系统中，必将节省了大量的人力物力，同时还能提高 监控的效率，取得了良好的监控效果【2 1 。 1 2 国内外研究现状与分析 1 2 1 国内外的研究机构介绍 意识到运动目标分析重要的理论价值和经济价值，目前世界上 山东大学硕士学位论文 有许多大型科研机构都在对这一领域进行研究，主要包括： 美国国防先进研究计划署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e e t s a g e n c y ) 开发的v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ( v s a m ) 系统【3 】； 美国国际商用机器公司( i b m ) 与美国马里兰大学( u n i v e r s i t y o f m a r y l a n d ) 联合开发的w 4 ( w h a t ，w h e r e ，w h e n ，w h o ) 系统钔： 国内进行运动目标分析研究的主要科研机构有中科院自动化所 模式识别国家重点实验室【5 】等。 有许多国际知名科技期刊、会议和工作组包含运动目标检测跟 踪的内容，主要包括： i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ； c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ； i e e et r a n s a c t i o n so np a t t e r n r e c o g n i t i o n a n dm a c h i n e i n t e l l i g e n c e ； i m a g ea n dv i s i o nc o m p u t i n g ； i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e r v i s i o n ； i e e ei n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n a n dp a t t e r n r e c o g n i t i o n ； i e e ei n t e r n a t i o n a lw o r k s h o po nv i s u a ls u r v e i l l a n c e 国内包含此类研究内容的期刊主要有： 电子学报，中国图像图形学报，自动化学报等。 1 2 2 国内外的研究水平和研究成果 运动目标分析主要是针对包含指定监控对象的的运动图像序列 进行分析处理，它通常涉及到运动检测、目标跟踪两个过程，所以目前 国内外的研究也主要针对这两个方面来开展，并且已经提出了很多 可以应用在实际环境中的算法。 在运动检测方面，s t a u f f e r 与g r i m s o b 【】利用自适应的混合高斯 背景模型( 即对每个像素利用混合高斯分布建模) ，并且利用在线估计 来更新模型，从而可靠地处理了光照变化、背景混乱运动的干扰等 4 山东大学硕士学位论文 一暑= e ：墨詈j 置皇葛：= =e 昌!= j l 暑皇暑= = = 昌田昌暑兰= 置鲁皇置詈鲁曩詈皇鼻墨j 臣 影响。v s a m t m 开发了一种自适应背景减除与三帧差分相结合的混合 算法，它能够快速有效地从背景中检测出运动目标。这种检测方法 对于动态环境具有较强的自适应性，但一般不能完全提取出所有相 关的特征像素点，在运动实体内部容易产生空洞现象。m e y e r 等【l 通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效 地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提 下也能检测出独立的运动目标。然而大多数的光流计算方法相当复 杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧 视频流的实时处理。 在目标跟踪方面w a c h t e r 与n a g e l t 3 4 1 利用椭圆锥台建立三维人 体模型，通过在连续的图像帧间匹配三维人体模型的投影来获得人 运动的定量描述。其中，它利用了迭代的扩展卡尔曼滤波方法，结 合边缘、区域信息及身体解析约束确定的身体关节运动的自由度， 实现单目图像序列中人的跟踪。ls a r d 与b l a k e t ”1 利用随机微分方程 去描述复杂的运动模型，并与可变形模板相结合应用于人的跟踪。 3 a n g 与c h o i t 5 1 l 利用区域的形状、纹理、色彩和边缘特征信息建立了 活动模板，结合卡尔曼滤波的预测方法，使特征匹配能量函数最小 化来完成运动目标的跟踪过程，该活动模型对于非刚性物体的跟踪 具有很好的自适应性。 1 2 3 目前的研究工作的难点 尽管运动目标分析研究已经取得了一定的成果，但是还没有一 种监控算法能够达到监控技术的最高要求，即在任何复杂的场景下 都能够准确的监控每一个运动目标的复杂运动。目前已有的各种检 测以及跟踪算法都是限定在一定的环境下对目标实施监控。随着该 领域技术研究的不断发展，各种算法的适用环境也会逐渐接近真实 场景。在现阶段，从当前的算法研究发展工作中看，主要遇到以下 几个难点。 l 在复杂环境下对运动目标的快速准确的分割 山东大学硕士学位论文 由于动态环境中捕捉的图像受到多方面的影响，比如天气的变 化、光照条件的变化，背景的混乱干扰、运动目标的影子、物体与 环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，这些 都给准确有效的运动分割带来了挑战。目前图像分割主要利用背景 减除方法，但如何建立对于任何复杂环境的动态变化均具有自适应 性的背景模型仍是相当困难的问题。 2 运动目标之间的遮挡问题 目前。大部分运动分析系统都不能很好地解决目标之间互遮挡和 目标白遮挡问题，尤其是在拥挤状态下，多目标的检测和跟踪问题 更是难于处理。遮挡时，运动目标只有部分是可见的，而且这个过 程一般是不可训练的，简单依赖于背景减除进行运动分割的技术此时 将不再可靠，为了减少遮挡所带来的歧义性问题，必须开发更好的 模型来处理遮挡时被识别的特征与目标各部分之间的准确对应问 题。 通过以上分析可以看出，运动目标的检测与跟踪是目前成为计 算机视觉领域最热门的研究课题之一，无论是国防机构、科研院校 还是公司集团都投入了大量的人力物力对其进行研究，这足以说明 该领域研究的重要意义和理论价值及其潜在的经济价值。 6 山东大学硕士学位论文 第二章运动目标检测与跟踪算法综述 2 1 运动目标检测 运动目标检测是整个活动目标检测跟踪系统的第一部分，运动 目标检测的目的是将运动目标( 如人体) 从图像中提取出来，能孬 正确的分离运动目标是整个系统成败的关键。运动部分的分割常常 受到光线变化、背景变化、以及其他背最运动物体等因素的影响， 因此选用一种稳定可靠的分割方法是很重要的。常用的运动分割方 法有背景差分法、相邻帧差法、光流法，同时还常常用到灰度阈值 法和数学形态学法作为辅助的检测手段。 2 1 1 基于背景差分法的检测算法 1 背景差分法的基本概念 背景差分法【6 o 1 是一种最基本的目标识别方法，它采用根据某种 背景模型更新参考图像，计算当前图像与参考图像的差分图像，然 后阈值化分割出运动物体，这种方法计算简单，如果参考图像选取 得当，这种方法的优点是可以准确地分割出运动物体。 2 背景差分法的实现步骤 a 确定背景模型，并建立背景图像。最简单的背景模型1 6 , 7 1 是时 间平均图像。在背景图像的初始化算法中，求取一段较长的时间段， 计算视频序列图像每一像素的平均亮度，作为初始的背景估计图像。 b 在像素模式下，用当前图像减去已知背景图像来得到差分图 像。我们定义图像序列为l ( x ，y ，f ) ，其中x ，y 代表空间坐标，表帧数， = ( 1 ) ，| v 为序列总数。背景图象为b ( x ，y ，i ) ，则差分图像可以表示为 d ( x ，_ y ) = il ( x ，y ，i ) 一b ( x ，y ，f ) l( 2 1 ) c 对差分图像里做二值化处理，得到运动区域。 咻，= 器嚣m i n i l ( x 和p , y 8 , i ) - b ( x , y , i ) 脚i r z ， 其中，d 为差分图像中任何一点，f 为灰度阈值。 如果m ( x 。，y 。，1 ) = 1 ，则表示像素点p 在第1 帧属于运动区域， 如果m ( x 。，y 。，f ) = 0 ，则表示像素点p 在第1 帧属于背景区域。 3 该算法的适用环境 该方法成功与否依赖于所采用的背景更新方法，以弥补动态场 景中的光线变化等因素带来的不利影响。而且在户外复杂环境条件 f ，很难建立背景模型，不适合复杂环境下运动物体的检测。 4 该算法的目前的改进和发展情况 固定背景算法假定背景在相当长的一段时间内是不发生变化的， 然后以此为基础求解运动区域。但事实上，即便是室内环境，也存在 光线等各种变化造成的干扰，所以固定背景的方法存在很大的局限性。 通常的解决办法是系统需要时常的对背景重新初始化。以防止错误将 随时间不停地积累造成背景失效。因此，作为固定背景，它只适用于 变化较小的短期的跟踪问题。现在的趋势是采用背景更新机制对各种 变化造成的影响进行补偿，刷新参考图像，弥补固定背景方法的缺欠。 背景更新的一个简单方法是以当前某段时间内的图像序列的平 均值作为参考图像，即产生一个除运动区域以外与当前静态场景相 似的近似背景图象。在物体是连续运动且背景多数时间内可见的条 件下这种方法是有效的，但在运动物体很多、特别是当物体运动速 度很慢的情况下这种方法就不可靠了。这种简单求平均的做法实际 上是将每个象索可能出现的值看作是均衡分布的，没有考虑其具体 的分布规律。 因此，一种新的改进的思路是假定象素值服从某种分布模型， 如高斯分布，通过一段时间的训练获得参数并不断更新其分布参数， 就可得到较好的背景更新方法。在实际的监控过程中，视频镜头产 生的噪声符合高斯分布，视频序列中的随机噪声、光线变化、背景 纹理的变化等统计量噪声也符合高斯特性。因此监控系统完全可以 山东大学硕士学位论文 使用高斯分布背景模型1 。高斯分布背景模型即将背景的每个象素 按照高斯分布模型建模，据此更新背景图象，该系统在室内经过一 段时间的初始化后用来跟踪人体运动。这种改进方法的优点是自适 应性强，但缺点是需要很大的计算量，在微机上实现速度较慢。 2 1 2 基于帧差法的检测算法 l 帧差法的基本概念 帧差法，顾名思义，就是对相邻的两帧图像进行相减，所得到 的图像既是在原图像中发生了变化的区域，这样运动区域的轮廓自 然可以得到【m ”i 。 2 帧差法的实现过程 在假设用于获取序列图像的摄像机是静止的前提下，识别运动 目标的最简单的方法是帧差法。这种方法主要是考虑像素的统计特 征，通常用于把视频帧分割成相对于前一帧“变化的”和“未变化 的”区域。未变化的部分表示静止的背景，变化的部分代表运动和 遮挡区域。定义帧k 和k + l 之间的偏差为观“i ( x ，t ) 。 f d k 十】，t ( x 1 ，x 2 ) = s ( x 1 ，t ，k + 1 ) 一s ( x l ，叠，k )( 2 3 ) 这是两帧之间的逐像素的偏差。假设逐帧的照明基本保持恒定， 对于场景中的静态部分( 如背景) ，f d k 。( z ，x ：) 为零；而对于场景中运 动物体的轮廓，f d k “。( 工，t ) 一般不为零。f d k 。( 一，x 2 ) 不等于零的点的 区域代表“变化”区域。然而，因为噪声的存在，帧偏差几乎不可 能完全等于零。为了把由于噪声引起和由背景运动的变化引起的非 零偏差区分开来，通过以下方式 钆c 捌= ：髋f d k + i , 出( x l , x ：2 堆) 1 ； 亿4 ， 来界定图像，通过一个合适的阀值t 使图像获得分割。帧差法可以 有效地抑制噪声，提取运动信息，获得分割对象。 3 帧差法的技术难点 a 时间间隔的选取。帧差法是对一个小的时间间隔前后的两幅图 9 山东大学硕士学位论文 像做比较，根据其中得到的变化区域来区别背景和运动物体。采用 这种方法需要考虑如何选择合适的时间间隔，这一般依赖于所监视 的物体的运动速度。对快速运动的物体，需要选择较小的时间差， 而如果选择得不合适，最坏情况下物体在前后两帧中没有重叠，造 成被检测为两个分开的物体；而对慢速运动的物体，应该选择较大 的时间差，而如果选择得不适当，最坏情况下物体在前后两帧中几 乎完全重叠，根本检测不到物体。 b 阈值的选择。在这一阶段中，二值化闽值的确定很重要，因为 闽值过大，使目标像素块太零碎，将加大后面的分割难度，而阈值 过小，又容易引入噪声块的影响。 4 帧差法的优缺点： 帧差法利用了时空图像的灰度信息，通过逐像素点灰度值的比 较，直接求取前后两帧图像之间的差，进而提取运动信息。假设照 明条件在多帧图像间基本不变化，那么帧差图像的不为零处表明该 处的像素发生了移动，即可以将图像中目标的位置和形状的变化表 现出来。这种方法在动态环境下的自适应性是很强的，但相邻帧差 分析法不能够完整地分割运动对象，不利于进一步的对象分析与识 别。而且这样分割出来的区域实际上是物体前后两个位置的“或” 区域，比物体实际所在的区域要大。而且同时在运动目标中会形成 空洞，造成后续处理的难度增加。 5 帧羞法目前的发展和改进情况： 目前一种比较普遍的改进帧差法 ”1 是采用连续的三帧图像计算 出两个帧差图像，再令它们对应的像素相与，则能较好地检测出中 间帧运动目标的形状轮廓这种方法的优点是速度快，能得到目标 的精确轮廓，但是运动区域内部容易出现空洞现象，不利于后续处 理。 2 1 3 基于光流法的检测算法 1 光流法的基本概念 山东大学硕士学位论文 当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形 成一系列连续变化的图像，这一系列连续变化的信息不断“流过” 视网膜( 即图像平面) ，好像一种光的“流”，故称之为光流。光流是 空问运动物体的被观测表面上的像素点运动的瞬时速度场，包含了 物体与成像传感器系统之间相对运动的关系。对于光流的研究是计 算机运动视觉的一个重要部分，是利用运动图像序列中的强度数据 的时域变化和相关性，确定图像像素位置的运动情况。光流表达了 图像的变化，由于它包含了目标运动的信息，因此可被观察者用来 确定目标的运动情况【19 1 。 2 光流场的基本公式： 设l ( x ，y ，) 为f 时刻图像点( 工，y ) 的灰度；“，v 分别为该点光流矢量 沿x 和y 方向的两个分量，且有“：罢，v ：掣。根据图像灰度保持假 d fd f 设，d l ( x _ , y , t ) ：o 容易导出光流矢量的梯度约束方程： a f i x u + ，v + i t 圭0( 2 。5 ) 式( 2 5 ) 中，i y ，i z 分别为参考像素点的灰度值沿x ，y ，f 三个方向 的偏导数。 梯度约束方程限定了，：，。，与光流矢量的关系，但是由于仅 由一个基本约束是无法计算出两个光流矢量的。因而许多专家都致 力于引入其他的约束来正则化这一病态问题。其代表方法是h o r n 和 s c h u n k 提出的光滑性假设 s = j ( ( “+ ，v 一) 2 + 兄( + + “；+ v 沏d x d y ( 2 6 ) 这种方法假设光流场是一致平滑的，因此运动场所固有的运动 边缘被忽略，导致这种方法有明显的缺陷。但作为一种经典的方法， h o r n 和s c h u n c k 的方法具有非常重要的意义，许多运动图像分析的 研究都会与这种经典方法做比较并进行改进。 3 光流场的性能和不足 山东大学硕士学位论文 光流法的优点在于光流不仅携带了运动目标的运动信息，而且 还携带了有关景物三维结构的丰富信息，它能够在不知道场景的任 何信息的情况下，检测出运动对象，并且可用于摄像机运动的情况， 但多数光流法计算复杂耗时。除非有特殊的硬件支持，并且很难实 现实时检测；光流分割的成功与否与被估算的光流场的正确性紧密 相关。这种光流分割对噪声较灵敏且对运动性边缘估算不精确、计 算较复杂，估算的运动数目需要预先确定。因此为了得到最佳结果 将不得不同时处理运动估算和分割。 2 1 4 数学形态学检测方法 数学形态学摒弃了传统的非线性方法，采用数值建模及分析从 而被制约在算法层次的解析思路，它以严格的数学理论和几何学为 基础，着重研究图像的几何结构及相互关系，是一种有效的图像处 理的非线性理论和方法，已经显示出极为广阔的应用前景【2 们。 数学形态学图像处理的基本思想，是利用一个称为结构元素的 探针来收集图像的信息。当探针在图像中不断移动时，不仅可根据 图像各个部分间的相互关系来了解图像的结构特征，而且利用数学 形态学基本运算还可以构造出许多非常有效的图像处理与分析方 法。其最基本的形态运算是腐蚀和膨胀。 设f ( x ) 为定义欧氏平面月2 上的函数，结构元素b 为丑2 上的有限 子集。b 关于原点的对称集合为b 5 = 一b ：b b ，b 关于x ( x r 2 ) 的平 移集合为b x = b + x ：b b 。则4 种形态变换定义如下： 厂( x ) 关于b 的腐蚀和膨胀分别为 ( f o b 5 ) ( x ) = r a i n f ( b ) ( 2 7 ) ( ，。) ( x ) 。l j 野 ，( 6 ) ) ( j ) 关于b 的形态开和形态闭分别为 ( 2 8 ) 山东大学硕士学位论文 ( ，o b ) ( 工) = f o b l o 口】( j ) = m 。a 群x ( m 妊a 磊x ，( 6 ) ) ( 2 9 ) 口t 群妊圪 ( ，聊) 2 【o 2 r a 州i n ( 管们) ) ( 2 lo ) 腐蚀具有使目标缩小、目标内孔增大，以及外部孤立噪声消除 的效果；膨胀是将图像中与目标物体接触的所有背景点合并到物体中 的过程t 结果是使目标增大、孔洞缩小，可填补目标中的空洞，使 其形成连通域。 先腐蚀、后膨胀的过程称为开运算，它具有消除图像上细小物 体，并在物体影像纤细处( 目标狭窄区) 分离物体和平滑较大物体边晃 的作用；先膨胀后腐蚀的过程称为闭运算，它具有填充物体影像内细 小空洞，连接邻近物体和平滑边界的作用。 数学形态学作为一种非线性滤波方法可以用于抑制噪声、特 征提取、边缘检测、图像分割等图像处理问题。而作为数学形态学 的非线性滤波器一形态滤波器对信号的几何特征作局部地修改，并 有效地滤除掉二值图像及灰度图像中的噪声干扰。数学形态学滤波 方法对原始图像具有很好的几何解释性，比高斯滤波方法更符合人 类的视觉机理而且算法更简单并可实现并行处理。 近年来，形态滤波器已经成功地应用在图像分析和处理的许多 领域，例如，医学图像处理、工业自动检测、形状识别和图像恢复 等。数学形态学出现的时间比较晚，不是很成熟而传统的图像分 析方法研究起步早，技术较为熟练，用数学形态学对图像进行处理 一般都要结合传统的图像分析方法。 2 1 5 灰度阈值法 灰度阈值法1 2 1 l 是一种比较简单的区域分割技术，它适用于物体 与背景有较强对比的景物的分割中。它计算简单，而且总能用封闭 而且连通的边界定义不交叠的区域。般将直方图法与灰度阈值法 相结合灰度直方图的两个尖峰对应物体内部和外部较多数目的点， 山东大学硕士学位论艾 两峰间的谷对应物体边缘附近相对较少数目的点一般可取图的谷 点作为门限阈值。如果物体在其内部具有均匀一致的灰度值并分布 在一个具有另一个灰度值的均匀背景上，使用阈值方法效果就很好。 灰度闽值法目前存在的不足有以下两点： a 当一幅图像被压缩为直方图后，所有的空间信息都丢失了。 直方图描述了每个灰度级具有的像素的个数，但不能为这些像素在 图像中的位置提供任何线索。为了改进这种情况，人们提出了很多 解决办法。可以采用二维直方图法 2 2 1 来描述原图像的灰度信息分布， 也可以在原有的灰度信息上再加入空间信息，引入某个包含空间信 息的特征，有可能使分割的结果更可靠、更好。 b 另外由于在许多的情况下，背景的灰度值并不是常数，物体和 背景的对比度在图像中也有变化。这时，个在图像中某一区域效 果良好的阈值在其他的区域却可能效果很差。在这种情况下，把灰 度阈值取成一个随图像中位置缓慢变化的函数值是适宜的，否则会 严重影响检测效果。 灰度阈值法比较适用于简单背景和简单目标的场合( 如图像直方 图出现双峰) ，但遇有复杂景物( 如目标、背景灰度趋于一致) ，阈值 法的阀值选择将出现障碍，而且计算量也将增大，需要对其进行适 当的处理，才能成为一种实用的分割技术。 2 2 运动目标跟踪 运动目标的跟踪作为计算机视觉领域的重要内容，在军事、国 防、工业过程控制、医学研究、交通监控、飞机导航等领域有着广 泛的应用前景。它利用运动目标分割的结果，又为运动的分析理解 等高级内容提供基础。跟踪的目的是在帧与帧之间建立人体运动目 标某些特征如位置、速度、形状、纹理、颜色等的联系。跟踪所采 用的数学工具主要包括卡尔曼滤波( k a l m a nf i l t e r ) 1 23 1 ，浓缩算法 ( c o n d e n s a t i o na l g o r i t h m ) i ”。2 “，动态贝叶斯网络( d y n a m i cb a y e s i a n 山东大学硕士学位论文 n e t w o r k ) 1 2 6 1 等。 在一定的背景下对运动目标的跟踪以达到特定的目的，实时性 和可靠性是跟踪过程中的两个重要指标，为此，人们提出了许多方 法来解决跟踪问题但归纳起来，主要有基于模型、基于区域、基 于动态边界和基于特征的四种跟踪方法。 2 2 1 基于模型构设昧 基于模型的跟踪方法是通过使用摄像机和场景的几何学知识， 将一个有精确几何形状的目标投影成维、二维或者三维模型，根 据图像中的模型位置的变化来进行跟踪。由一维模型1 2 7 2 8 1 到二维边 界模型 2 9 3 0 l ，再到三维立体模型 3 1 3 3 】所实现的跟踪精度越来越高， 但是所需要的计算量也越来越大。其中基于三维的跟踪方法常常被 用在交通监控中。 其显著的优点是即使在被检测目标( 车辆) 存在复杂驾驶操作、 明显交通阻塞的情况下，利用模型知识的结果会鲁棒地得到跟踪结 果，最大的缺点是由于计算的工作量大，实时性差。 2 2 。2 基于区域的跟踪 区域跟踪【3 4 1 的思想是把每个运动物体与某个运动区域相联系， 然后对该区域进行跟踪。区域跟踪实现较为简单，在许多系统中得 到了广泛的应用1 3 5 1 ，但是在两种情况下此方法遇到很大的困难，一 是运动目标可能存在影子，二是运动目标存在重叠交错的现象。如 何解决这两个问题是该领域的研究热点。 2 2 3 基于动态边界的跟踪 动态边界模型没有全局结构，只要满足某些一般的正则化约束， 便能够表示不断变化的运动目标的边界。其中最为典型的是1 9 8 7 年 k a s s 等人提出用来处理刚性物体或非刚性物体而开发的叫s n a k e 的 主动轮廓模型。s n a k e 模型作为一种有效的分割和跟踪工具，常常被 山东大学硕士学位论文 用来检测目标边缘和跟踪运动目标。 通过动态边界模型进行跟踪近几年来得到了广泛的研究 3 6 - 3 9 。 与其他跟踪方案相比，此方案的优点是计算量较小，但是它要求独 立而准确的初始化边界，这些在实际应用中往往很难实现。 2 2 4 基于特征的跟踪 基于特征的跟踪方案 4 0 - 4 5 ) 不把运动人体整个作为跟踪目标，而 是把它的某些子特征，如有代表意义的点、线和小区域作为跟踪对 象。这种方法的优点在于由于使用的符号模型运动方式简单，运动 具有平滑性，因此跟踪目标的算法就相对简单，而且即使在被跟踪 的人体目标出现遮挡交错等现象时仍然可以实现较为准确的跟踪。 此方法包括特征提取与特征跟踪两部分。特征跟踪的缺点是如果运 动中还伴随有复杂运动运动目标的特征提取就会产生困难。 除了以上所涉及到的四种跟踪方法外，采用多摄像机的跟踪方 案也是目标跟踪的重要研究内容【46 1 。多摄像机可以有效地克服遮挡 和影子等不利因素的影响，但是如何协调各个摄像机得到的数据是 采用该方案必须考虑的重要问题。 23 卡尔曼滤波的基本理论 在对运动目标确定了跟踪方法后，需要对每一帧图像中运动目 标的状态进行分析并预测下一帧的运动目标位置，然后将预测结果 与实际位置进行比较然后反馈，使得跟踪的准确性不断的提高，满 足跟踪的要求。在很多的跟踪系统中，常常用到维纳滤波和卡尔曼 滤波4 卜4 引。下面简单的介绍下这两种滤波方法。 数字信号处理中滤波器的作用是在信号中滤除噪声，提出有用 的信号。设信号模型为： x 0 ) = s ( n ) + v 其中x t ( ”) 是滤波器的输入信号， ( 2 1 1 ) s 0 ) 是有用信号，v 0 ) 是噪声。 山东大学j 爱士学位论文 设滤波器的单位响应信号为 b ) 。则其输出为： y 加) = 似h ( n - m ) ( 2 1 2 ) _ y g ) 为s ( ”) 的估计值。上式中的卷积可以认为是由过去所有和当前的 观测值x 0 ) 、x 如一1 ) 、x 0 2 ) 等来计算当前有用信号s 如) 的估计 值；g ) ，即维纳( w i e n e r ) 滤波问题。 维纳滤波从理论上完美的解决了在最小均方误差下平稳信号的 最佳估计问题，但是在实际应用中存在着许多不足之处。首先要得 到维纳滤波器的单位脉冲响应，必须知道信号的自相关函数和互相 关函数，当然通过观察信号取值和建立信号a r 模型的方法可以求出 这些相关函数，但是即使知道的相关函数求解维纳一霍夫 ( w i e n e r h o f f ) 方程仍是一个十分复杂的过程。其次从本质上讲维纳滤 波是一种频域滤波，为了便于数值计算我们希望滤波能够在时域中 进行。 卡尔曼滤波有效地克服了维纳滤波的缺点，当信号的模型参数 确定之后它可以避免求解维纳一霍夫方程，并能够在时域中采用递 推的方法得到在最小均方误差条件下的信号的最佳估计。 如果设： j ( 月) = s n - i ( n ) s 。0 ) o a = o1 0 d ： w ( ”一1 ) = ii c = 0 0 1 】 0 w ( 以) 0 o1 一a ；一a ： 7 山东大学硕士学位论文 此时有： s 0 ) = a s ( n 1 ) + w ( n 一1 ) ( 2 1 3 ) z o ) = c s 0 ) + v 0 )( 2 1 4 ) 这里w 如) 和v 加) 是互不相关的白噪声序列。上述n x n 阶常值矩阵 彳可以用参数随时间变化的矩阵4 0 ) 所代替。单一的观测值x o ) 变为 m 维观测向量4 , 0 ，行向量c 变为m x n 阶矩阵c 0 ) ，噪声v 如) 也变为 m 维向量矿0 ) ，此时上式变为跟一般的形式： s b ) = 爿0 0 一1 ) + 矽0 1 )( 2 15 ) x 如) = c 如声0 ) + y 0 )( 2 1 6 ) 这里( h ) 和y ( ”) 跟别是互不相关的均值为零的高斯白噪声过程，其自 协方差矩阵分别为q 0 ) 和r b ) ，上式分别被称为信号的状态方程和观 测方程，它们是卡尔曼滤波的基础。 山东大学硕士学位论文 第三章一种改进的检测算法 3 1 目前其他检测算法的不足 在众多的目标检测算法中由于光流法计算复杂耗时，很难实 现实时检测。所以在本系统中不予以采用。而形态学滤波主要作为 一种辅助手段来完善传统的检测算法的检测结果，并不能独立的检 测运动目标。所以本系统可能采用的算法仅限于背景差分法和帧差 法以及灰度闽值法这几个主要的传统检测算法，下面首先分析一下 它们各自的优缺点。 灰度阈值法的缺点在于无法利用图像本来所具有的空间信息， 从而造成了处理的困难，而且这种方法也没有利用帧与帧的相关性， 使大量的帧间信息丢失。虽然这种方法也在不断的改进，比如通过 再次引入空