（控制科学与工程专业论文）非重叠监控摄像机网络中运动目标检测与跟踪.pdf

国防科学技术大学研究生院博十学位论文 摘要 随着视频监控技术的快速发展，多监控摄像机的信息融合逐渐得到重视，作 为核心技术之一的无重叠视域多摄像机目标跟踪也成为了研究的焦点。这是机器 视觉研究领域的一个新兴的、多学科交叉的研究方向，存在着广泛的应用前景。 在重叠视域多摄像机监控环境下，可以利用不同摄像机视域的重叠部分获得 目标间的对应关系，从而实现目标的持续跟踪。然而在非重叠( 无重叠视域) 多摄 像机监控环境下，无法套用此方法，只能利用单个摄像机得到的目标时空信息来 实现不同摄像机间的目标对应。主要技术包括单摄像机运动目标检测与跟踪、多 摄像机目标关联、目标轨迹生成与可视化。本文分别对其展开研究，设定的应用 环境为室外车辆监控和室内行人监控，具体内容如下： 单摄像机运动目标检测：( 1 ) 对帧差法进行研究，提出基于像素块最大后验概 率的运动目标检测算法。把目标检测单位由传统的像素转为像素块，增加像素的 连续性。通过时空邻域定义先验能量进一步增加像素块的连续性。大大提高了对 大面积目标检测的完整性；( 2 ) 对减背景法进行研究，提出一种基于熵能和广义高 斯分布的运动目标检测方法。建立分割阈值的模型，通过图像分区自动生成与局 部噪声相匹配的分割阈值。提高了混乱背景下的目标检测效果，并具有较小的计 算量。 单摄像机运动目标跟踪：( 1 ) 针对颜色特征对光照变化敏感的问题，提出一种 l i c h 特征。以对比度为统计基础，并引入对数亮度理论，从而弱化环境光照的影 响；( 2 ) 提出一种基于遮挡预测的目标跟踪算法。通过预测各个目标的包围盒是否 重叠来预测目标的遮挡，并结合特征匹配结果判断预测遮挡是否发生。在遮挡时 通过目标子块匹配进行跟踪。遮挡预测机制避免了大量不必要的计算，提高了算 法的速度。 非重叠多摄像机目标关联的主要研究内容包括目标关联特征提取、摄像机拓 扑关系估计和目标关联算法，本文采用先验知识建立摄像机拓扑关系，重点研究 另外两个问题。( 1 ) 研究目标关联特征的提取。对车辆提出一种i l i c s 特征，对光 照变化和目标姿念变化具有较好的适应性。对人提出种基于人体关键点的身体 量测特征估算方法，把人的身高、肩高、肩宽和步幅作为关联特征，对拍摄环境 有较强的适应性；( 2 ) 提出了一种基于最小费用流模型的数据关联算法。通过求取 关联数限制下的最大总体效用得到目标关联结果。相比于传统的贝叶斯方法，可 较大提升开放空问下目标关联的正确率；( 3 ) 提出一种大规模监控网络的目标关联 求解策略。将摄像机网络划分为多个独立的子单元，每个单元只需负责其内部的 目标关联，对不同结构的监控网络有较强的适应性。 第i 页 国防科学技术大学研究生院博士学位论文 目标的轨迹生成与可视化：提出一种非重叠摄像机问的目标轨迹生成方法， 弥补目标轨迹在摄像机间盲区的空白，得到目标在监控区域上的完整轨迹。针对 大范围车辆监控和多层建筑室内人物监控分别提出了合适的轨迹可视化方法。 主题词：目标检测非重叠多摄像机持续跟踪目标匹配数据关联 第i i 页 国防科学技术大学研究生院博士学位论文 a b s t r a c t w i t ht h eh i 曲一s p e e dd e v e l o p m e n to fv i s u a ls u r v e i l l a n c et e c h n o l o g y , t h er e s e a r c h a b o u tm u l t i c a l r l e r ai n f o r m a t i o nf u s i o ni sg r a d u a l l yp a i dm o r ea t t e n t i o nt o a so n eo ft h e k e yt e c h n i q u e s ，o b j e c t st r a c k i n ga c r o s sn o n o v e r l a p p i n gm u l t i c a m e r ab e c o m e sa l l a c t i v er e s e a r c ht o p i c t h i si sar i s i n gd i r e c t i o no fm a c h i n ev i s i o n , w h i c hg i o s s e ss e v e r a l s u b j e c t s ，a n dh a saw i d es p e c t r u mo fp r o m i s i n ga p p l i c a t i o n s i na l l o v e r l a p p i n gm u l t i - c a m e r a s u r v e i l l a n c es y s t e m , t ot r a c kt h e o b j e c t s p e r s i s t e n t l y , t h eo v e r l a p p i n gf i e l d so fc a m e r a sa r eu s e dt og e tt h ec o r r e s p o n d e n c eo f o b s e r v e do b j e c t s b u ti td o e s n tw o r ki nan o n - o v e r l a p p i n gm u l t i c a m e r as u r v e i l l a n c e s y s t e m ，t h es p a t i a la n dt e m p o r a li n f o r m a t i o ng o tb ye a c hc a m e r aa r eu s e dt og e tt h e c o r r e s p o n d e n c e ，t h em a i nt e c h n o l o g i e si n c l u d em o v i n go b j e c t sd e t e c t i o na n dt r a c k i n gi n as i n g l ec a m e r a , o b j e c t sa s s o c i a t i o na m o n gn o n - o v e r l a p p i n gm u l t i c a m e r a ，g e n e r a t i o n a n dv i s u a l i z a t i o no f o b j e c t s t r a j e c t o r i e s e a c ht e c h n o l o g yi sr e s e a r c h e d ，t h ea p p l i c a t i o n e n v i r o n m e n t sa r eo u t d o o rv e h i c l es u r v e i l l a n c ea n di n d o o rh u m a ns u r v e i l l a n c e ，t h em a i n c o n t r i b u t i o nc o n s i s t so ff o u rp a r t sa sf o l l o w s ： m o v i n go b j e c t sd e t e c t i o ni nas i n g l ec a m e r a ：( 1 ) am o v i n go b j e c t sd e t e c t i o n a l g o r i t h mb a s e do nm a p ( m a x i m u map o s t e r i o r i ) o fp i x e lb l o c k si sp r o p o s e d 1 h e d e t e c t i o nu n i ts w i t h e sf r o mp i x e l st op i x e lb l o c k s 1 1 1 ec o n t i n u i t yo fp i x e l e si se n h a n c e d t 1 1 ep r i o re n e r g yd e f i n e db ys p a t i a l - t e m p e r a lc l i q u ee n h a n c e st h ec o n t i n u i t yo fp i x e l b l o c k s t h em e t h o dg r e a t l yi m p r o v e st h ei n t e g r a l i t yo fd e t e c t e do b j e c t s ；( 2 ) a n o t h e r e f f i c i e n t m o v i n go b j e c t s d e t e c t i o n a l g o r i t h m b a s e do n e n t r o p yp o w e r a n d g g d ( g e n e r a l i z e dg a u s s i a nd i s t r i b u t i o n ) i sp r o p o s e d n ee n t r o p yt h e o r yi su s e dt og e t s e g m e n t a t i o nt h r e s h o l d g g di su s e dt oc o m p u t et h el o c a lt h r e s h o l d sa d a p t i v e l y 1 1 1 e m e t h o dh a sg o o dd e t e c t i o nr e s u l t so nt h ev i d e o sw i lc l u t t e r e db a c k g r o u n d s m o v i n go b j e c t st r a c k i n gi nas i n g l ec a m e r a ：( 1 ) f o rt h ec o l o u rf e a t u r ei ss e n s i t i v e t oi l l u m i n a t i o nc h a n g e ，af e a t u r en a m e dl i c hi sp r o p o s e d ，w h i c hi sr o b u s tt ot h e v a r i a t i o no fe n v i r o n m e n ti l l u m i n a t i o n ；( 2 ) t h et r a c k i n gi sd o n eb a s e do nt h el i c h f e a t u r ew i t ha no c c l u s i o np r e d i c t i o nm e h t o d t h ep o s i t i o n so fo b j e c t s m i n i u mb o u n d i n g b o x e sa r ep r e d i c t e d o c c l u s i o n sa l ep r e d i c t e dt oh a p p e no no b j e c t sw i t ho v e r l a p p i n g b o u n d i n gb o x e s ，a n da r ec o n f i r m e db yt h ef i n a lm a t c h i n gr e s u l t s s u b - b l o c km a t c h i n gi s u s e dt oh a n d l et h eo c c l u s i o n t h eo c c l u s i o np r e d i c t i o nm e t h o dc a ng r e a t l yd e c r e a s et h e c a l c u l a t i o n t h em a i nt e c h n o l o g i e so fo b j e c t sa s s o c i a t i o na m o n g n o n - o v e r l a p p i n gm u l t i - - c a m e r a i n c l u d ea s s o c i a t i o nf e a t u r ee x t r a c t i o n ，c a m e r at o p o l o g ye s t i m a t i o na n dd a t aa s s o c i a t i o n i nt h ep a p e r ，t h ec a m e r at o p o l o g yi sb u i l tt h r o u g hp r i o rk n o w l e d g e ，t h eo t h e rt w ot o p i c s a r em a i n l yr e s e a r c h e d ( 1 ) n e wf e a t u r e su s e di na s s o c i a t i o na r ep r e s e n t e d f o rv i e c h l e s ， t h ei l i c sf e a t u r ei su s e di 1 1a s s o c i a t i o n w h i c hc a nd e a lw i t ht h ep o s t u r ev a r i a t i o n ；f o r 第i i i 页 国防科学技术大学研究生院博士学位论文 h u m a n ，t h ea n t h r o p o m e t r i cd i m e n s i o n so fh u m a nb o d y , s u c ha ss t a t u r e ，s h o u l d e rb r e a d t h a n ds oo n , a r eu s e di na s s o c i a t i o n ；( 2 ) ad a t aa s s o c i a t i o na l g o r i t h mb a s e do i lm i n i u m c o s tn e t w o r kf l o wi sp r o p o s e d t h ea s s o c i a t i o nr e s u l ti sg o tb yc a l c u l a t i n gt h em a x i m u m u t i l i t y o ft h en e t w o r kw i t hl i m i t e da s s o c i a t i o nn u m b e r s c o m p a r e dw i t ht h e c o n v e n t i o n a lb a y e sm e t h o d ，t h ep r o p o s e dm e t h o dg r e a t l yi m p r o v e st h ea s s o c i a t i o n r e s u l t si na l lo p e ne n v i r o n m e n t ；( 3 ) d e s c r i b e sa no b j e c t sa s s o c i a t i o ns t r a t e g yf o rl a r g e a r e ac a m e r an e t w o r k t h ew h o l ec a m e r an e t w o r ki sd e v i d e di n t om a n yi n d i v i d u a lu n i t s ， e a c hu n i tj u s tc a r ea b o u tt h ea s s o c i a t i o np r o b l e mi n s i d e t h ew o r k i n gm o d eh a sg o o d a d a p t a b i l i t yt os u r v e i l l a n c ec a m e r an e t w o r k sw i t hd i f f e r e n ts t r u c t u r e s g e n e r a t i o na n dv i s u a l i z a t i o no fo b j e c t st r a j e c t o r i e s ：am e t h o do fg e n e r a t i n gt h e o b j e c t st r a j e c t o r i e sb e t w e e nn o n - o v e r l a p p i n gc a m e r a si sp r o p o s e dt of i l lt h eb l a n k so f t r a j e c t o r i e si nb l i n dr e g i o n s ，t h ec o n t i n u o u sa n di n t e g r a t e dt r a j e c t o r i e sc a n b eg o to nt h e w h o l es u r v e i l l a n c en e t w o r k d i f f e r e n tv i s u a l i z a t i o nm e t h o d sa r ep r o p o s e dr e s p e c t i v e l y f o rl a r g ea r e as u r v e i l l a n c eo fv e h i c l e sa n ds u r v e i l l a n c eo fh u m a ni nm u l t i s t o r e y b u i l d i n g s k e yw o r d s ：o b j e c t sd e t e c t i o n ，n o n o v e r l a p p i n gm u l t i - c a m e r a ，p e r s i s t e n t t r a c k i n g ，o b j e c t sm a t c h i n g ，d a t aa s s o c i a t i o n 第i v 页 国防科学技术大学研究生院博士学位论文 表目录 表2 1 本文方法与普通方法耗时对比3 0 表2 2 运动目标检测算法耗时比例3 0 表2 3 测试视频相关参数一3 8 表2 4 目标检测算法评价结果4 0 表2 5 目标检测算法处理速度( f p s ) 4 0 表3 1光照变化时的目标特征相似度4 7 表3 2目标跟踪的评价结果5 6 表3 3 目标检测+ 跟踪的处理速度( f p s ) 5 6 表7 1 不同关联算法的实验结果1 0 2 第页 国防科学技术大学研究生院博士学位论文 图1 1 图1 2 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图2 1 0 图2 1 l 图2 1 2 图2 1 3 图3 1 图3 2 图3 3 图3 4 图3 5 图4 1 图4 2 图4 3 图4 4 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 6 图6 1 图目录 n o s c a n 目标检测与跟踪的框架结构2 论文章节关系图1 4 基于像素块的运动目标检测过程一1 6 两种二维邻域系统及基团集合1 9 时空邻域系统2 3 视频对象块的检测结果及伪边界块的判断一2 5 边界块的子块划分2 5 基于像素块m a p 方法检测得到的运动对象块2 8 基于像素m a p 方法获得的运动对象掩模2 9 使用s n a k e 方法得到的运动对象2 9 广义高斯分布的概率密度函数3 3 尺乃的0 9 9 分位点3 6 7 ) 函数曲线3 6 目标检测测试视频3 8 目标检测结果3 9 目标跟踪的流程4 5 目标的环境亮度变化4 7 目标亮度发生变化时的跟踪效果5 4 多目标的跟踪效果5 4 遮挡情况下的跟踪效果5 5 c c h 特征基于极坐标的统计方式5 8 i l i c s 特征的子区域划分方式6 0 目标相似度的计算过程6 2 人体三维线模型及参数估计6 4 摄像机网络拓扑结构图7 2 最小费用流网络7 4 效用增量函数的曲线一般呈现的形式7 6 利用关联数的上界设定阈值函数求解7 6 种具有4 个节点的仿真网络8 1 某次仿真中所有关联数限制下的最大效用关联集合8 2 三种算法求解相对正确率关于目标平均停留率的曲线8 4 车辆地面坐标的计算8 7 第v 页 国防科学技术大学研究生院博士学位论文 图6 2 图6 3 图6 4 图6 5 图6 6 图6 7 图7 1 图7 2 图7 3 图7 4 图7 5 图7 6 图7 7 图7 8 图7 9 图7 1 0 图7 1 1 图7 1 2 图7 1 3 图7 1 4 图7 1 5 图7 1 6 图7 1 7 监控环境示意及道路绘制8 8 获取摄像机间的道路9 0 摄像机间轨迹曲线控制点的选择9 3 d k ，f = 1 形，j = 1 h ) ( 2 3 ) 式( 2 3 ) 中k 的取值视具体的应用情况在5 l o 之间选取【1 0 7 1 。则 c ( t ，t - 1 ) n c ( t ，t + 1 ) = d i ( f )( 2 4 ) 采用下式计算参考图像尺： r ( f ，j ) = 一。( f ，j ) 或 + 。( f ，j ) 或 ( 一。( f ，_ ，) + 卅( f ，j ) ) 2 p ( i ，j ) d ( f ) 口卜l ( f ，) d f 川( f ，j ) p ( i ，_ ，) c ( t ，t + 1 ) p ( i ，_ ，) 萑c ( t ，t - 1 ) p ( i ，j ) 0 ( f ) & d f 卜。( f ，j ) 0 ，并且 ( 2 ) p ( i f ，v 暑s j ) = p ( i z i9 s ，er l , ) 第1 9 页 国防科学技术大学研究生院博士学位论文 第一个条件指出所有可能的状态应该具有非零概率，第二个条件要求一个特 定点毋的局部条件概率仅仅依赖于该点的邻域r , 内随机场的值。 使用m r f 描述图像，则一个像素点的灰度值只取决于该点邻域像素的灰度值， 这种马尔可夫的假设很好地符合了大部分由同质区域组成的自然图像或一个大范 围的合成图像。而图像的局部知识往往足以实现图像的部分解译，因此这种马尔 可夫假设往往符合比较全局的图，而不是像素的刚1 0 8 】。 然而m r f 是用局部条件概率模型定义的，这就限制了它的实用功能。这是由 于： ( 1 ) 没有明显的方法从局部条件概率模型倒出联合概率结构p ( 毋； ( 2 ) 条件概率结构本身要求严格的一致性条件，这些条件难以校验； ( 3 ) 一个状态的局部空间特性和局部条件概率模型间的关系不是显而易见的。 h a m m e r s l e y - c l i f f o r d ( h c ) 定理【1 叫指出了m r f 和g r f 间的等价关系：假设r 是 一个邻域系，则随机场f 是关于r 的一个m r f 的充分必要条件为其概率分布是一 个关于印的g i b b s 分布： 1 p ( f = 厂) = 吉e x p ( - u ( f ) ) ( 2 1 0 ) 厶 其中，u ( ) = u o ( f ) 为能量函数，为所有基团的势能之和，以( 厂) 为基团 c e c 势能。z = e x p ( 一【厂( ) ) 是归一化常数，称为分拆函数。 硒 这样就可以用g i b b s 分布来描述m r f ，并且克服了m r f 所存在的问题。g i b b s 分布给出了f 的联合分布烈日，它能够很容易的用基团势能函数表示。基团势能 能够有效地表示像素间局部的相互作用，并且能被任意的赋值，而不像m r f 中的 局部条件概率结构必须满足某种一致性条件才可以。 2 1 3 3 差分图像的混合高斯模型及参数求解 令d = - d 谢，s = s is 2 ，s r ( r = m n ) 为图像空间点的集合。运动对象的检 测可以看成是对s 中每个像素点进行二值标记的过程。对s 中任一点j ，其标记疋 存在两种情况即和w b ，分别表示前景和背景。令p ( 以i 心) ，p ( 1 ) 分别表示在 w 口和w 6 假设下像素狄度值的概率密度函数。这两个概率密度函数可以看作服从参 数为“，盯，的高斯分布，即： 1 一蝉 p ( 以i z = w ) = p 2 町 ( 2 1 1 ) z 冗u i 其中， 口，6 ) 。可将观察场d 看作一个混合高斯分布，从而求解一，q 的值。 第2 0 页 国防科学技术大学研究生院博士学位论文 令p ( w o ) ，p ( w b ) 分别为w a 和坳假设的先验概率，根据贝叶斯准则，单个观测点么 的混合概率密度函数为： p ( 或) = p ( 比) p ( 以i 吆) + p ( ) p ( 以1 w 6 ) ，1 们 p ( w 口) + p ( ) - - 1 二， 该混合分布中的未知参数 p ( w t ) ，鸬，o - ，；l 口，6 ) ) ，可以通过e m 算法求解。 e m ( e x p e c t a t i o n m a x i m i z a t i o n ) 算法是一种从不完备数据中求解模型分布参数 最大似然估计的迭代算法。所谓的数据不完备一般包含两种重要情况【o 】：一种是 某个数据向量中的某些项丢掉了，但这些项在其它数据向量中还存在：另一种应 用中更为常见的情况是，通过使用一些未知的变量重新去描述推理问题，使得这 个推理问题更加简单。目前处理数据不完备问题的方法本质上是对丢失的数据进 行预测。 假设有两个数据空间：完备的数据空间x 和不完备的数据空间d 。存在从x 到d 的一个映射，这个映射关系使得某些数据丢失了。对于图像分割来说，可将 式( 2 1 2 ) 所示的混合模型看作生成模型。这样，图像中的每个像素可通过下面的方 式获取：( a ) 以概率乃选择模型w ，( b ) 由公式p ( a , 1 w 1 ) 生成一个样本。完备的数据应 当包含每个像素点的测量值和一个用于指示该测量值来自于混合分布模型中的哪 个分量的变量集。而实际生成的数据仅包含该像素点的测量值，却丢掉了第二个 表示对应关系的变量集，是不完备的。为此，可引入丢失数据y ，完备数据为器( d ， y ) 。对于图像空间上的s 点，令五= ( 丞，弘) ，对每一个数据点j 赋予一个向量必，该 向量具有g 个元素( 对目标检测来说，g = 2 ，混合模型中有两个分量) ，每个元素与 混合模型中的一个分量相对应。如果数据点s 来源于混合模型的第，个分量，那么 k ，的第z 个分量赋值为1 ，其它分量赋值为0 。如果将混合模型表示为： 上 p ( 以io ) = x t p ( d ，l 岛)( 2 1 3 ) i = l 该式为式( 2 1 2 ) 的另一种表示方式。其中，乃是混合系数，即混合成分的先验概率； o = ( 鼠，q ，色) ，为各混合成分的参数矢量，谚= ( 一，彳) ，是混合分布的均值和 方差。那么完备数据的似然函数可表示为【o 】： 厂g、 l ( o i x ) = l ( o i d ，】，) = p ( d ，】，i o ) = 1 - i i 虼p ( 以i q ) i ( 2 1 4 ) s e s i = l e m 算法的主要思想是通过期望值束替代丢失的数据，最大化完备数据的似然 函数，而这时，期望值可能已经改变，通过交替执行期望阶段和最大化阶段，迭 代直至收敛。具体步骤如下： e 步：使用不完备的数据以及参数的当前值来计算完备数据的期望值。对于d ， 第2 l 页 国防科学技术大学研究生院博士学位论文 己知d 的期望值，计算】，的期望值，记为y 7 。 m 步：使用e 步计算出的完备数据的期望值，最大化完备数据关于o 的对数 似然函数： 件1 = a r g m a x l o g l ( 7i r ) = a r g m o a x l o g l ( 0 7i ( d ，】，7 ” ( 2 1 5 ) 根据上述步骤，可推出e m 算法求解混合模型参数的迭代公式为： ：倪； 所+ 1 = 砉( ) 唾 ( 2 1 6 ) ，s e s c o - ；) 州= 万1 群( 以) ( 以一) 2 “is e s 其中：( 以) = 若鲁菩手；吖= 萎( 以) 。 实际使用中，e m 算法的迭代过程是在整个图像空间逐个像素进行的，所以计 算量较大，收敛过慢。可对图像进行事先统计，根据直方图来减少e m 算法的计 算量。假设直方图中频数不为零的特征值为 z l ，勿，忍) ，每个特征的频数对应为 j i l l ，1 1 2 ， 七) ，根据直方图数据和式( 2 1 6 ) 可得出快速e m 算法的迭代公式【1 7 】： = 忍群( 刁) “= 去红磊群( 刁) ( 2 1 7 ) ，f = l ( 砰r 1 。二善囊( 弓一所) 2 所( 毛) ，为像素点的个数。对差分图像来说，0 k 2 5 5 ，相比于像素空间会极大的 减少计算量。在e m 算法的开始需要参数的初始值，该初始值对迭代的收敛性和 结果影响不是很大。对运动目标检测而言，初始参数值可通过设定一个初始分割 计算得到，初始分割可通过直方图方法得到，具体见2 1 3 5 。 2 1 3 4 系统能量函数的定义 这时再来求取后验分布，根据式( 2 9 ) 、式( 2 1 0 ) 和式( 2 1 1 ) 可得到： p ( 肚邶卅一( s e s ( 孚+ 等) + c e c w ) ( 2 1 8 ) o ，一， 定义系统的能量函数： 第2 2 页 国防科学技术大学研究生院博十学位论文 w 旧训彻坝仍萎( 孚+ 警座c q ( 门( 2 1 9 )s e s 厶u ， f e 这样，求解系统最大后验概率时的广就转变为求解系统能量最小时的厂，即： f = a r 9 1 搿p ( f = l i d = d ) o c a r g m 触i n u ( f l d ) ( 2 2 0 ) 系统的能量包含两个部分，分别是基于条件概率模型的u ( e l , 0 和基于先验知识 模型的u 6 0 ，前者反映了观察值与标记场间的相关性，其求解公式在式( 2 1 9 ) 中已 给出，其中，喀是像素块差分图像在s 点的观察值，z 口，b ) ，a o 、以、z 和彳分 别为前景、背景的均值和方差。后者反映了时空邻域上的图像连续性，其定义如 下： 图2 3时空邻域系统 通过m r f 来描述分割标记场的先验知识，选择图2 3 所示的时空邻域系统【15 1 ， 得到时空2 阶8 像素邻域基团集合。为简化计算，只考虑两个互为相邻的基团， 即基团的基数为2 ，则先验能量为： u ( 厂) = ( 厂) = 屹( z ，五) ( 2 2 1 ) 其中，k ( z ，z ) 是基团势能，c 2 是图像中所有时空二元基团的集合。石和厶 为时空二元基团中相邻点的标记值，s 为当前像素( f ，力，一为s 的时空二阶邻域系 统( f ，力中的一个元素，n ( i ，力= ( 1 ，o ) ，( 0 ，4 - 1 ) f ( 1 ，1 ) ，( 一l ，1 ) f ( 1 ，o k i ，( 0 ， 1 ) 仕1 ，( 1 ，1 ) 仕1 ，( 一l ，1 ) 蚀1 ，( 0 ，o ) 仕i ) 。为了把一致性约束引入模型，定义能量函 数圪( ，) 为：当互为邻域的像素取相同的标记值时，能量函数取负值，反之取 零，即： w 绷= 苫簇孟 仁2 2 ， 其中3 0 ，且根据空间、过去时间以及未来时间上的邻域关系分别取不同的值 夕t 、屈和局。夕是定义在空问邻域上基团的能量参数，目的是消除孤立噪声以及填 补分割区域的空白点，屉和屈参数的目的是根据过去和未来的情况预测当前时刻 的标记值。由于过去时刻的标记是经过计算得到的，所以可信度最高，由于图像 存在连续性，所以根据空i 日j 关系预测当前的标记也有较高的可信度，而根据未来 篼2 3 页 。妒。洲oo oo 州o o 国防科学技术大学研究生院博士学位论文 时问图像的标记值可信度最低。因此参数夕l 、尼和局的取值原则是屐屈 屈。 2 135 运动目标检测过程 根据m a p 准则，运动目标检测的结果就是要求能量函数t 0 q d ) 全局最小。求 全局最小值可采用模拟退火算法，如m e t r o p o l i s 算法和g i b b s 采样器。虽然模拟退 火算法可找到全局极值，但算法在退火过程中会生成大量的状态，计算上太耗时。 为此，我们采用i c m ( r e r a t e dc o n d i t i o n a lm o d e s ) 算法求解，该算法是模拟退火算法 的特例，收敛速度快，而且只需计算局部条件能量，因此计算量小。 i c m 算法是一种迭代算法，访问图像的所有位置为一次巡回。在一次迭代中 更新一个位置，对该位置像素点在不同标记值下分别测试，使得时空邻域局部能 量最小的标记得到保留，完成一次巡回后整幅图像的标记得到更新。持续迭代直 至满足终止条件。该条件通常选为系统能量减小量小于系统能量的0 0 1 。 i c m 算法收敛很快，通常数十次巡回就可达到收敛。但由于其收敛到局部最 小点，因此其性能非常依赖于初始条件。本文采用直方图的方法来确定初始条件， 选取像素块差分图的直方图最大斜率变化的谷底作为初始分割阈值。 综合2 1 2 节和本节所述，对于一段视频，基于像素块最大后验概率的运动目 标检测算法的步骤如下： ( 1 ) 按照2 1 2 节所述方法构建t 和什1 时刻的像素块差分图d ，和d 胂l 。 ( 2 ) 分别统计d ，和d 什l 的直方图，并以直方图最大斜率变化的谷底为阈值建 立每个差分图的初始标记场，得到初始分割石和瓜l 。 ( 3 ) 对当前差分图d ，使用式( 2 1 7 ) 所示的快速e m 算法求取其混合高斯模型 的相关参数。 ( 4 ) 结合已经计算完毕得到的五l 和第二步得到石和瓜l ，对d ，的所有点j s ， 按照2 1 3 4 定义的能量函数，分别计算该点被标记为前景和背景时，其时空邻域 的局部能量函数【，( zl ) = u ( f a + u ( d , i z ) ，保留局部能量函数小的标记量，得 到该点新的标记值。 ( 5 ) 重复步骤( 4 ) ，直到满足终止标准。即，系统能量减小量小于系统能量的 0 0 1 。得到t 时刻图像的最终标记场，= ，即为该时刻的运动目标检测结果。 ( 6 ) 更新数据，令z 一。= z ，t = t + l ，跳转至步骤( 1 ) 。 2 1 4 运动目标提取 基于像素块的目标检测可以较好的避免检测得到的目标出现空洞，尤其是对 面积较大、运动缓慢的目标，但同时也存在一个问题，那就是检测出的目标比较 粗糙，不够精确，可通过后处理柬得到精确的运动目标。本文采用s n a k e 算法计 第2 4 页 隧防科学技术大学研究生院博士学位论文 ( a ) 目标像素块( b ) 伪边界块( 黑色0 圉2 4视帮对象块的检酒结果及伪边界块的判断 对像素块的差分图而言，图中每一个像素都对应着原始图中的一个像素块， 将像素块差分图的检测结果还原至原始圈，可得到图2 州曲所示的检测结果。可看 出，目标包古于像素块中。像素块有三种：内部块、边界块和噪声块。噪声块通 常是孤立的，可通过滤波的方法去除。去除噪声块后，连通的部分即可看作是一 个目标。检潮出的目标像素块集合用o 表示，对于s 中的某个元素如如果s o ， 并且其四连通邻域内存在某一点，e s ，且s ，# o ，则s 是运动对象0 的边界块。 反之，如果日四连通邻域内不存在目这样的点，那么目是运动对象o 的内部块。 边界块也包含三种情况：运动对象与背景的混合、只包含运动对象和只包含 背景。后两种边界块为伪边界块，但由于帧差法对运动目标的边缘比较敏感，很 少会出现边缘丢失的情况，所以第二种边界块很少。可根据边界块确定s n a k e 算 法的初始轮廓点。由伪边界块得到的初始轮廓点与对象的真实轮廓距离较大。在 实际应用中，伪边羿块豹数量钷少，约占全部边界块的1 1 0 - - 1 3 0 ，但却直接导致 整个s n a k e 算法迭代次数的增加，严重时甚至无法收敛到轮廓处，当运动对象周 固背景比较复杂时，还会导致收敛到错误的轮廓处。为避免这种情况，要去除出 只包含背景的伪边界壤。 l 鬟p i l 一k 第2 5 页 一 | l h 爵一 国防科学技术大学研究生院博士学位论文 对于真正的边界块，由于其内部同时包含了目标像素和背景像素，像素块内 部不同区域的像素差分值应差别较大，这样才能将前景和背景区分出来，这是目 标检测算法的基础。而对于伪边界块，通常只包含背景像素，像素快内部不同区 域的像素差分值差别较小。可根据此原理来区分边界块和伪边界块。如图2 5 所示， 将边界块侥划分为5 个子块，分别为6 l 而5 。在基于像素的差分图上计算出现如 的s a d 值c l c 5 。计算c 1 c 5 的方差坎c ) ，如果坎c ) 历，可认为该块是伪边界块。 检测出的伪边界块如图2 4 ( b ) q a 黑色方框所示。 2 1 4 2s n a k e 算法提取目标轮廓 s n a k e 模型由k a s s 1 0 6 1 提出，又称为主动轮廓模型。s n a k e 是一条光滑连接的 弹性曲线，其主要思想是定义一个能量函数，由初始位置向真实轮廓逐渐靠近时， 寻找能量函数的局部极小值，通过对能量函数的动态优化来逼近目标的真实轮廓。 此能量函数主要由内部能量函数与外部能量函数组成。前者考虑曲线本身的连续 性和各点曲率的大小，后者主要涉及到图像的一些具体情况，如图像灰度变化的 梯度等因素【l l l l 。 s n a k e 可描述成一条参数曲线：v ( s ) = ( 工( s ) ，j ，( s ) ) ，其中，s 是弧长。定义以小) 为变量的能量函数如出，即 e 乙妇= 毛，+ e 二彬+ 三二= i 。( 互胁( ，o ) ) + 五乙彬( y ( s ) ) + e c o n ( 1 ，( s ) ) ) 出 ( 2 2 3 ) 式中，翰，表示内部能量，岛哗表示图像能量，表示外部能量。巾) 是s n a k e 沿路径s 上的点，地) 、) 是巾) 的坐标，路径j 的长度归一化到1 。s n a k e 模型 的目标是寻求晟。出的最优解，当最一幽达到某一极小值，说明s n a k e 达到某种平 衡。 内部能量，可由下式求得： 瓦，= ( 口o ) i v 7 0 ) 1 2 + o ) i v ”o ) 1 2 ) 2 ( 2 2 4 ) 小) 的一阶导数1 ，( j ) 确定轮廓的连续性，二阶导数v ( s ) 确定轮廓的曲率或角点， a ( s ) 、p ( s ) 分别为其权值。当a ( s ) i ，( s ) 1 2 取极小值时，s n a k e 拉伸受到限制，即 用s n a k e 描述的曲线在线度上趋于减小； 限制。上