（通信与信息系统专业论文）基于多摄像机信息融合的目标跟踪.pdf

中文摘要 基于多摄像机信息融合的目标跟踪 专业：五摇彦传酵黟 硕士生：狮 指导老师：袋妒蓼；武 摘要 视频监控技术作为平安城市战略的一项重要技术保障而得到各级政府的充分重视 和有力推动，在视频监控中如何有效地、自动地跟踪与分析目标越来越受到人们的关注。 采用多摄机进行目标跟踪与分析可以有效扩大监视角度，解决单个摄像机中目标遮挡及 景深难题，有效克服单个摄像机中存在的盲点问题。 本文从信息融合的角度出发，提出了一种新的多摄像机目标匹配方法。本文采用了 具有局部特性的小波显著特征作为目标匹配的线索。该特征利用了小波的多分辨率分析 和空频分析特性，检测能表示图像重要信息的显著点，根据显著点的位置提取其邻域的 颜色信息。在实验设计中，本文首先利用直接目标匹配法进行多摄像机间的目标匹配， 通过实验结果分析了该方法的有效性。其次，采用特征模型法对直接目标匹配法进行改 进。模型法有记忆历史特征的特点，且能被自适应更新。匹配时是判断目标的显著特征 与模型的相似度情况。 本文的创新点在于融合了不同摄像机提取到的信息，将小波显著特征应用到多摄像 机运动目标跟踪的范畴，运用模型方法对多摄像机目标匹配进行改进。实验表明，基于 小波显著点的颜色特征在不同摄像机上进行目标匹配具有很好的鲁棒性，采用目标模型 的方法提高了目标协同跟踪的准确性。 关键词：多摄像机；目标跟踪；目标匹配；显著点；显著特征 英文摘要 o b j e c t st r a c k i n gb a s e d o nm u l t i - c a m e r a n1r i n l o r m a t l o n u s l o n m a j o r n a m e ： c 矿 s u p e r v i s o r ： 灯抄纵 a b s t r a c t 函歹锄 i n t e l l i g e n tv i s u a ls u r v e i l l a n c ew i t hm u l t i p l ec a m e r a sh a sa t t r a c t e dm u c ha t t e n t i o nm c o m p u t e rv i s i o ni nr e c e n ty e a r s t h i si sb e c a u s ee f f e c t i v et r a c k i n gc a nb ea c h i e v e db yu s i n g m u l t i p l ec a m e r a s ，e s p e c i a l l y w h e no c c l u s i o no c c u r so r l a r g ea n g l ed i f f e r e n c e e x i s t s c o r r e s p o n d e n c eb e t w e e nm u l t i p l ec a m e r a s ，w h i c hi n v o l v e sm a t c h i n gt h es a m eo b j e c t si n d i f f e r e n tv i e w s ，i sc r i t i c a li nt h e s es y s t e m s t h i sp a p e rp r o p o s e san o v e la n de f f e c t i v em e t h o dt om a t c ho b j e c t sb e t w e e nm u l t i p l e c a m e r a s ，w h i c hi sb a s e do nw a v e l e t s a l i e n tf e a t u r e sc o n s i s t i n go fc o l o ri n f o r m a t i o na n ds a l i e n t v a l u e sa ts a l i e n tp o i n t s a sl o c a lf e a t u r e s ，w a v e l e ts a l i e n tf e a t u r e sh a v e b e e ns u c c e s s f u l l yu s e d i nc o l o ri m a g er e t r i e v a l al e a r n i n gt e m p l a t ei ss e tu pw h e nan e wo b j e c ti sd e t e c t e d t h e t e m p l a t ei sf u r t h e ru p d a t e dw i t hw a v e l e t s a l i e n tf e a t u r e sw h e na no b j e c tm a t c h e st h et e m p l a t e w h e nt h em a t c h e do b j e c th a sd i s a p p e a r e df o rac e r t a i na m o u n to ft i m e ，t h et e m p l a t ew i l lt h e n b er e m o v e d t h et e m p l a t ek e e p st h eh i s t o r ya b o u tw a v e l e ts a l i e n tf e a t u r e so ft h et r a c k e d o b j e c t ，a n dp r o v i d e sr o b u s tm a t c h i n gw h e nt h ev i e wa n g l e s h a v es u b s t a n t i a ld i f f e r e n c e e x p e r i m e n t ss h o wt h a tt h em e t h o dw i t hl e a r n i n gt e m p l a t e si m p r o v e sr o b u s t n e s so fo b j e c t m a t c h i n gb e t w e e nc a m e r a s t h ep r o c e s so fm a t c h i n go b j e c t sb e t w e e nm u l t i p l ec a m e r a si sa sf o l l o w s ：f i r s t l y , i no r d e r t og e tt h ei n f o r m a t i o no fm o v i n go b j e c t s ，t h e ya r es e g m e n t e da n dt r a c k e di nas i n g l ec a m e r a ； s e c o n d l y , w a v e l e ts a l i e n tp o i n td e t e c t o ri sa p p l i e di nt h ea r e ao fm o v i n go b j e c t s ；t h i r d l y , l e a r n i n gt e m p l a t e sa r es e tu pa n du p d a t e dw i t hw a v e l e ts a l i e n tf e a t u r e s ；胁a l l y o b j e c t s m a t c h i n gi sp e r f o r m e db e t w e e nm u l t i p l ec a m e r a sa c c o r d i n gt ot h ed i s t a n c eb e t w e e n w a v e l e t s a l i e n tf e a t u r e so ft h eo b j e c t sa n dt e m p l a t e s k e y w o r d s ：m u l t i p l ec a m e r a s ；o b j e c tt r a c k i n g ；o b j e c tm a t c h i n g ；w a v e l e ts a l i e n tp o i n t ；w a v e l e t s a l i e n tf e a t u r e s 1 1 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本文不包含任何其它个人或 集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 豢疵虐 日期：知f 0 年6 月弓舄 使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留学位论 文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学位论文用于非 赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查阅，有权将学位论文 的内容编入有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：豢成真 翩躲备轴 日期：扣年。月乡日 日期：加f b 年多月弓日 基丁多摄像机信息融合的目标跟踪 1 1 课题研究的背景及意义 第一章绪论 随着计算机视觉的发展和安全防控意识的增强，视频监控技术作为平安城市战略的 一项重要技术保障而得到各级政府的充分重视和有力推动【l l 。由于视频监控中真正需要 干预的只是一些发生概率较小的事件，安全监控人员不可能长时间不问断地将注意力集 中在大量的监控视频上，注意力的降低将极大地影响监控的及时性和有效性，因此如何 有效地、自动地跟踪与分析目标越来越受到人们的关注。各国研究者在基于视频的目标 跟踪与分析方面也取得了一些值得关注的研究成果 2 1 。但现有的研究大多是基于单个摄 像机的，其缺点是监控范围非常有限且存在场景遮挡问题。采用多摄机进行实时目标跟 踪与分析可以扩展信息采集的区域，从而扩大监视范围和角度，有助于解决单个摄像机 中目标遮挡及景深难题，有效克服单个摄像机中存在的盲点问题。多摄像机条件提供了 比单个摄像机更丰富的目标信息，因此有效地融合这些信息将在目标跟踪与分析理解中 将发挥更大的作用。 近年来，随着计算机视觉技术的发展，目前监控摄像机是无处不在，多摄像机的目 标跟踪在广域监控场景中倍受关注。如何有效地融合不同摄像机间的有用数据，如何自 动、及时地提取运动目标，进行可靠地分析，如何使监控技术在复杂的自然环境和多变 的运动目标跟踪中具有鲁棒性，这些技术的研究将进一步促进监控系统的自动化、智能 化，大大降低了监控人员的工作强度。 国内外研究现状 基于多摄像机的目标跟踪主要研究不同摄像机之间协同地对同一目标进行检测、跟 踪、匹配，并在此基础上实现对目标的协同跟踪。首先要从不同图像序列中找到运动目 标位置，提取目标的特征，利用这些特征找到目标在不同角度间的对应关系，其匹配的 结果直接影响后续的目标分析、数据融合1 3 1 等。多摄像机目标协同跟踪的关键在于目标 的匹配上，本文的重点也是研究目标匹配问题。目前存在的研究方法可以按提取什么类 型的特征，或是否进行摄像机的标定、或摄像机之间的信息融合是采用基于点的方法还 第苹绪论 a| _i 是基于区域的方法等来划分4 1 。多摄像机之间的目标匹配问题可以转化为：在不降低目 标匹配准确率的前提下，尽可能地减少约束条件。其中约束条件可以是计算复杂度、目 标遮挡程度、场景情况、摄像机参数设置等【4 】。 由于本文的研究是基于在没有对摄像机进行标定的情况下的目标匹配，因此下面将 重点分析在此情况下的多摄像机目标匹配与协同跟踪的国内外研究状况。目标匹配的问 题主要在目标特征的提取上，现有的研究可分为基于区域颜色特征的方法和基于特征点 方法。 一基于区域颜色特征的方法 基于区域颜色特征的方法是先把运动目标分割出来，在目标区域里提取其颜色信息 进行不同摄像机间的匹配与协同跟踪。颜色特征往往不受目标的大小、形状的影响，尤 其目标被部分遮挡时，依然具有鲁棒性。o r w e l l 掣5 1 和k x u m m 掣6 1 利用颜色直方图作为 区域的特征进行不同视角上的匹配。m i t t a l 等7 】贝j 结合高斯颜色模型来改进多摄像机之 间的匹配效果。z h o u 吲等利用主成份分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 对提取 的颜色特征从较高的维数降到较低的维数，以提高目标之间匹配的效率，并利用在线学 习特征模型的方法进行运动目标的跟踪。c h a n g e 等9 1 利用对极几何( e p i p o l a rg e o m e t r y ) 和颜色映射等来建立两个摄像机之间的匹配。然而，颜色直方图会带来新的问题：( 1 ) 不 同摄像机拍摄的场景会有一些颜色差异且受光照影响；( 2 ) 当目标之间的颜色区分度不 大时容易产生误配。但总体来说，颜色特征比较直观，实现简单，不用先了解摄像机间 的位置对应关系，不受摄像机拍摄角度限制。若选择合适的颜色空间进行分析，将会提 高目标匹配性能。 二基于特征点的方法 基于特征点的方法是目前应用较多的方法。先从不同摄像机中提取运动目标的特征 点，通过一定的几何约束，构造不同角度相互映射的关系，从而能对目标进行匹配与协 同跟踪。根据几何约束条件，基于特征点的方法又可进一步分为3 d 或2 d 。 ( 1 ) 依据3 d 几何约束的方法。这种方法是从不同视角分别提取运动目标的特征点 并将其映射到相同的3 d 空间中，然后分析这些特征点的关系，从而分析目标的匹配情 况。在文献 1 0 1 1 1 中，作者提取运动目标的质心作为特征点，将这些特征点投影到己 建立的3 d 系统中。k e l l y 等1 2 1 先得到所有摄像机之间的标定情况，因此建立好一个已 2 纂丁多摄像机信息融合的f j 标跟踪 知的3 d 环境模型，不同摄像机的运动目标的关系可以通过其映射到3 d 模型空间的位 置情况来判断。h u 等【3 1 提出了基于主轴线的多摄像机目标匹配方法。首先利用最小中值 平方算法( l e a s tm e d i a no fs q u a r e s b a s e da l g o r i t h r n ) 去提取运动对象的主轴线，运动对象 可以是个体，群体或被遮挡的目标；其次，提取主轴线与地平面的交点( g r o u n d p o i n t ) 作 为特征点，建立一个单应矩阵约束，对特征点进行映射，根据相似度可以分析不同摄像 机之间目标的匹配情况。这种方法只考虑主轴是垂直平面的情况，所以目标要处于同一 地平面且行人要求是直立的。c a i 等利用3 d 的对极几何约束建立不同视角间的对应 关系，所用的特征点则是人体上半身中线上的一些点集。基于3 d 特征点的方法一般都 要事先获取有关3 d 模型的知识，或计算映射关系，而且特征点不一定能映射到相同的 3 d 点上，这让点的匹配上存在模糊性。 ( 2 ) 根据2 d 的几何方法。为了克服3 d 方法的缺点，k h a n 等【1 4 】利用脚上提取的特 征点，通过基于地平面定义的单应矩阵约束，进行不同摄像机的匹配，但在实际应用中， 人脚上的点有时由于遮挡问题而不能精确或鲁棒地检测到。b l a c k 等【15 】利用人体质心点 进行不同视角的匹配，但当人的身体只有部分被检测到时，这种方法就存在局限性了。 基于点的方法，不管是3 d 还是2 d ，都很容易受到噪声的影响而使点的检测不准确， 而且要为较精确的运动检测。当没有准确分割运动目标或目标被部分遮挡时，也会影响 特征点提取的性能。 另外，明安龙等【4 】利用在目标区域提取s i f t 描述子进行不同摄像机间的目标匹配。 s i f t 特征不同于颜色特征，是一种基于尺度空间的对图像缩放、变化甚至仿射变换具 有不变特性的局部特征，因此可以应用于不同角度的目标的匹配。李志华等【1 6 】贝i j 是利用 s i f t 特征匹配自动生成不同摄像机间的对应点，利用这些对应的关键点确定单应变换 矩阵的参数，再利用目标质心坐标的单应性变换进行致性匹配，该方法有效地应用在 分布式广域的视频监控系统中。 针对现有算法的研究与分析，本课题提出了基于多摄像机信息融合的目标跟踪方 法，主要是利用多级小波变换分解图像，检测具有局部特性的显著点，提取局部显著特 征，进行目标的匹配与协同跟踪。下面将具体介绍本文的研究内容。 本课题主要研究的内容 多摄像机跟踪是目前研究的一个热点，利用不同的摄像机提供的信息可以获得较大 3 第一章绪论 的视角，能在一定程度解决目标遮挡问题。但多摄像机的监视也会带来一系列新的问题， 包括摄像机之间的目标匹配，摄像机协作、摄像机之间的自动镜头切换与数据融合等【3 1 。 如何有效且鲁棒地在不同摄像机间进行目标匹配是本课题研究的重点，本文将从信息融 合的角度上进行多摄像机目标匹配的研究。 本课题的研究是从多摄像机上分析视频中运动目标的特点，提取其特征进行目标匹 配和协同跟踪。本文选用的是具有局部特性的小波显著特征，该特征已被很好地应用在 基于图像内容检索领域里。本文中，小波显著特征是提取目标的显著点邻域的颜色信息。 小波显著点检测器利用了小波的多分辨率分析和空频分析特性，能自动地对人视觉系统 感兴趣的区域进行定位。其检测到的点是图像的关键点，主要分布在最能表现图像内容 的感兴趣区域上。因此，根据显著点的位置提取关于感兴趣区域的局部有效信息，能大 大提高图像处理和分析的效率。本文利用小波显著特征作为运动目标跟踪与匹配的线 索，在不用对摄像机进行标定的前提下，简单且有效地对运动目标进行协同跟踪。为了 实现多摄像机之间的跟踪，需要首先对单摄像机内的跟踪进行处理，每个摄像机都采用 了基于高斯混合模型法分割出运动目标区域，再利用均值偏移对目标进行有效跟踪。为 了提高目标匹配的准确率与运算速度，本文只针对运动目标区域进行显著特征提取。 本文的创新点在于将具有局部特性的小波显著特征引入到多摄像机目标匹配的范 畴。实验设计中，首先实现了直接目标匹配并分析其有效性。该方法是直接计算两个不 同运动目标的显著特征的相似度距离，判断是否为同一运动物体，从而达到目标匹配的 目的。其次，本文采用基于模型的目标匹配方法对直接匹配法进行了改进。模型法有记 忆历史特征的特点，且能被自适应更新。匹配时是判断目标提取到的显著特征与模型之 间的相似度情况。实验表明，基于模型的目标匹配方法比直接匹配法具有更高的鲁棒性， 融合不同摄像机间的信息，在一定程度上克服了单一摄像机存在的盲点，遮挡等问题。 整个课题的设计如下： ( 1 ) 单摄像机运动目标的提取与跟踪。对每个摄像机所采集的图像序列，采用高斯 混合背景建模的方法对运动目标进行分割1 7 1 ，结合均值偏移跟踪算法f 1 8 j 进行有 效地跟踪运动目标区域。单摄像机运动目标的提取与跟踪是多摄像机进行目标 匹配的基础，主要是找到运动目标的准确位置。 ( 2 ) 特征提取。在目标分割后的运动区域进行显著特征的提取，其过程如下：首先 把分割得到的区域进行多级小波变换，用零树结构表示；其次构造显著图，找 4 基于多摄像机信息融合的目标跟踪 到显著点并进行显著点数目自适应控制1 1 9 】；最后提取显著值及其周围的颜色信 息作为显著特征。 ( 3 ) 建立目标的局部特征模型进行不同摄像机间的目标匹配以进行多摄像机协同跟 踪，并与目标直接匹配法进行比较。实验表明，基于模型的匹配方法提高了匹 配的准确性。 本文内容安排 第一章即本章，介绍多摄像机目标跟踪与匹配的研究意义与背景，概括分析目前 国内外的研究现状，指出了基于多摄像机信息融合的目标跟踪的优点，指 出了本文研究的创新点。 第二章介绍了单摄像机内目标分割与跟踪的处理过程及常用算法，并具体介绍了 本课题所用的高斯混合模型分割算法与均值偏移跟踪算法。 第三章介绍了图像的小波显著点检测器的实现过程及特征提取的方法。 第四章设计并实现了多摄像机间目标匹配的算法，展示和分析了直接目标匹配算 法的实验结果，并用基于局部特征模型的方法改善目标匹配性能。 第五章总结了本文所做的工作及有待进一步研究的问题。 第一：章基于单摄像机的运动目标分割与跟踪 詈皇暑舅鼍詈! 富鲁置皇量鼍詈詈量毫暑曼量詈詈詈詈! 詈曼詈皇詈曼! 詈皇曼鼍曼詈詈詈詈喜曼曼詈曼皇曼詈曼! 曼皇! 鼍! ! 曼皇曼皇喜皇曼曼! 詈皇i i 皇皇鲁皇穹詈皇皇鼍詈詈鼍量詈量詈! 皇 第二章基于单摄像机的运动目标分割与跟踪 单摄像机的运动目标分割与跟踪是多摄像机目标协同跟踪的基础。只有完成单摄像 机内的目标分割与跟踪，准确找出运动目标的区域，接下来的目标显著特征提取才有意 义，才能有效地在多摄像机间进行匹配。本课题运用了高斯混合模型法进行分割，用均 值偏移算法对目标进行跟踪。单摄像机内目标跟踪的处理过程如下图： 视频序列 高斯混合背 景建模进行 目标分割 提取运动目 标的位置， 大小等参数 图2 1 单摄像机内目标跟踪的处理过程 2 1 基于高斯混合模型的运动目标分割 目标分割是单摄像机下进行目标跟踪的第一步，也是最重要的一步。运动目标分割 效果的好坏将直接影响到后面的跟踪与特征提取。用于视频的目标检测方法一般有帧差 法、光流法和背景减法【2 1 1 。 帧差法2 2 1 是利用视频中帧与帧之间强的相关性，取相邻的帧作为参考图像，通过帧 间作差进行运动变化检测，再通过滤波等一系列处理确定运动目标。帧差法对光线变化 不敏感，适合动态背景的目标检测，但由于帧与帧之间物体的运动变化有时不明显，所 以检测到的运动物体内部容易产生空洞，且当目标是静止时，则检测不到该目标。 光流法f 2 3 1 是通过对视频序列中前后两帧进行光流场的分析，近似地计算不能直接得 到的运动场，根据运动场的信息对场景进行分割，对分割结果进行噪声以及合并小区域 等后处理，再统计区域个数，从而检测出运动目标。光流法的优点在于不用预先知道场 景的任何信息，便可以检测到独立的运动目标，且适应于摄像机运动的情况。但由于噪 声、阴影、遮挡等原因，使得光流场分布的计算不十分可靠，影响目标检测的准确性。 而且，多数光流场计算十分复杂，除非有特殊硬件支持，否则软件的实现难以满足实时 性。 6 基丁多摄像机信息融合的目标跟踪 背景减法【矧是应用在视频运动目标检测最常的方法之一。它的处理过程是：首先获 得一幅不包含任何前景目标的图像作为背景，然后用该时刻的帧图像与背景图像对应的 像素点作差，如果差值大于某一阈值，则判断该像素点属于运动目标，否则判断其为静 止背景。背景减法的原理简单且易于实现，其分割的准确性很大程度取决于背景图像。 但随着时间的变化，无论是室外还是室内环境，背景画面都会产生变化，如光照强度的 变化，背景图像中物体的移动等，都会影响检测的结果。因此可以看出，背景减法的难 点不在于减法本身，而在于怎样建立准确的背景模型，并对其进行更新。高斯混合模型 法通过对画面中各个像素点的颜色分量进行统计概率，并动态地更新背景，以保证背景 减法达到最佳效果3 羽。高斯混合模型法是采用了多个高斯模型函数，适应于复杂背景的 建模，具有很强的抗噪声能力。 本文采用的实验视频是较复杂的室外场景，存在微风，由两个固定的摄像机从不同 角度拍摄同一场景，拍摄到的画面存着了亮度差。根据以上特点，本文选择高斯混合模 型法进行目标分割。下面由浅至深，分别介绍高斯分布，高斯模型及高斯混合模型分割 法。 2 1 1 高斯分布 高斯分布( g a u s s i a nd i s t r i b u t i o n ) 即正态分布，是一个在数学、物理及工程等领域 都极为重要的概率分布模型。大量的随机变量都服从或近似服从正态分布，因此，正态 分布的概率密度函数应用十分广泛，它可以表示出一个随机变量的各种取值的可能性 1 3 1 。均值为，方差为伊2 的正态分布的概率密度函数为3 1 】： f ( x ；l 们= 赤2 n 已冬z o 箬o ( 2 1 ) 如果一个随机变量z 服从这个分布，可记为工一n ，莎2 ) 。 图2 2 可以看到统计工作者经常使用的“3 c r ”规则，即服从正态分布n ( i t ，仃2 ) 的随机 变量的取值有9 9 7 左右落入区间( t - 3 a ，i t + 3 0 ) ，仅有o 3 左右落在区间 似- 3 a ，+ 3 a ) 之外。同理，落在区间( 一2 0 ，+ 2 仃) 的概率是9 5 5 ，落在区间 一盯，+ 盯) 的概率是6 8 2 。 7 第二章基于单摄像机的运动日标分割与跟踪 2 1 2 高斯模型法 图2 2 宰正态分布的“3 a ”规则 在视频中，尽管是静止画面，但由于拍摄及视频压缩技术的影响，某个静止的像素 也有可能出现变化。画面各个像素点的幅值变化是不尽相同的，变化大的点噪声比较大， 但这些变化一般都符合高斯正态分布，因此我们可以为每一个像素点建立一个高斯分布 函数。 统计某像素连续若干帧的变化情况，计算其平均值a 及方差盯2 ，建立一个高斯概 率分布函数，由前面2 1 1 小节可知，根据“3 仃”规则，只要该像素点的变化在3 仃内，我 们就认为该像素点是静止的背景点，反之，超过3 仃，我们则认为其是运动的前景像素 点。 如果静态背景偶尔发生一些新的变化，我们应该能够及时更新先前建立好的高斯模 型，使新模型适应这种变化后的场景。除非一个新的静态目标进入背景画面足够长的时 间，我们可以认为它已成为背景元素，否则不能把它看成背景，这就要求要有适当的背 景更新的速度。这种可以动态更新的自适应高斯模型在大多数简单室内环境中可以达到 不错的效果3 2 1 。 对于一个静止的背景画面来说，如果光照恒定，画面上的像素在时间轴上的变化也 图像来源：h t t p 1 1 w w w 1 a b m e d 删p l o a d f i l e s l 0 0 7 0 8 1 2 0 c 7 0 8 2 5 1 3 0 2 5 7 3 2 1 g i f 8 基于多摄像机信息融合的目标跟踪 是会相当稳定的，因为画面的噪声并非由背景的变化造成的，而是发生在摄像机拍摄、 传输的过程中，这些噪声具有正态分布的特性，因此，在这种情况下，使用一个高斯分 布模型就可以完整地描述一个像素点在时间轴上的变化情况。但有些情况下，用单高斯 模型来描述背景是不够的，例如在一个室外场景中，天空、树枝和树叶可能在不同时刻 出现在同一点上，这就需要使用多个高斯分布来描述背景了。 2 1 3 高斯混合模型法 在2 1 2 小节中提到，对于复杂的场景，如风中摇动的树叶，路口的交通信号灯等， 每一次变化如果用单一的自适应高斯模型，需要很长的时间来适应，每一次突然变化意 味着前景检测出现误检，并维持着很长的时间。所以c s t a u f f e r 等3 2 1 根据单一高斯模型 出现的不足而提出了高斯混合模型算法( g a u s s i a nm i x t u r em o d e l ，g m m ) ，该算法有 效地解决了背景画面中有时出现规律性变化的情况。 简单地说，高斯混合模型就是将多个高斯模型叠加起来，每一个背景像素点用几个 高斯模型来描述，每一个高斯模型记录该像素点可能出现的一种背景颜色值及其标准 差，一旦发现新的像素颜色值与已有的任一高斯模型相匹配，就认为它是背景像素。 由于高斯混合模型法是以视频帧的单个像素点为单位进行处理的，简单起见，我们 使用一个像素点的灰度颜色模型来介绍该算法。在应用到彩色模型时，只要将灰度模型 分布在r 、g 、b 颜色下使用三次即可【3 2 】。 首先，假定对于某特定像素点的一系列观测值相对于其他像素点是独立的，高斯混 合模型是通过该像素点的历史值来判断是否为背景点，所以，需要记录每个像素点的历 史值。对像素点x ，的值在时间轴上可记为一时间序列3 2 】： x f ) = i ( x o ，y o ，f ) ( 1 i t ) ( 2 2 ) 其中，l ( x 。，y oi ) 表示f 时刻坐标为( ，) ，。) 的像素点的值。t 代表这个序列的长度， 可以根据具体需求确定，表示记载像素点x ，历史值的个数。 我们用k 个( 通常为3 5 个) 高斯分布来描述一个像素点的变化情况。该像素的高斯 混合模型统计分布可以表示1 3 2 ： 鬈 p ( x ，) = 嵋，x r ( x ，q ，) i - - 1 ( 2 3 ) 9 第二章基丁单摄像机的运动目标分割与跟踪 皇置皇鼍暑量鼍皇量鲁暑昌皇皇曼! 皇吕皇鼍皇鼍寡詈曼曼詈毫喜鲁皇喜詈量皇鼍皇皂曼mn 鼍詈詈毫皇詈! 皇量皇曼皇量鼍詈皇量詈葛鼍暑詈詈詈曼皇! 鼍皇皇暑詈置量 1 1 圣二型： 刁( x ，t , o - ) 2 赢p 2 0 z ( 2 4 ) 式中，k 为高斯函数的个数，其大小由计算机本身的处理能力决定； ，是第i 个高 斯函数的权重系数，一般都设每个高斯函数的权重相等；“为第i 个高斯模型在f 时刻 的数学期望值；q 。表示此像素点的第i 个高斯函数在t 时刻上的标准差，刀则是高斯概 率密度函数。 在使用高斯混合模型进行运动目标检测时，首先要对模型参数进行初始化。可以计 算连续时间内视频帧每一个像素点中每个颜色通道的平均值和标准差仃，用和仃来 初始化高斯混合模型中m 个高斯分布的参数。在本文的分割实验中，第一帧图像是静 止背景，或只有小部分的运动区域，因此取第一帧视频图像的各个像素的值作为平均值 来初始化高斯模型。其中第i 个高斯函数的权重系数啦为： q = i 1 ( 2 5 )m = ( z 3 ) m 、 设当前的时刻为t 当第件l 帧出现时，我们要该帧图像中的每一个像素点进行匹配 和更新。在t + l 时刻，对k 个高斯分布函数按照盟的值由高到低排序，并设置阈值t ， 旺， 若前面b 个高斯函数的权值之和等于或大于丁，就将这些分布看成背景分布。 对于件1 时刻的像素点置+ 。，按前面排序好的高斯函数进行匹配检测，如果与第i 个高斯分布函数匹配上，畏p j x , + l 一心小 3 旺i f i = 1 ，2 ，b ，则对这个高斯分布函数进行更 新，如下【3 2 】： lc o , + l = ( 1 一口) c o , + 口 髂o o - 叩p 讹) # 羰“- i t , ) ： 亿6 ， i l = + p ( x ，“ 2 一7 【p = 铆( x ，+ l ，以，吒) 其中p 和口分别为参数和权值的更新速率。若该像素点与排在前面b 个高斯函数中 的某个匹配上，则认为它为背景像素，否则认为其为前景像素点；若与多个高斯分布函 数匹配上，只选择之前排序位最前的高斯分布函数进行匹配；若找不到匹配的高斯分布 函数，就删除掉排在最后面的高斯分布函数，并利用x 川的像素值生成一个匹配的新的 高斯分布加入其中。 1 0 基丁多摄像机信息融合的目标跟踪 对于与当前像素不匹配的高斯分布也要对其权值进行更新，更新方法如下3 2 1 ： m + ，= ( 1 一口) q( 2 7 ) 在模型建立时，我们直接采用第一帧的视频画面作为背景画面，而初始标准差按文 献 3 2 1 的建议，设置为3 0 。由2 1 1 小节介绍，若像素点的实际值与估计背景值之间相 差在3 倍标准差之内，即9 0 之内，认为该像素点是静止的，并用其更新该像素点的标 准差。这样会使高斯模型的灵敏度极差，把大量的目标运动都识别为像素的抖动。在实 际实验中，一个像素的范围是0 - 2 5 5 ，在大多数环境中，像素的抖动都在2 0 的范围内， 也就是说将初始的标准差设计为1 0 就足够了。在比较恶劣的环境，如雷雨天气，把初 始标准差设为3 0 ，在更新时设计一个上限，依然为3 0 。在我们的实验视频中，由于有 微风作用，静态背景如树，小草都有轻微的抖动，我们按以上的方法设计初始标准差， 能很好地分割出运动目标，实验结果将在第四章展示。 2 2 使用均值偏移法对运动目标进行跟踪 在视频分割后我们能得到每一帧运动目标的位置，大小等信息，但帧与帧之间检测 到的运动目标的相关性，判断其是否为同一运动目标，就需要对运动目标进行跟踪了。 目前的跟踪算法大致可以分为两种：基于目标特征的方法和基于目标运动的方法。 基于目标运动的方法2 5 1 主要包括光流法和特征点法等，它们可以把一段时间内具有 运动一致性的点归为一类，但是计算量较大。 基于目标特征跟踪方法只考虑图像的一些有效特征进行跟踪的，一般过程为2 5 】： 1 确定新检测到运动目标的区域； 2 提取该新运动目标的特征； 3 预测该目标在下一时刻的画面中可能到达的位置； 4 在预测范围内使用提取到的特征信息进行搜索，寻找最可能出现的新位置； 5 利用匹配到的目标图像，修正被跟踪目标的特征数据。 以上步骤反复进行，便可跟踪到运动目标的运动轨迹。 均值偏移( m e a ns h i f t ) 跟踪算法属于目标特征的跟踪算法，是一种无参数估计目标跟 踪算法。均值偏移算法在计算机视觉与图像处理领域都广泛的应用，它克服了传统聚类 方法的缺陷，鲁棒性强，能够处理类数目大，及类数目未知等难点问题3 3 1 。该算法利用 第一章基于单摄像机的运动目标分割与跟踪 梯度优化的方法减少特征搜索匹配的时间，实现目标的快速定位，适合于非线性运动目 标的跟踪，对目标的变形、旋转等运动有较好的适应性。 2 2 1 均值偏移算法原理 均值偏移算法的实质是核密度估计算法，其核心是找到模式点，即对特征空间中的 样本点进行聚类，得到密度梯度为零的点例【3 4 1 。多变量密度估计算子表达式为【3 3 j ： 缸) - 昙喜硝一，) ( 2 8 ) 表示在d 维空间中有几个点_ ，i = 1 ，2 ，l ，则在x 处，用核函数图和d x d 带宽 的对称正定( s y m m e t r i cp o s i t i v ed e f i n i t e ) 矩阵h 可得到多变量密度估计算子。其中3 3 】： k 日( x ) = ih - 1 2k ( h 。1 化工) ( 2 9 ) 在实际应用中，为了减少计算的复杂性，往往用对角阵日= d i a g h a 2 ，瑶】或单位矩 阵的比例阵h = h 2 ，。在后者情况下，式( 2 8 ) 可以简化为更常见的密度估计算子形式3 3 j ： 缸) = 嘉喜k ( 早) ( 2 1 0 ) 核函数礅) 的选择有很多种，若采用具有各向同性的e p a n e c h n i k o v 核，如( 2 1 1 ) 表 示【3 3 】： k e ( 工) = 主c i l ( d + 2 ) ( 1 一工r x ) ，矿x r 石 1 ) ；七，歹z 。 对任意函数厂g ) ，其离散小波变换相对用的定义为删： ( j ，七) = ( ，o ) ，纺，七o ) ) = 亡厂b 概，。o 皿 ( 3 5 ) 离散小波函数为： 1 8 基于多摄像机信息融合的目标跟踪 删= 攻学) 一妒k - j t - k z o ) 6 ， 3 1 2 图像的二维小波变换 图像，( 工，y ) 的小波变换可由一维小波变换推导出，设妒和矽分别是一维小波变换的 尺度函数和小波函数，则二维小波变换的尺度函数和小波函数如下洲： 妒k y ) = 如眵( ) ，) ( 3 7 ) 伊1 ( x ，y ) - 以x 砌( ) ，) ( 3 8 ) 缈2b ，y ) = 矽( x ) 烈) ，) ( 3 9 ) 伊3 g ，) ，) = 出砌( ) ，)( 3 1 0 ) 任何一幅图像都可以看成是一个二维可分离信号。设图像，的分辨率为n x m = 2 川 ( n = 2 k 忙z ) ，朋- - 2 t ( f z ) ) ，图像，经过一次小波变换后得到4 幅分辨率均为2 w _ 2 的子图删： a ，一。，= ，：c 矽g ，y ) ( 3 1 1 ) d 扣= l q 7 1 g ，y )( 3 1 2 ) d - t 2 ，= j 木伊2 g ，y ) ( 2 1 3 ) d ，- 1 3 ，= ，木缈3 ( x ，y ) ( 2 1 4 ) 如下图所示： 图3 2 一次小波分解后的结果 1 9 第三章基于小波变换的显著点检测与特征提取 其中a 。，为近似图像，对应了原图像的低频模拟分量，其余3 幅是细节子图 啡，b = 1 , 2 ，3 ) ：叫，对应水平方向上的高频分量，它反映了图像水平方向上灰度变化 信息和边缘信息；醇，对应垂直方向上的高频分量，它反映了图像垂直方向上灰度信 息与边缘信息；d j ，对应对角线方向的高频分量它反映了水平和垂直方向上的综合 变化信息，同时也包古了少量的边缘信息1 4 4 1 。 利用小波变换对近似子图 i 再次进行分解，得到尺度2 4 上的4 幅子图像，类似 的可以对子罔像a 一，再次分解，得到尺度2 4 的四幅子图像。以此类推，对图像进行若 干缴小波变换，可以得到一系列不同尺度的子带图像和小波系数。图33 ( a ) 是狮子的原 图，图3 3 和闺33 ( c ) 分别是对狮子进行一级小波分解和三级小波分解。 躐 ( a ) 辑子原喇 哪狮子的一级小波变换和) 狮子的三级小波变换 醐3 3 狮子的小波分解图 小波变换可以看成滤波器对图像的一系列处理过程。包括水平的滤波和垂直的滤 波。其处理过程如下图3 a 所示： 、冽望 删遂逮 基于多摄像机信息融合的目标跟踪 图3 4 ：图像二维小波的滤波过程 图3 。4 中a ：；+ i 是图像，的j + 1 级小波分解得到的近似子图像，作为滤波器的输入；冬 是第i 级小波分解得到的近似子图像，作为输出，同时作为输出的还有三个方向上的细 节图像d 56 = 1 , 2 ，3 ) ；日为低通尺度滤波器，g 为高通小波滤波器。 其二维小波变换的过程如f - 输入图像a ；+ 。经过两次低通滤波并进行去抽样，得到 a j ；敛。经过一次低通滤波并进行妻抽样，再经过高通滤波器和昙抽样时可以得到水平 方向上的高频分量d ；，依此类推，由图3 4 可得垂直高频分量d ；和对角线高频住处d ；。 日和g 分别是由小波的尺度函数矽和小波函数缈经过变换得到的。具有紧支撑的正 交小波的尺度函数和小波函数矽相互独立，其滤波器日和g 也具有独立性。所以，利 用具有紧支撑的正交小波对图像进行多尺度分析，能很好地把高频低频的信息分离开 来，形成金字塔体系。此外，具有紧支撑的正交小波能够对图像做一个近乎没有冗余的 描述：在尺度2 ，下，对于计算出的各个小波系数w j 能够在原图像中找出其对应的点【4 5 1 。 因此，本文采用的小波是具有紧支撑的正交小波。 2 l 第二章基丁二小波变换的显蒋点检测与特征提取 3 1 3 小波系数的零树结构 由前一小节可知，对图像，进行了一r ( r 一1 ) 级小波分解后，将得到每个尺度 2 j ( r _ 一1 ) 下的四个子图像，一个为图像，的近似图像a 2 ，和另三个细节图像 磁l ( s = 1 ，2 ，3 ) 。然后，我们可以基于零树理论构造小波系数的一个等级数据结构。零树 结构能很好地描述数据的分支和层次关系，在文献 4 6 1 里被提出和有效地应用在图像压 缩领域。小波系数之间的零树结构关系如图3 5 所示。 丸队y ， 诲田 ( a ) 不同级的小波系数的对应关系( b ) 小波系数的树型结构 图3 5 ：三维分解的小波零数结构1 9 1 小波系数的零树结构构造方法有几下步骤【1 9 】： 1 当像素点p g ，y ) ea ，i ，把像素点p k y ) 作为树的根结点。 2 在位置“力上，每一个根结点p ( x ，) ，) 有三个子结点，分别是同一尺度下三个细 节图像的小波系数w b ，) ，) 、嘭x ，) ，) 和w ；b ，y ) 。 3 由于小波变换过程具有下采样特性，细节子带聪，的小波系数 叫，( x ，y x s = 1 , 2 ，3 ) 与上一尺度d + i 中位于同一子带的2 x2 点区域对应。该区域 q f _ g - 于( 2 x ，2 y ) ，包含( 2 x ，2 y ) , ( 2 x ，2 y + 1 ) , ( 2 x + l ，2 y ) , ( 2 x + l ，2 y + 1 ) 四个点。这四个点 共同构成- r , b 波系数以，g ，y x s = 1 , 2 ，3 ) 的子节点。 4 零树数据结构相当于四叉树，每一个小波系数。b ，y = 1 ，2 ，3 ；r “ o ) 均有四 个子节点。由d 0 + ，中位于( 2 x ，2 ) ，) 的2 x 2 点区域所对应的小波系数组成。 基r 多摄像机信息融合的目标跟踪 按照以上方法，可以构造出小波分解后系数的零树数据结构。图3 3 ( a ) 表示了图像， 经过三级小波变换后的系数的相对应关系，而其小波变换后的零树结构则如图3 3 ( b ) 中 的所示。一棵完整的小波零树数据结构是一棵四叉树，位于尺度2 7 的小波系数，b ，y ) 与d ：一。j 细节子带内大小为2 “1 2 。- 1 的点区域对应。 3 1 4 显著图构造 利用前一小节完成的小波系数的零树结构表示图，可以构造图像的显著图。分辨率 为n m = 2 “( n = 2 2 仅z ) ，m = 2 ( f z ) ) 的图像，经过一，层小波分解后，在每一 个尺度为其建立一张显著图s 0 ( = 一1 ，) ，一，个尺度共有一，张显著图。显著图s 在 尺度一，下能反映出重要的小波系数信息。显著图具有以下特点【l9 】： 1 小波系数包含的信息越重要，对