（模式识别与智能系统专业论文）数字监控系统中的目标跟踪技术研究.pdf

捅费 随着国民经济和科学技术的发展，工业自动化水平不断提高，昔日人类劳动正 逐步被机器代替，过去由人来完成的监控正在越来越多地被智能图像监控系统取代。 近年来，图像监控技术得到了飞速发展，已广泛应用于工业生产、国防建设、商业、 交通、金融、办公自动化以及家庭安防。 本文主要对数字监控系统中目标跟踪检测技术作了研究，分别从运动检测、检测 结果分析和跟踪三个方面作了介绍。在运动物体检测部分，本文利用了背景差分的方 法；在检测结果分析部分，本文利用了图像形态学的分析方法：在人体跟踪部分，本 文使用组合的方法来防止卡尔曼滤波器的发散问题，在长序列图像中能够准确地估计 人体的运动状态。 本文研究的算法主要是利用m a t l a b 进行仿真，达到了比较好的跟踪效果。 关键词：运动检测，背景减除，卡尔曼滤波，人体运动跟踪 a b s t r a c t w i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , t h el e v e lo fa u t o m a t i o ni m p r o v e s c o n t i n u a l l y , a n dh u m a nl a b o ri sb e i n gr e p l a c e db yi n t e l l i g e n tm a c h i n e i n t e l l i g e n tv i d e o s u r v e yi st a k i n gt h ep l a c eo fh u m a nl o c a ls u r v e y i nr e c e n ty e a r s ，v i d e ot e c h n o l o g yh a s d e v e l o p e dr a p i d l y , a n db e e nw i d e l yu s e di ni n d u s t r y , n a t i o n a ld e f e n s e ，c o m m e r c e ，t r a f f i c , f i n a n c e ，o f f i c ea u t o m a t i o na n dh o m es e c o r i t y t h i sp a p e ri s m a i n l ya b o u tm o t i o nd e t e c t i o na n dt r a c k i n gt e c h n o l o g yo fd i g i t a l m o n i t o r i n gs y s t e m ，t h i sp a p e rm a i n l yi n t r o d u c e st h r e ep a r t s ：m o t i o nd e t e c t i o n , r e s u l t s a n a l y s i s ，a n dt r a c k i n g t h eo b i e c t sd e t e c t i o ns e c t i o nd e s c r i b e sb a c k g r o u n ds u b t r a c t i o n t e c h n i q u e ；t h ea n a l y s i ss e c t i o nu s e st h em e t h o do fi m a g em o r p h o l o g y ；t h eh u m a nm o t i o n t r a c k i n gs e c t i o nd i s c u s s e st h eu s eo fc o m b i n e da l g o r i t h mt op r e v e n tk a l m u nf i l t e rf r o m d i v e r g e ，w h i l et oe s t i m a t et h em o t i o ns t a t eo fh u m a ni ni m a g es e q u e n c ea c c u r a t e l y t h e a l g o r i t h mo f t i f f sp a p e ri sm a i n l yu s i n gm a t l a bs i m u l a t i o n , a n dt h et r a c k i n gr e s u l t s i sr e l a t i v e l yw e l l k e yw o r d s ：m o t i o nd e t e c t i o n ，b a c k g r o u n ds u b t r a c t i o n 。k a i m a nf i l t e r ，h u r o n m o t i o nt r a c k i n g n 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，填写论文题目是本人在指导 教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。 作者签名： 塑垃鲤年土盔 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版 权使用规定”，同意长春理工大学保留并向国家有关部门或机构送交学位论文的 复印件和电子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等 复制手段保存和汇编学位论文。 作者签名：越釜塑堡年三月型日 指导导师签名：三k 3 手垒各一年 月丝日 第一章绪论 1 1 课题研究的目的和意义 上世纪9 0 年代以来，计算机技术、网络技术、通信技术和多媒体技术得到了飞 速发展，基于以上多种技术的图像监控系统己在工业生产、国防建设、办公自动化、 商业、交通、金融以及人们日常生活中起到重要作用。如无人值班变电站、无人侦察 机、智能机器入、电子交警以及家庭保安监控等装备都采用了图像监控技术。近几年， 图像技术是1 1 r 行业非常热门的技术，国内外涌现出大量的研究人员和公司从事此类 行业。监控系统可由图1 - 1 表示： 图1 1 监控系统组成 上图中最底一层是监控系统前端，包括云台、红外探头、烟感探头、摄像机等。 摄像机有很多种，如c c d 摄像机，c m o s 摄像机，模拟摄像机，一体化摄像机等。， 数字图像监控是一门应用性很强的技术，它涵盖学科门类多，与先进的技术结合 密切，技术要求含量很高，而且应用领域非常广泛，与社会发展、工农业生产和人们 群众的生活有着密切的联系。图像监控技术涉及图像摄像技术、数字信号处理技术、 图像压缩编码技术、图像传输技术、图像存储技术、网络通信技术和电子技术。在图 像监控技术新的发展中，多媒体技术、网络和计算机新技术的应用也将越来越广泛。 因此，对数字监控技术的研究将具有很高的实际应用价值。 数字图像监控系统中目标自动跟踪技术主要是人体的运动与检测技术，人体运动 的检测与跟踪是人体运动分析的重要组成部分，人体运动分析是计算机视觉研究近几 年日益受到重视的领域，它包括：从图像序列中检测运动区域、对人体的运动进行识 别和跟踪、在高级阶段还包括对人的行为的理解。该领域的研究是由它的潜在应用价 值驱动的，它可应用于智能视觉监控、智能人机接口、人体运动的细节分析以及虚拟 现实等领域“1 。 本文针对数字监控系统中的目标跟踪技术做出了研究，本文设计的跟踪系统是小 视角的跟踪系统，适合于家庭及小型超市，而一些跟踪要求相对较高的场所本文所设 计系统尚未达到要求。 1 2 国内外发展现状 目前，目标自动跟踪检测摄像机作为中国目前发展较快的安防产品之一，拥有着 广阔的市场成长空间。国内外对它的研究也正在进行，已经有一些产品出现。 例如，日本j v c 生产的球形摄像机t k - c 6 5 5 b e c 是为监视大视场多细节的场合而 设计的，具有标准分辨率( 4 8 0 电视线) 宽广视野( 半球视场) ，能够高速旋转( 3 0 0 度，秒) 极大倍率变焦( 光学2 5 倍，电子1 0 倍) 的彩色半球形摄像机。如图1 2 图1 2t k - c 6 5 5 b e c 罗技公司生产的o u i c k c a m 具有以下性能： 1 实现对人脸的自动跟踪。 2 采用c c d 传感器，可获得最大6 4 0 x 4 8 0 的视频图像，或者1 2 8 0 x 9 6 0 的静态 图像。 2 3 帧频可达到3 0 f p s 。 4 由于云台的机械特性决定它能够水平旋转1 2 8 度，垂直旋转5 4 度。 5 采用u s b 接口传输图像数据，支持u s b l 1 和u s b 2 0 。 现在q u i c k c a m 主要应用于网络视频。由于它只能对人脸进行跟踪，且旋转角度 范围较小，从而限制了它在工业方面的应用。如图1 - 3 图1 3q u i c k c a m 国内浙江大学也做了这方面的研究，在浙江南望图像信息产业有限公司的支持 下，浙江大学参与开发了一体化运动目标自动跟踪智能球形摄像机，现在浙江南望图 像信息产业有限公司生产的智能球形摄像机具有图像处理功能，可以自动跟踪运动物 体，并记忆运动轨迹。如图1 4 图1 4 智能球形摄像机 深圳市百事达电子有限公司的自动跟踪快速智能球的跟踪检测功能也相当不错。 自动高速跟踪快球是集光学、电子、机械、信息处理和网络于一体，由摄像头、动力 传动、运动控制装置，基于高速并行处理的图像分析、识别、压缩和通信等部分组成。 具有视频摄像、位置控制、方位和镜头预置、运动目标检测、识别和跟踪、火焰及烟 雾检测报警等功能。当运动目标进入球形摄像机的视场范围内，利用高速d s p 芯片 在前一帧图像和现在的图像进行差分计算，当达到某个特定数值，判定一帧中的某个 特定部分为移动物体，然后球机自发出指令给球机云台，如此循环往复，从而控制球 形摄像机实现对运动物体的连续跟踪而不需要人的操作，也不需要计算机系统的支 持。如图1 - 5 图1 。5 自动跟踪快速智能球 由中科院自动化所谭铁牛研究员承担的国际科技合作重点项目“人的运动与行为 视频分析”项目顺利通过验收，在智能交通、安全监控等领域将具有广泛应用前景。 目前该项成果已经成功地运用于北京城铁1 3 号线。为了对城铁沿线进行安全监控， 以往常常需要布设成百上千个摄像头。该系统能够通过后台的计算机自动分析监控场 景中目标物体的行为和意图：对于一些可疑目标，系统会自动弹出监控画面，并会发出 安全警报声音以提醒工作人员。 西安理工大学的朱红图像处理研究室也做了这方面的研究，如与动目标的自动检 测与跟踪、智能交通信息处理系统、多摄像头信息融合等。他们提出了基于人脸的跟 踪方法和基于人物行为分析的智能监控系统，并都达到了良好的跟踪。 1 3 主要研究内容 l 、数字监控系统中的运动目标的检测及识别 运动目标的检测是当前研究的热点，也是难点。在环境条件改变较小的情况下( 如 室内) ，可以采用简单的当煎图像与背景图像相减或连续的帧间相减的方法来检测出 运动目标，但在存在着各种不同干扰的户外，由于光线的变化和背景目标的运动( 如 树叶) 都将可能引起虚警，因此在复杂的户外场景中，通过使用图像序列来检测出运 动目标是非常困难的。目前比较常用的有差分图像法、模板匹配法、光流场法，色彩 特征法等。 运动检测的结果是把运动的前景区域提取出来，由于智能监控系统要对人体的运 动加以跟踪，所以就必须判断前景运动物体是否为人体。运动可能是由不同物体造成 的，比如人、动物或是其它物体的摇动。运动物体分类的且的是把人从运动物体中识 别出来，只有正确地识别出人体才能进行下一步的工作人体运动跟踪，以至后续 的人体行为理解，所以运动物体的分类是非常必要的。主要方法有基于人体特征的分 类方法( 如人脸的识别) 、基于运动特性的分类方法( 如人体在稳定地行走或奔跑时 表现出的人体姿态的周期性变化) 。 4 2 、检测结果预处理 完成检测及识别之后，如果想跟踪人体的运动，还只需要对检测出来的运动区域 进行分类，也就是说给不同的运动区域加以不同的标志。这个过程就是连通域分析的 过程；另一方面，在运动跟踪过程中，我们需要对一些参数进行预先处理，比如说确 定跟踪窗口位置，得到运动物体轮廓等等。本文主要从这两个方面对运动检测出来的 结果进行了处理。包括二值化处理，形态学滤波等。 3 、人体的跟踪 人体运动的跟踪就是在连续的图像帧间创建位置、速度、形状、等有关特征的对 应匹配问题，常用的数学工具有卡尔曼滤波，c o n d e n s a t i o n 算法和m e a ns h i f t 算法等。 其中卡尔曼滤波是基于高斯分布的状态预测方法，可实时地进行跟踪预测。 c o n d e n s a t i o n 算法是以样本抽样为基础的条件密度传播方法，与合理的动态模型结合 使用，可完成鲁棒的运动跟踪。m e a ns h i f t 算法是基于样本估计的算法，可以进行实 时的跟踪。本文主要应用卡尔曼滤波进行跟踪预测，达到跟踪的目的。 4 、系统仿真 本文主要应用m a t l a b 算法进行数字图像处理，所有的算法都是在m a t l a b 里面实 现的。 第二章运动检测技术研究 运动检测的目的是在图像序列中将前景运动区域从背景中提取出来。运动检测是 运动物体的分类与跟踪的基础，该阶段处理结果的质量直接影响到以后处理的效果， 所以运动检测在人体跟踪中的作用非常重要。然而，背景图像的动态变化( 如天气、 光照、运动物体的影响) 给运动检测带来了困难。 2 1 基本检测方法介绍 2 1 1 背景差分方法 背景差分方法是图像中运动分割目前最常用的一种方法，是利用当前图像与背景 模型图像相差分并阈值化来检测出运物体的一种技术。使用背景差分方法是以固定摄 像机为前提件，对于背景图像序列，一般假设背景服从高斯分布，背景噪声为白噪声， 这样可利用初始不含前景的连续n 帧图像构造初始背景模型，然后根据一定的刷新速 度更新背景模型，使它能够适应缓慢的光照变化，这种背景模型比较符合自然的情况， 可以适应缓慢的背景变化，有着很强的适用性。但它不能处理突然的光照变化( 如闪 电1 和背景扰动，对于物体带有影子的图像不能准确的分割出前景物体，为以后的处 理带来不便。由于现今大部的视觉监控系统是利用背景模型进行前景检测的，所以目 前许多研究人员都致力于研究各种背景模型的性能，来尽量减少场景变化对准确分割 的影响。 这种方法就是将前后两帧图像对应像素点的灰度值相减，在环境亮度变化不大的 情况下，如果对应像素灰度相差很小，可以认为此处景物是静止的，如果图像区域某 处的灰度变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记下来， 利用这些标记的像素区域，就可以求出运动目标在图像中的位置。第j 帧f ( m ，1 1 ，j ) 与 第k 帧f ( m ，1 1 ，k ) 之间的变化可用一个二值差分图像d p 。，西，疗) 来表示： f 1 d p j k f ( m ，n ) = j l o l 刳厂( m ，n ，j ) 一f ( m 七籽r 其它 上式中t 是一个事先选定的域值，为了避免噪声的影响和精确定位，必须小心选 择域值t ，如果选得太小，有可能把图像噪声点也误认为是运动物体点，选得太大则 有可能漏掉运动物体点，需要反复调试，找到合适的阈值。m ，n 表示第m 行，第n 列的像素。求出d p j k f ( m ，n ) 后，有两种方法求出运动物体的位置点：矩形轮廓法和质 6 心法，矩形轮廓法就是使一个矩形包容d 巳，1 ) 中像素值是1 的点，此矩形的对 角线交点就是运动物体的位置点；质心法就是把d r ，沏，月) 像素值为“1 ”的点的质心 作为运动物体位置点。矩形轮廓法在理想情况下比质心法定位可靠，但是实际的图像 混有噪声，并且图像照明情况也是变化的，所以运动物体以外很难不引入一些干扰点， 致使矩形轮廓很难定位，所以常常采用质心法，虽然存在一定误差，但是可以满足实 际的需求“1 。 差分图像法是以图像背景固定不变为前提的，如果图像背景运动，这种方法就无 能为力了。自动跟踪摄像机作为一种实时跟踪设备。其采集的图像背景是变化的，差 分法不能直接应用。如果在静止时检测到运动目标，并预测目标的运动趋势，然后再 调整摄像机的方位，使其在一定的时间间隔内运动到预测的位置，然后使摄像机停下 来，继续检测运动目标的位置，然后继续运动，这样反复进行下去，也达到了跟踪的 目的，由于摄像机停止检测运动目标的时间相对于运动时间是很小的，所以静止检测 运动目标所占用的时间就可以忽略，仿佛是每隔一段时间速度切换一次，运动目标始 终保持在图像的中央附近，在工程实际中跟踪的效果也可以，下面就将跟踪的具体流 程绘于图2 1 。 7 图2 1 差分法目标跟踪流程 虽然上面所述的差分图像法完成了运动目标检测与跟踪的目的，并且计算量很 小。但是，从严格意义上来说，这并不是实时跟踪，而是一个静止检测运动位置补偿 间接解决问题的方法，在一定程度上制约了跟踪效果，进一步改进算法也不会使跟踪 效果有多大的提高，为了能够实现连续实时跟踪，必须考虑其他算法。 2 1 2 时域差分 时域差分方法是在图像序列中相邻帧间采用基于像素的时间差分并阈值化来提 取图像中的前景区域的方法。假设正o ，_ ，) ，f + 。 ，) ，) 分别代表连续第t ，t + 1 帧图像， d ，b ，y ) 一，+ 。o ，_ ) ，) 一，0 ，) ，) 然后确定一个阈值z ，根据z 和d ，o ，y ) 大1 1 、关系将图像二值化，然后依照这个 二值图像可确定前景运动区域、背景区域。对于低对比度灰度图像序列，使用时域差 分方法来确定前景和背景，阈值z 很难确定，这是由于相邻两帧的差( 前景的和背景 的差1 的范围很小。当人体某些区域灰度值变化较为平坦时，差分方法可使二值化的 图像中产生空洞现象，这对于运动物体的分类和人体运动的跟踪造成不便。若运动物 体的速度越大，连续两帧的运动物体的相交部分越小( 甚至交集为空) ，对于快速运动 的人体的肢体末端可能产生上述现象，这对运动物体的精确定位产生困难；如果物体 停止运动，就不能检测到前景物体的存在。所以不能单独使用时域差分方法来得到完 整的前景信息。 2 1 3 光流场法 基于光流方法的运动检测，是利用运动物体随时间变化在图像中表现为速度场的 特性，根据一定的约束条件估算出运动所对应的光流，它的优点是在摄像机与背景间 也存在着运动的前提下也能检测出运动物体。然而，光流计算方法需要多次的迭代运 算所以时间消耗比较大，而且抗干扰能力比较差。所以很少采用光流场方法进行运动 检测，目前在运动检测中最常用的方法是基于背景模型的背景差分技术，或背景差分 和时域差分相结合的技术。 2 2 静止背景下的运动目标检测 2 2 1 差分方法 将同一背景不同时刻两幅图像进行比较，可以反映出一个运动物体在此背景下运 动的结果。比较简单的一种方法是将两图像做“差分”或“相减”运算，从相减后的图像 中，很容易发现运动物体信息。 在相减后的图像中，灰度不发生变化的那部分被减掉，这里包括大部分背景和一 小部分目标。若背景比目标灰度低，则前区为正，后区为负，其他部分为零。由于检 测出的部分可以大致确定运动目标在图像上的位置，使用相关方法时就可以缩小搜索 范围。如图2 2 所示 图2 2 背景减除法 9 其中图a 为背景图像，图b 为当前图像，图c 为差分后图像 若想从差分图像中抽出物体的运动轮廓，只要将差分图像中正( 或负) 的部分，在 图像序列中取逻辑和即可得到。如图2 3 所示，假设区域a 和b 灰度为1 背景厌度为 o ，图2 3 中显示了将图像序列中相邻两帧相减后，负的部分取逻辑和后得到区域a 的形状。 逻辑和 图2 3 背景减除 对实际的运动图像，一般不使用简单的相减方法，因为其抑制噪声能力差。可以 不直接利用像素间灰度值的差，而是研究小区域间的相似性。利用小区域的灰度均值、 方差等特征构造不匹配判别的尺度。对于一个图像序列，研究其相似度，累积不匹配 的次数作为一次差分图像，利用其性质可以检测出运动物体。若对一次差分图像，再 求二次差分，则更能有效检出运动物体。差分方法计算简单，效果很好，但它要求背 景绝对静止或基本无变化( 噪声较小) ，因而适用场合有限”1 。 2 2 2 自适应运动检测方法 当两帧图像背景杂波起伏较大时，简单的差分方法难以得到满意的结果。此时可 以考虑用自适应背景对消的方法，该方法可以在低信噪比情况下压制背景杂波和噪 声，检测出非稳态图像信号。这里的信噪比是指s c n r 即s i g n a l ( c l u t t e r + n o i s e ) ， 在背景杂波c l u t t e r 较大时，常规的门限分割不能分出这种运动目标。在假定当前图 像与参考图像的杂波空问相关的前提条件下，我们可以采用自适应对消的方法解决这 个问题。 自适应对消的方法可以有效的滤除两帧图像中相关的背景，保留灰度发生变化的 部分。利用这种方法对低信噪比的小运动目标检测是很有效的。图2 4 给出了自适应 滤波器的框图： 1 0 参考输入：z o ) j 0 ) + p ，o ) 杂波+ 噪声1 图2 4 自适应对消法示意图 滤波器的参考输入可表示为杂波+ 噪声 杂波+ 噪声可表示为 z o ) 一s t , o ) + y 2 ) z o ) ，s o ) + v 。o ) 这里的噪声是有色噪声 u a 1 1 , j o - 1 ) 4 - v ( n ) i = l ，2 式中，- l a ； 1 ，v ( n ) 是方差为s 2 的零均值白噪声。背景是相关噪声 j b o ) 一a s 6 ( n 一1 ) + s ( n ) 式中a 为参数1 a 与z 0 ) 不相关，得到 弓，m2 ( ，1 ) 卜7 e l x ( n ) d ( n ) 一m 2 0 ) + z 2 0 ) 1 一，e 卜o m 0 ) 】 一，i + ( 一f ，)( 2 1 5 ) 1 2 式( 2 1 5 ) 中巴tq 0 7 中。一1 1 王0 是估计出的杂波加噪声的功率：巳是灰度变化部分的信 号功率：；e z 2 0 ) 1 是当前输入图像的杂波加噪声功率：只一巴则是杂波加噪声的 残留误差。由此可以得到输出信号的信噪比义帆 s c n r o = 匕必罡一兄)( 2 1 6 ) 根据定义，滤波器的输入信噪比s c 喂为 s c n r j 。己e( 2 1 7 ) 信噪比的改善因子f 斓c a t 式给出 j ，c = s c n r o s c n r i 一( 只一己)( 2 1 8 ) 由以上分析看出，m 总是大于1 的。同时我们也看到，w i e n e r 解需要有关杂 波和噪声协方差矩阵的先验信息，这在实际应用中是很少能得到的。在这样的情况下， 检测运动的最有效方法是采用自适应滤波器“1 。 在实际计算中，可以将图像矩阵化为一维矢量后采用递归的最小均方格形算法来 处理，下面介绍直接利用二维矩阵的算法。如图2 5 所示， 误差y ( i n ，n ) = o h ( m ，n ) 翻。且1 图2 5 二维矩阵自适应算法示意图 滤波器的计算是在像元x ( m ，n ) o c j 邻域内进行的，滤波器的输出为 z ，m , n ) 荟荟 ，讧咖- k , n - 1 ) ( 2 1 9 ) 式中，j 表示迭代次数。第j 次迭代后的余差信号为 y ，o n ，n ) ；d ( m ，1 ) 一z ，o n ，1 ) i 撕小荟荟础，) x ( m - k , n - i ) 2 加 在以上两式中，m 从0 到m 1 ，从0 到n 1 ，k 和l 分别表示计算邻域窗口x y 方 向的大小。当滤波窗口从左到右，自上而下的滑动时，迭代次数与当前像元的位置相 关 j ；m n + 弹n ，0 ，l ，n 一1 ；j 咒。0 ，1 ，一，肘一1 加权系数的调节利用了最陡下降法 w j + i ( 七，f ) iw i ( 女，f ) + ：! 缈j ( 聃，n ) x ( ，咒- k ，l f ) ( 2 2 1 ) 式中，u 为收敛因子，o l ，所以一总比只，大，这样使总比k t 大，这意味着使用这 种滤波算法，对新量测值的利用权重比使用卡尔曼滤波时的大，同时 j ：= ( i k ：h t ) 垂t j l 戈：一。+ 鬈：z k = ( i k ：h i ) j ；。- 1 + k ：z k 3 7 由于总l l k k 大，所以对以前的量测值的利用相对减小，这就降低了陈旧量测 值对估计值的影响。这种方法由于加大了对当前量测值的利用权重，从而增强了当前 量测值对估计值的修正作用，这样即使在系统方程不准确时也能较准确地估计系统的 状态。 4 3 2 平方根滤波 产生计算发散的另一个主要原因是计算中舍入误差积累导致p k 和墨i k - i 丧失非负 定性。最和置忆。丧失非负定性将使计算失墨真，从残差中提取的补偿信息越来越错 误，最后造成发散。在滤波过程中，平方根滤波就是不是计算只和只肛。，而是计算最 和丑肛，的平方根，从而使发散得到抑制。 由矩阵理论知，任意非零矩阵联m x 件) 与其转置矩阵l t 的乘积u = a ( 矗x n ) 是 非负定的。l 称为a 的平方根。如果在滤波计算中只对估计均方误差阵的平方根进行 计算，因为平方根矩阵是非零矩阵，所以就能保证均方误差阵只和只忆。一定是非负 定的。又因为任何正定矩阵都可作三角形平方根分解。所以p o t t e r 算法把均方误差阵 分解为下三角形平方根矩阵和其转置的乘积p = a 。c a r l s o n 算法把均方误差阵分解 为上三角形平方根矩阵和其转置的乘积p = u u t 。平方根滤波不但能保证均方误差阵的 非负定性，而且在数值计算中，计算平方根的字长只要计算均方误差阵的一半，就能 达到相同的精度。但是平方根滤波的缺点是计算量比标准的滤波计算量大出0 5 到1 5 倍。 ( 一) ：非负定阵的三角形分解 设n 阶方阵p 为任意非负定的对称阵，根据矩阵理论，p 可作下三角分解 p = 心 也可作上三角分解 p = u u 其中为下三角阵，即的非零元素仅位于主对角线及主对角线的左下方，主对 角线右上方的元素完全为零：u 为上三角矩阵，即u 的非零元仅位于主对角线及主对 角线的右上方，主对角线左下方的元素完全为零。 非负定阵的下三角分解：乔莱斯基分解法 设非负定阵p 为 p 暑 只。 足。 只。只：p 肺 p 的下三角分解平方根为： i 6 芷 6 2 6 。 则根据定义： 暑。墨： 巳易 兄 己 ，只：j 乙 6 i i 6 2 1d 趋 ，且p 为对称阵。 6 “6 ，2 6 。 巧l i 6 1 2 0 6 6 。l 6 。2 0 0 6 。 由于p 是对称阵，所以只须考虑下三角位置上的元b，a i 墨。= 既 只1 = 6 2 1 岛1 匕一6 三+ 6 三 b l = 6 3 l 玩1 己2 = 6 ”6 2 1 + 6 ，2 d 2 2 民= 6 三+ 6 三+ 6 三 c l = 6 。1 6 1 1 只2 = 6 1 6 2 1 + 6 。2 d 2 2 只3 = 6 町6 3 l + 6 2 6 3 2 + 6 。3 6 只。= 6 二+ 6 三+ + 6 三 吃乙 & 如 也以；以 从上述公式可归纳出如下通项公式 即 所以 弓4 荟叫庐 。荟屯 弓 最 气6 f a “。( 只一荛a ：) 2 i 一1 ，2 ，弹 ，一l 2 ，n ， l ( 二) ：平方根滤波的p o t t e r 算法 设系统方程和量测方程为： x i 一中k , k - i x + l i 吼一l z t h x i + k 式中和圪都是零均值白噪声，方差阵分别为q 。和凡，和圪互相独立。记 最一。 丘一i ”旧 式中。和m ，都是下三角矩阵a 1 平方根滤波的量测更新 ( 1 ) 量测为标量。量测为标量时，量测方程为 z t ；h t x t + k 式中e i v k 】；0 ，【嵋】= r t 根据卡尔曼滤波基本方程，有 ( 4 1 1 ) ( 4 1 2 ) + 2 i 艮 h v 角“x 白 k 。= 丘i 。h 。t 【h 。只j 。h j + q 】r 1 x 2 x m i - + k ( z t h k x i f ) 只互【，一k i i 】只。 由上式得 最= 墨k - 最k 一，h j 【h t 足日：+ r 】1h t 丑 耳和最分别用平方根形式表示之，则上式成 t 一。岫旧一a 。j , - 2 缱日；畔t a 。岫日j + 墨) 一h t 。 = 。i 。【i 一h f ( h t a t 岬+ 也) h 。a 。】旧 令 吼；，日j b t = ( 以a 。 + 见) 4 则 i 蟹- a 小一，【，一b k a 。口：】 令彳一刍t a i d t t = i j 一y t 口t 口t t i i b , y t a t 口：】7 式中y 为待定的标量。展开上式的右侧，得 ，一屯口i 4 ：= ，一2 r k a , a r + y ；口4 ；口4 t 即 j 一钆口i 口t t = ，一( 2 r i 一6 t r t 2 口t t 4 i ) 口t 口t t 比较上述各项，得 2 r i b k r 2 a 。t 口i 一1 又由式( 4 1 3 ) 和( 4 1 4 ) 叩t = h k a k ；* , 咖丢川t 所以式( 4 1 6 ) 可写成 2 ”哳；( 丢一r ) 1 1 ( 4 1 3 ) ( 4 1 4 ) ( 4 1 5 ) ( 4 1 6 ) 4 1 即 ( 1 - b k r t ) r l 一2 y t + 1 0 解得 r 。善 ( 4 1 7 ) 儿。雨 4 。 这样式( 4 1 5 ) 写成 t 缱一岬i t b k y t 口t 口；1 【，一阮y 。d 。口玎岫 因此有 i i l t - 1 1 - b , r t 口t 4 j 】 ( 4 1 8 ) 将式( 4 1 3 ) ，( 4 1 4 ) 代入滤波增益方程得 k k - - b , t a t ( 4 1 9 ) 所以式h 1 8 ) r n 以写成 t - i l i l r t 七i d ： ( 4 2 0 ) 综上所述，平方根滤波的量测更新方程为 a 。= 瓯。h j b k = ( h a l 岫h ：+ 曩) 。 1 7 。i + b k 瓜 k k = 钆a i j a i x t x t l t l + k t ( z k h k x t i t i ) t 。i i t 一1 一y k k k a ： 2 平方根滤波的时间更新算法 卡尔曼滤波的时间更新方程为： x t l i i = 中k ，t - z x i d 丑i 。；中t t - t 只一。中： 一。+ l 一。么一。t 。 求取五的平方根矗t 1 。，最直观的方法是直接按乔莱斯基法对只l h 作平方根分 解。 4 3 3 联合使用平方根滤波和衰减记忆滤波 前面论述了造成卡尔曼滤波器发散的原因有两个：第一，系统方程不准确或者陈 旧量测值的影响。第二，由于舍入误差的积累造成一步转移均方误差阵或估计均方误 差阵非负定性的丧失。为了抑制这两种原因造成的卡尔曼滤波器发散，我在这里把上 述两种抑制滤波器发散的方法结合在一起，用于估计人体的运动状态，这样在对人体 运动进行长时间监控时，卡尔曼滤波器能够正确地估计人体的运动状态，从而确保能 够正确地跟踪人体的运动“1 。 平方根滤波的本质是，求取一步预测均方误差阵和估计均方误差阵时，是通过求 取它的平方根得到的，所以我们联合使用这两种抑制滤波器发散的方法实质上是对衰 减记忆滤波使用平方根分解。 由前面论述可知，记忆衰减滤波方程为， x ：= m i 一，x 0 + 【z k h im t j 一1x ：一i 】 群= 一，研【也，研+ 凡】以 一i = m t j 一【f z l s 】由7 k j , 一1 + q n 巧= ( i k ：h 。) 巧 由前面论述的平方根滤波可知，组合方法的时间更新方程为 x ；j = 中t 彳：一】 - l = m i j 1 【j 艺l s 】m 7 l j 一1 + q 求取衰减记忆滤波的平方根滤波的量测更新方程与求取平方根滤波的量测更新 方程的方法是相同的，耳和硫一可以表示为， 砭= 醢畦 。= 越”啄。 那么，根据前面论述的平方根滤波的量测更新，可得衰减记忆滤波的量测更新方 程为， 拉：咄一。h ： k = ( h 。k i k - i 矗一。h ：+ r ) 。 1 y i 。了2 = 一 1 + x b ；r 4 3 k ：= k 茸一n ： j ：；譬：。+ ( z 。一h 。萱缸，) q ；k 。一y ：n ， 本文在下一节将使用上述组合的卡尔曼滤波方法，来进行人体运动的跟踪。 4 4 卡尔曼滤波在人体运动跟踪中的应用 所谓跟踪就是对于图像序列中的运动物体，我们可以提取它的某些特征，并且把 这些特征从一幅图像到另一幅图像匹配起来，这个过程叫做跟踪。如果把所有的这些 图像重叠起来，可以得到这个运动物体的运动轨迹，所以运动物体的跟踪也可以看作 是对运动物体运动状态的估计。 在人体运动跟踪中，我们可以根据从当前帧中量测到的人体位置，利用卡尔曼滤 波器对当前帧中人体的位置、速度和加速度进行估计，同时可以利用这个估计值对人 体在下一帧中的位置做出预测。选用跟踪人所用的窗口的对角点坐标作为跟踪的特征 点，但是人在走动或跑动时，不仅人的整体沿着某个方向存在运动，同时人体本身的 形状也存在着周期性运动，如果在视频图像序列中的人的图像是侧身位置的，那么随 着人手臂和腿部周期性运动，人体在图像中显示的面积也将出现周期性变化，所以使 用对角点作为跟踪的特征点有时不能正确地反映人整体真正的运动状态 1 5 1 。 虽然，人体存在着自身运动从而导致人体的形状和面积发生周期性变化，但是人 体的形状是对称的，所以人体的中心会沿着人体的运动方向稳定地平移。为了准确估 计人体的位置和人体运动的速度，我在这里选用人体的中心作为特征点，这样就避免 了人体形状周期性变化所造成的影响。为了减小计算复杂度，本文为每个人体设置了 两个卡尔曼滤波器用于估计人体的运动状态。一个滤波器用于估计人体中心x 方向上 的运动状态，另一个滤波器用于估计人体中心y 方向上的运动状态。 人体的运动状态可以由向量x 一，a ，s ，a ，) 其中s ，口，分别表 示人体中心在x 方向上的位移、速度、加速度，s 。，。a ，分别表示人体中心在y 方 向上的位移、速度、加速度。由于每个人体都使用两个卡尔曼滤波器分别对他中心的 x 方向、y 方向的运动状态进行估计，所以可以把向量x 分解为两个向量分别代表他 中心在x 方向和y 方向上的运动状态， x ，= ( s ， ，。口，) 。和x ，= ( s ，a ，) 1 。由于y 方向上的运动状态处理与x 方向上的处理是相同的，所以这里只讨论x 方向上的处理。 人体中心运动状态的系统方程为 巨，2 式中咒表示第k 帧时人体中心x 方向的位移，v 。表示第k 帧时人体中心x 方 向的速度，4 。表示第k 帧时人体中心x 方向的加速度。可以把上式写成矩阵形式， 时 。1 t ，料ti v 。- 一 i 仡。 o o1 i n 。7bj ， 由此得到系统的状态方程为 x 吐霉勺x 吐4 + r o 噍d 式中 m 一 1r 兰r 2 ， 0 1t 0 o1 由于0 。表示的是加加速度，所以可以把它看成是一个随机变量，在此处作为白 噪声处理。 在实际应用中，我们只能观测人体中心在图像中的位移，不能直接观测速度和加 速度，所以量测方程可以写为下述形式， f s n z 础i ( 1 。1 ：j + p i - s 吐+ p i 即量测方程的形式为 z t - h x d4 - y 其中h = ( 1 0 0 ) ，可以把量测噪声看作是白噪声。 可以看到，系统的状态方程和量测方程的形式与标准卡尔曼滤波器的状态方程和 量测方程的形式相同，所以可以用离散性卡尔曼滤波基本方程对系统的状态进行估 计，也可以利用防止卡尔曼滤波器发散的衰减记忆法和平方根滤波相结合的方程对系 统的状态进行估计。 叫貅。 如蚓2 ( i | 。) 式中z 。和z ，。是人体中心的x 和y 方向的量测值。两个卡尔曼滤波器的估计均 f 1 0 0 0 0 l 晶1 0 1 0 0 0 l 值对系统状态进行更新“”。 4 5 具体应用 图4 2 原始图像序列 如图4 2 所示，对于一个含有运动人体的图像序列，我们可以使用卡尔曼滤波器 对人体中心x 方向和y 方向的位移进行估计和预测，并且利用卡尔曼滤波器的估计 值和预测值进行人体跟踪。 如图4 3 所示是利用卡尔曼滤波方法对图4 2 中人体中心的运动状态进行估计， 得到的预测值和估计值与量测值的比较图。 羹 足 蚤 耄 差 搀 趔 - 足 钕 ) - 句 廿 蝗 _ 图4 3 对比图 试验结果表明使用防止卡尔曼滤波器发散的方法可以有效地抑制发散的产生，使 预测值稳定在量测值的附近。 5 1 试验条件 硬件配置： c p u ： 内存： 硬盘： 显示器： 主板： 第五章仿真实验 p e n t i u m ( r ) 4 3 0 0 g h z 1 0 0 g b 1 6 0 g b 1 7 寸显示器 i n t e r i9 4 5 主板 图像采集设备：良田摄像头、自制c m o s 相机 软件配置： 操作系统：w i n d o w sx p m a t l a b6 5 5 2 实验结果 图5 1 是一些视频原始帧。 图5 1 原始图像 图5 2 是通过用本文算法对视频图像进行处理后的结果图。其中图( a ) 为本文背景 提取算法提取的背景图，图( b ) 是前景图，图( c ) 是二值化效果图，图( d ) 是后处理结果 图，( e ) 是轮廓图，( f ) 是跟踪窗口。 图5 2 后处理 对图中a ，b 做背景差分算法，之后做二值化处理( 具体阈值选取方法参见第三 章3 1 1 ) ，之后对图像c 做形态学处理，主要是开、闭运算( 具体方法参见第三章 3 1 - 2 ) ，之后提取边缘轮廓( 详见第三章3 2 1 ) ，之后根据轮廓图得到跟踪窗 口，跟踪窗口就是能包围住某一运动目标连通区域的最小包围矩形框( 具体选取方法 详见第三章3 2 2 ) ，最后对窗1 ：3 进行跟踪，本文的跟踪算法主要是利用卡尔曼滤波 进行预测跟踪，在第四章主要介绍了卡尔曼滤波算法，并得到了跟踪效果图，如图4 3 ， 实现了较好的跟踪效果。 结论 数字监控技术功能越来越强，在人们生活中发挥的作用越来越大，使用也越来越 广泛。本文对数字监控系统的跟踪问题进行了深入的研究。 本文研究了基于固定摄像头的视频运动目标检测和跟踪算法，主要从人体的检 测、检测结果分析以及人体跟踪三个方面作了研究。 在运动目标检测方面，在对当前的目标检测和提取算法进行了分类基础上，重点 分析了静态背景下的背景差分算法。在检测结果分析部分主要利用形态学的算法进行 处理。在运动目标跟踪方面，首先给出了当前常用的各种目标跟踪算法，并对各种跟 踪算法加以分析。之后提出利用离散卡尔曼滤波进行跟踪的方法，实验证明该方法能 较好的解决目标的跟踪问题，达到了很好的跟踪效果。 本文也存在一些缺点和不足，文中的前景运动区域检测算法是单纯使用背景差分 的方法，在后续的研究中应该探索联合使用其它的前景检测算法进行更准确的前景检 测。跟踪部分中，在形成人群后，本算法还不能在人群中确定人体之间的遮挡关系， 从而不能在人群中跟踪人体的运动，在以后的研究中应该充分利用人体的各种信息探 索在人群中进行人体跟踪的方法。 人体的检测与跟踪是人体运动分析的重要组成部分，有着广泛的应用前景，尤其 对安全监控有着重要的应用价值，这也促进