第二章 运动目标监测和跟踪.doc

第二章 运动目标监测和跟踪2.1运动目标检测 运动目标检测(Motion Detection)是指在输入视频图像中判断与背景图像相比是否存在相对运动的前景目标和物体，并根据灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立目标。 在实际应用中，一个好的运动目标检测算法，通常应该具有以下几个特征【12】： 不受环境的变化(如天气和光照变化等)而影响结果； 不受背景中个别物体的运动(如水波、风吹树动等)而影响结果； 不受目标及背景中的阴影而影响结果； 对复杂背景和复杂目标仍然有效； 检测的结果应满足后续处理(跟踪分析)的精度要求； 图2-1描述了检测算法的一般流程图。常见的运动目标检测算法有：帧间差分法、背景差分法及光流法等，以下将分别进行介绍。 Fig.21Flow chart of detection algorithm2.1.1帧间差分法 帧间差分法23-241就是将视频序列中相邻的两帧或几帧做象素域上的减法运算，以得到帧间的不同图像的信息。在摄像头固定的情况下，对连续的图像序列中的相邻两帧图像采用基于像素的帧差法来提取图像中的运动区域，设k帧和第k+l帧(或者看做时刻)采集到同一背景下的两幅运动图像的灰度值为，则差分图像的定义为： （2.1） 对上式的差分结果进行阈值处理，就可以提取出运动物体。对差分图像二值化，当某一像素的灰度值大于给定阈值T时，认为该像素为目标像素，即该像素属于运动目标；反之，则属于背景。这一步的目的就是为了区分背景像素和目标像素，得到： (2.2)其中，l表示前景像素值，0表示背景像素值。 然后再对进行连通性分析，就可以得到连通区域的面积。当某一连通区域面积大于预定值时，则认为该区域属于同一个运动目标。 帧间差分法实验如图2-3，在实验时由于第100帧图像与101帧图像相差不大，因此改采用第102帧图像与100帧图像进行差分。 显而易见，在帧间差分法中阈值的选择非常关键，这是因为阈值过低则不能有效地抑制图像中的噪声，阈值过高将误判图像中有用的变化。阈值选择分为全局阈值和局部阂值，通常图像不同光照区域引起的噪声也不相同，因此采用局部阈值能更好的抑制噪声。 帧间差分法进行目标检测的主要优点是：算法实现简单；实现程序设计复杂度低；易于实现实时监视；基于相邻帧差方法，由于相邻帧的时间间隔一般比较短，因此该方法对场景光线的变化一般不太敏感。 最基本的帧间差分法可以检测到场景中的变化，并且能够提取出目标，但是在实际应用中，帧问差分法的结果精度不高，难以获得目标所在区域的精确描述。当运动目标的运动速度较快时，实际检测时可能会将一个运动目标误为两个运动目标：当运动目标速度较慢时，会在检测结果中造成空洞，这是由于运动目标的颜色或灰度在一定区域内较均匀。在实际应用中我们总希望下一步进行目标跟踪中，提取的目标尽量接近目标的真实形状，也就是说，我们提取的目标应是完整的，同时也应该是尽量少地包括背景像素点。但是般情况下广泛应用该算法时对两帧间目标的重叠部分也是不容易被检测出来的，即只检测出目标的一部分或者出现了较大比例的空洞，这是由于我们直接用相邻的两帧相减后，保留下来的部分是两帧中相对变化的部分，所以两帧间重叠的部分就很难被检测出来。 为了获得两帧重叠的部分图像，解决相邻帧差法存在的问题，人们在其基础上又提出了一种三帧差分法。该方法需要提取连续三帧图像来计算两个差分图像，再令这两个差分图像的对应像素相与，从而可以提取出运动目标。设连续三帧视频图像分别为则三帧差分法检测流程如图24所示。2.1.2背景差分法 背景差分法【25】【26】是目前视频监控中最常用的一种方法，它的基本思想是将输入图像与背景模型进行比较，通过判定灰度特征的变化，或用直方图等统计信息的变化来判断异常情况的发生和分割运动目标。传统的背景差分算法包括三大步骤：首先，为背景中每个象素进行统计建模；然后将当前图象和背景模型进行比较，找出一定阈值限制下当前图像中出现的偏离背景模型值较大的那些象素，据此，再对图象进行二值化处理，从而得到前景象素集合(运动目标)；此外，模型还要进行周期性的背景更新以适应动态场景变化。背景差分法算法具体如下： 计算视频序列中当前帧五与背景瓯的差值，得到差分后的图像： （2.3） 对差分图像进行二值化，当某一像素的灰度值大于给定阈值T时，认为该像素为目标像素，即该像素属于运动目标；反之，则属于背景。这一步的目的就是为了区分背景像素和目标像素，得到 （2.4）其中，1表示前景像素值，0表示背景像素值。 对进行连通性分析，就可以得到连通区域的面积。当某一连通区域面积大于预定值时，则认为该区域属于同一个运动目标。采用背景差分法的实验效果如图2-6所示。 背景差分法的优点是其原理和算法设计简单、检测速度快、能够得到比较精确完整的运动目标信息，如位置、大小、形状，但是运算量大，且通常会遇到如下一些问题： 背景获取：背景图像的获取最简单的办法就是在场景没有任何运动目标的情况下进行拍摄，但是在实际应用中较难满足这种要求，如对公路和城市效能的监控等，所以需要一种方法就能够在场景存在运动目标的情况下获得真实“纯净”的背景图像。 背景的扰动：跟帧间差分法相同，当背景中含有轻微的扰动对象(如树枝、树叶摇动，水波等)，扰动部分很容易就被误判为前景运动目标。 外界光照条件的变化：一天中不同时间段光线、天气等的变化对检测结果的影响。 背景中固定对象的移动：背景里固定对象可能移动，如：场景中的一辆车被开走等，对象移走后的区域在一段较短的时间内可能被误认为是运动目标，但不应该永远被看做是运动目标。 前景运动目标长久停留在背景中：前景运动目标可能长久停留在背景中，如：城市交通中的红灯时间，智能小区的车库监控中车辆入库等，当原来的运动转为静止之后的一段短时间内可能被误认为还是运动目标，但不应该永远被看着是运动目标。 背景更新：背景中固定对象的移动、前景运动目标成为背景中的长久停留物或者外界光照条件的变化等因素都会使背景图像发生变化，需要引入恰当的背景更新机制才能达到合理检测的目的。 由此可见，背景差分法的难点在于如何建立背景模型和维持背景，以适应实际环境中的变化。常用的背景估计方法有如下几种。 1基于自适应的方法 即通过使用自适应方程，对图像序列加权平均，生成一个近似背景。这种方法通常在目标移动比较迅速的场景中十分有效。但是当场景中存在移动缓慢的物体时，检测效果较差。同时它不能检测双峰背景。当背景中有物体移入、移出时，背景恢复十分缓慢。常有的该类方法包括：(1)均值背景法 将最近捕获的N帧视频图像的平均值作为当前背景。这种方法在监控场景不是很复杂、且场景中存在的变化较少时检测效果较好。(2)中值背景法 即记录最近N个象素值，用这N个值的中值作为背景；(3)自适应变化检测生成背景的方法 首先使用帧差法检测场景中的变化区域，在确定变换区域后通过自适应算法更新背景；在VSAM系统中通过对图象序列中的当前背景和当前帧加权平均，自适应地生成背景。(4)基于Kalman 滤波器理论的背景生成方法 文献【36】提出了一种基于Kalman滤波理论的渐消记忆递归最小二乘的背景重建算法，它适用于背景变化较慢的视频场景。它将运动目标视为对背景的随机扰动，应用Kalman滤波器在零均值的退化公式，即渐消记忆递归最小二乘法来更新和重建背景。 2.基于分布模型的方法 (1)参数模型 即根据数据找到一个与之匹配的已知概率模型。具体过程就是根据已知的一系列数据和参数为的分布，找到参数的最优估计，这样就能得到估计概率密度函数。这种方法的优点是，可以只用几个参数就能描述出整个概率分布，将大量数据压缩成几个简单的参数，用参数代替概率密度函数。但是参数概率估计信赖于模型形式，必须事先知道这一级数据服从何种概率模型，即必须知道这组数据的潜在概率模型的先验知识。如果概率模型假设不正确的话，概率估计将产生偏差。 由于视频监控场景在大多数情况下服从高斯分布，所以常用高斯模型的方法。这种方法基于这样的假设：场景中任一点在某一段时间内的观测值都服从正态分布，故可使用该点的均值和协方差矩阵来描述这个点的统计特性。如果x点在t时刻的分布模型是(T为阈值概率)，则该点可被判定为前景点；否则判定为背景点，同时可称匹配。 模型的更新是在每一帧新图像捕获后，通过一定方法自适应的更新模型参数实现的。通常的更新公式是： 其中是更新速率。是0到1之间的常熟，其取值的大小体现了模型对背景适应的快慢。 (2)非参数模型 这种方法不需要假设先验的概率密度函数，也不需要设置参数，而是从数据点中直接得到概率密度的估计函数。所以这种方法就是依据数据本身的结构来得到概率密度函数。 非参数的方法不像参数的方法那样依赖于模型的选择和参数估计，它更加适用于概率分布未知的一般情况下的问题。常用的方法有直方图法，核估计法，具体就是基于核估计的统计模型法。2.1.3光流法 光流【13】(Optical Flow)是空间运动物体在被观测表面上的象素点运动的瞬时速度场。光流场是通过二维图像来表示物体点的三维运动的速度场。由Horn和Schunk在80年代早期建立的“光流分析法是数字视频处理领域中二维运动估算的重要方法。其研究对象是二维运动(或者称为投影运动），即为真实世界中的三维运动以透视或正交的投影方式在图象平面上形成的“视觉运动，这一运动对应着图象中不同目标的相对位置改变，也就对应着图象前后帧相应位置灰度的改变，Horn与Schunk将图像平面特定坐标点上的灰度瞬时变化率定义为“光流矢量。这样就导致了光流法的一些根本性缺陷：在某些情形下，图像中视频目标的运动不能反映为灰度的变化，如单色圆球绕其直径自转；另外，图像中光源的运动而不是视频目标的运动也会导致灰度的变化，而这些都不是光流分析所能隔离或屏蔽的。但就大多数现实世界的投影运动而言，光流分析是有效的估算方法。而且，运动估算研的是“视觉运动”而非真实运动，所以可以对任何与图像亮度变化无关的运动不予考虑。因此，光流场是一个二维矢量场，它包含的信息即是各象素点的瞬时运动速度矢量的信息。从光流的定义可以看出，由于光流有如下三个要素：一是运动(速度场)，这是光流形成的必要条件；二是带光学特性的部位(例如有灰度的象素点)，它能携带信息；三是成像投影(从场影到成像平面)，因而能被观察到。光流在视觉运动中的研究中有非常重要的作用。视觉运动分析就是研究如何从变化着场景的一系列不同时刻的图像中，提取出有关场景中物体的结构、位置和运动信息。 Horn的光流计算基于如下两个假设21：(1)图像上的任何一点在t时刻所观测到的亮度在时间间隔出内是恒定不变的；(2)图像上任一点都不是独立的，光流在整个图像范围内平滑变化。 假设在时间t，图像中坐标为(x,y)的像素，其灰度为，经过时间后，这一点运动到，其灰度为。因为这两个位置对应的实际上是两个不同时刻的同一个点，因此我们可以假设他们的灰度不变（既满足灰度守恒），则有： (2.7) 如果认为灰度随的变化是平滑，连续的，则将上式的右边用泰勒级数展开，得 (2.8)其中，e包含的二次和高次项。 经过化简和约去二次项，得 （2.9） 记，可得光流场的基本方程： （2.10） 记光流场，其写成梯度形式： （2.11） 由于光流场有两个变量，而基本等式只有一个方程，因此只能求出光流场沿梯度方面上的值，而不能同时间求出光流场的两个速度分量u和v。这就是说从基本等式求解光流场是一个不适定问题。为了解决光流场计算不适定问题的方法，还需要加入另外的一些约束条件，从而使方程有解。例如Horn等人依据同一运动物体引起的光流场应该是连续的、平滑的，即同一物体上相邻点的速度是相似的，那么其投影到图像上的光流变化也应该是平滑的这一特点，提出了一种利用加在光流场上的附加约束，即整体平滑约束来将光流场的计算问题转化为一个变分问题。 光流法的优点21在于光流不仅携带了运动目标的运动信息，而且还携带了有关景物三维结构的丰富信息，它能够在不知道场景任何信息的情况下，检测出运动对象。但是光流法需要较高的图像帧采样率，而且大多数光流的计算耗时，实时性和实用性都较差。另外，由于算法涉及偏微分，因此抗噪性能比较差。2.2运动目标跟踪 运动目标跟踪(Motion tracking)主要是针对一段视频序列，实现对运动的实时跟踪，记录目标的运动轨迹，为后面的目标行为分析提供依据。如何对目标进行高效的模式匹配以及如何有效的适应目标自身的运动变化、排除场景干扰，是一个优秀的跟踪方法必须解决的两个关键问题。这两个问题反映到跟踪算法的性能上就是算法的实时性和稳健性。目前比较常用的运动目标跟踪方法包括以下几种，下面分别进行介绍。2.2.1基于区域的跟踪 基于区域匹配的跟踪方法(Regionbased tracking)就是把图像中运动目标的连通区域的共有特征信息作为跟踪检测的一种方法。在连续的图像中有很多种区域信息，如颜色特征、纹理特征等。这种方法不需要在视频序列的图像中找到完全相同的特征信息，通过计算区域的原始目标之间的相关性来确定跟踪目标的位置。基于区域的跟踪方法我们可以选取整个区域的单一特征来实现跟踪，但是实际跟踪过程中单一的特征不太好选择，所以一般采用运动目标的多个特征来进行跟踪。 例如：Wren用小区域特征进行室内单人的跟踪9。该方法将人体看作由头、躯干、四肢等身体部分所对应的小区域块的合体，利用高斯分布建立人体和场景的模型，属于人体的像素被归属于不同的身体部分，通过分别跟踪各个小区域块最终完成对整个人体的跟踪。2.2.2基于轮廓的跟踪 基于轮廓的跟踪方法(Contourbased tracking)的思想就是利用运动目标的边界轮廓作为轮廓模板，因为运动目标边缘特征能提供与运动方式、物体形状无关的目标信息，在后继帧的二值边缘图像中跟踪目标轮廓，并且该轮廓能够自动连续地更新。近年来发展很快的两种轮廓匹配的跟踪算法是主动轮廓线跟踪算法(snake)和基于hausdorff距离的轮廓跟踪算法。Peterfreund10则采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体。相对于其它的跟踪算法，基于轮廓的跟踪方法具有计算复杂度低的优点，如果开始时能够合理地分开每个运动目标并实现轮廓初始化的话，即使在有部分遮挡存在的情况下也能连续地进行跟踪，然而实际中初始化通常是很困难的。2.2.3基于模型的跟踪 基于模型的跟踪方法11(Modelbased tracking)是通过摄像机和监控场景的几何学知识，将一个有精确几何开关的三维模型投影成图像，根据图像中的位置变化来进行跟踪。目前主要涉及对人的跟踪应用，例如对人建立纸板模型(四肢、躯干等)进行匹配。以人为例，传统的人体表达方法有线图法、二维轮廓、立体模型等。基于运动模型跟踪方法的显著优点是即使在环境复杂的情况下，利用模型知识的结果，就可以较好地得到跟踪结果。但是这种方法的最大缺点就是计算工作量太大，实时性差，不太实用。2.2.4基于特征的跟踪 基于特征的跟踪方法8(Featurebased tracking)不考虑运动目标的整体特征，即不关心目标物体是什么，只通过目标物体的一些特征如目标的形状、面积、颜色、位置等信息来进行跟踪。采用基于特征的跟踪方法时主要包括特征的提取和特征的匹配两个过程。在特征提取中要选择适当的匹配特征，并且在下一帧图像中提取特征；在特征匹配中将提取的当前帧图像中目标的特征与特征模板相比较，根据比较结果来确定目标，从而实现目标的跟踪。最常用的基于特征的跟踪方法就是计算目标的质心位置，将相邻两帧中质心距离最近的目标看作是同一目标，从而完成跟踪。基于特征的方法比较简单，不受目标整体的影响，可以解决部分遮挡问题，跟踪方便，特征的选择和特征的提取效果是影响算法性能的关键。缺点就是伴随着复杂运动，刚体运动目标的特征提取就会产生困难，特别是在运动初始化的时候。2.2.5基于粒子滤波的跟踪 所谓滤波，就是从带有干扰的信号中得到有用的信号的准确估计值。滤波理论就是在对系统可观测信号进行测量的基础上，根据一定的滤波准则，采用某种统计最优的方法，对系统的状态进行估计的理论和方法。粒子滤波算法37-38(Particle Filter)是一种蒙特卡罗(Monte Carlo)仿真求解贝叶斯概率的实用算法，主要解决非线性非高斯的问题。它的核心思想就是用一些离散的随机采样点(粒子)来近似表示目标状态变量的后验概率密度函数。所谓粒子，是描述目标状态的一种可能性(一个点)，滤波就是要滤出目标最可能的状态，在估计理论也指由当前和以前的观测值来估计目标当前的状态。在目标跟踪问题中，可以将位置视为目标的状态，也可以将位置、速度、加速度等视为目标的状态。 粒子滤波原理的实质就是利用一系列随机抽取的样本(粒子)，来代替状态的后验概率分布，当粒子的个数变得足够大时，通过这样的随机抽样方法就可以得到状态后验分布的很好近似，所以粒子滤波也是一种次优估计。在实际跟踪中的粒子滤波器的实现算法如图2-7。 粒子滤波器