基于动态图像处理的可疑行为分析

浙江工业大学本科毕业设计论文1本科毕业设计论文题目基于动态图像处理的可疑行为分析作者姓名毛利洋指导教师王宪保讲师专业班级电子信息工程0902学院信息工程学院提交日期2013年6月12日浙江工业大学本科毕业设计论文2第1章绪论11课题研究背景及意义随着动态图像处理技术的发展，对人的行为分析技术也日渐完善。作为近年来计算机视觉领域最活跃的研究方向之一，这项技术在未来有着非常高的商业价值和广泛的应用前景，很多研究机构、学校以及公司的科研人才都加入到研究行为分析的行列。法国国家信息与自动化研究院INRIA、英国雷丁大学、中科院、北京大学、清华大学、浙江大学等都对人的行为分析做了深入研究。12课题主要研究内容基于动态图像处理的可疑行为分析主要可以分为以下三大块内容目标提取，运动跟踪和目标行为分析。首先目标提取这一步的基本内容是利用动态图像处理的知识从图像序列中提取出运动的前景。本课题采用一种自适应的混合高斯模型背景减除法提取目标。运动跟踪这一步的基本内容是实现对运动目标的跟踪和轨迹生成。这一步非常的关键，后续的行为分析是直接以跟踪的数据为基础的。本课题是利用MEANSHIFT实现简单背景下的单目标跟踪，然后实现简单背景下的多目标跟踪。同时，引入KALMAN滤波器一定程度上解决遮盖的问题。目标行为分析这一步的基本内容是对目标的行为进行分析并判断其是否可疑。对于人的行为本课题使用两种方法进行分析。本课题将摔倒视为异常行为，并采用以目标宽高及其宽高比为特征的支持向量机SVM实现可疑行为分析。浙江工业大学本科毕业设计论文3第2章运动目标检测运动目标检测作为整个行为分析过程的第一个步骤，后续的目标运动跟踪以及行为理解与描述都是在其基础上实现的。它的目的是在视频序列中找到每一帧图像中运动目标的区域，并将其与背景分离开来，作为后续跟踪和行为分析的特征区域。其技术难点就在于如何快速高效地找到运动目标区域。本文采用的是利用自适应的混合高斯背景模型的背景差分法。自适应的混合高斯背景建模及更新211自适应的混合高斯背景模型的构成在混合高斯背景模型中，每个像素点用个高斯分布混合表示。此时点,在时刻为背景的概率公式为式21。PX,Y,X,Y,121其中为混合高斯背景模型中高斯分布的个数；,为时刻第个高斯分布的权重，同理，,为均值，,为协方差矩阵；为高斯分布的概率密度函数，具体公式如式22。X,Y,12/2|1/212X,YTX,Y22在时刻当前帧像素X,Y和与其对应的按,大小排列好的个高斯分布匹配，如式23|,1|1126212自适应的混合高斯背景模型的初始化因为在背景中同一点被灰度不变的目标一直遮盖的可能性很小，进而连续取几帧作帧间差分，统计差值在阈值3内的次数，将次数最多和次多的像素值平均后，作为初始的背景值。帧间差分如式27所示，,为时刻点,的像素值。,1,27初始化的步骤1读入第1、4、7和10帧的视频图像，分别两两差分后，统计差值出现在阈值3内的次数。2遍历找出最大值和次大值。3将和对应的像素值取平均就可以得到该点初始背景值。213自适应的混合高斯背景模型参数的更新背景模型参数的更新是为了适应背景的变化，维持背景的稳定。对于混合高斯背景模型而言，高斯分布个数和学习率和的更新是关键。观察式24，可以发现学习率由学习率决定。为了简化操作，将像素点的邻域信息考虑进来之后，可以将X,Y|,简化为/,，这样可以大大减少计算时间。模型更新步骤如下1高斯分布初始化与匹配。2对于与任一高斯分布都不匹配的像素点，便新增一个均值为当前像素值，方差为30，权重为0001的高斯分布。浙江工业大学本科毕业设计论文53对于存在高斯分布与其匹配的像素点，采用四邻域的方法在线更新参数。22运动目标具体提取步骤以上几节都是在介绍运动目标检测的相关算法，在本节将详细说明一下运动目标提取的具体过程。如图21所示，输入一段视频，首先对视频做一些预处理，将RGB图像转变为单通道的灰度图像；然后读入数帧视频，两两差分后完成混合高斯背景模型的初始化，获得背景图像；接着将当前帧与背景帧做差分，获得粗略的前景图像，并且计算当前帧与背景帧之间相似度；根据相相似度更新模型的学习率，进而更新背景模型。取得的粗糙的前景图像首先通过人工给定的阈值进行阈值分割；然后通过先腐蚀后膨胀的数学形态学方法，消除一部分噪声，改善运动目标的连通性，最终获得较为良好的运动目标二值图像。图21运动目标检测的具体步骤（混合高斯背景模型为例）23实验结果分析根据如图21的流程图，对此方法进行了测试。作为对比，本文采用基于运行平均值的中值滤波背景减除法和三帧帧间差分法也用同样的视频做了实验。实验中自适应混合高斯背景模型的初始参数如下高斯分布个数5，学习率0001，方差230，权重0001。实验结果如图22和图23所示。输入视频视频预处理背景减除并计算相似度混合高斯背景建模更新学习率运动目标图像阈值分割数学形态学处理当前帧背景帧粗糙的前景浙江工业大学本科毕业设计论文6A原图B三帧差法C中值滤波法D本文方法图22汽车经过检测对比图A原图B三帧差法C中值滤波法D本文方法图23行人经过检测对比图浙江工业大学本科毕业设计论文73运动目标跟踪运动跟踪这一步的基本内容是实现对运动目标的跟踪和轨迹生成。这一步非常的关键，后续的行为分析是直接以跟踪的数据为基础的。本课题采用MEANSHIFT实现多目标跟踪。同时，引入KALMAN滤波器一定程度上解决遮盖的问题。31MEANSHIFT算法MEANSHIFT算法，又可以叫做均值漂移算法，是一种基于概率密度梯度函数的估算方法，在聚类、图像分割和跟踪等方面都有应用，本文主要介绍其在跟踪当中的实现。MEANSHIFT的计算是一个迭代的过程,即先算出当前点的偏移均值向量，再将该点按此偏移均值向量移动，得到新的起始点，继续计算偏移均值向量并移动直至满足条件收敛。对应到跟踪的情况，就是以目标的某个特征为基准（以颜色直方图为例）计算偏移向量，迭代地将目标的重心移动到下一个位置。具体步骤如下1给定目标的初始位置和尺寸,计算目标在图像中的直方图；2输入新图像,迭代直到收敛；迭代过程STEP1计算图像上对应区域的新直方图；STEP2新直方图与目标直方图比较,计算权重；STEP3根据权重,计算图像上对应区域的形心/质心；STEP4根据形心,修正目标位置；返回STEP1继续。32MEANSHIFT与KALMAN滤波器结合的跟踪算法在使用MEANSHIFT方法跟踪时，主要依靠的是直方图来确定目标的，这在背景变化不大的场合，跟踪单一目标的效果很好。但是如果在背景突变或是在有遮挡的情况下，MEANSHIFT所得到的直方图是不可信的，在这种情况下继续使用此直方图进行跟踪的话，最直接的情况就是目标丢失或是目标错跟。这时候，为了提高算法的鲁棒性，本文引入了KALMAN滤波器作为MEANSHIFT的补充，即在发生遮盖时放弃使用MEANSHIFT转而使用对遮挡有很好鲁棒性的KALMAN滤波器进行目标的估计和跟踪。具体的流程图见图31。浙江工业大学本科毕业设计论文8设定一个判别条件，当满足某个条件时，认为MEANSHIFT还是有效正确的，此时KALMAN滤波器的初始测量值为MEANSHIFT的跟踪结果，KALMAN滤波器的作用是辅助滤波，使得MEANSHIFT计算更平滑，最终跟踪结果还是由MEANSHIFT给出。当不满足某个条件时，认为MEANSHIFT的结果不可信，此时舍弃MEANSHIFT，将KALMAN滤波器作为预估器使用，即无视MEANSHIFT跟踪的结果，将当前帧的预测值|1作为KALMAN滤波器的初始测量值，如此一来，运动目标被看作保持当前运动状态继续运动。图31KALMAN与MEANSHIFT混合算法在此，MEANSHIFT预测出的目标区域和跟踪目标的对应区域的对比相似度作为的判别标准。反映的是当前目标前景与背景分布的改变情况。当值在某个范围内，认为当前目标前景与背景分布的改变不大，判定MEANSHIFT有效，此时MEANSHIFT预测的结果经过KALMAN滤波器滤波后重新进入MEANSHIFT中。当在该范围，认为当前目标前景与背景分布的改变很大，MEANSHIFT失效，此时启用KALMAN滤波器作为预测器，不再使用MEANSHIFT的结果。经过实验，MEANSHIFT有效的的范围为05,15时跟踪效果不错，范围过大导致MEANSHIFT失真，范围过小则无法发挥MEANSHIFT图像匹配的功能。33实验结果分析选取了中科院的CIASA行为数据库中的一段侧面视角的两人相遇的视频对此算法进行测试，如图32所示。当两人未相遇时，按各自的MEANSHIFT跟踪，读入视频MEANSHIFT跟踪目标检测KALMAN滤波MEANSHIFT跟踪KALMAN预估跟踪结果NY浙江工业大学本科毕业设计论文9当两人相遇时转化为KALMAN跟踪，在分开后又继续用MEANSHIFT跟踪。从图中不难看出，当两人相遇时，两人的跟踪框依然是各自跟踪目标的，据此可以说明，KALMAN与MEANSHIFT混合算法在一定程度上可以有效的处理遮挡的情况。图32KALMAN与MEANSHIFT混合算法测试浙江工业大学本科毕业设计论文104运动目标的可疑行为分析本文采用的是中科院的CASIA行为分析数据库，定义跌倒FALL为可疑行为，其他均视作正常行为。对于常见的6种行为行走WALK、跑RUN、俯身前进BEND、跳JUMP、下蹲CROUCH和跌倒FALL，本文通过分析这些行为的侧面运动信息，利用目标最小外接矩形的宽、高及其比值作为识别特征，对这些特征用支持向量机训练分类器，最后用支持向量机分类器进行可疑行为的分析。41运动目标特征的选取本文选择的是形状特征，因为本文研究所用的视频均是以单一视角在简单背景下拍摄的，利用本文的自适应的混合高斯背景建模的方法提取的运动人体目标的二值图像可以很好的包含目标的运动信息。对比每种行为的关键帧可以发现，走、跑、跳跃和俯身前进的关键帧是周期变化的，而下蹲和跌倒不是。这两种行为在前几帧很相似但在后两帧宽高比例不同。将各个行为的关键帧中的目标宽高及其比值放在“宽度高度宽高比”构成的坐标空间中，仿真如图41所示。通过图41可以看出，各个行为的宽、高和宽高比是非线性分布的，所以对使用宽、高和宽高比作为混合特征的行为分析中，很好的支持非线性分类的支持向量机理论是很好的选择。图41运动人体特征分布模型42基于支持向量机的可疑行为分析本文用作训练的特征是运动目标的最小外接矩形的宽高及其比值。利用SVM训练分类器并进行可疑行为分析。流程图如下浙江工业大学本科毕业设计论文11图42基于SVM的可疑行为分析流程本文的实验是基于OPENCV220及VISUALSTADIO2010环境下进行的。首先是基于自适应的混合高斯背景减除法获得目标的二值图像。从二值图像中读取目标的长宽及其比例关系，并按时间顺序将这三个数据作为特征记录在XML文件中。然后通过用OPENCV自带的CVSVM读取XML中的特征记录训练SVM分类器，获得一系列行为的SVM分类器。最后利用训练得到的SVM分类器对其他一些待测视频进行了可疑行为分析，对于其他行为只在面板上显示正常，而出现跌倒动作时会显示异常。43实验结果分析本文针对跌倒这一行为用支持向量机训练了分类器，并用其对跌倒、跑步，跳跃，走路、蹲下和俯身前进的视频进行检测。当出现跌倒时，显示异常；当其他行为时，显示正常。结果见图44。A跌倒识别为异常B走路识别为正常开始读入视频提取运动特征训练SVM分类器多分类器级联可疑行为分析结束浙江工业大学本科毕业设计论文12C跑步识别为正常D跳跃识别为正常E俯身前进识别为正常F蹲下识别为正常图44各类行为分析结果浙江工业大学本科毕业设计论文135基于团块跟踪系统BLOBTRACK框架的可疑行为分析系统团块跟踪系统BLOBTRACK构架是OPENCV视觉库自带的一种目标跟踪框架。其基本结构如图51所示,包含前景处理模块FGDETECTOR、团块检测模块BLOBDETECTOR、团块跟踪模块BLOBTRACKER）、轨迹生成模块TRAJECTORYGENERATIONMODULE、轨迹后处理模块（TRAJECTORYPOSTPROCESSINGMODULE）、团块分析模块BLOBTRACKANALYSIS和流程处理模块AUTOBLOBTRACKER七个模块。每个模块都提供了纯虚函数以便于开发者开发自己的跟踪系统。图51团块跟踪BLOBTRACK的基本结构考虑到可疑行为分析系统各项技术的实际需要，本文主要做了以下改动1重构前景处理模块，将本文提出的自适应的混合高斯背景模型背景差分方法添加到系统中去。2重构了团块检测模块，按如下方法检测新的团块。STEP1对前景图像取轮廓，将所有轮廓存入轮廓序列CNT_LIST中。STEP2对每一个轮廓取其最小外接矩形，将外接矩形相交或是中心距离小于特定值的轮廓分成一组。STEP3分别对每一组轮廓取最小的外接矩形，此矩形区域即为团块区域。STEP4去除过大或过小的矩形，并去除与团块列表中已有团块重叠的矩形，此时，剩下的矩形区域即为新的团块，将其加入到团块列表中。浙江工业大学本科毕业设计论文143重构团块跟踪模块，将KALMAN滤波器与MEANSHIFT结合一并写入团块跟踪模块中，这样可以一定程度上解决遮盖的问题。4在轨迹生成模块中加入了特征提取功能，即在生成并储存轨迹时，计算团块的长、宽及他们的比值，储存到另一个XML文件中，用来训练SVM分类器。5重构了团块分析模块，将SVM可疑行为识别代码整合分析模块中。利用上述改动后的BLOBTRACK代码结合MFC在VISUALSTADIO2010上生成演示程序，效果如图53。图53实际演示效果图浙江工业大学本科毕业设计论文156结论基于动态图像处理的可疑行为分析在未来社会有着很好的应用前景，是目前计算机视觉领域一个研究热点。本文从目标检测、目标跟踪和目标可疑行为分析三方面对基于动态图像处理的可疑行为分析进行了讨论。在目标检测方面，本文提出了基于邻域像素的自适应混合高斯背景模型，并结合背景减除法成功