数字图像处理课程设计

1、1设计目的数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法：增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力：尝试所学的内容解决实际工程问题，培养学生的工程实践能力。运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算

2、机性能的不断提高，动态图像处理技术口益受到人们的青睐，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。目前，以数字图像处理技术为核心的视频监视系统越来越广泛地应用到交通监管中,它利用摄像机来获取图像，由计算机完成对运动目标的H动检测，如果年辆交通违规时，自动发出预警，记录全程违章视频，这在很大程度上减轻了监控人员的劳动强度，克服可能的人为失误，而且节约大量存储空间，使存储的数据更为有效，为交通违规的后续处理提供了客观依据。因此，基于光流法，实现交通场景中运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起交通场景中运动目标检测的整体思路和

3、方法。2总体设计方案通过MATLAB软件中的图像、视频处理模块(VideoandImageProcessingBlockset),来实现利用光流法检测并追踪视频中的动态汽车。该模型通过光流法估计视频帧中的运动向量，并对运动向量进行阈值和形态学闭操作，计算出二进制图像，再定位出二进制图像中的汽车信息，在经过白线的汽不上绘制绿色矩形图，统计感兴趣区域的汽车数量。Simulink模型如图2.1：图2.1模型框图3具体设计实现3.1 光流法实现运动目标检测的基本原理3.1.1 光流法介绍（1）光流与光流场的概念光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化

4、和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量光流场是指图像灰度模式的表观运动，它是一个二维矢量场，所包含的信息就是各个像素点的瞬时运动速度矢量信息。光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动。（2）光流场计算的基本原理视觉心理学认为人与被观察物体发生相对运动时，被观察物体表面带光学特征的部位的移动给人们提供了运动和结构的信息。当相机与场景目标间有相对运动时所观察到的亮度模式运动称之为光流（opticalflow）,或者说物体带光学特征部位的移动投影到视网膜平面（也即图

5、像平面）上就形成了光流。光流场的计算一般分为四类：基于梯度的方法（Horn-Schunck和Lucas-Kanade算法）；基于匹配的方法；基于能量的方法；基于相位的方法。基于梯度的方法利用图像灰度的梯度来计算光流，是研窕最多的方法。基于梯度的方法根据运动前后图像灰度保持不变这个基本假设，导出光流约束方程。由于光流约束方程并不能唯一的确定光流，因此需要导入其他的约束。根据引入的约束不同，基于梯度的方法乂可以分为全局约束方法和局部约束方法。全局约束的方法假定光流在整个图像范围内满足一定的约束条件；而局部约束的方法假定在给定点周围的一个小区域内，光流满足一定的约束条件。基于匹配的方法，这类方法是将

6、速度v,定义为视差d=（dx,dy），使得两个时刻的图像区域的匹配最佳。为了找到最佳匹配，我们可以对定义在d上的相似度量，如规一化的互相关系数，进行最大化，也可以对某一距离度量，如光强度差的平方和，进行最小化。在此仅介绍基于梯度的光流场算法梯度光流法乂分为全局约束方法和局部约灾方法。全局约束方法假定光流在整个图像范围内满足一定的约束条件，而局部约束的方法假定在给定点周围的一个小区域内,光流满足于一定的约束条件。下面先导出光流约束方程。然后给出两种比较典型的基于梯度的方法。<1>、光流约束方程假定图像上点w(x,y),在时刻t的灰度值为I(x,y,t),经过时间间隔dt后，对应点的灰

7、度为I(x+dx,y+dy,t+dt),当时，可以认为两点的灰度不变，也就是：I(x+dx,y+dy,t+dt)=I(x,y,t)(3.1)如果图像灰度随X,y,t缓慢变化，可以将式左边泰勒级数展开：I(x+dx,y+dy,t+dt)=I(x,y,t)+?dx+dy+£(3.2)dxdy，dt其中£代表二阶无穷小项。由于dt-O,忽略£,可以得到：T-dx+-dy+dt=0(3.3)dxdy"dt令u*V哼代表x,y方向上的光流，/Ik2L糕分别代表图像灰度相dtataxoydt对于x,y,t的偏导，式(3.3)可以写成：Ixu+Lv+L=0(3.4)此

8、式即光流场的基本方程。写成向量形式，即：VI-V=+L=0(3.5)其中VI=(Ix,LJ是图像在点m处的梯度，V<U,V)是点m的光流。上式称为光流约束方程，是所有基于梯度的光流计算方法的基础。图3.1基本等式所确定的约束线考虑U和V组成的二维空间，那么式(3.5)定义了一条直线，所以满足约束方程的匕都在该直线上，图3.1,该直线和图像梯度VI垂直，因而仅仅能够解决沿梯度方向的分量，也就是等灰度轮廓的法线分量V“=S*N,其中：(实际上，式5)光流约束方程产生的是恒值亮度轮廓图像运动的法向分量V=S*N)S=-It/|Vl|,N=VI/|VI|(3.6)光流约束方程包含u和V两个未知量

9、，显然由一个方程并不能唯一确定，这就1丸子向厘一为解於儿役问也,必为、找新的34。此鼠介？用到的HornSciiunck算法。<2>Horn-Schunck算法Horn-Schunck算法提出了光流的平滑性约束。即：图像上任一点的光流并不是独立的，光流在整个图像范围内平滑变化。因此Horn-Schunck算法是一种全局约束的方法。设平滑性约束项为极小化：(3.7)(3.8)Es=0(u；+u；+q+)dxdy由基本等式，显然要求极小化：Ec=JJ(IxU+IyV+lJdxdy+11；+q+¥)+(中+1/+于是，由(3.7)和(3.8)式可知,最后求得光流应满足式:(3.

10、9)这里人的取值要考虑图中的噪声情况，如果噪声较强，说明图像数据本身的置信度较低，需要更多的依赖光流约束，所以尤可以取较大的值：反之，取较小的值。为了满足(3.9),可将该式对u和v分别求导，并取导数为0。这样就得到：I口i+L1vV=2-Vu-IJt(3.10)(3.11)ayxiI；v+IxIyu=-22Vv-IyIt以上两式也称为Euler方程。如果令Q和V分别表示u邻域和v邻域中的均值(可用图像平滑算子求得)，并令=和v=vT,则式(3.10)和(3.11)改写成:L=:Uijk+l+上+1)：(1,_),k+I+Lj.k+】i,j+Lk+【i+lj+Lk)44(3.12)(3.13)

11、(I；+A2)u+IxIyv=/l2u-IxIt(I;+22)v+IxIyu=/l2v-IyIt从上式解得:1(夏+1/+L)万+1；+1xy(3.14)Iy”+Iy*+L)万+丫+1；(3.15)式(3.14)和(3.15)提供了用迭代法求解u和v的基础。实际中，常用松弛迭方程进行求解：U(k+D_a)I，'+I尸")+ItU'UfE+I：XJ(3.16)3f(k)IIxu(k)+Iyv(k)+It(3.17)其中k是循环数，u和,°)是初始值，可以取为0。五和是局部平均，%为权重系数，根据导数求取的精确度确定。上述迭代过程有一个简单的几何解释，参考图3.

12、2所示:图3.2用迭代法求解光流的几何解释在实际求解过程中，需要估计亮度的时间和空间微分。这可在图像点的一个2X2X2立方邻域中估计，如果下标i"，k分别对应&y,t,那么3个一阶偏导分别是:X=T(i+l,j,k+i+l,j+l,k+i+l.jjc+l+L+l.j+l,k+l)一；(lj上+Ijk+l+ij+l,k+l)44(3.18)ly=T(i.j+l,k+L+l.j+l,k+%,j+l,k+l+1讦1"1上+1)一+£+l,j*+5,j上+1+L+l,j,k+l)，4(3.19)I=T(i,j,k+1+i+l,j,k+l+kj+l,k+l+i+l,

13、j+l.k+l)-7(i,j,k+i+l.j.k+i,j+l.k+i+l,j+l.k),一八、44(3.20)也就是用一阶差分来替代灰度I关于“yJ轴的偏导。上述算法的实现相对简单，计算复杂性较低。但是这种技术存在着严重缺陷。首先，图像灰度保持假设对于许多自然图像序列来讲都是不合适的，尤其是在图像的遮合边缘处和(或)当运动速度较高时，基于灰度保持假设的约束存在较大误差。其次，在图像的遮合区域，速度场是突变的，而总体平滑约束则迫使所估计的光流场平滑地穿过这一区域,此过程平滑掉了有关物体形状的非常重要的信息。第二,微分技术的一个要求是I(X,y,t)必须是可微的，这暗示着需对图像数据进行时空预平滑

14、，以避免混叠效应；而且数值微分的求取具有病态性，如果处理不当将对最终的速度估计产生显著影响。3.1.2光流法检测运动目标物体的基本原理概述给图像中的每一个像素点赋予一个速度矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动物体，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标与图像背景存在相对运动，运动物体所形成的速度矢量:必然与邻域背景速度矢量不同，从而检测出运动物体及位置。光流法的优点：光流不仅携带了运动物体的运动信息，血且携带了有关

15、景物三维结构的丰富信息，它能够在不知道场景的任何信息的情况下，检测出运动对象。3.2Simulink模型介绍如方案所示：optical_flow_tracking模型分为视频输入模块、色彩空间转换模块、光流估计模块、阈值和区域滤波模块、视频输出显示模块。该模型通过光流估计技术，估计了视频帧中的运动向量，并对运动向量进行阈值和形态学闭运算操作，计算出二进制图像，再通过BlobAnalysis模块定位出每个二进制图像中的汽不信息，然后通过绘图图形模块给经过白线的汽军.添加绿色矩形框，同时在左上角，用计数器窗口统计感兴趣区域的汽车数量。（1）视频输入模块模型以viptraffic.avi为视频输入端

16、，视频帧图像大小为120*160,视频帧频率为15fps图3.3输入视频截图（2）色彩空间转换模块设置色彩空间转换模块中的Conversion参数为"R'G'B'tointensity*',Imagesignal为“OnemultidimensionalsignalM（3）光流估计模块通过Horn-Schunck方法，估计两帧视频间的光流。（4）阈值与区域滤波模块RegionFjltenng图3.4阈值与区域滤波模块如上图所示，通过上一模块得到的光流信息，计算出速度的阈值，并对运动向量进行中值滤波和形态学闭操作，得到视频帧中的光流信息的阈值。模块的另一

17、输出端口为通过区域滤波模块得到的感兴趣区域。所包含的子模块还有MeanvelocityperframeaaowtimeMeanvelocityperframe图3.5子模块1图3.6子模块2（5）视频输出显示模块OpticalFlowLines图3.7视频输出显示模块如上图所示，视频输出端口1显示了上述视频帧中图像光流信息的阈值视频；通过边界框和汽车数量统计模块，将感兴趣区域中的带有边界框汽车及其数量通过端口2输出；端口3输出原始视频：端口4输出带有光流线的运动汽车视频包含的子模块还有KZ)VideoOut图3.8子模块14仿真结果与分析图4.1图4.2二图4.4四图4.3三第一幅图为原始视频

18、帧第二幅图则通过光流线，绘制出了运动中的汽车背景是不变的，所以它的光流矢量是连续变化的。运动的汽车速度矢量与邻域背景速度矢量不同，所以显示的光流矢量呈上图所示第三幅图得到了视频帧中的光流信息阈值图，运动中的汽车用二进制图像中的白色图像表示这是对运动向量进行阈值和形态学闭运算，计算出二进制图像，然后显示得到的！第四幅图得到了视频帧中感兴趣区域的汽车数量以及汽车的绿色矩形框标定这是通过BlobAnalysis模块定位出每个二进制图像中的汽车信息，然后通过绘制图形模块给经过白线的汽车添加绿色矩形框，同时在左上角，用计数器窗口统计感兴趣区域的汽车数量得到的。5结论光流法是对运动序列图像进行分析的一个重

19、要方法，光流不仅包含图像中目标的运动信息，而且包含了三维物理结构的丰富信息，因此可用来确定目标的运动情况，反映图像的其他信息。基于光流法可以实现在军事航天、交通监管、信息科学、气象、医学等多个领域的重要应用。例如，利用光流场可以非常有效地对运动目标进行检测和分割，这对地对空导弹火控系统的精确制导、自动飞行器精确导航与着陆、战场的动态分析、军事侦察的航天或卫星图片的H动分析系统、医学上异常器官细胞的分析与诊断系统、气象中对云图的运动分析、城市交通的车流量进行监管等都具有重要价值。参考文献1于慧敏，徐艺，刘继忠等.基于水平集的多目标运动时标分割与跟踪.中国图形图像学报J,2007,12(7);1218-12232李俊韬，张海，范跃祖.复杂交通场号中多运动目标分割算法.北京航天航空大学学报J,2006,32(3)：297-300,3李晴，徐群.复杂场景下多运动