第五章运动目标检测

1、第三次上机安排：时间：11月24日（周一）8:00-11:50（1-4节）地点：计算中心T07内容：对第二次上机保存的关键帧先进行灰度化，然后利用阈值分割算法对其进行图像分割（至少编程实现一种算法），并分析实验结果。方式：自行完成要求：上机时带上存好的关键帧图像，可带自己的电脑。第五章 运动目标检测技术 运动目标检测是指在视频图像序列中判断是否有前景目标的运动，如果有则对目标进行初始定位的检测过程，运动目标检测是实现目标识别跟踪的基础。 常用的运动目标检测方法包括时间差分法、背景差分法、光流法。 1、时间差分法(P.170) 直接比较图像序列相邻帧对应像素点发生的相对变化，是一种直接简单的运动

2、检测方法。 优点是计算简单、速度快。差分的两幅图像的时间间隔较短，受光线变化影响小，非常适合于动态变化场景。 缺点有三个方面，首先它不能完全提取出运动物体所有相关的特征像素点；其次是对噪声非常敏感，而且检测出的物体位置不精确；再次必须根据目标的运动速度选择合适的差分时间间隔，否则将错检或漏检。elseTtyxftyxfttyxfd0| ),(),(|1),(21212、背景差分法(P.172) 是目前运动分割中最常用的一种方法，利用当前图像与背景图像进行差分，从而检测出运动区域。 首先对背景模型进行初始化，建立原始的背景图像；背景模型更新是根据当前输入的图像修正背景模型，及时反映环境的变化；背

3、景差分是将当前帧和背景模型进行差值运算，然后与阈值相比较提取出运动目标。 运动目标运动目标 对于场景的动态变化，光照和外部噪声等干扰会影响处理结果： （1）光照条件变化 一是光照缓慢变化，可以通过更新背景解决；另一种是光照条件变化很快，背景模型的更新速度跟不上光照变化速度。会将大面积的背景当作前景目标。 （2）遮挡与运动目标混淆 当两个运动物体相互靠近重叠时，简单的背景相减会将其当作一个目标而不是两个不同目标。而如果一个运动物体的一部分被背景遮挡，则背景相减后可能会将其当作两个分开的运动物体。 （3）物体停止或者运动过慢 当运动物体停止时，需要考虑是否将该物体当作背景；而运动过慢物体会产生拖尾

4、以及中间产生空洞。 （4）背景中物体运动，引起虚静止物体 当初始背景中存在运动物体时，该运动物体的初始图像在背景中将长期存在，在检测结果中出现虚的静止目标，用一般的背景更新算法很难将该区域去除。 （5）树叶摆动等干扰 当背景中有很多并非绝对静止的背景物体时，在检测结果中将会产生很多噪声。若场景中有风，背景中大部分树叶都在晃动，在检测结果中出现很多树叶。 （6）运动物体的阴影 由于运动物体存在着阴影，而这些阴影往往与背景不同，在背景相减过程中，这些阴影会与前景物体连在一起，不利于前景物体的跟踪与识别。 对于（1）光照条件变化 ，必须对所有像素点进行全局统计，以判断是否有光照条件的变化。依据前景物

5、体所占比例小的假设，可以通过判断像素点中前景点占的百分比来判断光照条件是否变化，以决定是否要提高背景的更新率。 对于（2）遮挡与运动目标混淆 ，目前的解决方法是基于模板匹配。 对于（3）物体停止或者运动过慢 ，如果停止的物体将长期静止，则应该将其视为背景；如果它只是短期停留，则应该还是将其作为前景目标。 对于（4）背景中物体运动，引起虚静止物体 ，由于虚物体被检测出来都是静止的，可以用上述解决（3）的方法来处理，不过这种方法需要一定长的时间。或通过基于内容的方法来解决。 对于（5）树叶摆动等干扰 ，可以借助一些去除噪声的方法。 对于（6）运动物体的阴影 ，可以使用隐式马尔可夫模型来解决该问题。

6、 v 教材补充内容 运动目标测方法总结示意图 光流法空域法时域法背景减法帧差法运动目标检测基本背景建模法统计背景建模法两帧差分法三帧差分法均值滤波法W4法单高斯模型混合高斯模型v 运动目标检测 常见时域法优缺点对比表算法名称算法名称优点优点缺点缺点帧差法帧差法算法简单易于实现实时监算法简单易于实现实时监控，对场景光线变化不敏控，对场景光线变化不敏感感噪声较多，检测精度不高，易噪声较多，检测精度不高，易出现重叠和空洞现象，对目标出现重叠和空洞现象，对目标描述不完整描述不完整背景减法背景减法算法简单易于实现，检测算法简单易于实现，检测结果完整，适合实时处理结果完整，适合实时处理易受到背景变化的干扰

7、，如树易受到背景变化的干扰，如树叶摇动、雨雪天气等叶摇动、雨雪天气等光流法光流法包含目标运动信息和三维包含目标运动信息和三维结构信息，可以在场景信结构信息，可以在场景信息未知的情况下进行检测息未知的情况下进行检测算法复杂耗时，抗噪声能力比算法复杂耗时，抗噪声能力比较差，需要特定的硬件支持，较差，需要特定的硬件支持，实用性较差实用性较差 相邻两帧算法流程图差分图像二值化公式v运动目标检测相邻两帧差分相邻三帧算法流程图v运动目标检测相邻三帧差分差分相乘算法流程图运动目标检测差分相乘法背景差分算法流程图运动目标检测背景差分法BSED算法流程图运动目标检测背景差分与边缘检测结合算法（BSED）TFED

8、算法流程图运动目标检测三帧差分和边缘检测结合算法（TFED）v 运动目标检测 W4算法基本原理:用最小灰度值 、最大灰度值 和邻间差分最大值 来描述背景模型，其中邻间差分最大值是相邻两帧图像之间灰度差分最大值。算法检测原理如以下公式所示。( , )Min x y( , )Max x y( , )Dif x y( )B x 0,( , )( , )( , ) ( , )( , )1,Min x yk Dif x yI x yMax x yk Dif x yelse v 运动目标检测 W4算法第45帧图像不同k值检测结果对比图k=1k=3k=5待检测图像例1：运动目标实时监控及报警系统开发v 研究

9、内容运动目标检测模运动目标检测模块：块：W4运动目标运动目标检测算法检测算法远程视频监控及远程视频监控及报警系统报警系统远程报警模块：远程报警模块：GPRS MODEM发送短信和彩信发送短信和彩信报警报警运动目标实时监控及报警系统的设计与开发 路线图运动目标实时监控及报警系统技术路线图 移动通信技术中使用时间最长、用户最多的网络是2G/2.5G网络。GSM全球移动通信系统/GPRS通用分组无线服务USB接口GPRS MODEM硬件设备连接效果图运动目标实时监控及报警系统的设计与开发v 远程报警模块运动目标实时监控及报警系统的设计与开发v 系统界面设计系统界面设计效果图运动目标检测模块报警模块数

10、据库管理模块运动目标实时监控及报警系统v 系统测试结果系统测试结果运动目标实时监控及报警系统的设计与开发测试结果用户接收报警信息结果演示：运动目标检测系统例2：基于视频分析的运动目标检测系统v 运动目标检测算法流程图预处理: 去噪和亮度归一化背景建模: 改进的均值滤波背景建模法目标检测: 差分图像分割后处理: 涂抹去噪和填充空洞步骤1：建立一个视频流滑窗用来缓存前L帧视频图像;步骤2：将图像的颜色值的变化范围0-255划分为n个区间：0, N, N, 2N, (n-1)N, 255, N = 255/n；步骤3：对于每个像素点的每一个颜色通道，先统计滑窗时间里每个区间内颜色分量值在帧视频图像中

11、出现的次数，然后计算出现次数最多的区间内所有值的平均值，并用它来作为背景模型在该点的颜色值：101( , )( , )mtt iiB x yIx ym基于视频分析的运动目标检测技术v 背景建模背景建模基于视频分析的运动目标检测技术v 背景建模 目标检测算法流程图带阴影的运动目标背景减 TN差分图像阈值分割Y背景和当前帧基于视频分析的运动目标检测技术v 目标检测 差分图像 2D交叉熵分割 交叉熵分割 0101( )log()log()( )( )kLiiii kiiD kipipm km k 最小分离度阈值:基于视频分析的运动目标检测技术v 阈值分割 实现了基于颜色不变特征等经典的SR算法 结合

12、颜色不变特征、混合高斯阴影模型和边缘检测提出了一种阴影去除方法基于视频分析的运动目标检测技术v 阴影去除（SR）SR算法流程图1. 基于颜色的阴影去除2. 引入边缘检测3. 轮廓提取基于视频分析的运动目标检测技术v 阴影去除（SR）基于颜色不变特征的阴影检测基于高斯混合阴影模型的阴影验证123arctan()max( , )arctan()max( , )arctan()max( ,)RcG BGcR BBcR G( , )( , )111( , )( , )222( , )( , )333B x yI x yB x yI x yB x yI x ydccdccdcc基于视频分析的运动目标检测技术v 阴影去除（SR）基于颜色的阴影去除基于视频分析的运动目标检测技术v 阴影去除（SR） 基于视频分析的运动目标检测技术v 边缘检测基于视频分析的运动目标检测技术v 运动目标提取 演示：室内人流量统计原型系统第四次上机安排：时间：12月1日（周一）8:00-11:50（1-4节）地点：计算中心T07内容：任选一种方法检测视频中的运动目标，并分析实验结果。方式：自行完成要求：上机时带上选好的有运动