运动图像处理与识别分析.doc

湖北工业大学商贸学院毕业设计 I 摘 要 随着计算机硬件技术和计算机视觉技术的发展 智能交通系统也得到快速的发展 智能交通系统利用通信技术 控制技术 传感器技术 运筹学 人工智能和计算机技术 的有效集成 其目的在于充分利用现有的道路基础设施资源 改善车 路 人之间的相 互作用 提高系统的安全性 高效性与舒适性 从而从整体上提高交通的经济性 自动 交通事件检测系统作为智能交通系统重要的一部分 越来越受到广大学者们的关注 一 个好的自动交通事件检测系统 车辆检测是关键 随着计算机硬件的发展 利用视频图 像对车辆进行检测及跟踪越来越受到人们的关注 在视频处理中 运动目标的分析技术运用的非常广泛 一般的运动目标分析可以分 为运动目标的检测 跟踪和识别 其中最为基础的就是运动目标检测与跟踪 主要研究 从一系列图像中提取感兴趣的运动目标区域 分析运动目标特征进行特征匹配与跟踪 估计运动参数等内容 行为识别是建立在运动目标检测和跟踪基础上的分析技术 主要 针对不同的事件 利用计算机语言定义目标行为 在特定的场景中识别行为 本文以静止的单孔摄像机获取的高速公路交通场景视频作为研究对象 以检测出场 景内的运动车辆为目的 对所涉及到的背景提取及自适应更新 阴影检测 车辆分割等 关键技术问题进行了较深入的研究和分析 并在这些关键技术研究的基础上实现了一个 视频车辆检测系统 关键词 关键词 智能交通系统 视频处理 车辆检测及跟踪 CamShift 算法 视觉测距 湖北工业大学商贸学院毕业设计 II Abstract With the development of computer hardware and computer vision technology Intelligent Traffic System has made great progress Intelligent Transportation System ITS consists of communication technology control technology sensor technology operational research artificial intelligence and computer technology Its aim is to make full use of the available road facilities improving the security high efficiency and comfortable of transportation system and finally achieving the economical system As an important part of ITS the automobile incident detection system get more attention from many academicians Vehicle detection is very important in a good automatic transport incident detection system As the development of computer hardwre vehicle detection and tracking based on video image is becoming very popular by step Analysis technology of moving objects in video processing has been utilized widely nowadays In general analysis of moving objects can be classified as detection tracking recognition and behavior understanding of moving objects Detection and tracking of moving objects is the basis of others which pay great attention to such studying contents as extracting regions of interested moving objects from series of images analyzing character of moving objects in order to match character and track estimating parameters of movement and so on Behavior recognition is analysis technology which makes use of computer language to define target behaviors according to different events and recognizes behaviors in specified scenes on the basis of detection and tracking of moving objects The thesis s research object is a freeway video image which got from a single CCD camera It s aim is to detect the moving vehicle in the video image This thesis research and analyze the most important problem related to vehichle detection such as background extraction and update shadow detection and vehicle segmentation etc Based on these methods this paper also realizes a video vehicle detection system Keywords Intelligent Transportation System video processing vehichle detection and tracking CamShifl algorithm visual Ranging 湖北工业大学商贸学院毕业设计 III 目 录 摘摘 要要 I I ABSTRACTABSTRACT IIII 目 录 III 引引 言言 1 1 1 1 视频前景运动目标的检测视频前景运动目标的检测 3 3 1 1 视频前景运动目标检测的研究现状 3 1 1 1 背景减除法 3 1 1 2 帧间差分法 5 1 1 3 卡尔曼滤波法 6 1 2 混合高斯背景建模 7 2 2 车辆识别与跟踪的理论基础和算法分析车辆识别与跟踪的理论基础和算法分析 9 9 2 1 常用目标检测算法 9 2 1 1 光流法 9 2 1 2 差分法 10 2 2 常用目标跟踪算法 11 2 2 1 基于模型的跟踪 12 2 2 2 基于颜色信息的跟踪 13 3 3 运动车辆识别与跟踪算法设计运动车辆识别与跟踪算法设计 1313 3 1 车辆运动特征和算法分析 13 3 2 二次差分法对运动车辆的识别 14 3 3 基于颜色信息的 CAMSHIFT算法对运动车辆的跟踪 16 3 3 1 车辆颜色概率模型的简介 17 3 3 2 均值偏移算法 Mean Shift 19 3 3 3 连续自适应均值移动跟踪算法 CamShift 20 3 4 运动车辆的视觉测距模型 21 结结 束束 语语 2323 参参 考考 文文 献献 2525 致致 谢谢 2626 湖北工业大学商贸学院毕业设计 1 引 言 智能交通系统就是我们常说的 ITS Intelligent Transportation System 是将先 进的信息技术 通讯技术 传感技术 控制技术以及计算机技术等有效地集成运用于整 个交通运输管理体系 而建立起的一种在大范围内 全方位发挥作用的 实时 准确 高效的综合的运输和管理系统 它通过人 车 路的和谐 密切配合提高交通运输效率 缓解交通阻塞 提高路网通过能力 减少交通事故 降低能源消耗 减轻环境污染 随 着城市化的进展和汽车的普及 交通拥挤加剧 交通问题已经成为全球范围内令人困扰 的严重问题 为了解决该问题 欧美 日等工业发达国家投入了大量的人力 物力 从 事智能交通系统的研究 从整个智能交通系统来看 将道路系统和行驶车辆综合起来考 虑 是 ITS 的基本思想 在实际生活中 驾驶员通过视觉可以获得 90 以上的环境信息 例如车辆 交通标 志 交通信号 车道线 道路形状 道路标记 障碍物等 很显然 可以考虑应用机器 视觉来理解道路环境 基于视觉导航的智能车辆研究最早可追溯到 60 年代末 由于实时 图像处理的计算量非常大 而当时的计算能力十分有限 只有少数几个研究小组开展这 方面研究 随着技术的不断发展 目前的计算机硬件水平为实时图像处理提供了可能 一方面 处理器和存储器的价格不断下降 商用计算机的体积不断变小 而性能有了显 著的提高 另一方面 图像处理算法有柔韧性和适应能力强等特点 因此视觉导航在智 能车辆的导航中有广阔的应用前景 视频运动目标分析是指在一定的摄像环境中对行人或者车辆等运动目标进行实时的 提取和跟踪 然后进一步对运动目标的行为和动作进行计算机理解和识别的过程 这其 中包含了运动目标的检测 跟踪 分类 行为理解和识别等丰富的研究内容 涉及到计 算机视觉 模式识别 图像处理和人工智能等诸多领域的许多核心课题 其中 研究的 最为广泛同时也是最为基础的是运动目标的检测和跟踪 运动目的检测与跟踪己经有近 20 年的研究历史 这种技术的研究主要涉及到运动目标检测与提取 运动目标跟踪 运 动目标别 运动目标行为分析和理解等诸多内容 运动车辆识别系统包括基于视觉的运动车辆检测和车辆外形 大小 颜色的识别等 技术 本文在识别方面主要研究了基于视觉的运动车辆检测方法 基于视觉的运动车辆 检测是计算机视觉研究运动车辆检测的最典型的实例 它也是运动车辆识别系统的基础 湖北工业大学商贸学院毕业设计 2 相对雷达 激光 超声波 红外线等传感器进行感知道路环境 采用视觉传感器有如下 特点 1 图像的信息含量极为丰富 如果在图像检测与跟踪算法上取得突破 就可以减少 整个系统的运算时间 同时可以提高车辆检测与跟踪的准确率 所以利用图像处理来检 测和跟踪前方运动车辆是一个很有前途的研究方向 目前已有许多研究人员从事这个方 向的研究 2 维护费用比较低 还可以提供实时录像 供专家事后分析 并且视频信号也可以 通过多种方式传输 如无线射频或者微波 为监控中心提供车辆当前状况 目前智能车 辆的发展分为两个方向 一个方向是智能车辆使用于室外环境 例如等级公路 野外等 利用各种传感器检测和识别环境信息 智能车辆在道路上高速行驶 为了检测复杂的外 界环境和控制高速运动的车辆 这种车辆就必须有很强的计算能力和强大感知环境的传 感器 另一方向是智能车辆使用于室内环境 体积较小 速度相对要求不高 智能车辆 一旦有了自主导航的能力 遇到突发情况 就可以根据情况做出决策 智能车辆要实现 在城市繁忙道路上完全无人驾驶 尚有很多研究工作要做 可以通过研究智能车辆的一 些关键技术 并把它们应用到实际工程中去 在智能车辆关键技术中 运动车辆识别与 跟踪是其核心技术 此 对基于视觉的运动车辆识别与跟踪方法进行研究 具有较大的 理论意义和应用价值 湖北工业大学商贸学院毕业设计 3 1 视频前景运动目标的检测 1 11 1 视频前景运动目标检测的研究现状 对于视频监控系统来说 运动前景的检测和提取是最为基础的 因为后续的运动目 标的跟踪 行为的理解识别等工作都将依赖于检测出来的运动前景的准确性 在实际应 用中 一个场景是动态变化 比如室内场景会有影子和灯光的干扰 室外场景会有天气 光照 树叶等干扰 这些干扰使得背景建模与运动前景检测成为一项具有挑战性的工作 一般常用的运动前景检测方法有 1 1 1 背景减除法 背景减除法是运动检测中最为常用和简单的方法 它首先将当前帧图像的像素值与 已经存储好的背景图像进行相减 如果相减得到的像素差的绝对值大于某一阈值 则认 为当前帧的这一像素属于运动目标 否则就认为这一像素还是背景点 对于得到的这些 运动目标点 我们进行阈值分割并二值化 再后续做些开闭运算 这样得到的连通域区 域就是运动前景掩膜 背景减除法得到的运动前景给出了运动目标的位置 大小 形状 等信息 而且计算简单 实时性强 但是它的缺陷是鲁棒性不强 容易受到光线 天气 等条件影响 检测精度不高 背景减除法可以分为以下六个步骤来实现 1 背景建模 我们假设对于一段视频流来说 运动前景覆盖同一像素点的时间是相 对较短的 如果前景运动目标通过该点 该点上的像素值将会发生很大的变化 通过对 该像素点的像素值进行统计 我们发现在很多时间内 像素值在一个值附近不会发生大 的波动 我们将这些相近的像素值做平均 将获得的平均值作为该点的背景值 2 阈值分割 是比较当前图象和背景图象中对应像素点的差异 如果差值大于一定 阈值 则判定该像素为前景运动目标的组成像素 3 后处理 噪声的影响 会使一些背景像素点被检测成运动像素点 也可能使运 动目标内的部分像素点被检测为背景 形态学闭运算 背景的扰动 如树枝 树叶的 轻微摇动 会使这部分也被误判断为运动目标 判断连通域大小 湖北工业大学商贸学院毕业设计 4 4 背景更新 要使背景模型能够对外界光线变化具有自适应性 必须实时地对背 景模型进行更新 背景中固定的部分也可能发生移动 发生移动后的区域在一段时间内 将被误检测为运动目标 但不应该永远将其看作是运动目标 需要有一个有效的背景更 新策略 运动目标也可能长时间停止在场景中 对于这部分区域 可以一直认为是前景 也可以在一段时间后将其看作是背景的一部分 5 阴影检测 对阴影检测后的图象分别进行水平和垂直两个方向的扫描 如果两个前 景像素点间由阴影像素点连接 则将这两个像素点间的所有像素都标记为前景点 6 前景像素点聚类 上述过程得到的还只是前景目标像素级的检测结果 最后还需要 进行聚类融合成为具有一定几何形状的运动目标区域并加以标识 视频帧预处理背景建模前景检测后处理 目标区域 图 1 1 减背景运动目标检测流程图 Fig 1 1 Flow chart of background subtraction method to detect moving objects 视频图像预处理的目的是把原始图像序列转换成后续处理所需要的图像格式与质量 在大多数计算机视觉系统中 都会在预处理阶段去除环境噪声 如雨雪天气条件下室外 摄像头所拍摄视频中的雨 雪 在实时处理系统中 为保证处理速度 通常会在预处理 阶段减小视频帧图像的尺寸大小及帧率 在预处理中要考虑的另一个重要问题是背景减 除算法所处理的数据格式 以往算法大多是处理灰度图像 但彩色序列图像处理在背景 减除算法中变得越来越流行 在对比度低的监控场景 处理彩色图像比处理灰度图像更 容易检测出运动目标 也更容易检测与抑制运动目标投射的阴影 但彩色视频图像也会 使场景背景模型变得更复杂 用视烦当前帧减去背景模型 背景估计 并二值化后 所得到的运动前景掩模会存在大 量噪声 需要经过后处理才能得到理想的检测效果 这主要是由背景模型的固有缺陷与 外部各种干扰噪声所造成的 对运动前景掩模进行后处理主要是消除噪声与不感兴趣的 运动小目标 当场景背景色彩与运动目标颜色相似时 检测出的运动前景内部会出现空 洞 需要在后处理阶段进行分析处理 减少漏检 背景减除法的难点并不是减除本身 而在于寻找理想的背景模型 并对其进行建立 湖北工业大学商贸学院毕业设计 5 初始化 保持 更新 现有的绝大多数背景模型都存在以下三个主要不足 研究人员也 尝试提出各种方法来缓解模型固有缺陷对运动目标检测的影响 但远没有使问题得到解 决 首先 背景模型没有充分利用图像中相邻像素点之间的相关性信息 这会使检测出 的运动前景掩模中产生随机分布的漏检与虚警区域 通常用形态学滤波和判断连通区域 大小的方法来消除孤立的小区域及合并相邻的不连通前景区域 其次 背景模型的更新速度不能和运动目标的运动速度很好地匹配 如果背景模型 的更新速度比所监控场景的变化速度慢 则容易产生虚影 Ghost 由于虚影区域没有真 实运动存在 故计算运动前景掩模虚影区域的光流场可以消除虚影 相反 如果背景模 型的更新速度太快 也容易出现运动目标的漏检 为改善运动目标检测效果 研究人员使用多个具有不同更新速度的背景模型 并在 不同条件下选择不同的背景模型作为当前场景的背景 此外 在多摄像机从不同角度对 同一场景进行监控的场合 摄像机之间的视差 Disparity 信息可以用来估计场景深度 Depth 由于运动目标比场景背景离摄像机更近 故有效利用深度信息也有助于运动目 标的检测 再次 复杂场景中摇动的树叶与运动阴影也会被检测为运动前景 由摇动树叶所产 生的运动前景混乱问题 可以用混合高斯背景模型与数学形态学滤波加以抑制 而消除 阴影对运动目标检测的干扰是非常困难的问题 特别是处理灰度序列图像中的阴影 可见 和其它方法相比 背景减除法虽然是目前运动目标检测算法中最常用且有较大发 展潜力的方法 运动目标检测也己达到一定的效果 但在实际应用系统中 现有背景减 除方法也面临一些棘手的难题 严重了计算机视觉系统的推广应用 因此必须寻找运动 目标检测效果更好的背景模型 1 1 2 帧间差分法 帧间差分法是最简单的背景减除方法之一 其主要思想是利用序列图像相邻帧间的 强相关性 取相邻的序列图像作为当前的场景背景 通过帧间差分进行序列图像的变化 检测 进而通过滤波等后处理确定运动目标 此方法的最大特点是速度快 适用于实时 性要求较高的应用场合 且对环境整体光照变化不敏感 但帧间差分法不能得到所检测 目标的完整信息 例如在检测色彩均匀的运动物体时 它的前后帧之间的差别仅在于物 体运动方向的两侧 而内部则没有变化 这样物体内部像素点就会被漏检 使检测出的 运动前景出现空洞 帧间差分法有许多变形与改进形式 其中最简单的是把第 t 1 时刻 湖北工业大学商贸学院毕业设计 6 的视频图像 It 1作为场景背景估计 计算当前帧 It 与 It 1 的差 得到差分并二值化后的 图像 Msakdif 当 It与 It 1 之差的绝对值大于阈值 Threshold 时 就判定该像素点为运动 前景 取 Msakdif 为 1 否则判定该像素点为场景背景 取 Msakdif 为 0 如下式 1 1 所示 Msakdif 1 1 tt 1 tt 1 1 II 0 II whenThreshold whenThreshold 对帧间差分法的改进 主要是如何选择最佳的差分对象 考虑环境光照补偿 或者 使阈值具有自适应性 来改进算法的检测效果 为了使背景模型具有自适应性 还可以 用帧间差分结果来进行场景背景更新 即 Bk 1 Bk g Ik Bk 1 2 其中BK 1 为k 1 时刻的背景估计 BK 为k 时刻的背景像素值 IK 表示k时刻的当 前像素值 参数表示了场景变化部分更新到背景图像的速度 取值不能过大 否则 会引起 拖尾 现象 1 1 31 1 3 卡尔曼滤波法 卡尔曼滤波法是递归 Recursive 的背景估计方法 背景估计值包含了当前帧之前 所有视频图像的信息 在算法实现时不需要保存多幅视频图像 只需要根据获取的当前 帧图像来更新背景模型 这样较长时间以前的视频图像也会 对 当前 背 景 模 型 产 生 一 定 的 影 响 递归的背景估计方法与非递归 Non Recursive 的背景估计方法 相比 在实现时需要的计算机内存要少得多 但是一旦递归背景模型出现错误 其造成 的影响会持续较长的时间 所以递归的背景估计算法都试图减小过去的视频图像对当前 背景模型产生的错误影响 用背景像素值而不是运动前景像素值来更新当前的背景模型 卡尔曼滤波法广泛运用于高斯噪声条件下线性动态系统的跟踪 它的应用基于这样 的假设 系统状态信息是从一个估计中获得的 这个估计明确考虑了噪声在系统量测值上 的影响 研究人员将卡尔曼滤波法应用到序列图像背景模型的提取中 并提出了许多不 同的方法 这些算法都将像素点的背景图像序列的灰度值变化过程描述为一个信号处理 系统 而不同之处主要在于跟踪的状态空间不同 Karmann 和Brandt取背景灰度值Bt 与 Bt 对时间的导数 来描述系统在t 时刻的内部状态 Bt 为某像素点在t 时刻的背景估 t B 计 而则为Bt 变化的估计 像素点的灰度值It 作为在t 时刻的系统输入 Bt 与 t B t B 按如下方程进行递归更新 湖北工业大学商贸学院毕业设计 7 1 3 11 11 ttt tt ttt BBB AK IH A BBB 其中矩阵 A 为常量矩阵 描述了场景背景的动态特性 1 4 12 22 1a 0a A 参数 描述了场景背景的变化率 一般取 0 7 量测矩阵取为常量 12 a 22 a 22 a H 1 0 1 5 而卡尔曼增益Kt 在较慢的更新速度 1与较快的更新速度 2 2 1 之间交替取 值 如何取值则依据在t 1 时刻的量测值It 1 是被判定为运动前景还是背景 当It 1被判定 为运动前景时 当It 1被判定为背景时 1 1 Kt 2 2 Kt 在卡尔曼滤波法中 判定 It 1 是运动前景还是背景的常用方法为 1 6 1 t Mask t 1t 1t 1 t 1t 1t 1 1 I 0 I whenBTh whenBTh 其中是运动前景掩膜 当像素点被检测为运动前景时取值为 1 否则取值为 0 上 1 t Mask 式 1 6 说明 如果在 t 1 时刻的背景预测值 Bt 1 与量测值 It 1 之差的绝对值大于 某一阈值 则认为 It 1 属于运动前景 取 1 1 Kt 1 21 2 混合高斯背景建模 背景建模的目的是为了有效的把场景中感兴趣的运动目标提取出来 把静止的背景 和一些不感兴趣的运动物体看作背景 要想做到这一点 就要把感兴趣的运动目标与场 景背景的某些属性的不同找出来 然后对场景的这一固有属性进行建模 为了达到把理 想的运动目标提取出来的效果 我们需要建立一个能自适应的根据环境变化来更新的背 景模型 并且需要能够处理在背景建模和运动目标检测过程中经常遇到的一些问题 1 运动物体在场景中静止 当一个运动物体进入到场景中后 突然在场景中静止不 动 这有可能是有人搬运物体放到场景中 也有可能是车辆长时间停留 这时的运动物 体是应该被看作背景还是前景是一个对场景理解的问题 但同时也对背景建模提出了更 高的要求 需要背景模型能够根据实际情况的需要调节自身的背景更新速度 2 背景的光照变化 在实际应用场合中 光照是影响前景检测的一个重要因素 主 湖北工业大学商贸学院毕业设计 8 要有室外自然光缓慢变化 室内灯光的开关 频闪或者室外天气突变的各种光照变化 即使是在一天内的不同时间段 光照的强度也会有很大不同 为了能够减小光照对运动 目标检测的影响 背景模型必须对光照的变化具有一定的反应能力 背景减除法由于依 赖于一个简单的背景模型 所以对光照比较敏感 如果背景模型不能对光照变化及时的 更新 将会在前景中出现很多光照的干扰 3 场景中静止物体运动 如果场景中原来静止的物体突然运动 背景减除法很容易 把静止物体原来那块区域看作是运动前景 产生虚影 因为它没有对原来区域的背景及 时进行更新 在视频监控中 经常会在一些复杂的场景中 有静止的车辆或行人在停止 了一段时间后 离开了场景 这样原来的区域会被误检为运动前景 如果说有背景模型 能够有自动更新背景的能力 同时能根据不同背景调节自身背景更新速度 就能解决上 述问题 4 运动目标产生的阴影 运动目标在很多场合会留下目标阴影 由于阴影的色彩 与背景相比比较暗 而且又是随着前景目标一起运动 很容易被误分成运动前景 如何 在背景建模时有效的去除阴影的干扰 就需要对阴影的特性进行研究 这在目前还是一 个难题 5 复杂场景下的混乱重复运动 比如摇动的树叶 闪烁的电脑 旋转的风扇等等 这些背景运动是我们所不感兴趣的 但是这些运动使得同一像素位置总是重复出现几个 像素值 一般背景减除法无法排除这些干扰 将会使检测出来的前景中出现大量的噪声 但是这种重复运动具有统计特性 如果我们能找到一种背景模型可以描述这种动态背景 抵抗这种干扰 就能得到准确的检测结果 针对这些问题 人们提出了基于统计特性的混合高斯模型来对动态背景建模 混合 高斯模型 Gaussian Mixture Model GMM 是目前目标检测和背景建模最为常用的方法 之一 这种方法可以有效的处理光照变化 背景元素的重复运动 如摇动的树叶 电灯 频闪 海面波涛等 对于混合高斯模型 并不是所有的高斯分布都描述场景背景 判断 哪些分布描述背景 哪些分布描述运动前景的自动检测至关重要 混合高斯模型对背景 与运动前景一视同仁地建立模型 通过混合高斯的参数学习机制 用那些权重比较大的 高斯函数来描述出现频率比较高的背景像素值 而描述运动前景的高斯函数则会有较小 的权重 这也就是为什么实用的混合高斯模型至少包含三个高斯函数 每个像素点至少 要用二个高斯函数来描述背景 一个高斯函数来描述运动前景 而且只用一个高斯函数 湖北工业大学商贸学院毕业设计 9 描述前景也只能对运动前景进行比较粗糙的建模 在只用一个高斯分布就可以描述背景 的应用场合 就没有必要用混合高斯来进行建模 用单高斯背景模型就可以了 2 2 车辆识别与跟踪的理论基础和算法分析车辆识别与跟踪的理论基础和算法分析 2 1 常用目标检测算法 运动车辆检测是基于视觉的智能交通系统的基础 也是运动车辆识别系统的基础 它能够提供车辆大小和位置等基本信息 同时运动车辆检测也是计算机视觉的重要研究 方向之一 运动目标检测多年来一直被国内外的科研工作者给予了很高的重视 并且不 断的有新的研究成果出现 例如光流法 背景差法 帧间差法等 而待检测的运动目标 一般为车辆与行人 运动目标检测是对视觉场景分析与理解的关键 其本质是图像分割 的一种情况 以下是常见的目标检测算法 2 1 1 光流法 光流法的主要思想是利用时间序列图像中的灰度变化信息 即利用帧间图像中同一 像素关于时间的变化来获得运动参数乜81 具体的方法是 首先 从图像序列的灰度变 化 一阶和二阶导数 中计算速度场 然后利用一些约束条件从速度场中推测出运动参数 和物体的结构 假设It i j 表示给定t时刻图像 可以从亮度不变 守恒 方程 2 1 0 I dxI dyI x dtx dtt 以及其边界条件 再加上一些不同的约束后为不同的系统提出一些不同的解决方案 在光流场中 不同的物体一般有不同的速度 大面积运动会在图像上产生较为均匀的速 度矢量区域 为区分不同的速度的运动物体提供了方便 Horn Schunck在文献中推导出 图像中像素点 x y 的光流矢量计算方程 T xy V x yU V 2 2 1 22 nn xytnn x xy I uI vI uuI II 2 3 1 22 nn xytnn y xy I uI vI vvI II 式中 u v分别为图像某点像素的水平速度和垂直速度 n是迭代次数 是权重系 数 分别为该像素周围领域的水平和垂直速度的平均值 分别为像素灰uv x I y I t I 度I对x y t的偏导数 当相邻两次迭代结果小于预定的某一个值时 迭代过程终止 获 湖北工业大学商贸学院毕业设计 10 得该点光流矢量 虽然光流场作为运动车辆检测具有一定的优点 但是光流场计算运动和结构一般都 是假设光流场光滑变化和物体表面光滑变化 因此仅仅依靠光流场计算运动是不可靠的 而且光流场易受噪音的干扰 光流法获得的运动信息很难反映出检测车辆的特征信息 另外 光流场的运算耗时太多 实时性难以满足工程应用要求 所以 基于光流场的车 辆检测方法应用并不多 2 1 2 差分法 由于处理过程是基于图像序列的 而图像序列各帧之间有着相关关系 那么我们可 以利用这种相关关系来提供更多的信息 这使得对图像序列的处理要比对静止图像的处 理更为简单 由此引出了进行运动检测的另一种方法 基于图像差分的检测算法 在应用视觉系统中 检测运动目标常用差分图像的方法 差分图像检测运动目标比 较简单 易于实时实现 因而成为目前应用最广泛 最成功的运动目标检测方法 差分 图像法分为背景差分法和连续帧问差分法 1 背景差分法 背景差分法基本思想是利用序列图像中的每一帧与背景相减 若像素值大于某一阈 值 则判定此像素为出现在运动目标上的 且相减的阈值操作后得到的结果直接给出了 目标的位置 大小 形状等信息 这样就达到了检测运动目标的目的 它可以用式2 4描 述 12 0 1 f x yfx yTh d x y 如果 其他 2 4 式中为输入图像帧 为输出图像帧 如果输入图像帧不含目标 则和 1 f x y 2 fx y 背景图像帧相同 此时为0 相反如果输入图像帧中包含目标 则和背景图像帧不 d x y 同 此时根据阈Th的大小判定可能不为0 背景图像帧为不含目标的场景图像 现 d x y 在普遍采用的是最简单的背景模型即时间平均图像 用式2 5表示 2 5 t 1 1 n t i BI n 其中 为t时刻的背景图像帧 为t时刻的输入图像帧 大部分的研究人员目前 t B t I 都致力于开发不同的背景模型 以期减少动态场景变化对于运动分割的影响 为使背景 图像适应光照条件变化的影响 有文献采用带有遗忘因子的方法来计算背景图像 对每 湖北工业大学商贸学院毕业设计 11 一帧新的图像进行加权 使老的数据按指数的速度被遗忘 虽然背景消减法可以提取出完整的目标图像 但在实际应用中仍有许多问题需要解 决 实际应用中一幅标准的背景图像总是不容易得到的 一种简单的获取背景图像的方 法是当场景中无任何目标出现时而捕获背景图像 很显然随着时间的推移 外界的光线 会变化 这会引起背景图像的变化 因而这种人工的非自适应的方法获得的背景图像 会随着时间的推移 对场景中光照条件 大面积运动和噪声比较敏感 出现许多伪运动 目标点 不利于目标的准确检测 2 连续帧问差分法 连续帧间差分法的基本思想是用图像序列中的连续两帧进行差分 然后二值化该灰 度图像来提取运动信息 此类相继图像差分法的优点是它只对运动的物体敏感 实际上 它只是检测出相对运动的物体 而且因为两帧图像的时间间隔较短 差分图像受光线变 化的影响小 但是 这种方法也有诸多缺点 首先两帧间物体重叠部分不能检测出来 即只检测出物体的一部分 其次 检测出的物体在两帧中的位置信息不够准确 容易把 当前帧显露出来 上一帧中被目标覆盖 的背景区域 即显露背景 也检测出来 造成检测 的不准确 基于帧间差分的优点和缺点 本文对其做了改进 且二次差分法 本算法既 延续了它的优点 也克服了它的缺点 具体实现过程将在第三章中介绍 2 2常用目标跟踪算法 运动车辆跟踪是智能交通系统的关键技术之一 它能为我们提供通过的车辆的位置和速度等重要 信息 并且为进一步对车辆的行为进行分析奠定了基础 一般的车辆跟踪分为两种 一种是在当前图 像中寻找与先前车辆的模板相匹配的区域 并且更新对应的目标模版 这种跟踪对目标的检测要求比 较低 甚至不需要在每一帧都进行目标检测 然而模板匹配算法则比较复杂 运算量大 另一种跟踪 是建立相邻两帧中检测到的运动车辆之间的相互对应关系 这种跟踪需要检测每一帧图像中的运动车 辆 但建立车辆之对应关系的算法则相对简单 然而该方法对目标检测的精度要求比较高 在实际应 用中 由于架设的摄像机光轴与道路平面之间的角度较小 拍摄的车辆之间往往互相重叠 从而产生 遮挡 同时 运动车辆在行驶过程中也会被路边的树木和广告牌等遮挡 遮挡问题严重的影响着车辆 跟踪的精度和性能 是车辆跟踪的难点之一 以下是常见的跟踪算法 2 2 1 基于模型的跟踪 1 运动模型 基于模型的跟踪是模型法检测运动车辆的后续 通过对运动车辆建立模型进行检测 从而达到跟踪 下面考虑用摄像机建模来进行全局运动检测 假设图像中点 x y 的全 湖北工业大学商贸学院毕业设计 12 局运动矢量 u v 可以由它的空间坐标和一组模型参数 k0 k1 k2 计算得出 则 通过的模型可表示为 2 6 012 012 u v ufx y k k k vfx y k k k 在对模型参数进行估计时 首先从相邻帧中选取足够多的观测点 接着用一定的匹 配算法求出这些点的观测运动矢量 最后用参数拟合的方法来估计模型参数 对全局运 动模型的估计已经提出了许多方法 它们在观测点选取 匹配算法 运动模型和估计方 法等方面都各有特点 式 2 6 代表通用的模型 实际中 常可根据情况使用简化的参数模型 一般考虑 摄像机的运动类型共有6种 1 扫视 panning 即摄像机水平旋转 2 倾斜 ti lting 即 摄像机垂直旋转 3 变焦 zooming 即摄像机改变焦距 4 跟踪 tracking 即摄像机水 平 横向 移动 5 升降 booming 即摄像机垂直 横向 移动 6 推拉 dollying 即摄 像机前后 水平 移动 它们的结合构成3类操作 1 平移操作 2 旋转操作 3 缩放 操作 对于一般的应用 采用线性的6参数仿射模型 即 2 7 012 345 uk xk yk vk xk yk 通常可以得到满意的估计效果 仿射模型属于线性多项式参数模型 在数学上比较 容易处理 为了提高全局运动模型的描述能力 还可以在仿射模型的基础上进行进一步 扩展 例如在模型的多项式中加入二次项巧 则可得到8参数的双线性模型 2 8 0123 4567 uk xyk xk yk vk xyk xk yk 2 基于双线性模型的全局运动检测 下面介绍一种基于双线性模型的全局运动矢量检测方法 要对双线性模型的8个参数 作出估计 需要求出一组 大于4个 运动矢量观测值 这样可得8个方程 在获取运动矢 量观测值时 考虑到全局运动中的运动矢量比较大 可以将整个帧图像划分为一些正方 形小块 如16 16 然后用块匹配法求取观测运动矢量 通过选取较大的匹配块尺寸 可以减少由于局部运动造成的匹配运动矢量与全局运动矢量的偏差 以获得较为准确的 全局运动观测值 湖北工业大学商贸学院毕业设计 13 需要指出 虽然理论上说局部运动矢量也是一种运动矢量 应是实际运动矢量与全局 运动矢量之差 但实际上却不能直接采用上述块匹配算法来计算局部运动矢量 这是因 为局部物体通常规模较小 还常包含一些细节的运动 而块匹配法要求块尺寸不能太小 因此很多局部运动无法用块匹配法计算得出 2 2 2基于颜色信息的跟踪 Mean Shift算法是一种匹配跟踪方法 该算法主要建立在鲁棒统计与概率分析的基 础之上 鲁棒统计是一种忽略掉那些偏离目标很远的数据点的统计方法 因此 可以用 来处理在跟踪过程中图像出现噪声和数据离散的问题 根据这个原理 Mean Shift算法 通过使用非参数估计技术 沿着图像梯度方向查找目标物体的概率分布 从而在序列图 像中跟踪物体 Lerdsudwichai C等使用均值转换跟踪 Mean Shift Tracking 的方法 通过分析每帧中的颜色分布 找到与特定模型最接近的位置 再结合其它约束策略即可 得到跟踪对象在本帧中的新位置 本文采用的CamShift算法是对Mean Shift的改进算法 通过将Mean Shift算法扩展到连续图像序列中即可实现 具体实现过程将在第三章中介 绍 另外 需要指出的是 基于多摄像机的车辆运动跟踪也得到了一定的研究 如 Utsumi利用多摄像机对车辆进行跟踪 通过选择最好的视点来解决车辆与车辆之间的互 遮挡和自身遮挡问题 Cai等提出了在不同摄像机之间进行目标匹配的概率方法 并且对 相邻摄像机之间的自动切换问题作了探讨 不过 因为成本过高 关于多摄像机进行车 辆检测与跟踪的系统并不是很多 3 3 运动车辆识别与跟踪算法设计运动车辆识别与跟踪算法设计 3 13 1 车辆运动特征和算法分析车辆运动特征和算法分析 本文运动车辆图像是通过数码摄像机 道路运动车辆 和数码摄像头 室内遥控小车 采集的 在采集过程中 我们发现车辆在运动过程中有以下特点 1 天气 比如晴或雨天 和光照 比如晴天与阴天 白天与晚上 的变化会引起运动 车辆视频图像的变化 2 车辆颜色和道路以及道路两旁背景 如树 的颜色都有所差别 有的差别很大 比如红色 蓝色 绿色等多种颜色的车辆跟背景颜色差别更大 这就为本文所用的 CamShift算法创造了很好的条件 湖北工业大学商贸学院毕业设计 14 3 正常情况下 车辆在运动过程中基本与车道平行 很少有并道的情形 这使得 CamShift算法可以达到更好的跟踪效果 4 夜间行驶时 可以通过车灯的颜色或通过车灯随着车辆运动而运动达到识别与 跟踪 二次差分法是根据车辆的相对运动进行识别的 可以同时识别到两个或多个运动目 标 车辆 计算了连续的三帧图像 克服了帧问差分法的缺点 可以适应环境的多变化 性 由于被跟踪车辆在运动过程中的姿态是不断发生变化的 当存在转弯或部分遮挡时 传统的模板匹配等方法都难以达到跟踪要求 会出现误匹配或跟踪丢失的情况 并且运 算效率较低 基于颜色直方图的跟踪算法CamShift算法可以解决此类问题 由于目标图 像的直方图记录的是颜色出现的概率 这种方法不受目标形状 大小变化的影响 本文 采用CamShift算法有效解决了运动车辆转弯和部分遮挡时其他算法出现的误跟踪问题 且运算效率较高 3 2 二次差分法对运动车辆的识别 本文所采用的二次差分法是对目前比较常用的连续帧间差分法的改进 连续帧间差 分法是通过比较序列图像中前后两帧图像的差别从而达到检测运动车辆的 即是通过对 时间上相邻的两帧图像求差从而将图像中运动车辆的位置和形状突出出来 连续帧间差分法的主要优点是 1 算法实现简单 程序设计复杂度低 2 易于实现实时监视 3 由于相邻帧的时间间隔较短 因此该方法对场景变化不太敏感 目标阴影的影 响也不太大 所以连续帧间差分法对动态环境有较好的适应性 然而 这种方法在使用过程中还存在两个问题H51 一是两帧间目标的重叠部分不容 易检测出来 即只能检测出目标的一部分 二是检测出目标在两帧中变化的信息 这样 会存在较多的伪目标点 检测出的目标要比实际的目标大一些 分析原因 前者是由于 我们直接用相邻的两帧相减后 保留下来的部分是两帧中相对变化的部分 因此两帧间 的目标重叠部分不容易被检测出来 后者是由于相邻两帧必然存在的灰度变化所产生的 另外 这种算法容易把当前帧中显露出来 上一帧中被目标覆盖 的背景区域 即显露背景 也 检测出来 造成检测的不准确 基于连续帧间差分法的优点和缺点 本文对其做了改进 即二次差分法 本算法既延续了它的优点 也克服了它的缺点 湖北工业大学商贸学院毕业设计 15 第 k 1 k 帧差图像 第 k k 1 帧差图像 第 k 帧 0 k k Foreground R x yT R x y Background else 其中T是二值化设定的阈值 图3 2是本算法对运动车辆的识别结果 3 3 基于颜色信息的CamShift算法对运动车辆的跟踪 CamShift算法 即 Continuously Adpative Mean Shift 算法 是对均值偏移算 法Mean Shift的修改算法 是一种运动跟踪算法 它主要通过视频图像中运动物体的颜 色信息来达到跟踪的目的 使用颜色直方图作为特征 使用Mean Shift作为搜索算法 有效的利用梯度上升的方向来减少特征搜索匹配的时间 实现快速的目标定位 最早由 Bradski在1998年提出 他使用直方图的放投影作为匹配模板 使用Mean Shift搜索算 法对人脸进行跟踪 由于车辆的颜色和道路以及道路两旁背景 如树 的颜色有所差别 有的差别很大 比如红色 蓝色 绿色等多种颜色的车辆跟背景颜色差别更大 而且在 基于颜色特征的匹配中 由于直方图匹配法依据颜色信息 因此受目标形状变化不大 特征稳定 可以抗部分遮挡 是比较理想的跟踪方法 本文通过数码摄像机采集多种颜 色的运动车辆视频图像 并采用CamShift算法实现了跟踪 实验证明该方法可以抗遮挡 且运算效率高 实验结果将在第五章中给出 本文在用CamShift算法对车辆进行跟踪时 主要由以下三步组成 第一步 建立欲跟踪车辆的颜色概率模型 第二步 由欲跟踪车辆的投影图计算质心 再根据颜色直方图最大范围的搜索跟踪 目标 即Mean Shift算法 第三步 由Mean Shift算法扩展到连续图像序列形成CamShift算法 3 3 1 车辆颜色概率模型的简介 湖北工业大学商贸学院毕业设计 17 1 运动车辆图像的颜色模型 CamShift算法是基于颜色信息的方法 可以对特定颜色目标进行跟踪 因此首先应 建立颜色概率模型 颜色模型的用途是在某些标准下用通常可接受的方式简化彩色规范 本质上 颜色模型是坐标系统和子空间的规范 位于系统中的每种颜色都由单个点来表 示 本文中所用运动车辆的图像是通过数码摄像机采集的 原始图像为彩色图像 颜色 模型为RGB模型 图像中的任何颜色都是通过红 Red 蓝 Green 绿 Blue 三种基本颜 色按照不同的比例混合得到 红 蓝 绿被称为三原色 由于实际运动车辆在户外环境 中 光照随时都会发生变化 而RGB颜色空间对光照变化比较敏感 为了减少光照亮度变 化对车辆跟踪效果的影响 本文将车辆运动图像由RGB颜色空间转化到HSV颜色空间进行 后续处理 HSV颜色空间把颜色表示成色调H 饱和度S 亮度V三个分量 它们相互独立 能够提高算法的稳定性 而且它更符合人描述和解释颜色的方式 HSV模型还有一个优点 就是把图像分成彩色和亮度信息 使其更适合后续的处理 a 颜色的归一化 在讨论基于上述颜色模型提取运动车辆之前 我们需要理解受到真实摄像机影响的彩色 图像的一些物理特性 摄像机将无限维光谱颜色空间通过红 蓝 绿过滤器转变成三维 RGB颜色空间 在设计算法之前我们需要解释输出图像的一些特性 在实际中 由于摄像 机的噪音和光源亮度变化 经过一段时间 我们很少能观察到给定像素点的RGB颜色值是 一样的 我们做了一个实验 考察连续100帧 在这期间没有车辆通过 结果R G B的 标准偏差各是1 860 1 857 1 971 摄像机对不同颜色敏感度不同 这样 为了平 衡R G B权值 像素值需要重新归一化 在RGB模型中 每种颜色出现在红 绿 蓝的 原色光谱分量中 这个模型基于笛卡尔坐标系统 所考虑的彩色子空间是图3 3 a 所示 的立方体 图中 红 绿