（信号与信息处理专业论文）复杂背景下的目标检测与跟踪技术研究.pdf

硕士论文 复杂背景下目 标的检侧与跟踪技术研究 ah 8 t i 日 c t d 扣曰 团 j c object 。 习 c 倒 吐 g b asr ec 幼 v edco nsi d e r a b l e a 位 泊 t i onin切 山 唱 e proces s ing 吟 d uetoits衍山即 p l i c at i onp r o s 件cts an d汕p l l c ai t o nsinvi s u ale 巧 改 怨 . m e 翻w 肠 lethe 出 v e 价 ” tyand com p l e x i tyof诉 5 喇 加， 拍 n ” ” ent 功 a k e it di fficult ioe ffi 烈1 喇y 田 l d 由b l e y com p l ete th e 坛 明 ki ngtask . this p a 户 二排 。 训se s th a t m e an s hi ftai g o ri th 叭伪 m b i d ed初th 血 凡 劝 朋n 6 】 t 俄isable to留hj eve r 已 目 砚 如e 坛 明 king 劝 ea d ily. t 五 e 代e 劝 ts份七 叨 牡 昭目 9 硕山 川in此 叭 别 目p r o c e s sing 丘 。 ms in 1p l e， 1 0 仆，初 b 朋 k g ro 叻tocom p 贻 x 场 沙啊 笼 edb ac k 邵 o und . t b e ai g o ri th mofm。 幼 s hi ftis b as edu pon the e s t 近 以i onofke me l d ensltyand the di 而b u t i o n of珑stogr 田 ” . b es i des it is 皿引 比 妞 it i vetoth e c 垃 切 g e ofa ta rg 改 15 5 加peand s 让 ， and 七 assu c b adv ad吨esastlac king 勿血面c object 俪仁 5 恤 b l y 叨d e ffi 双i vely.t b i s p 即 盯is b as edonmea心hi ftto朗 hi 创e the 加g ettrac k in g面ssion un山 汀com p l ex b 即 k gr o und .u s ing k a 】m 曲 filter tofo 代 沈 a st此 5 “ 吐 eofthe ta 飞 eta n dupda比奴 t .p 】 ate int 面e ， 山 . the soli d i tyofthe in 1p ro v 曰 me ans h inis gth即e d as m ean s hi ftal g o 行 th m朋e 山toco n d u cte xl 拍 理 范 v e 皿ag e m 副 比 h i ng， an d isha 川to 七 朗 k r 即i d m o v in g ta 唱 ets.k 川 功 a n fi l tercan e 压 双i v e lyfo r ec 日 眺 the st at e ofm o v 川 g talg 氏 it can 代 月 u cethe n 切 团 肠 沈of口 成 c 肠 由 9 。 沐 口 石 。 ns. 丁 七 e fo r e “ 峨 吨 re s ul tsofk 滋 肠 肚 mfi l 谕 c anbethe 幻 a rt in g point ofme ans hj 几出 .we can get the p 邝 c i se恤g e t l o 。 吐 i o n 日 让 r 邓 v 。 幻立 旧 定 c bing o 洲丽眠 阳d the 公 is k of6 侣 t mov ing ta rg ettr ac 幻 山 g c anbe川 ip 功 v ed. evenif你 恤g e t isco mpl e te lyoc c l 因 ed， the fo re 。 以 in g 化 ， 习 招can 比诩e d asa ta 电 et 10 。 戏 i on翻苗 t in g goalaga u 1 u o d erc er ta intnatc 恤 昭c ri t e ria， the e 引 遨 b l i s 知 旧 。 lt ofad 即 t l ve k al m an fi lter 酗up can 仰datete m p l al 比of ata z g ett 面e ly， av o i d in g妞 物9 env iro口 口 entalc 址 m g esw 加 chl e a d s toth e 创1 眼 of坛 朗 king tas匕 l abv iewpogr . nisl l se dtoa ct 山 lli zethe ai gori th m .t b 。 七 习 c ki ng al go对 th min面5 p 即 叮 isabletocom p l ete tbe targ et坛 沁 k 由 91 朋 ks und ercom p l ex b ac 蜒 四undd ur 如 9 u u r 。 比r s ofe x 声 ” m e nl 目t e 引 比 ， w 七 g ote x c e n ent 加 ac ki n g e 巧 沈 仁 the 功 叱 唱 e s p r 仪 笼 s s ed幼d ai g o ri th m助 目 y sisis prese n 扭 吐 . k e y w0 rds:t 时 g et tra c k 的 9 ka l m” f i l 认 汀 me ans hi ft o c c l usi on p r o c e s s ing modelu 加 妇 te 声明 本学位论文是我在导师的指导下取得的研究成果， 尽我所知， 在 本学位论文中， 除了 加以 标注和致谢的部分外， 不包含其他人已经发 表或公布过的研究成果， 也不包含我为获得任何教育机构的学位或学 历而使用过的材料。 与我一同工作的同事对本学位论文做出的贡献均 已在论文 中作 了明确的说 明。 研究生签名:年月日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档， 可以 借阅 或上网公布本学位论文的部分或全部内容， 可以向 有关部门或机构送 交并授权其保存、 借阅或上网公布本学位论文的部分或全部内容。 对 于保密论文，按保密的有关规定和程序处理。 研究生签名 : 年月日 硕士论文 复杂背景下目 标的检翻与跟踪技术研究 1 . 绪论 引言 视觉图 像处理是利用计算机实现视觉信息处理的一门学科， 涉及计算机、 生理学、 物理学、 信号处理和数学等领域， 是一门 交叉性很强的学科。 作为计算机视觉研究的 热门 课题运动目 标跟踪技术己经有20多年的研究历史，它融合了图像处理、模 式识别、目 标检测、 人工智能、自 动控制以 及计算机等许多领域的前沿技术， 在军事 侦查、电视制导、 机器人导航、安全检测、交通管理、医疗诊断、气象探测等许多方 面有广泛的应用。 目 标 跟 踪 显 然 也 离 不 开 数 字 图 像 处 理 l 21 t4 ， 其 本 身 也 即 对 出 现 在 视 频 图 像 中 的 目 标进行实时识别，则必须对图像中的像素进行处理。数字图像处理技术是从20世 纪60年代以来随着计算机技术发展而产生、 发展和不断成熟起来的一个新技术领域， 它在理论上和实际应用上都取得了巨大的成就。 数字图像处理的主要研究目的在于通 过对原始图像的再加工， 使之能具备更好的视觉效果或能满足特定的需求， 在处理上 主要包括图像的采集、编码、 存储和传输、图像的合成、图像的增强、 变换与复原等 诸多内容。目 前已 广泛应用于工业、 微生物领域、 医学、 遥感、 航空航天及国防等许 多重要领域， 而且多年来一直得到世界各科技强国的广泛关注。 l l论文背景及研究意义 运动目 标的检测与跟踪是应用视觉领域的一个重要的课题。 现实生活之中， 大量 的有意义的视觉信息包含在运动之中。尽管人类既能看见运动的又能看见静止的物 体， 但是在许多场合， 如交通流量的检测、 重要场所的保安、 航空和军用飞机的 制导、 汽车的自 动驾驶或辅助驾驶等， 往往只对 运动的物体感兴趣。 因此， 研究运动目 标的 检测和跟踪问 题， 有很大的理论意义和应用价值。 运动目 标跟踪是视觉处理研究的 核心内 容， 其典型应用主要包括: 1) 军事上的 应用主要包括自 动驾驶飞行器、自 动目 标跟踪、 无人驾驶车辆等。 2 ) 智能机器人任务执行， 通常机器人为了 执行某些任务，需要能够在它的环境 中 跟踪目 标。 在智能机器人的 应用中， 跟踪 技术用于从安装在机器手上的 运动的 摄像 机中拍摄物体，计算运动轨迹，选择最佳姿态抓取物体等。 3 ) 安全场合智能监控， 智能 监控系统的需求主要来自 那些对安全要求敏感的 场 合， 如银行、 商店、 停车场等。 监控摄像机在商业中的应用需要监控系统能够自 动分 析摄像机捕捉的图像数据， 自 动完成对复杂环境中的人和车辆进行实时观测以 及对感 兴趣目 标的行为进行分析和描述。 4 ) 交通监管系统中的监控， 现代社会的高节奏生活导致了 交通的浮澡. 基于此 而出 现交通违规和不文明 现象时，目 标检测与 跟踪显得尤其重要，从而大大减少了 l 硕士论文复杂背景下目 标的检侧与跟踪技术研究 交通管理的麻烦。 5) 医学高科技的需求，现代高科技的发展促使医学的向前跃进，而医学生物微 观上的研究却与目 标追踪密不可分。 包括对微观细胞的追踪观察、 人工植入器官的跟 踪观察等。 当 然， 除了以 上的应用外， 目 标跟踪还存在很大的应用范围 和前景。 我们更关心 的是现实生活中的应用。 涉及到最多的还是各种生活环境中的监控。 传统的监控系统 主要是通过一些传感器如温度传感器、 压力传感器和电接触传感器等来实现的， 现在 已经逐步出现了可视化的监控系统。 人们对基于视频图像的监控系统的智能化要求越 来越迫切，而运动目 标的跟踪在视频图像处理中占 据极其重要的地位。 i j 目 标跟踪算法的 研究现状 随着图像设备的不断发展， 图像跟踪技术也日 趋完善。 在图像跟踪技术中， 可以 通过图像传感器来获取连续的图像序列， 然后通过相应的算法来获得目 标运动的相关 信息，比 如位置、 线速度、 姿态角等。 在比 较先进的图像跟踪系统中， 通常采用图像 雷达或望远镜及ccd ( charge c oup l ed d evi ces)构成的地面图像探测设备来获得图 像 序列， 利用一些典型的边缘检测算子来检测图 像的边界并确定目 标的位置。 在许多情况下， 图像序列可以 通过各种不同的设备获得， 比如数码摄像机等大众 化的电 子产品设备。 使用设备简单， 易于进行实物仿真， 这正是图 像跟踪和其他跟踪 方法的最大差别， 也是图像跟踪能得到迅速发展的主要原因。 通常， 从技术角度来说， 图像跟踪具备如下特点: 1)离散且相关联的帧序列作为被分析对像; 2)以图像作为识别的载体，具有很强的可观性: 3)可以采用大量的数字图像处理和分析方法， 数字图像处理方法在数十年来伴随 着计算机的发展己 经形成了完备的理论体系。 典型的图像跟踪程序处理过程如图1 . 1 所示: 图1 . 1一种典型的动态目 标跟踪系统结构示意图 硕士论文 复杂背景下目标的枪侧与跟踪技术研究 目 标跟踪算法主要解决图像序列中的某一目 标的连续跟踪问题， 算法要建立在目 标的检测识别的基础上， 涉及跟踪目 标的 特征分析、 运动轨迹估计及保证跟踪稳定性 的稳定跟踪策略等内容。 国内 外学者对各种情况下的目 标跟踪算法作了 很多的研究， 目 前比 较常用的 跟踪 算法有如下几种: 基于目 标运动特征的跟踪算法， 如图 像差分跟踪算法、 基于目 标光 流特征的跟踪算法等;基于跟踪序列前后相关性的目 标跟踪算法，如模板相关算法、 基于特征点的相关算法等; 以及一些基于目 标特征参数的 跟踪算法， 如基于目 标轮廓 的 跟踪算法、 基于目 标特征点的 跟踪算法等。 另外还有很多学者将小波技术、 模式识 别、 数学形态学、 人工智能技术、 神经网 络技术等应用于目 标的检测跟踪算法， 取得 了 很好的应用效果。 这些算法各有其优缺点， 分别适用于不同的应用场合。 i j目 标跟踪技术的 研究内容 从跟踪的效果来看， 目 标跟踪可以 被分为基于分割的跟踪和基于视窗的跟踪两大 类。 前者也被称为视频对象分割。 要求跟踪目 标图 像的整个边界， 这在许多基于内 容 的视频编码、 视频分析中有着重要的意义。 由于要细致地分割出视频序列中的目 标边 界， 跟踪算法大多采用基于图像分割、 光流等方法， 这些算法对系统资源的消耗是非 常巨大的，难以满足实时性的要求。 本文主要研究基于视窗的可视跟踪。这一类算法不要求对目 标进行细致的分割， 只要求通过矩形或者椭圆形跟踪窗体包围、 锁定所要跟踪的目标图像。 这种类型的可 视跟踪算法被广泛的应用在视频编码、智能交通、监控、军工等众多领域中。 目 标检测跟踪的基础是对于序列图像的运动分析， 基本点在于目 标的 检测， 跟踪 的精度和智能化。其研究的具体内容是: 1) 跟踪模式， 目 标所处的工作状态和环境条件的不同对目 标图像的尺寸、 形状、 灰度及其分布、 以 及图像系统的分辨率存在很大影响， 故系统的跟踪模式的 选取 应充 分考虑到现实参量的不确定性。 2) 跟踪状态估计及其转换， 跟踪过程中由于外界的干扰而对跟踪过程的状态进 行估计是必要的. 3) 多目 标跟踪， 在视场跟踪单一目 标时， 很有可能受到其他目 标的千扰， 这些 干扰物体很可能与目 标很相似， 这就要求系统有对目 标区分以 及运动估计的功能。 4) 滤波与 预测， 系统在各种环境运行会受到噪声干扰， 使得测得的目 标状态参 量与真实 状态存在一定偏差，为了 减少误差的 积累往往采用参量滤波及预测技术。 l 4本文的内 容安排 本文讨论复杂背景下的目 标跟踪， 分析了目 标检测理论和目 前跟踪技术现状， 并 以 m 眯 口 5 拍 n 算法为 基础， 对算法 进行改 进 从而增强 算 法的鲁 棒性. 分 为 六章分 别 进 硕士论文复杂背景下目 标的枪洲与跟踪技术研究 行阐述。 第一章为“ 绪论气介绍了 课题的背景和研究意义，对运动目 标的检测跟踪做了 简要的概述。 第二章为“ 运动目 标的检测与 识别技术” ， 介绍了目 标检测与识别的现状以 及主 要技术， 并对差分法和阐 值法作了 详细讨论。 第三章为 “ 基于目 标模式匹配的跟踪算法” ，本章主要讨论今年来常用的跟踪算 法，重点介绍模型匹配算法在目 标跟踪中的应用。 第四章为 “ m e 歇 巧 加 丘 算法在目 标跟踪中的应用” ，基于直方图分布的旋a n s h i ft 算法是本章的重点，讨论了 mea nshi fl 算法的理论依据及在图像采集硬件的支持下对 该算法的实现，并算法的实验效果做了分析。 第五章为 “ 目 标跟踪过程中的遮挡处理” ，本章利用k al卿 算法对本文跟踪系统 进行改进， 增强跟踪的鲁棒性， 借助k al砷 的预测功能减少了算法的时间复杂度。 并 在k allnan 滤波器的帮助下实现目 标模型的更新。 第六章为“ 总结” ， 对本文的一个总结， 包括本文的主要工作和得出的实验结论， 以及对本课题今后努力方向的展望. 硕士论文 复杂背景下目标的检渊与限踪技术研究 2 . 运动目 标的检测与识别技术 在图 像跟踪过程中，目 标检测识别是目 标跟踪、目 标分类、目 标行为理解等的 基 础 ， 因 此 运 动目 标 检 测 是 视 频 序 列 图 像 处 理 的 关 键 环 节 i01. 根 据 序 列 图 像 的 背 景 情 况可以将运动目 标检测划分为静态背景下运动目 标检测和动态背景下运动目 标检测， 本章主要讨论静态背景下的运动目 标检测算法。 正常情况下，目标检测模块将从图像序列中获知是否存在运动目 标， 如果存在运 动目 标，则算出目 标在视频图像中的位置、方向、大小。 然后提交给目 标跟踪模块， 目 标跟踪模块根据给定的目 标参数， 建立跟踪模式， 即为后续跟踪过程初始化目 标模 型。 适用于各种检测环境的目 标检测和提取算法实际上是非常难以实现的， 要克服以 上几个难点要求算法具备强的鲁棒性， 跟踪系统硬件也必须是专门设计的. 否则不得 不在算法的复杂度、可靠性，以及实时性等方面折衷考虑. 目 标检测的典型应用过程如下: 图2. 1典型运动目标检测与提取的流程 本章主要讨论帧差法在目 标检测识别中的应用。 2. 1运动背景目 标检侧 2. 1 .l配准法 目 标运动的同时， 摄像机由 于运载平台的姿态或位置改变也发生运动， 此时运动 目 标在图像上造成的变化与背景自 身的变化混淆在一起， 运动目 标的检测就变得复杂 起来。 为了能够沿用静态背景下的检测思想， 将连续几帧图 像的相同背景稳定在同一 幅图像的 相同 位置上， 从而使运动目 标“ 暴坏” 出 来， 配准就是完成背景稳定的 过程。 2. 1 2光流法 光流的概念是由g i b son 于1 9 50年首先提出的。 光流法是通过目 标和背景之间的 不同速度来检测运动目 标的， 基于光流估计的方法都是基于以下假设: 图像灰度分布 的 变化完全是由 于目 标或背景的 运动引 起的，即目 标和背景的灰度不随时间变化。 2. 2静止背景目 标检测方法 目 前静态背景下的 运动目 标检测的 方法主要可以 分为三种: 第一种是帧差法， 祯 ， 硕士论文复杂背景下目 标的 检侧与跟晾技术研究 3 .基于目 标图像匹配的跟踪算法 上一章我们介绍了 简单背景下目 标的 检测技术， 对于复杂环境的目 标跟踪并不适 合， 本章在介绍各种跟踪算法分类的情况下， 讨论目 标图像匹配在跟踪中的应用。 在目 标跟踪方面， 有很多不同种类的跟踪算法， 人们试图对它们进行分类. 有刚 性目 标的跟踪算法和非刚性目 标的跟踪算法的分类方法， 也有基于运动的跟踪算法和 基于模型的跟踪算法的分类方法. 迄今为止对目 标跟踪算法暂且没有权威的分类， 我 们可以归因于以下三个方面: 1) 目 标跟踪是一个不断发展的学科，新的方法不断产生，随图像处理及视频硬 件的发展而不断更新; 2) 边缘学科的特点使得任何新的方法都有可能引入这一领域。 物理学、 热力学、 神经网络、信号处理方面的新方法和理论都可能引入这一领域; 3 ) 算法本身的分类不定性，一种算法可能与好几种分类规则都相关。 本章我们按对比度和图 像匹配这两种分 类规则对当前算法进行分类， 在比 较算法 优缺点的前提下给出本文基于无参密度估计的me a n s hi 琪 法的理论推导。 3. 1 基于对比 度的跟踪方法 利用目 标与背景之间的对比度来识别和提取目 标信号， 实现目 标自 动跟踪目 标运 动 的 一 种 方 法 1e . 它 是 目 标 跟 踪 最 早 发 展 起 来 的 一 种 方 法 ， 至 今 仍 然 在 许 多 跟 踪 系 统中作为基本跟踪模式被采用， 对比度跟踪方法中依跟踪参考点的不同可分为: 边缘 跟踪，形心跟踪，矩心 ( 质心，重心) 跟踪，峰值跟踪等。 对比 度跟踪法可以跟踪快速运动的目 标， 对目 标姿态变化的适应性强，目 标尺寸 大小及其变化基本上不受限 制。 但识别能力 差，难以 跟踪复杂背景中的目 标。 3. 2基于图 像匹配的跟踪算法 图像匹配跟踪算法是当前用得最多 最广的方法， 其基本思想是根据图像中目 标对 象的先验特征或是估计特性与图像中的 候选目 标进行比 较，从而得出目 标的真实位 置。 依照目 标的具体情况， 分类规则主要包括: 运动模型、目 标特征、 纹理特征、 形 状特征、 模板相关匹配等。 3 么1基于运动模型的 跟踪 基于运动模型实际上是根据目 标的 运动信息而进行的 跟踪算法， 如果我们已 获得 一些关于被跟踪目 标运动规律的信息， 就可以 利用它们预测目 标在下一帧中的 位置， 从而减小目 标的搜索范围。 将已 知的目 标运动规律作为跟踪算法建模的假设条件， 对目 标整体运动来说可用 仿射模型、 透射模型来描述， 而对运动的 估计和预测最常用的就是对卡尔曼滤波器的 1 ， 硕士论文复杂背景下目 标的 检洲与跟踪技术 研究 使用。 在文献【 17】 中， 用概率模型对运动状态建模用以 处理复杂背景下轮廓的 跟踪， 算法在给定当前状态的前提下计算不同运动的条件概率密度，即所谓的c o n d el 侣 at l on 算法， 也就是粒子滤波算法。 在复杂背景下的目 标跟踪， 粒子滤波器是一种很好的算 法，也是目 前跟踪领域一个很重要的算法。 3 j j基于目 标特征的匹配算法 基于特征匹 配的目 标跟踪方法是指根据目 标特征在序列图 像中寻找目 标， 进而跟 踪运动目 标.该算法的实现通常分为三步: 1) 根据目 标检测结果抽取目 标的显著特征， 如拐角、 边界、 有明显标记的区域、 颜色等: 2 ) 在连续帧图像上寻找特征点的对应关系，也称为特征匹配; 3 ) 根据相似性度量方法， 确定在当前帧中目 标的最 佳位置。 目 标的物理特征是很好理解的， 对于某些特征存在一些特殊的性能。 比如矩特征 对目 标的缩放、旋转等运动不敏感， 可以 在一定程度上提高 跟踪算法的稳健性。 3. 2 3基于纹理特征的 跟踪算法 纹理是表达物体表面或结构( 分别对于反射或透射形成的图像) 的属性， 它使用 得很广泛， 且在直觉上是明显的。 我们可以 把纹理定义为由互相关的元素组成的某种 东西，因此我们考虑的是一组像素或纹理元素。 取图 像的 对比 度几、 粗细 度几和方向 性几构 成 三维 空间 的 纹 理 特 征汽 白， 在 这个三维空间中， 两点之间的欧式距离与人对应纹理可感知的距离非常接近。 根据视 频图 像中目 标的 纹 理 特 征几才 的 相 关 性， 算出目 标的 位置。 另 一 个 纹理 特征 是 基于 共 生 矩阵 的 纹理 特 征几， 为了 利 用 像 素 相 对 位置 的 空间 信息， 建 立区 域灰 度 共生 矩阵 ， 其 描 述了 图 像中 相 距( 公， 妙) 的 两 个灰 度像 素同 时 出 现的联合概率密度. 3 么 4基于形状 特征的 跟踪算法 形状特征是描述图像内 容的 一个重要特征。 形状特征包括边缘方向 直方图、 傅立 叶 描 述 子 和ho剐 g h 变 换。 边缘 直方 图凡是 最 容易 获 取的 形 状 特征， 傅 立叶 描 述 子 是 将图 像轮廓展成傅立叶级数，以 一定精度描述轮廓， 具有平移、旋转、 尺度不变性。 如 基 于 轮 廓 描 述 子 的 形 状 特 征 定 义 为 凡= (c0，叹 ， ， 味. )，凡具 有 对 平 移 、 旋 转以 及尺度变换不敏感的 特性. 由 于ho峪h 变换在噪声和遮挡的 情况下仍然具有良 好 状 态 特 性 ， 采 用 ho妙变 换 获 得 的 形 状 凡定 义 为 : 凡= (r， cl ， 几 ) ， 描 述 了 图 像 中 形 状为圆 形的 物体， 此方 法推广到 任意形 状的 广义ho昭 h 变换中。 硕士论文 .复杂背景下目 标的检侧与跟踪技术研究 3 3基于 模板相关匹配的 跟踪算法 前述算法在跟踪应用中各有其优缺点， 共同的一个特点是按照目 标的某一特征或 物理特征或数学变换特征寻找其位置. 在目 标有鲜明 特征的情况下不失为简单适用的 算法， 但在各种特征不明朗且环境复杂的 情况下难以 适应， 而基于目 标相关性匹配的 算法却可以 避免跟踪对目 标特征的过分依赖。 相关匹配算法分为基于边缘特征的匹配算法和基于区域特征的匹配算法， 本章研 究基于区 域特征的跟踪方法一一模板相关匹 配算法。 该类算法为跟踪目 标建立 跟踪模 板， 根据模板和序列图像之间的相关性确定目 标所在的位置。 由 于模板中包含目 标的 区域、 灰 度、 纹理特征等信息， 因 此克服了 基于 边缘特征跟踪算法目 标特征单一的 缺 点，所以 其跟踪性能、抗干扰性能要好于基于边缘特征的目 标跟踪。 设一帧数字图像像素为nx n的参考模型， 搜索窗口为mx m的t 模板。 根据算 法结构， 使得厂 在参考图 像5 上移动，由t 搜盖的区域为5 习 ， 利用相似度函数分析 覆盖区域像素和模板t 像素的相似度， 如果相似度函数显示模板和覆盖区的“ 相似性. 达到最大， 则认为被覆盖区域为目 标所在区域. 几月改积粥沁改立t 万im土觉 么 _ 了 r 馨:】 共川 #用雄牛脓 泰 毅引洲泪书书什川称黝炎 巍 +阵什什升什件曰书袭 圣论 忿 砰 + 件扫 一杆杆料引 谈翌弓一投 好 柑柑拼湘洲拚进 滋 图 3. 1 模板相关算 法原理图 下面介绍几种基于目 标模板相关匹 配的 跟踪算法。 3 浅1墓于归 一化互相关的 模板相关匹配算法 由 模板匹配原理可知，要找到目 标的所在区域则必须存在相似度量， “ 相似性” 达到一定程度时认为找到了目 标。 归一化互相关的模板相关算法是通过建立归一化的 相关函数来进行相似度量的。以 子图和目 标模板的各像素误差平方和作为相似度量: 衬m d (i ， d = 艺 艺5 ， ( m ， n ) 一 t 伽 ， n ) ， ( 3 . 1 ) 二 1门 . 毛 展开得: 硕士论文 复杂背景下目 标的检侧与跟踪技术研究 刀 (i ， j) = 艺艺 s “ 帆耐-过 戈 s l.j ， ，n)l 、 t( 二 ，。 十 觉 艺 t( ， ，n )1: ( 32 ) 用耳习月 -1月.】即 . 1 加.】万 . 1 等式右边第一项为 子图 能 量， 随(i ， 力而改 变: 第二 项为 子图 与 模板的 互相关函 数， 也随(i ， 力改 变， 当 该 项 值 达到 最 大时 认为 子图 为目 标区 域; 第 三 项为目 标 模 板 的总能量， 是个常量。因此以下式做为相关匹配相似度量: 艺艺 5 ， 伽 ， n ) x r ( 二 ， n ) 1 r(i， 力 潺舔可霸石 ( 3 . 3 ) 根据柯西 一施瓦 则不等式 可知当。 。 即 可 ， 采 用 对 角 阵 必 须知道d 个带宽 参数， 而比 例矩阵只用一个窗宽 参数h ， 核函 数的 估计式就成了以 下 常用的形式: 式 x) = 共女 k 点 弃 ) 月 左 一 下 万拄 ( 3 . 2 1 ) 常用的一个核密度估计函数是正态分布的: x ( x ) = ( 2 二 )一 “ ， 州一 喜 !1二 11， ) 名 ( 3.2 2) 将 (3. 16)式 代入上式，将密 度估计表达式写成 基于核函数的 轮廓函数形式: 、 ， 一 箭 客 “ ，旱” 上式即为通用的用核函数表示的核密度估计式。 3 :4 3核密度梯度估计过程 为了 分析数据集合中密度最大的分布，可以 对标准密度梯度进行估计 表达式 ( 3 2 3) 的线性特性来计算密 度估计器的梯 度估计量如下: 硕士论文复杂背景下目标的检测与跟踪技术研究 鱿， (x ) ， 认， ( x ) = 聂客 (x 一 厂 (il 旱” ( 3 . 24 ) 定义函数:9 (x) = 一 k ( x) 如果除 有限点 集外对于所有的x 抓0 ， col ， 核函数k 的导 数都存在， 内 核定义为g，以g(x)为窗 函数，则g ( x)定义 如下: g (x ) 二 cg ， 9 ( 1 x l!， ) 式中 几 河 是 相 应 的 标 准 化 常 量 取 密 度 估 计 的 梯 度 可 以 得 到 : ( 3 . 2 5) 根据 ( 3 . 2 4 ) ， ( 3 . 2 6) 奴 ， (x)=聂争一 、 、 旱11:) _ 气 。 _，二 : 一 ; 。 : 二 :x，g 喇) ! -丁 氛苏 z g lll .we犷 se l !一 )日-一一一，户一一书一 xi nn 一 l 石，njl ， 。 诩 x一为、1 izj_ : 9姗一二一1 ! )1 l一 一 “ n目 ( 3 . 2 7) ” 中 ， ” 定 客 酬 x一气 h!。 ) 为 ”“ 零 值 。 将式 ( 3 . 2 7) 等式 右边两个中括号处分成两部分， 由 式 (32 3) 可知， 上式中 第 一 项与x 点的密度成比 例，x 点的 密度估计可以由 核g计算 得到: ， ，马 _， 小_ jlx一 训， 标因 丽台 9 川 币 厂 ( ( 32 8 ) 第二 项即为me a o s b 诅矢量: 、 ，。 = 里 少 心脸 _ 二 乙叫 旱 ( 3 . 2 9. 1 ) 其中 ，气 .g (x ) 称 为 采 样 均 值: 。 jlx一 刁， 、 :xtgl 几 杯 11 功 刀 不j = 一 乙叫 旱 ， ( 3 . 3 0) 根据以上 (32 8) 和 (3.3 0) 可以 得到以 下表达式: 硕 士 论 文 复杂背景 下目 标的检测与 跟踪技术研究 奴 ， (k ) 一 大 。 (x) 鲁 、(x) ( 33 1) 综合以 上几式就可以 得到如下关系式: 1 .v大 (x、 _扮， 、 _一 盛砂.产、， 开召 月 汤 ) 林 一 “ ，.， 目，产，、 1 。 x ， 甲介 舀 】 、， ( 3 . 3 2) 上式表明， 在点x 用核g ( x)计算出的 m ean s hi ft向 量与核k ( x)得到的 标准化密 度 梯度估计成比 例。而标准化是通过用核g 计算x 点的 密度估计来实现。 式 (33 1) 的 分子是密度梯度估计， 而梯度 估计 是密度变化最大的 方向， 所以me ans hi n 向 量总 是 指向 密 度 最 大 增 长的 方向 划 。 实 际 上， 对 于m e 肚 b in 向 量 式 (3 2 9. 1) ， 可以 假 设g( x)=l， 则 该 向 量 变为 : 、 (卜 青 客 (x， 一 ， ( 329 2 ) 图3. 4 m e a n s hi ft 向量示 意图 图3. 4 说明 了 式 ( 3 .2 9. 2)， x 为 核 函 数 的 中 心 ( 图 中 较 大 点) ， 周 围 为 样本 点 芍 ， 箭头为 样本点 相对于中 心点的向量 偏移， 平均 偏移量指向 样本点最多的方向即梯 度方 向 3l1. 因 此m eans 曦 向 量 总 是 转 移 到 样 本 点 变 化 最 多 的 地 方， 此 时 核 中 心 的 位置 对 应 某 个 概率 密 度 的 机 制即 模 式 位 置 ， 即xl 处 计 算出 来的m e an s 呱 矢量 指 向 卷曲 面 艺g (x 一 x，) 诚 x)( 哈) 为 权 值 后 文 有 证 ) 的 负 梯 度 方 向 。 3 .4 2 .4 me a 峪h 价算法收敛的一个充分条 件 在m 田 s hi n的 迭代过程中， 核函 数的中 心由 一个初始位置不断逼近到一个密度 最 大 的 位 置 ， 以 序 列 (y )-l ，2 .表 示 核 函 数 g( x) 的 中 心 点 在 连 续 迭 代 中 的 位 置 ， yl 是 起 始位置。由 (3.3 0) 式可知: 硕士论文复杂背景下目 标的检测与跟踪技术研究 小， . ， x 一 戈、 。 乙 不gtll 一下 一! 1 ) 几 二n。 八 y l+l =一 丁一 甲 甲 - ，-j =1 ， 军，jl。 x一凡 . 12、 zj glll we丁we ! ) 下万n (3.3 3 ) 是 在为点 计 算 得到 的 下 一 个 连 续 位置 点 在 这 些 连续 位 置 点 上 相 应的 密 度估 计 组 成 一 个 序 列 ， 计 作 毛 大 ， 切 j = 2. “ 二 ， 且 : 人 ， u) = 人 ， o;j)j 二 1 夕 ( 3 . 3 4 ) 如 果m e a n s hi 几 算 法 能 够 收 敛 ， 那么 序 列饥 j- 。会收 敛， 由 起始 点 yl 起， 序 列 助介 .夕 对 应 的 密 度 估 计 序 列 大 ， 叻 j = 1 ， 2. :. ， 也 不 断 变 大 ， 也 即 : 密 度 不 断 变 大 ， 直到收 敛到最大密度处。 如果能够证明m e 肚 侣 】l j 五算法中 这两 个序列的 收敛特性， 也 就证明了m e a n s hi ft 算法的 收敛性。 根 据文献40 】 的证明， 可得到以下定 理: 如 果 核函 数k ( x)有 一个 凸的 、 单 调减 的 轮廓函 数， 那么 序 列乃 )j- 。 . 和 序列 认 ， 。 j = l z. .，. ， 收 敛 ， 元 ， ( 力 j = 1， 2. . “ ， 单 调 增 加 。 且 迭 代 过 程(3 3 3 ) 是 收 敛 的 。 据上理论可知， m e an s hi ft 算法是收敛的。 m e a n s hi n 跟踪算法是基于无参密度 估计的 核密度直方图寻优算法，能迅速有效 地收敛到 目 标的密度极值点。 3 . 5小结 本章对现行跟踪算法做了 大致分类， 并在 讨论各 类算法的基础上重点讨论了 模板 相关匹 配跟踪算法， 其灵活的适应性 得到 较广泛使用。 在讨论了 一般相关匹配算法的 缺点基础上分析了mean s hi ft算法在跟踪中的优点。 硕士论文复杂背景下目 标的检测与跟踪技术研究 4 .me a o s h i ft算法在目 标跟踪中的应用 上章我们主要 讨论的 是目 标图 像匹配 在跟踪中的 应 用， 各 种算法及分类都存在其 优缺点， 本章主要讨论基于颜色分布的匹配 m 嘟 s hi ft 算法在视频跟踪中的应用。 colnalu ci u 和m eer哪 把m eans 磁成 功 地 运 用 于 特 征 空 间 的 分 析 ， 在 图 像 平 滑 和 图像分割中m c a n s hi ft 都得到了很好的应用. c 。 一等在文章中证明了m e a n s hi ft 算法在满足一定条件下，可以收敛到最近的一个概率密度函数的稳态点，因此 m e 肛 曦 算 法 可 以 用 来 检 测 概 率 密 度 函 数 中 存 在 的 模 态 。 在 文 献 润 中 ， c or 山 u 等主要讨论了me a n s 瓦 ft在目 标跟踪中的应用， 这是mean s hi ft在目标跟踪中应用的 经 典 文 献 。 。 c in 等 在 文 献 l侧 中 论 述 了 m o in s hi n 中 核 函 数 带 宽 的 选 择 问 题 ， 计 算 繁琐， 实 用性不强， 但有理论 价值. cou insl3l l将尺度空间 和m c a n s hi ft 相结合解决 了 核 函 数 带 宽 实 时 变 化 时 的 目 标 跟 踪 ， 但 算 法 的 速 度 不 好 . n 一 的等 38 研 究 了 粒 子滤波器和m e 肚 侣 hi ft 方法相结合的情况， 但是粒子滤波器本身的复杂计算降低了 跟 踪的实时性。 章节安排如下: 第一节描述了 算法在跟踪中的应用; 第二节讨论了基于m e ans hj n 算法的改进:第三节对m ean s hi fi算法复杂度做了 分析: 第四节介绍了b 山 v iew环 境下算法实现过程; 第五节给出了实验结果并 在最后一节做了 本章小结。 4. 1目标跟踪中的mea心h 价算法 me a n s 肪t 算法用于跟踪中必须涉及到图像模型，只有确定目 标与候选目 标之间 的 相似度才能找到目 标的 位置， 跟踪过程中 假设目 标的纹理特性不发生突变。 4. l i 相似 性度 量: b h a tl 段 c 如。 ， . 系 数 在当前帧中找到目 标位置的任务可以归 纳如下: 假设目 标模型的颜色和纹理特征 具 有 密 度函 数q ， 而中 心 在yl的 候 选目 标具 有 特征 分 布p 认) 。 于 是问 题就是 找 到 一 个 位 置 y ， 使 其 密 度 函 数 抓 yl ) 与 目 标 密 度 函 数 q 最 相 似 36) . 由统计理论可知， 假设检验中分类的错误概率与两个样本集合分布的相似性直接 相关。 对于分类结果而言， 若错误概率越大， 则说明分布越相似。 因此， 我们可以 把 目 标位置 估计问 题转化为 求 解使模 型与候 选分 布b a y es误 差最大化问 题。 我们假定 对 于估计位置的邻域任何位置，目 标出 现的概率是相等的。 与b ayes 误差紧密 相关的 因 子是b ha 枷 曲 田 ”a 系数， 它通 过下式定义: 户 。 ) = ， ， 。 ) ， 。 刁办 丽秘 b h a 让 明 h 出 ， y a 系数的 性质， 诸如 与f is her 度量的 相关 性， (4. 1) 样本估计的质量和大t 不 同 分 布 的 清 晰 的 表 达 方 式 可 以 参 阅 文 献 40 。 从 样 本数 据中 导出b 址 ltt 朗 腼叮a 系 数 是 与 密 度函 数p 和q 的 估计 相关的， 对 此 运 2 7 硕士论文 复杂背景下目 标的检侧与跟踪技术研究 用直方图来说明，假设从目 标模型的m级直方图中，估计出的离散的密度函数为: 奋 = ( 氛 b = 1，. ， 艺 乙 么 二 ，(4. 2) 对给定的 位置y ， 其相应的 密度函 数为: 乡 。 卜仇切加 ，.，艺 乙 人 一 1(4. 3) 则b 扯 itt 即 腼”a 系数的样本估计可以 表示如下: 减 夕 ) = 尸 【 夕 (y ) ， ， 】= 全 执切 么 (4. 4 ) 其 几 何 含义 是m 维单 位矢 量瓦和氛 间 夹 角的 余 弦 值， 使用 式 (4.4) ， 则 两 个 分 类的 距离可以定义为: d 沙) = 办一 顽户 沙 ) ， 寸 1 利用这种统计测量距离适合于目 标定 位的任务有以 下优点: 1)因 为 它 与b a y e s 误差 相 近， 因 此 几 乎 是 最 优的。 具 有 度量 性 质 距 离 或k u l l b 舰 k d i v e 飞 ence 都不具 有度量 性质. 2 ) 运用离散密度函数，不受目 标的比 例变化影响。 3) 对各种概率分布都有效，因此优于fi s h e r 线性准则。 (4. 5 ) 而b b 吐 妞 c baj甘a 4. i j目 标图 像的建模 利用目 标的颜色分布概率密度函 数对目 标图 像进行建模。为了降低算法的复杂 度， 对图 像进行量化后用m个分量的 直方图表示。 在图 像处理领域， 直方图并不是最好的非参数密度估计方法， 虽然其他的表示方 法 的 也 可以 采 用， 但 在实 际 处理中 直 方图已 经 能 满足 需求风y)表示 候选目 标 和目 标 图 像 的 相 似 性 【39) . 直方图的 分布并不是光滑的， 这样就导致 相似度函 数仄y)会有很多的局 部极值 点， 难以 保证算法基于梯度的 方法达到全局最优。 然而， 如果要解决全局最优， 必须 进行全局搜索从而很大程度上映像到跟踪的实时性。 为了 解决这个问 题， 可以 先用各 项同性的核函 数对直方图进行加权处理，然后在进行相似度度量。这样相似度函数 试 少 ) 将 变 得 较 光 滑. 这种 对核函 数 加 权 处 理 后 的 直 方图 称 之为“ 核函 数 直 方图 ” 。 4. i j目 标图 像模型 设目 标 图 像 x: ， 1 = 1 二 ， 由 n 个 像 素 点 组 成， 每 个点 的 灰 度为， 级， 图 像 中 心 点 的 坐 标 为 y . 则 目 标 图 像 的 核 函 数 直 方 图 为 【32 : 硕士论文 复杂背景下目 标的枪侧与跟踪技术研究 氛 = c 艺k (li y一xl 2 巩丑 (x:) 一 b ，b = 1 二 ， ( 4 . 6 ) 其 中 ， 氛 是 分 量 b 的 像 素 概 率 值 ， 乳 。 目 么 ， 表 示 目 标 模 型 。 b( x: ) 是 气 出 像 素 的 量 化 值 ， h 为 核 函 数 窗 宽 . 常 数 c 由 艺 几 1氛 得 到 : c = 1 / 艺k ( 1 y气 !iz) ( 47 ) 图像的核函