（信息与通信工程专业论文）红外序列图像地面目标检测及特征提取技术研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 由于红外成像技术的迅猛发展及其在军事方面的广阔应用前景，红外图像处 理技术已成为当今各相关行业研究的热点。本文主要围绕红外跟踪识别系统中背 景补偿、目标的检测和特征提取技术开展研究工作。其主要工作及研究成果如下： 1 针对目标跟踪过程中，由于红外传感器的运动造成背景的变化，利用块匹 配法对背景的运动进行估计，提出了四种不同的复杂度定义方法用于选取参与匹 配的特征块，然后利用灰度投影与块匹配相结合的算法估计背景运动矢量，克服 了块匹配法计算速度慢，容易陷入局部最优的缺点。 2 研究了基于图像相交和图像相乘的两种三帧检测算法，对其中的变化区域 检测运用了四种不同方法来实现，最后通过实测红外图像数据来进行验证并对其 结果进行分析比较，结果表明基于高阶统计图像相交的三帧检测算法在实际应用 中比较简单有效。 3 对现有的目标结构、运动等特征进行了分析与总结，并结合实测红外图像 数据提取目标特征。研究了目标的红外辐射特征，在对中波长波红外传感器进行 黑体定标后，基于中波长波红外实测图像数据着重对目标的表观温度特征进行研 究，并针对车辆、人等目标提取了相应的红外辐射特征。 最后总结了本文的工作，指出今后研究的重点和方向。 主题词：红外序列图像运动估计块匹配目标检测时间差分特征提取红 外辐射特征 第i 页 国防科学技术大学研究生院硕十学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi ri m a g i n ga n di t sw i d e s tp r o s p e c ti n m i l i t a r y a p p l i c a t i o n ，t h e i ri m a g ep r o c e s s i n g t e c h n o l o g yh a sb e e nt h er e s e a r c hh o t s p o ti n r e l a t i v ep r o f e s s i o n a lf i e l d 。t h ep a p e rf o c u s e so ns o l u t i o n so ft e c h n o l o g i e sa b o u t b a c k g r o t m dm a t c h i n g ，t a r g e td e t e c t i o na n df e a t u r ee x t r a c t i o ni nt h ei n f r a r e dt r a c k i n g a n dr e c o g n i t i o ns y s t e m t h em a i nw o r ka n da c h i e v e m e n t so f t h i sp a p e ra r ea sf o l l o w s ： 1 d u r i n gt h ep r o c e s so ft a r g e tt r a c k i n g ，t h eb a c k g r o u n di sc h a n g e dc a u s e db yt h e m o t i o no ft h ei n f r a r e ds e n s o r , b y u s i n gb l o c km a t c h i n ga l g o r i t h mt oe s t i m a t et h em o t i o n o fb a c k g r o u n d ，ad e wa l g o r i t h mu s i n gf o u rk i n d so fd i f f e r e n tc o m p l e x i t y sd e f i n i t i o n u s e dt oc h o o s ef e a t u r eb l o c ki sp r o p o s e d ，t h e nu s e st h ea l g o r i t h mc o m b i n e dg r a d a t i o n p r o j e c t i o na n db l o c km a t c h i n gt oe s t i m a t et h eb a c k g r o u n dm o t i o nv e c t o r t h ea l g o r i t h m i sa b l et os o l v et h ep r o b l e m so ft h es p e e do nb l o c km a t c h i n ga l g o r i t h ma n de a s i l y s i n k i n gi n t op a r t l yb e s ti nb m a 2 h a v es t u d i e dt w ok i n do ff l a m ed e t e c t i o na l g o r i t h mw h i c ha r eb a s e do ni m a g e i n t e r s e c t i o na n dm u l t i p l i c a t i o n ，a n dt od e t e c tt h ec h a n g i n gr e g i o n ，u s i n gf o u rk i n d so f d i f f e r e n tm e t h o d st or e a l i z e f i n a l l yt h er e s u l ti sv e r i f i e da n dc o m p a r i s e db yt h et r e e i n f f a r e di m a g ed a t a t h er e s u l ti n d i c a t e st h a tt h r e ed i f f e r e n c ea l g o r i t h mb a s e do nt h e h i 鲂一o r d e rs t a t i s t i c a la l g o r i t h mw i t hi m a g ei n t e r s e c t i o ni sf a i r l ye f f e c t i v e l ys i m p l e ra n d m o r ep r a c t i c a li nt h er e a la p p l i c a t i o na tl a s t 3 h a v ea n a l y s e da n ds u m e d u pa v a i l a b l et a r g e ts t r u c t u r ea n dm o t i o n c h a r a c t e r i s t i c se t c ，a n dt h et a r g e tc h a r a c t e r i s t i c sa r ed r a w nb yc o m b i n a t i n gt h et r u e i n f r a r e di m a g ed a t a t h ei n f r a r e dr a d i a t i o nc h a r a c t e r i s t i co ft a r g e ti ss t u d i e d t o o a f t e r c a r r y i n go nt h eb l a c k b o d yc a l i b r a t i o nt ot h em e d i u mw a v e l o n gw a v ei n f r a r e ds e n s o r , t h ea p p a r e n tt e m p e r a t u r ec h a r a c t e r i s t i ci ss t u d i e db a s e do nt h em e d i u mw a v e l o n gw a v e i n f r a r e dd a t a ，a n dh a v ed r a w nt h ec o r r e s p o n d i n gi n f f a r e dr a d i a t i o nc h a r a c t e r i s t i ci n a c c o r d a n c ew i t hv e h i c l ea n dp e r s o no b je c t i v ee t c t h e w o r ki nt h ep a p e ri ss u m m a r i z e da tl a s t ，a n dt h ek e y p r o b l e m sa n dd i r e c t i o no f t h ef u t u r er e s e a r c ha r eo u t li n e d k e yw o r d s ：i n f r a r e ds e r i a li m a g e s m o t i o ne s t i m a t i o nb l o c km a t c h i n g t a r g e t d e t e c t i o n t e m p o r a ld i f f e r e n c e f e a t u r ee x t r a c t i o n i n f r a r e d c h a r a c t e n s t i c s 第i i 页 国防科学技术大学研究生院硕士学位论文 图目录 图2 1相位相关三维频谱图6 图2 2灰度投影算法实现过程8 图2 3块匹配法示意图9 图2 4背景运动估计算法流程图1 2 图2 5块匹配算法的误匹配现象1 3 图2 6真实红外图像及其局部熵图1 5 图2 7 相邻两帧红外图像( 1 ) 1 6 图2 8特征块选取结果( 1 ) 16 图2 9相邻两帧红外图像( 2 ) 1 7 图2 1 0特征块选取结果( 2 ) 1 7 图2 1 1t d l 搜索过程1 9 图2 1 2t s s 搜索过程2 0 图2 1 3f s s 搜索模板2 1 图2 1 4f s s 两种不同搜索路径示例2 1 图2 1 5菱形模板2 2 图2 1 6d s 搜索算法的几种搜索模式2 2 图2 1 7d s 算法搜索路径示例图2 2 图2 1 8h e x b s 算法的两种模式2 3 图2 1 9h e x b s 算法的搜索过程，2 4 图2 2 0八边形搜索方式2 4 图2 2 1八边形搜索示例2 5 图3 1背景差法示意图2 8 图3 2差分法检测原理2 8 图3 3原图像及差分图像2 9 图3 4三帧差分原理3 0 图3 5三帧差分检测算法的一般流程3 0 图3 6图像相交的三帧差分目标检测流程3 1 图3 7图像相乘的三帧差分目标检测流程3 1 图3 8用结构元b 对a 进行膨胀运算3 2 图3 9用结构元b 对a 进行腐蚀运算3 2 图3 1 0用丌运算去除图像中的毛刺3 3 图3 1 1用闭运算填充图像中的空洞3 3 第1 v 页 国防科学技术大学研究生院硕士学位论文 图3 1 2 图3 1 3 图3 1 4 图3 1 5 图3 1 6 图3 1 7 图3 1 8 图3 1 9 图3 2 0 图3 2 l 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 ，7 图4 8 图4 9 图4 1 0 图4 1 1 图4 1 2 形态滤波的结果3 4 差分图像示意图3 5 差图像噪声特征参数提取3 7 基于阈值处理方法结果3 8 区域生长法流程图3 9 区域生长法的运动目标分割3 9 图像4 连接和8 连接示意图4 0 目标合并示意图4 1 基于图像相交的三帧差分目标检测结果4 2 基于图像相乘的三帧差分目标检测结果4 3 目标区域分割图像5 0 目标在运动过程中的特征5 1 目标不变矩特征5 2 目标红外特征量5 3 红外面目标的辐射示意图5 5 黑体的中波红外图像5 6 人体表观温度分布5 7 卡车表观温度分布5 7 运输车表观温度分布5 8 汽车红外图像5 8 两个不同目标表观温度变化情况5 9 红外目标双色比特征6 1 第v 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1场景一运动矢量估计结果1 6 表2 2场景二运动矢量估计结果1 8 表2 3试验时间1 8 表2 4各种搜索方式时间比较2 5 表2 5各种搜索方式估值正确率2 6 表4 1一些常见物体及材料的吸收率4 6 表4 2目标区域的狄度及灰度方差5 6 表4 3汽车各部位表观温度5 8 第1 i i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目：红处庄到图像地亘旦拯捡型丞挂堑握塑盐盔盈塞 学位论文作者签名：i 圣：坠蜘 日期：上。口8 年，j 月，铲日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阗；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：红处庄到图像造亘亘叠捡趟丞接征握塑遮查叠霾 学位论文作者签名：婆! ! ：竭 拓者指导教师签名：辫 日期：撕8 年f f 月，牛日 日期：矽，罗年，月垆日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 课题来源及研究意义 随着红外成像器件的发展，红外成像技术目前已被广泛应用于侦察、监视和 制导等军事领域，是当代武器技术发展的主流方向之一，其优点主要有： 1 ) 环境适应性优于可见光，具有在夜间和恶劣天候下的工作能力。 2 ) 隐蔽性好，由于是被动接收目标的信号，因此比雷达和激光探测安全，且保 密性强，不易被干扰。 3 ) 与雷达相比波长短，可得到具有很高分辨率的目标图像。 4 ) 目标探测主要依靠目标和背景之间的温差和发射率差形成的红外辐射特 性，因而识别伪装目标的能力优于可见光。 5 ) 与雷达系统相比，红外系统的体积小，重量轻，功耗低。 本文课题项目“车载战场感知系统”正是利用了红外成像技术的这些优点， 并将其与可见光和雷达传感器集成在同一平台，对野外复杂战场进行机动侦察， 获取战场综合信息，形成完整的战场态势。 本论文所研究的红外序列图像地面目标检测与特征提取技术是红外子系统的 关键技术，其目的主要是利用红外序列图像对地面目标进行检测、跟踪和特征提 取，为后续的系统融合提供必要信息。 1 2 国内外研究现状 1 运动估计 图像序列的运动估计，是指根据相互关联的两帧或多帧图像估计出图像中各 物体运动信息的技术。国外对于图像序列的研究始于2 0 世纪7 0 年代，主要用于 测量云层的运动。到了8 0 年代，提出了光流法 6 ，7 】、像素递归法【2 5 1 、代表点匹配法、 块匹配法【1 8 2 0 1 、相位相关法【13 1 、投影算法、特征跟踪法、贝叶斯法( 2 6 】等运动估计 方法。这些技术都假定运动目标的灰度值是稳定不变的，即目标次度不随时间变 化。这些方法一般不能很好地处理包含噪声、时变和目标遮挡的情况，所以多应 用于目标平移，无遮挡和灰度值不变的情形。 块匹配洲l 】最为常用，其优点是估计运动矢量精度高，但是计算量大，效率低， 目自订主要在搜索策略和匹配准则上进行改进来加快计算速度和准确度；代表点匹 配算法 2 】简单，计算量小，但是由于代表点是确定的，并非是图像上真f 有明显特 征的点，因此对图像的变化不敏感，对旋转晃动和慢速晃动不能补偿；投影算法【3 a , 9 利用图像的行列狄度投影曲线做相关运算，获取图像的运动矢量，其缺点是跟踪 第1 页 国防科学技术大学研究生院硕士学位论文 精确度较低：特征跟踪法 5 】的基本思想是通过跟踪特征点求取摄像机运动参数，进 行运动补偿，从而得到稳定的显示，其难度在于特征点的选择和跟踪算法的精度； 光流场法 6 7 j 是利用多帧红外序列图像计算背景的运动速度，然后进行补偿，由于 需要多帧才能得到帧间运动矢量，因而缺乏实时性。 2 运动目标检测 运动目标检测就是判断图像序列中有无运动目标，并将其分割出来。其检测 方法多种多样，但多是针对具体的任务提出来到的，并没有- - t 0 通用的方法。目 前常用的序列图像运动目标检测方法有光流法、背景减法和帧差法等。 光流法【j5 j 运算公式复杂，计算量大，不适用于实时性要求很高的场合，实时 性要求很高的情况下一般都采用背景差法或帧差法。 背景差法p 钒3 7 】是这三种方法中最直接、最简单的- t 0 方法，这种方法事先把 背景图像存储下来，然后将前景图像与背景图像作差，再取个合适的阈值，就能 把目标和背景分解出来。h a r i t a o g l u l 3 6 】等利用最小、最大强度值和相邻帧间的最大 时间差分值对场景中每个像素进行统计建模，生成静止背景模型进行分割；s t a u f f e r a n dg r i m s o n 3 7 】在每个像素点使用混合高斯分布模型模拟背景，该方法使用多峰分 布，对光照的变化和背景混乱运动( 如树叶的摇摆运动等) 不敏感，鲁棒性好，可以 用于背景变化较大的场合。m c k e n n a i 强】等利用像素色彩和梯度信息相结合的自适应 背景模型来解决影子和不可靠色彩线索对于分割的影响。运用背景差法通常会遇 到背景的获取、背景的更新和背景的扰动等问题，不能直接运用，需要对背景进 行更新和预测。目前的研究方向是怎样将该方法扩展到可以适应运动摄像机模型 下的运动视觉系统中。 帧差法【3 9 3 】是在图像序列中的相邻帧间采用时间差分的方法，通过一定的阈 值把运动目标从背景图像中提取出来，其原理是变化区域检测，即通过检测序列 图像帧中的变化区域与不变区域，将运动物体与静止背景进行分割出来。文献 4 0 】 认为帧问差分符合两个零均值的拉普拉斯分布的混合，并应用最大似然法估计分 布参数，分割出背景和运动目标。由于直接通过两帧差检测变化区域的方法对噪 声比较敏感，因此，文献【4 0 采用形态运动关联算子来间接利用帧差检测运动区域。 同时根据序列图像的运动程度，采用多帧处理来获得运动目标，该算法具有一定 的抗噪能力。 3 特征提取技术 目标特征提取的目的是计算每个图像物体独立可鉴别的特征，这些特征量计 算的可靠性又是目标识别的基础。在对图像特征的研究中，人们发现某些特征量 不随图像的位置、大小和方向发生变化，分别具有平移不变性、尺度不变性、旋 转不变性。还发现另一些特征量不随图像的仿射变形或透视变形而改变，具有仿 射不变性或透视不变性。有了这些不变性，人们就可以从不同的视角和不同的距 第2 页 国防科学技术大学研究生院硕士学位论文 离来识别目标h 乩川j 。 由于军事目标红外辐射特征的研究对于红外制导武器装备的研制、军事目标 的红外隐身设计、仿真训练和实战都具有重要的意义，国内外早在2 0 世纪六七十 年代就开始了目标红外辐射特征的研究【5 1 1 。近二十年来，以美国为主的一些西 方国家陆续开展了地面复杂背景红外辐射特征的研究工作。一方面，他们系统地 测量了各种地面背景在不同气象条件下的温度及红外辐射亮度，进行了系统的总 结分析，定量地描述了其统计特性，建立了较为完整和实用的数据库，可直接用 于军事目标的红外识别工作，另一方面，根据对基本物理现象的分析，针对不同 背景提出了一些由各种宏观参数( 气象参数、辐射参数和热物性参数) 所确定的理论 模型，进行了实验验证。这些模型【6 1 】依据相关学科的基本理论，描述了光辐射和 地面背景的相互作用以及植被与土壤、空气间的传热和传质过程，可以预测各种 地表在不同气象条件下的温度及红外辐射亮度。 目自仃，由于缺乏足够的目标与复杂背景间红外辐射特征对比度数据，对处于 复杂背景中的目标，只能应用一些近似的指导原则来识别，有时还需要专家干预， 目标识别的成功率较低，影响目标的识别速度。建立目标与背景对比度的数据库 将有助于目标识别成功率和速度的提高，为此，必须进行大量的外场实验和理论 模拟。显然，目标与地面复杂背景红外辐射特征及其红外图像特征对比度研究， 将成为研究的热点和重点。 1 3 论文主要工作及章节安排 本文研究工作主要是运动背景补偿技术、运动目标检测技术以及特征提取技 术。 具体章节安排如下： 第一章介绍了论文选题背景及当前国内外研究现状，对各种相关技术进行了 简单阐述，说明了本文的主要研究内容及各章章节安排。 第二章首先介绍了几种运动估计方法，着重研究了块匹配算法用于背景补偿 问题，通过对现有算法的改进，改善了算法的实用性，并给出了实测数据结果分 析。 第三章重点讨论了利用红外图像序列进行运动目标检测的相关技术。在基于 三帧差分法原理上，分别运用图像相交和图像相乘的两种三帧检测算法对运动目 标进行检测，并对其中的变化区域检测运用了四种不同方法来实现，最后通过实 测红外图像数据来进行验证并对其结果进行分析比较。 第四章在对目标完整分割的基础上，对现有的目标结构、运动等特征进行分 析与总结，并结合实测红外图像数据提取目标特征。主要研究目标的红外辐射特 第3 页 国防科学技术大学研究生院硕士学位论文 征，基于中波1 长波红外实测图像数据着重对目标的表观温度特征进行研究，并针 对车辆、人等目标提取相应的红外辐射特征。 文章最后为结束语部分，指出了本文的主要工作成果以及待完善和需要继续 研究的方向。 第4 页 国防科学技术大学研究生院硕十学位论文 第二章基于块匹配的运动背景补偿算法研究 2 1 引言 图像序列通常包括两种运动信息：局部运动和全局运动。局部运动即目标所 做的运动。而全局运动是在拍摄过程中，摄像机所做的z o o m ( 缩放) 、p a n ( 水平运动) 、 t i l l ( 竖直运动) 和r o l l ( 旋转运动) 等运动。 全局运动补偿是针对图像序列中背景的特点所提出来的，在图像序列中，通 常背景没有自身运动，而是由于摄像机的运动造成了背景的变化。在复杂背景下 的时域运动目标检测的第一步必须进行背景的补偿，而背景的补偿最关键的就是 全局运动估计。 运动估计的实现方法有很多，如基于频域的方法【1 2 】、灰度投影法f 9 , 1 0 】、块匹配 法等。基于频域的方法主要研究利用傅立叶变换的“空间域中的平移运动表现为 频率域中相位的变化，但幅值保持不变 的性质来提取运动参数。狄度投影算法 是基于整幅图像的投影，然后对投影作相关运算得到运动矢量。基于块匹配的运 动估计是十分通用的算法，块匹配算法计算简单，性能良好，实际应用广泛。它 利用图像帧的时间冗余，对帧间运动作出估计，很适合于背景复杂和运动物体较 少的图像。 本章首先针对序列图像介绍了几种典型运动估计方法，重点研究块匹配算法 应用于背景补偿问题，通过对现有块匹配算法的分析，提出将灰度投影与块匹配 相结合的算法，在匹配特征块选取方面运用四种不同方法定义块的复杂度，通过 一定原则选取复杂的背景块用于背景运动矢量估计，该算法提高了块匹配算法的 实用性，文中给出了试验结果分析。 2 2 典型运动估计算法对比分析 2 2 1 典型运动估计算法 2 2 1 1 相位相关法 基于块的运动模型假设图像是由运动的块组成的。对于作简单二维平移的块 的运动模型可写成： l ( x ，y ) = 以+ 从( 工+ m ，y + ，z ) ( 2 1 ) 对( 2 1 ) 式，左右两边作二维傅立叶变换，当a k = 1 时，有 e ( “，功= e + 】( “，v ) e 。2 ”伽抖” ( 2 2 ) 其中e ( 1 1 , 1 ，) 表示第k 帧图像对于空间变量x ，y 的二维傅立叶变换。由此可见， 第5 页 里! 霎型耋堡奎奎茎些茎耋些至圭兰堡鎏圣 在平移运动的情况下，各个块的二维傅立叶变化的相位差为： a r g l 最( ，v ) ) 扑g c 。( “，p ) - 2 x ( m u + m ，)( 23 ) 可见相位差处在 其中“代表 个变量( u ，v ) 定义的平面上。帧k 与k + l 帧的互相关函数为： q 川( x ，y ) = o ，y ) 。( z ，y )( 24 ) 维卷积运算。两边作傅立叶变换，就可得到互功率谱， c ( v ) = 丘( 如v ) e + ，( “，v )( 25 ) 由归一化互功率谱可得到互功率谱的相位， c c “，v ，2 i ； ；：；。；i i i j j 2 e ”f f m _ + c ：a ， 将( 26 ) 作逆傅立叶变换得到相位相关函数， c ( x ，y ) = 6 ( x 一，y h )( 2 7 ) 相位相关法 t2 l 通过在二维空间傅立叶场计算归化的互相关函数，来估算两 个图像块的相对移位。它同时也基于这样的原则，即空间场的相对移位结果引起 产生傅立叶场的线性相位。如图2l 所示：其中a 为参考帧图像，b 为当前帧图像， c 为相位相关函数，根据冲击脉冲