（模式识别与智能系统专业论文）基于特征融合的飞机要害部位识别方法.pdf

华中科技大学硕士学位论文 摘要 图像融合技术是信息融合技术在数字图像处理方面的个应用。本文针对红外图像 和可见光图像不同的图像特性，应用不同的图像分割和特征提取的方法分别对红外图像 和可见光图像进行处理，并以红外图像提供的飞机整体轮廓特征和可见光图像提供的飞 机局部特征为联合特征，提出一种基于图像特征融合的飞机要害部位识别方法。实验结 果证明该方法能对飞机的发动机等要害部位进行有效的识别，从而提高攻击目标的有效 性。 。根据红外图像和可见光图像不同的成像特性，应用不同的图像分割算法对图像进行 分割。红外图像要提供飞机目标的整体轮廓特征，因此对分割出来的飞机目标要求轮廓 完整：可见光图像提供飞机目标的局部特征，因此要求能够较好的将飞机目标的局部特 征分离出来。对于红外图像传统的o t s u 方法不能很好的满足要求。基于红外图像在 经过小波多尺度分解后各个子空间信息的不同分布以及背景区和目标区在小波变换域 内图像能量的不同分布，本文提出一种基于区域能量特征的红外图像分割方法。实验证 明该方法具有较好的分割效果。而对于可见光图像传统的o t s u 方法就能很好的满足 要求。 得到不同的分割结果后，应用不同的图像特征提取方法对红外和可见光图像进行处 理。应用二值图像边缘跟踪和多边形拟合方法提取红外分割图像中飞机目标的轮廓特 征：提取可见光分割图像中局部特征的质心作为其位置特征；结合可见光分割图像和红 外原始图像提取局部特征的能薰特征。 根据提取出来的特征识别飞机的发动机目标。首先结合飞机目标的轮廓特征和局部 特征的位置特征筛选出符合条件的局部特征，然后根据飞机目标局部特征的能量特征识 别出飞机发动机目标。a 一卫一 l 。 ，一 9_ 关键词： 图像分割j 呕域能量j 特征提取、特征融合、墓害部位，飞机一 ，一o r 一 华中科技大学硕士学位论文 a b s t r a c t i m a g ef u s i o nt e c h n o l o g yi s a l l a p p l i c a t i o no fi n f o r m a t i o nf u s i o nt e c h n o l o g yi nd i g i t a l i m a g ep r o c e s s i n g a c c o r d i n gt o d i f f e r e n t i m a g ef e a t u r e s o fi n f r a r e da n dv i s i b l e i m a g e s ， d i f f e r e n tm e t h o d so f i m a g es e g m e n t a t i o na n df e a t u r ee x t r a c t i o na r eu s e dt op r o c e s si n f r a r e d a n dv i s i b l ei m a g e sr e s p e c t i v e l y t h e n ，t h eg l o b a lf e a t u r e so fa i r c r a f t p r o v i d e db yi n f r a r e d i m a g e sa n dt h el o c a lf e a t u r e so fa i r c r a f tp r o v i d e db yv i s i b l ei m a g e sa r ef u s e di n t ou n i t e d f e a t u r e s f i n a l l y , a l la i r c r a f ta i mp o s i t i o nr e c o g n i t i o nm e t h o db a s e do ni m a g ef e a t u r ef u s i o n i s p r o v i d e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o di se f f e c t i v eo nr e c o g n i z i n gt h e a i m p o s i t i o no fa i r c r a f t ，s u c ha se n g i n e ，a n dt h ee f f i c i e n c yo fa i ma t t a c ki si m p r o v e d a c c o r d i n g t od i f f e r e n ti m a g ef e a t u r e so fi n f r a r e da n dv i s i b l ei m a g e s ，d i f f e r e n tm e t h o d s o fi m a g es e g m e n t a t i o na n df e a t u r ee x t r a c t i o na r eu s e dt op r o c e s si n f r a r e da n dv i s i b l ei m a g e s r e s p e c t i v e l y i n f r a r e di m a g e sp r o v i d e t h eg l o b a lf e a t u r e so f a i r c r a f t ，s ot h ef i g u r eo fs e g m e n t a l a i r c r a f tm u s tb ei n t e g r a t e d v i s i b l ei m a g e sp r o v i d et h el o c a lf e a t u r e so f a i r c r a f t ，s ot h el o c a l f e a t u r e so fa i r c r a f tm u s tb e s e p a r a t e d t r a d i t i o n a lo t s us e g m e n t a t i o nm e t h o di sn o ts a t i s f i e d f o ri n f r a r e di m a g e s b e c a u s eo ft h ei n f o r m a t i o nd i s t r i b u t i o nd i f f e r e n c ei ne a c hs u b s p a c ea f t e r m u l t i 。s c a l e d e c o m p o s i n g a n dt h e e n e r g y d i s t r i b u t i o nd i f f e r e n c eb e t w e e n t a r g e t s a n d b a c k g r o u n di nw a v e l e tt r a n s f o r md o m a i n ，t h i sp a p e rd e s c r i b e sai n f r a r e di m a g es e g m e n t a t i o n m e t h o db a s e do nr e g i o n a le n e r g yf e a t u r e t h er e s u l to f e x p e r i m e n t sp r o v et h a tt h i sm e t h o d h a sp r e f e r a b l es e g m e n t a t i o ne f f e c t b u to t s u s e g m e n t a t i o nm e t h o di ss a t i s f i e df o rv i s i b l e i m a g e s a c c o r d i n g t od i f f e r e n tr e s u l to f s e g m e m a li m a g e s ，d i f f e r e n t m e t h o d so ff e a t u r e 华中科技大学硕士学位论文 e x t r a c t i o na r eu s e dt op r o c e s si n f r a r e da n dv i s i b l ei m a g e s r e s p e c t i v e l y t w o v a l u ei m a g ee d g e t r a c ea n dp o l y g o nf i t t i n ga r i t h m e t i ca r eu s e dt oe x t r a c tt h e f i g u r ef e a t u r eo fa i r c r a f to ft h e i n f r a r e di m a g e s e x t r a c t e dc e n t r o i d so ft h el o c a lf e a t u r e so f t h ev i s i b l ei m a g e sa r eu s e dt ob e p o s i t i o nf e a t u r e s t h ev i s i b l es e g m e n t a li m a g e sa n dt h ei n f r a r e do r i g i n a l i m a g e sc o m b i n e t o e x t r a c te n e r g yf e a t u r e so f t h el o c a lf e a t u r e s e x t r a c t e df e a t u r e sa r eu s e dt or e c o g n i z et h e e n g i n eo fa i r c r a f t f i r s t ，t h ef i g u r ef e a t u r eo f a i r c r a f ta n d p o s i t i o nf e a t u r e so f t h el o c a lf e a t u r e sc o m b i n et os e l e c tt h el o c a lf e a 咄s 山a t a r e “pt ot h em “s t a r d t h e ne n e r g yf e a t u r e so ft h el o c a lf e a t u r e sa t eu s e dt or e c o g n i z et h ee n g i n e o fa i r c r a 矗 k e y w o r d s ： i m a g es e g m e n t a t i o n r e g i o n a le n e r g y f e a t u r ee x t r a c f i o n f e a t u r ef u s i o na i m p o s i t i o n a i r c r a f t 1 1 1 华中科技大学硕士学位论文 1 1 课题的来源、目的、意义 1引言 精确制导武器是直接命中概率高于5 0 的武器系统。这类武器进一步的发展方向 是要能直接命中目标要害部位，这将极大地提高武器的摧毁效率和威力。因此，导弹在 末制导段接近目标时，末制导信息处理系统要解决自动检测，识别目标要害部位的问题， 并将要害部位的位置信息传输给导弹的控制系统，引导导弹击中目标要害点。要害点一 般是目标的脆弱部位或重要部位，是目标中的“目标”，所以简单的以目标形心为瞄准 点不能满足系统杀伤概率的要求，而要害点的选择既要有一定的精度，又要有一定的稳 定性和抗干扰性，并且要求易于进行图像处理。目标要害点的检测识别除有其特殊性以 外，同样涉及了目标识别中的基本问题，例如目标特性的研究和建模、目标的分割、特 征的提取、描述和推断、辨识等。 在现代化战争中，由于战场情况更加复杂、多变以及抗干扰技术的应用使得传统的 采用单一传感器的系统很难准确地识别出目标的要害点，这是因为： ( 1 ) 特征信息的计算是依赖各种传感器来获取其周围信息的，由于每一种传感器都有 一定的使用范围和精度范围，因此仅仅靠单一的传感器是不能满足迅速准确地探 知未知环境的需要的。 ( 2 ) 采集系统经常受到噪声的影响。由于噪声的存在，采集系统得到的数据相对于原 始数据来说已经发生了畸变。 3 ) 一些典型目标对特定的传感器采取了对抗措施。短波红外传感器对飞机目标的要 害部位识别效果较好，但对加装释放诱饵弹的作战飞机就无能为力。 为了解决武器系统制导方式单一所带来的缺陷，红外、可见光、毫米波或双红外成 像等复合制导将成为今后一个时期内精确制导的主要发展方向。因此，多传感器的复合 制导在如何利用不同传感器进行信息融合方面有大量的基础理论研究和应用基础理论 工作要做。 华中科技大学硕士学位论文 1 2 国爽终麟殳翔强溅 为了解决单一传感器易于丢失目标等问题，近年来国内外都提出了采用多传感器信 息融合的方法，并且国外已经在一臻型蛩中采用，取得了良好效槊。例如便携式地空导 撵“磁荆p o s t ”就采用了玫瑰线扫描红外，紫外双波段必心探测器，其中光敏材料i n s b 王俸予1 * 4 4 徽米，c d s 工俘予紫辩o 3 0 5 5 微米，两漪院较两个波段中赫摔的糯对大 小即霹对予接受到懿辣捧皴出是j 嚣予露标、荦竽豢以及予挠豹霹靠毫疑剐。雷誉愚公司磷铡 的1 0 7 毫涨遣委炮采鼹红外双魏掇测，鼷子反遛克。此外，蔻苏联妁s a 1 3 蜷窆导弹( 红 外双色) 、法国“西j b 风”防空导弹( 红9 ，裴， ) 以及我国 n 。6 终步 ，紫外) 等都广 泛采用双色导引技术。此外各种雷达与红外、毫米波红钋等多传感器融合方案也已经皱 人们所广泛采用，例如我国h q 9 、h q 2 6 等型号。但是上述融合方法存在的个主要 问题是虽然都采用了多传感器融合的思想，但尚处于较低水平。潦实上，目前大多数的 敝色导引头虽然利用了不同传感器的信息，但是主要局限在点源或点源扫描方式，分辨 率低，未能充分发挥融台的作髑与潜力。另一些多传感器融合实际上只是复合，即采用 简单切换方式逡行工作，难以实现真正意义上的融合。 夔着琴萼学技术的不断发震，基于图像融合豹豳稼谈剐藏为可能。在1 9 9 8 年4 月1 3 爨一1 7 曩在荚国o r l a n d o 露秀戆第十二疆s p i e 靛天模瓠与控涮大会工犍震览会上磊本的 s o n y 公裁、琏的赆及玛公镯积美国豹l n f o r m e t r i c s 公司等都接出了3 ，5 擞漱积8 1 2 微米的离分瓣搴凝视成像传感器，其体积已与c c d 像枧接近，馀揍擞不凝下降( 鬓兹 在$ 2 - 5 万元) 。并出现了些采用可见光红外融合的侦察监视系统。熬于不同或像传感 器的系统将越来越普及，从而使得其在目标识别中的应用越来越广泛。 目前，国内外所提出的主要数据融合的方法谢：贝叶斯估计、d e m p s t e r s h a f e r 证 据理论和模糊爨理论。贝砷斯估计怒融会静态环境中多传感器低层数据的种方法，其 信息橘述为概率分布，适合子其有加性高斯噪声的不确定性。d e m p s t e r - s h a f e r 证据推 疆融合方法是烫时斯方法的扩袋，它将前提严捂的条件从仗是它豹可能成立中分离开， 觚蔼搜莛储涉及了裁捷概率韵信惠皎乏樽戳鼗示化。模糊集疆论剿允许将多传惑器信意 融合过程孛躲不确定性壹揍表示在攘理避程中，一般与专家系统方法裙结合可取褥较好 华中科技大学硕士学位论文 的效果。 利用视觉( 可见光传感器) 和温度觉( 红外传感器) 获取自然场景中目标的信息， 温度传感器获得目标的红外图像，视觉传感器获得目标的明暗度。调节两个传感器，使 它们保持空间上的一致性，提取场景中的目标的特征，通过融合两个传感器提供的互补 的特征信息对目标进行识别。另外，华中科技大学钟春香教授等人，从九十年代初开始 一直在利用可见光和模拟红外图像进行自相关函数和分维特征研究。用人工神经网络方 法进行特征融合，提高了海上舰船识别的置信度：并进而利用多级数据融合的方法继续 研究，也取得了好的效果。 全天候、强适应性、高精度、高电子对抗能力是精确制导武器发展的总趋势，因此 列于多传感器复合制导技术中的信息处理来说，解决好各信源数据融合问题，使每个传 感器发挥最佳作用，将是多传感器复合制导的关键。研究符合实际情况的数据智能融合 算法，是实现最优化多传感器系统的必然选择。在这些算法中，不同传感器数据的加权 系数、融合结构、融合模型将通过对环境、目标、干扰及跟踪阶段等的综合分析与判断 来决定。 1 3 本课题主要研究的内容 本课题的研究目的是针对可见光c c d 像机和7 1 4 微米红外凝视成像仪所拍摄的典 型目标图像作为融合数据源找出目标的要害点，得到提高目标攻击有效性的信息融合方 法。进而为不同传感器图像融合提供一种理论上的构架，为今后对于不同类型飞机自动 识别其要害点的应用奠定基础。其军事应用前景是非常明显的。 华中科技大学硕士学位论文 2 多传感器信息融合的理论基础 2 1 信息融合简介 信息融合也称数据融合，是多源信息综合处理的一项新技术，它能将来自某一目标 的多源信息加以智能化合成，产生比单一信源更精确、更完全的估计和判决。 “数据融合”一词是七十年代初期美国最早提出的，并于八十年代建立其技术。近 来随着计算机技术、通讯技术的发展，特别是军事上的迫切要求，它得到了惊人的发 展尤其引起世界范围内的普遍关注，在美、英、日、德、意等国家已开发出一些实用 的系统，其某些研究成果在1 9 9 1 年的海湾战争中得到实战验证，并取得了理想结果。 数据融合技术重点应用于军事领域的各种指挥、控制、通信和情报( c 3 i ) 任务， 如目标自动识别，战场态势分析以及威胁评估。也广泛应用于机器人，自动化生产，医 疗诊断及遥测遥感等非军事领域。它更是未来信息高速网络中多媒体信息处理不可缺少 的技术。在军事上，数据融合是指为获得精确的状态和属性估计、完全和实时的事态和 威胁评估而进行的多源检测、互联、相关、估计和数据及信息合成的多层次( 级别) 、 多界面的处理过程。它的优点是运行的鲁棒性，扩大空间覆盖，扩大时间覆盖，增加置 信度，降低模糊度，改善检测性能，改善空间分辨能力，充分利用传感器网的资源和调 度系统，最大限度发挥资源的利用率和整个多传感器基地的生存能力。它的功能模型包 括三个级别的处理，第一级是位置和属性识别估计，第二级是敌我军事态势评估，第三 级是敌军威胁度分析。 2 2 军事的信息融合 军事上的信息融合的种比较通俗的定义是：“军事的信息融合是对来自多个信息 源的数据和信息的一种多级、多方面处理，它涉及到对这些数据和信息的关联、相关和 组合。它的目的是获得对方精确的位置和身份的估计，完整、及时地评估态势和威胁， 并确定它们的意义”。根据上述定义，信息融合的特点是：它是一种包括下述功能并至 华中科技大学硕士学位论文 少完成下列任务的过程： ( 】) 标准化：标准时间和空间基准：对进一步处理做出评估；解决报告中的模糊性问 题：更新以前的报告中已l 知的实体的轨迹；与这些实体进行相关。 ( 2 ) 融合：在分层结构中进行融合形成实体，保持多种假定。 融合是发生在各级的种连续的过稷。奁这个过程中，一个重要的方面是需要在传 感嚣级辩信惠滏葺亍低级预处瑷。锎鲡，雳雷达躐踪莓标需蔡对鬻达脉冲避行预处理， 镬之变残鬈达靛迹，然磊褥蝽豢达靛迹佟为融合系统戆输入倍怠。蛰像( 摄影、窀褫、 级争 、夜褪扫攒等等) 对颦事壤掇中心戏为葺孛有耀数绩惠源之裁。鬯需要进行复杂豹 预处理。所以传感嚣数据必须经过预处理，使之至少达到艘迹级 蚕达) 、方位级( 瞧 子支援措施) 、图像以及文字报告( 岛视观察) 的要求。 在实践中随着传感器种类和处理中层次的不同，处理的细节怒不同的，因此只用一 种单的形式很难理解所商的系统。为了解决这个问题，可将所有的系统分成四种方式： 编合( 多传感器) 、综合、融合和相关。表2 1 给出了这四种方式和它们的定义。这四 种方式被定义为基本方式。在实践中，当将这几种基本方式缎合起来后，可以产生其他 的方式。 表2 - l 传懑器信惠融台酌分类 分类意义嚣个铸感器( a 、b ) 之闻鳃关系处理的餮熬 缎合犍嚣葶孛或多 互4 帮辩期测鲞范围鳇篱萃扩 秘传感器缀处理。糕匿关曩等等 ab 含起来系不考虑或 八完全独立 a b 综合产生控制 l 建立用于计提高精度和可靠性， ，( a ，b ) 算的函数，获 = 罄明确信息敞障 诊断等 ab 5 华中科技大学项士学位论文 融台产生紧密结 协同式或竞双目融合、视觉、感 合的形式 i c i三黧竺 觉融合( 识别物体和 空间等) a 喜b i 相关构成相关 相关处理，提预测、学习、记忆、 i 取相互关系建立模型、异常功能 a + ba b 的检测等等 少& ab ( 1 ) 组合( 多传感器) “组合”是由组合成平行或互补方式的多个传感器的多组数据来获得输出的一种处 理方法。这是一种非常基本的方式，涉及的问题有输出方式的协调、综合以及选择传感 器。它通常主要应用在硬件这一级上，一个典型的例子是：使用视觉探测到物体的方位， 再用激光测距机以便正确地测量物体的距离，之后，在视频上同时显示出距离参数。 ( 2 ) 综合 综合是信息处理中的一种获得明确信息的有效方法。典型例子是使用两个分开设置 的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个 有立体感的物体的图像。 ( 3 ) 融合 当将传感器数据组之间进行相关，或将传感器数据与系统内部的知识模型进行相 关，产生感觉识别的一个新的表达时，这种处理就叫做“融合”。这里所说的融合处理 的定义是狭义的，其典型的实例是双目融合和视觉感觉融合。这类融合可用于物体识 别和空间识别，但是在定义形式中很少描述融合的计算结构。 ( 4 ) 相关 通过处理传感器信息来获得某些结果，不仅需要单项信息处理，而且需要通过“相 关”来进行处理，以便获悉传感器数据组之间的关系。“相关”处理的主要目的是识别 华中科技大学硕士学位论文 物体，甚至还可以用来进行预测、学习和记忆等等。如果通过相关处理与预测和记忆不 一致就认为是反常的。 我f i n n 道在军事指挥、控制、通讯和情报( c 3 1 ) 系统的信息处理循环中有一个主 要阶段：态势分析和对抗措施规划。态势分析与信息处理的判断功能相对应，它包括提 供态势地图、最终的态势评估以及敌方部队的可能的威胁等。态势分析的任务如下： l 1 ) 态势评估：确定敌方兵力的能力：对态势的可能性用“或”来表示。 ( 2 ) 确定态势：提出多种态势假定及预测可靠性最高的态势。 对抗措施规划中态势分析提供对抗措施很重要的辅助规划。对抗措施规划实际上不 是情报处理的一部分，它通常不包括在情报处理的系统中，然而，它是信息处理循环中 的一部分。对抗措施规划是一个由态势分析产生的态势可能性而推动的一种处理过程， 因而直接依赖于态势分析的功能。对抗措施规划包括三个要素：信息融合：决策过程 月。始是信息融合，而情报提供了现时态势的信息和有关的不确定性，这些不确定性是由 于传感器所包括的范围不足、报告的问题不明确、报告中的矛盾、测量数据的不精确等。 因而要进行信息融合。假设：由于在相关的传感器数据中不存在不确定性，所以决策 支持过程必然要设立假设( 提供选择) 。选择：挑选解释真实军事形势的最佳候选者。 这些选择结果提供给指挥官。对抗措施规划功能的主要任务有：对抗措施规划、由态势 可能性产生对抗措施选择方案、分配资源以支持对抗措施。 2 3 信息融合的原理 在军事上，目标识别是与目标跟踪密切相关的一种监视功能，其目的是确定目标的 类型和类别，即属性，故目标识别可看作属性估计，目标识别的数据融合就是目标的属 性估计的融合，即属性融合。多传感器目标的属性融合是与位置融合同时出现或交互融 合的。它是态势评估，威胁分析的依据。它比位置融合更广泛，也更为复杂。 属性融合原理( 如图2 - 1 ) 华中科技大学硕士学位论文 特 征 提 取 属性说明 属性说明 属性说明 关 联 属性融合 物理模型 基于特征 的推理技术 基于认识 的模型 实体文件i融0 的 已知目标l 属性说明 的数据库l 幽2 1 属性融合原理 ( 1 ) n 个不同类型的传感器( 有源或无源的) 收集观测目标的数据，数据的类型 可能包括雷达反射截面积( r c s ) ，红外或可见光谱，脉冲串测量及成像数据 等。 ( 2 ) 对传感器的输出数据如离散的或连续的时间函数数据，输出矢量，成像数据 或一个直接的属性说明( i d e n t i t yd e c l a r a t i o n ) ( 如i f f n 传感器的输出) 进行特征提取的变化，如抽样函数，时域到频域的变换，模式识别的图像处 理算法( 边缘检测，分割算法及模式识别) 等，提取代表观测数据的特征矢 量r 。 ( 3 ) 对特征矢量r 进行模式识别处理( 如聚类算法，自适应神经网，或其它能将 特征矢量f 变换成目标属性判决的统计模式识别法等) 完成各传感器关于目 标的属性说明。 ( 4 ) 将各传感器的属性说明数据按同一目标进行分组，即关联。利用属性融合算 法将每一目标各传感器数据进行合成，得到该目标的一个联合的属性说明。 8 华中科技大学硕士学位论文 2 4 信息融合的结构 信息融合有三个处理结构，即属性融合出现在原始数据级( 特征提取之前) ，特征 矢量级( 属性说明之前) ，决策级( 各传感器给出独立属性判决之后) 。 2 41 象素级融合 直接在采集到的原始数据层上进行的融合为象素级融合。这种融合在各种传感器的 原始观测信息未经预处理之前就进行数据综合分析，是最低层次的融合。象素级融合原 理如图2 2 所示。 i 竺壁兰全卜i _ j 特 匝丑 关 数据级 征 属性 斗呻 联 融合 提 说明 取 陌砷 联合的 属性说踢 图2 - 2 数据级融合 象素级融合通常用于：多源图像复合、图像分析和理解；同类( 同质) 雷达波形的 直接合成；多传感器数据融合的卡尔曼滤波等。美国海军2 0 世纪9 0 年代初在s s n 一6 9 1 潜艇上安装了第一套图像合样机，它可使操作员在最佳位置上直接观察到各传感器输出 的全部图像、图表和数据，同时叉可提高整个系统的战术性能。 象素级融合的优点是能保持尽可能多的现场数据。提供其他融合层次所不能提供的 细微信息。 象素级融合的局限性在于： ( 1 ) 所要处理的传感器数量大，处理代价高、时间长、实时性差。 ( ! ) 数据通信量较大，抗干扰能力较差。 ( 3 ) 象素级融合是在信息的最低层进行的，由于传感器原始信息的不确定性、不完全 9 华中科技大学硕士学位论文 性和不稳定性，要求在数据级融合时商较高的纠错能力。 ( 4 ) 各传感嚣信息之间具有的精确度簧达到一个象素的校准糟度，因此锫传感器傧息 必须来自同质传感器。 从发展过程来着，基于象索的融合方法包括简单的融合法、金字塔融合法和小波融 合法：从作用域来看，可以分为空间域融合法和空间变换域融合法两大类。 2 4 2 特征级融合 先对来自传感器的艨始信息避行特征提敬( 将征可以是被观溯对象的备种物理量) ， 然后对特链信慧进行综含分析稻处理，这样的数攒融合酃为特橙级融台。特征级融合原 理妞辫2 3 。 l 传感器a 卜 特 特征缀 融合 佟感器b 卜 征关 叫 提联 取 属性 说弱 l 传感器n 卜 联合的 麓性说弱 图2 3 特征级融合 特征级融台属予中间层次，其融合过程为：首先提取象索信息的液示爨或统计量， 鄂摄取特征信息，然后按特征信息对多传感器数攒进行分类、综合和分析。 特征级融含翔分为两大类：目标状态数攒融合和目标特性融合。 ( 】) 特，谯缀鹭标状态数据融含 特，疰缀星撂状态数据融舍主要瘸子多传感器爨标跟踪镁域。融合系统蕾先对传感器 数据送行颈处理以完成数据校准，然嚣实瑗参数鞠关黪状态囱量倍诗。 ( 2 ) 特征级慰标特性融合 特征级目标特性融台就是特征层联合识别，融合方法是模式识别驰相应技术，只是 在融合前必须先对特征进行相关处理，把特征向量分成商意义的组合。 l e 华中科技大学硕士学位论文 特征级融合的优点是实现了可观的信息压缩，有利于实时处理，并且由于所提取的 特征直接与决策分析有关，因而融台结果能最大限度地给出决策分析所需要的特征信 息。目前大多数c 3 i 系统( 指挥、控制、通信和情报系统) 的数据融合研究都是在该层 次上展开的。 特征级融合要求从原始影响数据提取特征，可提取的特征主要包括四类几何特 征：结构特征；统计特征；光谱特征。 属于这类技术的方法有b a y e s 和d e m p s t e r s h a f e r 推理、带权平均法、神经网络法、 聚类分析法、表决法和小波变换融合法等。 2 4 3 决策级融合 决策级融合是一种高层次融合，其结果为检测、控制、指挥、决策提供依据。决策 级融合从具体决策问题出发，充分利用特征级融合的最终结果，直接针对具体决策目标， 融合结果直接影响决策水平。决策级融合原理如图2 - 4 。 传感器ak 1 属性说明 特 传感器bk 征 1 属性说明 提 取 i 传感器n 卜叫属性说明l | d d 。 d 。 决策 级融 关 斗 联 属性 说明 联合的 属性说 明 幽2 4 决策级融台 决策级融合主要优点是： ( 1 ) 融合中心处理代价低，具有很高的灵活性。 ( 2 ) 通信量小，抗干扰能力强。 ( 3 ) 当一个或几个传感器出现错误时，通过适当的融合，系统还能获得正确结果，所 以具有容错性。 ( 4 ) 对传感器的依赖性小，传感器可以是同质的，也可以是异质的。 华中科技大学硕士学位论文 ( j ) 系缆对僭恩传输带宽要求较低。 ( 6 ) 能肖效地反映环境或目标各个侧丽的不同类型信息。 决策级融合的缺点是要对原传感器信息进行预处理以获得各自的判定结果，所以预 处理代价高。 基于决策静融合技术分为两类： ( ) 基予知识觞决策按术，包括采爝专家系统、稀缎黼络和模糊遂辑等的决策融合； ( ：) 基予识剐豹块繁技术。 通常，接邋予售源的信息融台，具奄较裹弱糟度。在上述三茅孛结构中，数据级融合 的精度要麓于特征级融合的糖度，特征级融合的糙度要裹予燃决级融会数精度。犍辨， 融合方法的选择与所利用的传感器的类型，传感器所进圣亍的预处理及系统的实现有关。 1 2 华中科技大学硕士学位论文 3 1 成像特性分析 3 ，1 1 飞机红外图像特征分析 3 实验系统概述 飞机是目前的对空战术导弹的主要攻击目标。喷气式飞机有四种红外辐射源，它 们是： ( 1 ) 作为发动机燃烧室的热金属空腔： ( 2 ) 排出的热燃气： ( 3 ) 飞机壳体表面的自身辐射； ( 4 ) 飞机表面反射的环境辐射，它包括阳光、大气与地球的辐射。 目前在红外探测中实用的探测波段有两个：3 5 u m 和8 1 4 u m 。红外成像制导一般 都1 作在8 t 4 u m 红外波段，飞机正常飞行引起的飞机蒙皮发热，其热辐射的大部分能 量就是在这个波段，图3 1 【2 0 】表示了一种装有喷气发动机驱动旋翼的直升机，其蒙皮辐 射在全机辐射中所占比重在3 5 u m 和8 1 4 u r n 两个波段分别为1 2 3 6 永18 68 。 3 一s u m8 - 1 4 r a n 图3 - 1 飞机蒙皮辐射在两个波段内的比例 严_ 喷口；尼一喷气流；膨一喷管壁；肛- 蒙皮 华中科技大学硕士学位论文 在8 1 4 u r n 的比重之所以这样离有下面几个原因，一是蒙皮( 以其温度为3 0 0 k 为 例) 辐射的峰值波长约为1 0 u r n ，正好处在8 1 4 u r n 波段内；二是此波段的宽度大，因 此在8 t 4 u m 内的黑体分数要比3 5 u m 的高3 0 倍左右；三是蒙皮面积非常大，它 的辐射面积要比喷口面积大许多倍。由此三个因素，蒙皮辐射在8 1 4 u m 波段内具有极 囊要的施彼。 3 1 f2 可见光圈像特征分析 可觅光圈缳主要反映的楚话标上每一点在成像阵到上所产生的光强。在飞机的遮光 蕊，女予受至太辍走童接照射熬影嫡，常常霞褥飞穰表瑟静夫部分区域与背景酌荻凄值 接近，甚至与鹫景连残一片。薅在鸷光嚣对，碣部孥誓链翔飞辊铡密、发动橇、靛空公司 标志期起落架等的获度值则与鹜景的灰发值蛉差羚较大，疑以可髭光熬像主要撬供了飞 机的局部特征的信息。 以上分析表明，可见光图像能较好的提供飞机的局部特征，两红外图像可以提供飞 机的整体信息，因此如果综合刹用遨些不同特征就可以实现对感兴趣的目标特，征进弦商 散地识别。 3 2 实验系统构成 为了能够磁确的识别比飞机目标的要害部位，该实验要求红外和可见光图像要在时 间和空间上配准，因此对系统的构件有一定的要求。 3 2 1 系统瓤传 3 21 1 p a n a s o n i cd s 3 8 手持式摄像机 p a n a s o n i cd s 3 8 手持式摄像机怒日本松下公司出品的一款高质量的c c d 摄像机，其 产晶参数翔表3 - i 。 表3 一i 产晶参数 窳平群像度5 0 0 拽 1 4 华中科技大学硕士学位论文 c c d 像素数8 0 万 c c d 尺寸1 4 英寸 静止图像分辨率 7 2 0 + 5 7 6 镜头信息3 7 m m 口径 l c d 显示屏2 5 英寸 变焦功能1 5 倍光学变焦、6 0 0 倍超级数码变焦 调焦手动自动对焦 取景器彩色 存储卡8 ms d 卡 夜摄功能 y e s a v 输入输出a v 输入，输出 i l i n k 输入，输出数码输入输出 莱卡d i c o m a r 镜头、多画面，画中画、创意性的数码效果、 其它性能 p c m 音频复制、5 种编程a e ( 自动曝光) 模式、灵敏排 风功能 重量，体积 6 4 0 克( 不带电池和d v 录影带) ，7 7 x9 6 x1 7 9 毫米 u s b 接线、驱动软件、应用软件、交流电转接器，充电电 附件及选件池( 锂电池) 、红外线遥控器音像接线索肩用背带动磁 头清洁磁带 3 2 】2p a l m i r2 5 0 型7 1 4 微米长波红外热像仪 p a l m l r2 5 0 手持式数字红外热像仪是r a y t h e o n 公司最新的标准手持式监控产品 华中科技大学硕士学位论文 它通过数字信号处理技术可以得到更为清晰的红外图像，并且它还有两倍放大和自动调 节对比度的功能。 此外，p a l m i r 2 5 0 手持式数字红外热像仪在操作时更安静，重量更轻以及更长的电 池使用时间，这些新的特性使p a l m i r2 5 0 手持式数字红外热像仪可以更好的应用于执 法、保密和航海中。其产品参数如表3 2 。 表3 - 2 产品参数 性能参数 探测器类型格式非制冷铁电物质 成像分辨率 3 2 0 x2 4 0 光谱灵敏度7 1 4 微米 热稳定性热点冷却器 视频信号帧率 3 0h zn t s c 2 5h zp a l 启动时间 3 0 秒( 一般) 9 0 秒( 最大) 2 5 。c 标准镜头7 5m m ：f 1 0 视场1 2 。x9 。 聚焦范围8 英尺一无穷远 可探测到人的范围2 4 0 0 英尺 电子放大 通过插值和补偿两倍放大 成像仪设定可以存储、取消或返回原厂设定 1 6 华中科技大学硕士学位论文 界面 录像机兼容视频输出n t s c p a l r c aj a c k 外部控制r s - 2 3 2 串行通讯接口 供电 电源便携式可充电电池( 6 vd c ) 功耗 典型 4 小时( 配合备用电池) 物理特性 尺寸9 5 ”lx4 ”wx4 ”h 重量( 不含电池)2 6 磅 使用者操作设计单手操作 可装配平台 三脚架平台 颜色黑色 环境 操作温度- 2 0 4 4 9 4c 贮藏温度一4 0 。一8 0 。c 防水 s p l a s h p r o o f i e cp u b 5 2 9i p x 4 华中科技大学硕士学位论文 32 1 3 微视m i n i 监控卡 m i n i 卡采用的是b t 的8 4 8 芯片，可运行在d o s 、w i n 3 1 、w i n9 5 9 8 n t 等环境， 并夏持”一机多卡”其技术规格如下： ( 1 ) 视频信号实时到内存、显存( 动态采集稍慢于专业采集卡) ； ( ：) 可真彩伪彩黑白，支持v g a 所有显示方式及9 种图像采集格式，如r g b 3 2 、r g b 2 4 、 r g b l 6 、y 8 、y u v 4 1 1 等： ( 3 ) 可由用户定义任意采集方式，采集窗口大小；支持窗口叠加功能； ( 4 ) 可实时采集单场、单帧，任意间隔以及连续帧的图像： ( 51 标准视频输入( v i d e o 信号p a l 、n t s c 、s e c a m ) ；图像采集分辨率：最大7 6 8 5 7 6 ： 单场采集分辨率：最大7 6 8 2 8 8 ； ( 6 ) 支持h 3 2 4 、h 2 6 3 压缩解压缩标准，适用于多种可视电话软件如：c u s e e m e 、 v d o p h o n e 、1 p h o n e 、v i d e o l i n k 、l i v e c o m 、n e t m e e t i n g 等； ( 7 ) 采样位数：黑白方式8 b i t ，彩色方式r g b 各8 b i t ； ( 8 ) 亮度、对比度、色度、饱和度，画面大小比例均可由软件调节； ( 9 ) p l u g & p l a y 方式，即插即用： ( 1 0 ) 提供a v 及s 端子各一路输入，四路视频信号输入( 1 5 针插座) 。 3 2 1 4 微视m 、，9 9 2 0 实时压缩卡 m v 9 9 2 0 实时压缩卡，支持视频图像m p e g 一1 格式实时压缩。可广泛应用于视频捕捉、 压缩，制作w e b 页、可视e - m a i l ，电视、录像机及摄像头输出转录v c d ，数字视频监控 中，其技术规格如下： ( 】) 实时m p e g 一1 影像编码动态采集，支持p a l n t s c 、c c i r 6 0 1 ( 4 ：2 ：0 ) 、s i f q s i f ，可 捕捉动态视频单帧图像，并以y c b c r j p e g ( 3 2 3 2 7 2 0 5 7 6 ) 或m p e g 一1 格式压缩 存储，具体如下： 动态a v 压缩。支持n t s c 和p a l 帧格式；实时动态影像的j p e g 格式捕捉：支 华中科技大学硕士学位论文 持s i f ( 3 5 2 2 8 8 ) 及o s i f 分辨率； 动态图像捕捉。可从动态影像中捕捉单帧，并以y c b c r ，5 p e g 或m p e g 一1 格式 发送给p c ，支持c c i r 6 0 1 ( 4 ：2 ：0 ) ，s i f 和o s i f 格式的分辨率： 兼容标准。m p e g 一1 、m - j p e g 和j p e c , ：i s o i d c1 1 1 7 2 2 、m p e g l 视频；i s o e c 1 0 9 1 8 - 1 ：1 9 9 4 j p e 6 静态图像。 ( 2 ) 支持同一台机器上插多块卡，使多通道视频信号实时压缩同时采集变为现实： ( 3 ) 有偿提供s d k 开发技术：支持w i n 9 5 9 8 操作、单路视频压缩采集：1 8 路视频 同时实时压缩采集；智能感知图像侦测技术：实时压缩采集系统模块，可开发出 用途广泛的硬盘数字录像机； ( 4 ) 预览采集压缩全过程：支持视频特技图、静帧采集；支持a v i m p e g 快速转换。 3 2 2 系统构成图 由于长波红外成像仪没有存储红外图像的功能，所以要通过实时压缩卡与计算机相 连，这样不但能够在屏幕上实时显示所成的红外图像，而且能够实时地将红外图像存储 在计算机中，其实时显示和存储的图像的分辨率均为3 2 0 * 2 4 0 。可见光成像仪由于能够 将采集的图像存储在盒式录像带中，所以只需通过监控卡与计算机相连，这样实时的可 见光圈像就可以与红外图像同时显示在屏幕上，实时显示的图像的分辨率为3 6 0 * 2 8 8 ， 存储在盒式录像带中的图像分辨率为7 2 0 * 5 7 6 。为了能够便于以后的图像配准处理，对 所成的红外和可见光图像要求不能有太大的偏差，为此首先要调整两部成像仪的位置使 它们之间的距离尽可能的近，然后选择合适的地面参考点( 例如机场跑道旁耸立的照明 灯) ，参考屏幕上的红外图像和可见光图像对成像仪的位置和角度进行微调，直到取得 较为满意的结果为止。但由于不同图像的分辨率不同以及仪器的限制，这里不可能得到 完全配准的结果，需要通过对图像在时间和空间上做后期进一步的配准才能得到满意的 实验标准图像。实验系统如图3 2 。 1 9 华中科技大学硕士学位论文 计茸瓤 t 盎置浆控卡 和医缩卡) 3 3 实骏算法流程 h n a r o n i 啦i 勰 囝3 - 2 系统构成图 在这里所用的图像已经是配准好的，但此步骤不属于本实验，因此不做讨论。 出于红外图像和可觅先图像不同的成像橹往，对于不间的图像要用到不同的 分割算法。红外图像要爨供飞梳鼙标的整体轮辩特征，困魏对分割出来的飞机酲 标要袋轮瘸完整；搿爵冤毙鹭像提供飞辊譬标抟瑟帮将征，因魏要求能够较好豹 熄飞极嚣榕豹裁部特征分褰出寒。对于级矮辫像传统黪o t