（仪器科学与技术专业论文）序列图像中的目标识别研究.pdf

上海交通大学博士学位论文 序列图像中的目标识别研究 摘要 序列图像中的目标识别是指根据序列图像提供的时空信息将感兴趣或特定 的目标从背景图像区域识别出来，无论是在军事上还民用上都具有广泛的应用 背景。在单帧图像处理的基础上，充分利用多帧图像之间的相关信息，消除原 始数据中的冗余信息，提取有用信息，分割出待识别目标。因此，整个问题可 以看作一个图像融合和模式识别的综合过程。本文以信息融合和统计学习理论 为理论基础，重点研究了基于证据理论的图像融合方法和支持向量机方法在序 列图像中目标识别的应用问题，以及基于语言变量的目标识别系统性能评价问 题。 鉴于信息融合理论中的证据理论具有扎实的数学基础，具有强大的不确定 推理能力，据此，本文提出了一种高可靠性的基于证据理论的序列图像目标识 别新方法。首先，指出了证据理论融合算法在序列图像目标识别的应用中所存 在的两个具体问题：一是融合算法的可靠性问题，因为序列图像中的前后帧可 能存在相互冲突或矛盾的信息，而经典的证据理论组合算子在处理高冲突信息 时会产生违反常理的结果；二是融合算法的可操作性问题，即如何将图像特征 转化为证据理论中各个命题基本概率指派。针对证据组合规则无法有效处理冲 突信息这一情况，引入证据距离度量各证据的关联程度，提出一种新的可以有 效处理冲突信息的组合规则。实验表明：与现有的其它改进方法相比，在系统 收集的证据冲突很大情况下，该组合规则仍然可以获得正确的结果并具有较快 的收敛速度。针对图像特征的基本概率赋值问题，在前人研究的基础上，根据 红外图像成像原理，引入简单的模糊逻辑进行基本概率指派的转化，实现了目 标识别系统的可操作性。最后，在大量数值试验的基础上，以真实的红外序列 图像中的部分连续帧为对象，成功地进行了红外序列图像中的小目标识别，系 统地提出了一种高可靠性的证据理论的红外序列图像目标识别方法。 摘要 利用模式识别方法通常可以对序列图像进行有效的处理，而将支持向量机 应用于序列图像中的目标识别更是人们研究的热点。如何选择有效的模型参数 是该应用中的关键问题。针对支持向量机的模型选择问题，研究了支持向量机 的求解算法，对比研究了两种交叉验证方法在支持向量机模型选择中的应用， 在前人研究q 调整方法和容差调整方法的基础上，提出了新的调整方法，数值 对比试验表明，新的调整方法比现有的调整方法更为有效和简单。为了减少模 型选择时所进行的交叉验证次数和解决多参数选择的困难，提出了利用优化算 法中的一种新的随机搜索算法微粒群优化算法进行模型参数寻优。相比于 常用的遗传算法，它不需要复杂的遗传、交叉、变异等操作算子，可以进行实 数编码，有利于解决支持向量机中多参数选择问题。大量数值算例表明，本文 提出的基于微粒群优化算法的模型选择方法可以有效地进行支持向量机模型优 化。并利用本文提出的方法进行了实际的红外序列图像中目标识别的研究，试 验结果表明基于支持向量机的目标识别方法是一种有效的处理序列图像中目标 识别的方法。 将信息融合理论和机器学习理论结合起来进行目标识别能充分利用序列图 像的时空信息，有效地发挥两者的优越性。针对多传感器序列图像中的目标识 别问题，提出了基于支持向量机多类后验概率输出的识别方法。在分析支持向 量机的后验概率输出方法原理基础上，结合多类支持向量机的构成方法，以及 不确定信息融合理论，提出了二种新的多类后验概率输出方法。与现有其他改 进方法相比，本文提出的方法能达到相等的识别结果，但求解过程更为简单， 而且能更好地用信息融合理论进行解释，有利于后续融合工作的开展，从而提 出了完整的基于支持向量机后验概率输出的多传感器图像证据理论的融合框 架。实际的红外、可见光序列图像中的目标识别分割试验表明，本文提出的方 法能够取得理想的融合效果，能准确地识别出待定目标区域。 语言变量下的性能评价一直是目标识别系统中的一个重要问题，本文提出 了利用基于语言变量的模糊风险分析方法进行系统性能评价。在分析目前图像 融合质量评价的定量和定性方法的基础上，指出了评价指标的多样性和不确定 i l 上海交通大学博士学位论文 性，提出了可以用风险分析的方法来进行目标识别系统性能评估。利用基于语 言变量的分析方法，将语言变量表示为扩展模糊数，通过模糊分析方法进行模 糊数整合，利用模糊数相似性测度进行最终评定，从而将整个问题转化为一个 专家系统和人工智能相结合的模式识别问题。同时，针对现有多种模糊数相似 性测度的不足，提出了一种基于矩的扩展模糊数相似性测度。利用多个数值算 例说明了新的测度方法能有效地区分现有多种方法不能区分的情况，验证了本 方法的有效性。最后，利用一个数值算例仿真了基于语言变量的模糊风险分析 方法在目标识别系统性能评估中的应用，并对结果进行了分析和讨论。 基于如下研究思路：针对所研究的问题，先进行算法上的改进，再进行数 值验算，最后将其运用到实际的序列图像中进行目标识别，本文取得的创新成 果为： 1 提出了一种高可靠性的基于证据理论的序列图像目标识别方法； 2 提出了一种基于微粒群优化算法的支持向量机模型选择方法； 3 提出了两种有效的支持向量机多类概率输出方法； 4 提出了一种新的模糊数相似性测度。 关键词：信息融合，图像分割，证据理论，支持向量机，微粒群算法，模糊风 险分析，系统评价，目标识别 i i i a b s t r a c t r e s e a r c ho no b j e c td e t e c t i o n i ni m a g es e q u e n c e a b s t r a c t o b j e c td e t e c t i o ni ni m a g es e q u e n c ei st h eo p e r a t i o no fr e c o g n i z i n gt h ei n t e r e s t e d o b j e c tf o mt 1 1 eb a c k g r o u n di m a g ea c c o r d i n gt ot h es p a t i o t e m p o r a li n f o m a t i o no f t h es e q u e n c e b a s e do nt h ei m a g ep r o c e s s i n go fas i n g l e 仔锄e ，t h eo b j e c ti s s e g m e n t e do u tb yt a k i n ga d v a n t a g eo ft h em u t u a li n f o m a t i o na j t l o n gt h ef i r a m e sa n d e x c l u d i n g t h er e d u n d a n ti 1 1 f o n i l a t i o n t h e nt h ej o bc a nb et r e a t e da sa 1 1 c o m p r e h e n s i v ep r o c e s so fi m a g ef u s i o na 1 1 dp a t t e mr e c o g n i t i o n c o n s i d e r i n gt h e e x i s t i n gt h e o 巧o fd a t a f u s i o na n ds t a t i s t i c a ll e 锄i n gm e t l l o d ，t 1 1 er e s e a r c hi s c o n c e n 缸a t e do nt h ea p p l i c a t i o no f e v i d e n c et h e o r ya n ds u p p o r tv e c t o rm a c h i n eo nm e o b j e c td e t e c t i o ni ni m a g es e q u e n c e ，a 1 1 dm eo b j e c td e t e c t i o ns y s t e mu n d e r t h ev e r b a l e n v i r o n m e n t b e c a u s ee v i d e n c et h e o 巧i sap o w e r m lt o o lt od e a lw i t hu n c e n a i ni o m a t i o n w l l i c hh a sas t r i c tm a t h e m a t i c sf - o u n d a t i o n ar o b u s tm s i o n m e t h o db a s e do na m o d i f i e de v i d e n c em e o 巧f o ro b j e c td e t e c t i o ni ni m a g es e q u e n c ei sp r o p o s e d f i r s t ， t w ok e yp r o b l e m so f a p p l y i n ge v i d e n c et 1 1 e o 巧i n t oi m a g ef u s i o nf o ro b j e c td e t e c t i o n a r ep o i n t e do u t o n ei sm er o b u s t n e s so ft h ef u s i o na l g o r i t h mb e c a u s et h e r em a y b e e x i s tc o n t r a d i c t o 巧i n f o m a t i o na m o n gt h ec o n s e c u t i v ef r a m e sa 1 1 dt h ec l a s s i c a l d e m p s t e ro p e r a t o ri sj u s tap o o rm l et oc o m b i n el l i g hc o n n i c t i n gi n f o m a t i o n t h e o t h e ri sh o wt oa s s i g nm em a s sv a l u eo fd i a e r e n th y p o t h e s e st ot h ed i x e l si nm e i m a g e s e c o n d l y ，a i l i l i n g a t s o l v i n gt h ef i r s tp r o b l e m ，t l l ee v i d e n c ed i s t a l l c ei s i n 仃o d u c e da j l da ne 丘- e c t i v ec o m b i n a t i o nm l ei sc o n s t m c t e dt od e a lw i mh i g h c o i l 】 1 i c t i n gi n f o m a t i o n 如s i o n al o to fn u l n e r i c a le x a m p l e sa r eu s e dt ov a l i d a t et 1 1 e m e t h o d f o rt 1 1 es e c o n dp r o b l e m ，t 1 1 e 如z z yl o g i ci ss e l e c t e da st 1 1 et o o lt od om a s s a s s i g m n e n to ft h ec o r r e s p o n d i n gh y p o m e s e s f i n a l l y ，t l l ee m c i e n tp e d o m a n c eo ft l l e p r o p o s e dm e t h o di sp r o v e do nt l l ee x a c td e t e c t i o no fs m a ut a 略e ti ns o m e 觑l i i l e sf o 咖 a ni n f - r a r e di m a g es e q u e n c e t h em e t l l o do fp a t t e mr e c o g n i t i o ni sa l w a y sa ne 虢c t i v ew a yt od oi m a g e s e q u e n c ep r o c e s s i i l g ，a n dm e 印p l i c a t i o no fs u p p o r tv e c t o rm a c h i n eo nt h eo b j e c t d e t e c t i o ni ni m a g es e q u e n c ei sah o ti s s u ei nm i sf i e l d t h em o d e ls e l e c t i o nf o r i v 上海交通大学博士学位论文 s u p p o r tv e c t o rm a c h i n eu 1 1 d e rag r e a td e a lo fi m a g es a n l p l ei st l l ek e yp r o b l e mo ft h e a p p l i c a t i o n t h ep d n c i p l e so ft h ed e c o m p o s i t i o nm e t h o df o rs u p p o nv e c t o rm a c h i n e a r ea n a l y z e di nd e t a i l ，a n ds e v e r a lm e t h o d se x p e d i t i n gt h et r a i n i n gp r o c e s ss u c ha st l l e a l p h as e e d i n g ， t o l e r a n c et u n i n ga r eg i v e ns o m en e ws c h e m e s t h ee a 宅c t i v e p e r f o 珊a n c eo ft h en e ws c h e m e si sv a l i d a t e dt 1 1 r o u 幽s o m eb e n c l l r n a r ke x 锄p l e s i n o r d e rt or e d u c et h en u m b e ro fc r o s sv a l i d a t i o na n da v o i dt h ed i 丘i c u l t yo fs e l e c t i n g m u l t i - p a r 锄e t e r s ， an e wr a i l d o m s e a r c l l i n gm e t h o d ， n a m e dp a n i c l es w a m o p t i m i z a t i o na l g o r i t l l mi sp r o p o s e dt od om o d e ls e l e c t i o nf o rs u p p o r tv e c t o rm a c h i l l e t h e n ，ac o m p r e h e n s i v em e t h o df o re x p e d i t i n gm o d e ls e l e c t i o ni sp r o p o s e da 1 1 ds o m e b e n c l l i i l a r ke x 锄p l e s 孤eu s e dt op r o v ej t so p t i m i z a t i o nc a p a b i l i a t1 a s t ，t h em e t h o d i su s e dt od oo b e c td e t e c t i o ni ns e v e r a li m a g es e q u e n c e sf r o mt 1 1 ev i e wo fp a t t e m r e c o g n i t i o n i ti sav e r yp r o m i s i n gw a yt od oo b j e c td e t e c t i o ni ni m a g es e q u e n c eb y a s s o c i a t i n gt l l ed a t a 如s i o nm e t h o dw i t ht 1 1 em a c l l i n el e 锄i n 2t h e o 珂t 0 2 e t h e rw i l i c h c a nt a ：k em ua d v a i l t a g eo ft h es p a t i o t e m p o r a li n f o m a t i o ni nt l l es e q u e n c e an e w m e t h o db a s e do nt h ep r o b a b i l i 够o u t p u to fs u p p o r tv e c t o rm a c h i n ei sp r o p o s e dt od o o b j e c t d e t e c t i o ni n m u l t i - i m a g es e q u e n c e s f i r s t l y ， t h ep r o b a b i l i 够 o u t p u t o f m u l t i - c l a s ss u p p o nv e c t o rm a c h i n ei sd i s c u s s e di i ld e t a i l t h e nt 、on e wm e t h o d s b a s e do ne v i d e n c et h e o 巧a r ep r o p o s e d c o m p a r e dw i t ht h ee x i s t i n gm e t l l o d s ，t l l e y c a l lg e tt h es a m ec l a s s m c a t i o nr a t e 谢t hs i m p l e rs o l v i n gp r o c e s s f i n a l l y ，as y s t e m a t i c f r a m ei sp r o p o s e dt od oo 巧e c td e t e c t i o ni nm u l t ii m a g es e q u e n c e s a n dt l l ep r 叩o s e d m e t h o di su s e dt od ot h eo b i e c td e t e c t i o ni nt l l ev i s u a la 1 1 di n 矗a r e di m a g es e q u e n c e s t h eo b i e c td e t e c t i o ns y s t e me v a l u a t i o nu n d e rv e r b a lc o n d i t i o ni sa l w a v sa j l i m p o n a n tp r o b l e ma n dt h ef h z z yd s ka n a l y s i sb a s e do nv e r b a lv 撕a 1 1 ti sp r o p o s e dt o s o l v et h ep r o b l e m b yi 1 1 t r o d u c i n gt h ed i 虢r e n tq u a n t i t a t i v ea n dq u a l i t a t i v em e t h o d s o fe v a l u a t i n gt h er e c o g n i z e dr e s u l t s ，i ti sp o i n t e do u tt 1 1 a tt l l ef u z z yr i s ka n a l y s i s m e t h o dc a nb eu s e dt ot h eo b i e c td e t e c t i o ns y s t e me v a l u a t i o n b yu s i n gm e g e n e r a l i z e df u z 珂n u m b e rt od e n o t et h ev e r b a jv 耐a n t ，a n dt h e nc o m b i i l i n 2t h e 如z z y n u m b e r s ，t h em e m o db a s e do nt h ev e r l ) a lv a r i a n ti sr e a l i z e dw i 廿1 如z z yn u 】 1 1 b e r s i m i l a r i t ym e a s u r e行o mt l l ev i e wo fe x p e r ts y s t e ma n dp a t t e mr e c o g l l i t i o n c o n s i d e r i n gt 1 1 ed r a w b a c k so fe x i s t i n gs i m i l 撕t ym e a s u r e sf o rm z z yn u m b e r an e w s i m i l a r i 母m e a s u r ei sc r e a t e da l l dal o to fn 啪e i i i c a le x a m p l e sa r eg i v e nt os h o wi t g o o dp e r f o m l a n c e f i n a l l y ，an u m e r i c a le x 锄p l ei su s e dt os i m u l a t et 1 1 ee v a j u a t i o nf o r m eo b j e c td e t e c t i o ns y s t e m i naw o r d ，f o l l o w i n gt h er e s e a r c hp l a no fd o i l l ga l g o r i t l l m i ci 皿o v a t i o no nt 1 1 e s e l e c t e dm e t h o d sf i r s t l y ，a 1 1 dv a l i d a t i n gt h e mw i mn u m e r i c a le x 锄p l e s ，a 1 1 dp u tt h e m i m op r a c t i c a la p p l i c a t i o no fo b j e c td e t e c t i o no fi m a g es e q u e n c e sa tl a s t ，t h em a i n o r i g i n a lc o n t l i b u t i o n so ft b j sd i s s e n a t i o na r ea sf i o l l o w s ： 1 ar o b u s tm e t h o db a s e do ne v i d e n c et l l e o 巧f o ro b j e c td e t e c t i o ni ni m a g e s e q u e n c ei sp r o p o s e d ； v 膏 ， 、 - k a b s t r a c t a c o m p r e h e n s i v em e t h o do fm o d e ls e l e c t i o nf o rs u p p o i r tv e c t o rm a c h i n e i sp r o p o s e d ； t w oe 归睹c t i v ep r o b a b i l i 够o u t p u tm e t h o df o rm u l t i - c l a s ss u p p o nv e c t o r m a c h i n ea r ep r o p o s e d ； an e w s i i t l i l a r i 够m e a s u r ef o rf u z z yn u m b e ri sp r o p o s e d k e yw o r d s ：d a t am s i o n ，i m a g es e g m e n t a t i o n ，e v i d e n c et h e o 巧，s u p p o nv e c t o r m a c l l i n e ，p a n i c l es w 姗o p t i i l l i z a t i o na l g o r i t l l i l l ，如z z y r i s k a n a j y s i s ， s y s t e m e v a l u a t i o n ，o b j e c td e t e c t i o n v i - i l 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 人 也蟛 vf 日期：撕学年i 明膨日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于， 不保密瓯 ( 请在以上方框内打“”) 学位论文作者签名：舡l 辱 日期：z 缉f 乙月嘭日 指导教师签 上海交通大学博士学位论文 1 1 课题意义及背景 第一章绪论 随着科学技术的发展，视频图像得到了广泛的应用，应用领域遍及军事、 医疗、保安监控、机器视觉等多个方面。视频图像处理的主要对象可分为单帧 的、静态的图像和多帧的、动态的序列图像两类。序列图像研究的主要任务是 目标提取和识别，所应用的技术几乎涵盖了图像处理和模式识别的各个方面。 图像中的目标分割对于图形图像的编码、压缩、通讯交流有着极其重要的价值； 同时，红外序列图像的融合处理、分析及、副示识别更具军事意义。因此，无论 在军事上还是民用上，序列图像中的目标识别研究具有广泛应用背景，国内外 有许多研究机构都在进行这方面的研究。本论文是结合国防重点实验室预研课 题进行的，该课题主要从事随机集理论在自动目标识别中的应用研究，进行红 外序列图像中的目标识别。这一个课题是一直以来就是一个极具挑战性的研究 课题，以红外序列图像为例，低信噪比的点目标或小目标的检测与识别一直是 目标自动识别( a u t o m a t i ct a r g e tr e c o g i l i t i o n ，a t r ) 中的一个难题，主要存在的困 难有 1 ： 1 ) 目标成像面积小，往往只有一个或十几个像素，缺乏足够信息( 无形状、 尺寸、纹理特征可利用) ： 2 ) 目标在运动过程中，可能偶尔被遮挡，或者其它因素造成目标暂时丢失： 3 ) 单帧图像的处理无法保证性能，需要利用多帧图像的信息进行分析，存 储与计算的数据量大，实时处理的难度大： 4 ) 如果缺乏目标运动的先验信息，实现目标可靠检测的难度将进一步增大。 对于红外序列图像中的目标识别，主要是指将目标从复杂的背景图像中分 割出来。而图像分割一直就是图像处理领域中的经典难题 2 。由于序列图像提 供了时空信息，因此，目标的分割提取大体上可以分为三大类：空间域灰度分 割为主、时间域运动分割为主和基于知识的分割方法 3 ，4 。 基于空间域的方法，首先对帧内的静止图像进行灰度分割，然后利用运动 信息，对运动状态相同而且空间相邻的灰度区域进行融合。但是，由于空间灰 第一章绪论 度图像分割容易受噪声影响，分割之前一般都要采用一些预处理措施进行滤波。 以时域为主的分割方法，主要是利用相邻帧之间的强相关性，对图像中的 象素进行运动估计，根据象素间的运动矢量的不同，对图像进行分割。主要有 基于光流场和运动参数估计的两种方法。由于光流场计算复杂，而且光流场的 分割也存在类似于静态图像分割中阈值选取问题，所以在实际中，大多采用运 动参数估计方法。 基于知识的分割方法主要是利用待分割目标已知的先验知识和统计特性， 有目的地对目标进行搜索、提取的一种方法，可以通过机器学习来识别目标。 可以看出，序列图像的处理，无论是先检测后跟踪，还是先跟踪后检测， 都是在单帧图像处理的基础上，充分利用多帧图像之间的相互时空信息，消除 原始数据中的冗余信息，提取有用信息，分割出待识别目标。因此，整个问题 可以看作为一个图像融合和模式识别的综合过程。随着科学技术的迅猛发展， 图像融合和模式识别领域中的理论和技术都有了新的突破，如何进一步发展这 些新的理论和技术，并运用它们进行序列图像的处理是我们面临的新课题。 图像融合 图像融合是2 0 世纪7 0 年代后期提出的新概念，是多传感器信息融合中可 视信息部分的融合，是将多源信道( 或不同时间) 所采集的关于同一目标的图像在 像素级、特征级或决策级的层次上经过一定的图像融合处理，提取各自信道的 信息，最后综合成统一图像或综合图像特征，以供观察或进一步处理、决策。 图像融合可以有效利用不同输入信道图像信息的互补性和冗余性，因此融合图 像比任何单一信道图像具有更丰富的信息量、更高的可靠性及更易于理解和判 读。图像融合是多传感器数据融合的一个重要分支，在自动目标识别、计算机 视觉、遥感、机器人、自动小车、复杂智能制造系统、医学图像处理以及军事 应用等领域有着广泛的应用潜力【5 9 】。 图像融合一般可分为以下几个层次：低级融合、中级融合、高级融合。低 级融合也叫像素级融合，对来自不同传感器或时间的原始图像进行融合形成一 幅新的图像。低级图像融合对观察者有所帮助，可以使人更容易探测和识别潜 在目标。中级融合也叫特征级融合，对从原始数据中抽取的一些特征进行融合， 其思想是计算来自每一单独传感器图像上的一些特征，然后在一张总的特征图 上合并这些特征。在这些特征级融合图像上，可检测到目标，例如通过探测局 2 上海交通大学博士学位论文 部最大值并在其周围进行区域生长来使用几何限制条件或辐射度限制条件，可 完成图像融合。高级融合常称作决策级融合，是指从每一独立的传感器数据中 获取决策，将它们合并形成一个全局性的决策，决策融合方法包括投票决定方 法、统计方法、基于不完全知识理论和模糊逻辑理论的方法。像素级融合是高 层次图像融合的基础，也是目前图像融合研究的重点之一。图像融合的目的大 致可分为： 1 ) 去噪。一般而言，从传感器得到的图像都是有噪图像，而后续的图像 处理一般要求噪声在一定范围内，因此，可以采用融合的方法来降低噪声，提 高信噪比。 2 ) 提高分辨率。提高分辨率也是图像融合的一个重要目的，有时从卫星得 到的红外图像的分辨率不高，这就要求用其它传感器得到的图像( 如光学图像， 合成孔径图像) 与红外图像进行融合来提高分辨率。 3 ) 提高信息量。在图像传输、图像特征提取等方面需要提高图像的信息量。 图像融合是提高信息量的一个重要手段，如利用不同时刻的图像序列来检测或 确定场景、目标的变化情况。 4 ) 提高清晰度。在图像处理中，往往需要在保持原有信息不丢失的情况下， 提高图像的质量、增强图像的细节信息和纹理特征、保持边缘细节及能量，一 般的图像增强很难办到，因此需要采用图像融合的方法。 5 ) 特殊要求。在某些场合，融合的目的既不是提高信息量，也不是提高分 辨率和降低噪声，而可能有一定的特殊要求。例如在超声粘接图像融合中主要 的目的是减少引起脱粘判别时漏判或误判的像素点的数目。 目前，图像融合广泛地应用于医学上【1 0 ，1 1 】。医学影像成像模式大体可以分 为两类：解剖成像和功能成像。前者主要描述人体形态信息，例如x 线透射成 像、计算机断层成像( c t ) 、磁共振成像( m ) 、超声成像( u s ) ，以及各类内窥镜( 如 腹腔镜及喉镜) 图像等；后者主要描述人体代谢信息，例如正电子发射断层成像 ( p e t ) 、单光子发射断层成像( s p e c t ) 、功能磁共振成像( f m ) 等。在临床诊断 中，常对病人进行多种模式或同一模式的多次成像，以获得较全面的信息。这 些图像经过必要的变换处理，使它们的空间位置、空间坐标达到匹配，叠加后 获得互补信息，增加信息量，使临床诊断和治疗更加准确完善。 图像融合在军事目标识别中有极其重要的地位 1 2 1 4 。例如，为增强军事 指挥员的战场感知能力，美国国防部已授予b t g 公司两项合同：国防高级研究 计划局研究的“战场感知和数据分发”合同和美国空军的图像融合设计合同。 第一章绪论 战场感知系统用于向指挥员提供全面的作战空域的态势情况，包括敌军和友军 配置、武器和作战平台的部署，这些直观信息有助于指挥员评估作战方案和迅 速作出决定。图像融合设计系统能给司令部一级的指挥机构和网络提供一种比 较稳定的战场图像。到2 0 1 0 年，美陆军计划将把可进行数字化图像融合的夜视 镜投入战场。 在机器视觉的研究中，更是离不开图像融合的研究 1 5 。在现代工业自动 化生产中，涉及到各种各样的检查、测量和零件识别，例如汽车零配件尺寸检 查和自动装配的完整性检查，电子装配线的元件自动定位，饮料瓶盖的印刷质 量检查，产品包装上的条码和字符识别等，通常都是利用多个照相机将被摄取 目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜 色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标 的特征，如：面积、长度、数量、位置等；最后，根据预设的容许度和其他条 件输出结果，如：尺寸、角度、偏移量、个数、合格不合格、有无等。其实 也就是一个融合识别的过程。 图像融合的处理过程一般可以概括为： 1 ) 对图像预处理，如去除噪声、图像对准等； 2 ) 确定图像融合算法； 3 ) 抽取特征、辨识、图像理解等。 典型的带反馈信息图像融合的结构模型见图1 1 。 图1 1 图像融合的结构模型 f i g1 1 t h es 仃u c t u r co f i m a g e 如s i o n 图像融合技术的广泛应用，尤其是军事上的推动，极大地促进了图像融合 算法的研究，目前，已发展了多种融合方法，如逻辑滤波器法、加权平均法、 彩色空间变换法、数学形态法、图像代数法、模拟退火法、金字塔图像融合法、 小波变换图像融合法等等 1 6 1 9 。学术界在图像融合领域已取得了很大的成 绩，图像融合方法也各种各样。但是，总的来说图像融合技术的研究还刚刚开 4 上海交通大学博士学位论文 始，有许多问题急需解决。由前面论述可以看出，目前图像融合技术还处于其 发展初期，大多集中于象素级融合。结合数据融合理论发展，图像融合进一步 的发展趋势 2 0 ： 1 ) 寻求统一的理论框架。虽然关于图像融合技术的公开报道很多，但每篇 文章都是针对一个具体的应用问题，对图像融合技术还没有一个统一的理论框 架。建立图像融合的理论框架是目前的一个发展方向。 2 ) 非均匀采样图像的融合问题，通过融合确定感兴趣区域，并提高此区域 采样率。 3 ) 怎样进行稳健图像融合、提高可靠度的问题，基于信号源盲分离的盲图 像融合方法可能是解决问题的一种途径。 4 ) 连续函数表示的图像融合问题，目前图像基本上是以数字形式进行表示 的，但图像在本质上来讲是连续的，随着模拟计算机、神经网络计算机的发展 可望能对连续函数表示的图像进行融合，更本质地反映客观实际。 5 ) 非光学图像的融合问题，如声纳图像、e s m 、i f f 等。异类多传感器信息 由于具有时间不同步、数据率不一致及测量维数不匹配等特点，因而具有很大 的不确定性。在异类多传感器信息融合中，如何合理利用互补信息联合优化改 善图像质量是需要进一步研究和解决的问题。声纳图像融合技术的研究是一个 薄弱环节。 6 ) 研究高速算法进一步提高计算效率，设计有效算法和硬件芯片，以及一 些图像融合算法的硬件实现。 7 ) 利用先验信息进行处理，使融合后得到的信息比各图像所提供的信息更 多。 8 ) 利用图像融合得到图像3 d 信息，将图像融合的结果与计算机图形学、 多媒体技术、虚拟现实技术相结合对数字信息进行可视化处理。 9 ) 带有某种智能的自动图像融合研究及图像融合系统的工程实现。 1 0 ) 新数学方法的引入，如微分几何、粗糙集理论、分形几何理论等。 1 1 ) 主观与客观相结合的图像融合质量的评价准则确定方法研究，可能的 途径是将人工智能和专家系统的方法用于融合效果评价。 可以看出，对图像融合来说，融合源图像可能是在同一个时间段来自多个 传感器的图像，也可能是单个传感器在不同时间提供的图像序列，本文主要指 序列图像的融合。一般来说，图像是在某种意义上对客观实际的一种反映，是 一个不完全、不精确的描述。图像融合充分利用多幅图像资源，通过对观测信 第一章绪论 息的合理支配和使用，把多幅图像在空间或时间上的互补信息依据某种准则融 合，获得对场景的一致性解释或描述，使融合后的图像比参加融合的任意一幅 图像更优越，更精确地反映客观实际。相比于上述的确定性图像融合方法，将 不确定性处理方法运用于图像融合技术中，实现图像软融合，无疑是一个更具 潜力的研究方向。d s 证据理论已广泛应用于信息融合和不确定推理等领域，它 具有坚实的数学基础，能在不需要先验概率的情况下，以简单的推理形式，得 出较好的融合结果。目前，如何有效的将证据理论应用于序列图像融合中，以 进行目标识别，在国内外文献中还未见报道。 1 3 机器学习及支持向量机 图像中的目标一旦被检测出，还需要继续确认、跟踪，也就是说，在后续 的图像帧中，必须重新分割目标和背景，相当于一个模式分类问题。基于模式 识别的目标识别方法也就是基于知识的学习方法，模式识别是属于机器学习领 域中的一个课题。基于数据的机器学习就是研究如何从一些观测数据( 样本) 出 发得出目前尚不能通过原理分析得到的规律，即基于观测设计优化过程，然后 利用这些规律去分析客观对象，对未来数据或无法观测的数据进行预测；主要 任务是：对于一种未知的依赖关系，以观测为基础对它进行估计。现实世界中存 在大量还无法准确认识但却可以进行观测的事物，因此这种机器学习在从现代 科学、技术到社会、经济等各领域中都有着十分重要的应用。基于数据的机器 学习就其实现方法大致可以分为三种：第一种是经典的( 参数) 统计估计方法。 第二种方法是经验非线性方法，如人工神经网络( a n n ) 。第三种方法是统计学 习理论。机器学习的发展可以分为四个阶段 2 1 ，2 2 。 1 学习机器的产生 关于机器学习的研究，可以追溯到2 0 世纪5 0 年代，当时人们就从仿生学 的角度开展了研究，希望搞清楚人类大脑及神经系统的学习机理。 f r o s e n b l a r t t 于1 9 5 9 年提出了第一个学习机器的模型 2 3 ，称作感知器，这标 志着人们对学习过程进行数学研究的真正开始。f r o s e n b l a r t t 的工作在机器 学习中具有里程碑的意义。他把感知器的模型表现为一个计算程序，并通过实 验说明了这个模型具有推广能力。1 9 6 2 年，n o v i k o f f 证明了关于感知器的第 一个重要定理 2 4 。这一定理在创建学习理论中起到了十分重要的作用，这个 定理是学习理论的开始。 6 上海交通大学博士学位论文 2 学习理论基础的创立 在感知器被提出来之后，人们很快提出了其他类型的学习机器，如白适应 学习机，隐马尔可夫模型等来解决实际问题。但这些机器只是解决实际问题的 工具，并非学习问题的一般模型。关于构造一般性学习机器的研究是在1 9 8 6 年 完成的，这就是后向传播技术 2 5 ，2 6 。在中间这段时间里，是统计学习理论获 得大发展的时期，成果累累，产生了经验风险最小化原则的理论、解决不适定 问题的理论、算法复杂度的思想 2 7 3 0 。 3 神经网络的创立 1 9 8 6 年，研究者提出了同时构造感知器所有神经元的向量系数的方法，即 后向传播的方法 2 5 ，2 6 。这一方法的思想是很简单的，在修改的模型中，新的 神经元的合成是一个连续函数。利用计算神经元的系数的梯度，人们可以应用 任何基于梯度的方法来构造对期望函数的逼近。后向传播技术的发现是感知器 的一次飞跃，感知器也被称为神经网络。在很多实际的应用中，神经网络取得 了很好的效果。然而，所得到的理论成果并没有对一般的学习理论带来多大的 贡献。在神经网络的学习中，并没有发现新的有意义的现象。 4 统计学习理论 v a p n i k 等人从六、七十年代开始致力于统计学习理论的研究 3 1 。到九十 年代中期，随着其理论的不断发展和成熟，人们研究的重点转移到对神经网络 的这种替代方法的研究上。统计学习理论是一种专门研究小样本情况下机器学 习规律的理论。与传统统计学相比，该理论针对小样本统计问题建立了一