（模式识别与智能系统专业论文）多模态信息融合算法研究与系统分析.pdf

摘要当传统的信号处理技术难以满足复杂智能系统对信息的多层需求时，多模态信息融合技术便应运而生，并显示出了强大的信息处理能力。我们将研究的重点放在目标识别融合技术，是因为很多领域的问题都可以归属于目标分类和识别的范畴。此外，自动目标识别己成为当今世界各国军备发展的重点之一，而目标识别融合是实现自动目标识别的重要途径。所以，研究面向目标识别的多模态信息融合具有重要的理论和实践价值，其研究成果可广泛应用于军事和民用领域。本文的主要研究工作如下：1 ) 提出了基于融合功能和信息层次的多模态信息融合的一般功能模型：f h模型，为信息融合领域的研究者提供了1 个公共参考框架，并详细分析了多模态融合过程中信息的流向、信息流动时可能产生的融合层次及融合结构。2 ) 针对目前较少文献研究d - s 证据理论的决策规则的状况，提出基于p i 鲫 s t i c 概率的多信度决策规则并设计了3 种p i 印i s t i c 概率转换方法，可以有效地提高决策的精度，减少后续融合过程的计算量，同时缓解了d s 证据理论潜在的指数复杂性问题。本文方法对其它基于信度、隶属度的理论同样有效。3 ) 针对d s 证据理论中的证据冲突问题，提出了基于“交并集”和p i 鼬i s t i c概率的改进方法。证据融合顺序对融合结果没有影响，可以很方便地编程实现。4 ) 提出了d s 证据理论中的基本概率分配的获取方法，解决了d s 证据理论应用于实际系统时，基本概率分配难以获取的问题。5 ) 在粗糙集理论中，针对不完备信息系统，提出了基于差异关系和数据部分补齐的处理方法，并给出了相应的算法。6 ) 探讨了粗糙集理论中最小决策规则的求取方法，提出决策依赖度的定义，并提出了三种减少计算复杂性的方案，使计算量大幅下降。本文方法可以直接应用于不完备信息系统，因此具有良好的实用价值。7 ) 针对粗糙集理论只能处理离散数据的局限，提出了基于决策的剥离式连续属性离散化方法。离散化后的决策表总是相容的，这与目前很多离散方法不考虑决策相容性相比，能够最大限度地保留系统的有用信息。本文方法是领域独立的，可应用于不同领域的连续属性的离散化。8 ) 以集装箱号码自动识别系统为例，通过基于产生式规则的预处理融合算法和基于神经网络与d s 证据理论相结合的多分类器融合，实现了多模态信息融合技术在实际系统中的应用。关键词：信息融合，不确定推理，目标识别，粗糙集理论，d s 证据理论a b s t r 毫i c tm u l t i m o d e l i n f o r m a t i o nf l l s i o nt e c h n o l o 舀e sc a ns a t i s f yt h ed i f e e r e n tr e q u i r e m e n t so fc o m p l e xi n t e l l i g e n ts y s t e m s ，s h o 诵n gg r e a tc 叩a b i l i t yo fs i 鲫a lp r o c e s s i n g w 色f o c u so no b j e c t r e c o g n i t i o n o r i e n t e di n f o r m a t i o nf 1 1 s i o nt e c h n 0 1 0 酉e sn o to n l yb e c a u s em a n yi s s u e ss u c ha so c r ，s p e e c hr e c o 舯i t i o n ，f a u l td i a 印o s i sc a nb ed a s s 语e da so b j e c tc l a s s i f i c a t i o na n dr e c o g n i t i o n ，b u ta l s ob e c a u s ei t s 恤em a i nt e c h n o l o g y 印p l i e di na u t o m a t i co b j e c tr e c o g n i t i o nw h i c hp l a y sa ni m p o n a n tr 0 1 ei a 肌a m e n td e v e l o p m e n ta l lo v e r 抽ew o r ld i nt b i sc a s e ，w ec a ns a yt h a ti t sw o n hs t u d y i gj no b j e c t r e c o g n i t i o n o r i e m e dm u l t i m o d e li n f o m l a t i o nf i l s i o n ，a n dt h ep r o d u c t i o nc a nb e 、v i d e l yu s e di nm a r t i a la n dc i v i lf i e l d s t h em a j o rw o r k sa f ea sf o l l o w i n g s ：1 ) p r 9 p o s e dag e n e r a lf u n c t i o nm o d e lo fm u l t i i i l o d e l i n f o 啪a t i o nf u s i o ns y s t e mb a s e do nf u s i o nf u n c t i o na i l di n f o r i n a t i o nh i e m r c h y ，p r o v i d i n gap u b l i cr e f b r e n c ef r 锄e w o r kf o rr e l e v a n tr e s e a t c h e r s 2 ) p r 叩o s e dt h r e en o v e lp i g l l i s t i cp r o b a b i l i t yt r a n s f o m sf o rd e c i s i o nm a k i n g b a s e do nm u l t i p l eb e l i e f s t 1 1 em e t h o d sc a nw e l lb a l a n o et h ed e c i s i o nc r e d i b i l j t ya n dc o m p u t a t i o n a lc o i n p l e x i t ya n dc a nb eu s e di no t h e rb e l i e fb a s e dt h e o r i e s 3 ) p r o p o s e da ni m p r o v e dr n e t h o db a s e do n “c o n j u n c t i v e d i s j u n d i v ep o o l i i 增? a n dp i 朗i s t i cp m b a b i i i t yt r a n s f o m sa c c o r d i n gt ot h ee v i d e n c ec o n n i c tp r o b l e mi nd - st h e o r yo fe v i d e c e 4 ) p i o p o s e das o l u t i o nt ot h ep i o b l e mo fo b t a i n i n gt h eb a s i cp r o b a b i l i t ya s s i g 哪e n to fp r o p o s i t i o n si np r a c t i c a ls y s t e m s 5 ) p r o p o s e da o v e lm e t h o db a s e do nd i s c r 印a n c yr e l a t i o n s h i pa n dd a t ap a r t i a ls u p p l e m e mt od e a lw i t hi n c o m p l e t ei n f o m a t i o ns y s t e m si nr o u 曲s e tt h e o r y 6 ) p r o p o s e da o v e lm e t h o do fo b t a i n i n gm e “o p m n a l ”d e c i s i o nr i l l e si nr o u 曲s e tt h e o r y w h i c hc a nb eu s e dd i r e c yf o ri n c o m p l e t ei n f o r m a t i o ns y s t e m s t 1 1 e nt h r e em e t h o d sa r ei m r o d u c e dt or e d u c et h ec o m p u t a t i o a l 锄p j e x i t y _7 ) p m p o s e dad i s c r e t i z a t i o nm e t h o db a s e do nd e c i s i o na t 打i b u t e sa c c o r d i n gt ot h el i m i t a t i o nm a tr o u g hs e tt h e o r yc a no i l l yd e a lw i t hd i s c r e t ed a t a u s i n go u rm e t h o d ，t h ed e c i s i o nt a b l ea f t e rd i s c r e t i z a t i o nw i l lb ea l w a y sc o n s i s t e n ta 1 1 dc a nr e s e r v eu s e f i l li 0 衄a t i o na sm u c ha sp o s s i b l e 8 ) p r o p o s e dap r e p r o c e s s i n gf u s i o na l g o r i t h i i lb a s e do np f o d u c t i o nn l l ef o rc o m a i n e rc o d er e c o g n i t i o ns y s t e mw h i i ea tt h es a i n et i r i l ep r o p o s e dam u h i d a s s i f i e rf u s i o nm e m o d b a s e do nn e u f a ln e 撕o r ka n dd - st h e o r yo fe v i d e n c e 1 “y w o r d s ：i n f 0 瑚a t i o nf l l s i o n ，u n c e n a i n t yr e a s o n i n g ，o b j e c tr e c o g n i t i o n ，r o u g hs e tt h e o r y d st h e o r yo fe v i d e n c e独创性声明本人声明所提交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确地说明并表示了谢意。魏透盏日期：巡翌：i关于论文使用授权的说明本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即：中国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅；可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。( 保密的论文在解密后应遵守此规定)签名：癣施。翩签名：缱，日期趔堡筮：z第一章绪论1 1 选题意义第一章绪论近年来，随着语音技术、图像处理、计算机视觉、精密传感器、微电子、网络、通信等技术的飞速发展，人类在继续进行本领域的技术成果积累和科技创新的同时，逐步向多领域、跨学科的研究方向发展，通过利用各学科之间的技术互补，尝试从多方位、多层面对研究目标进行更完整的信息采集、特征分析和综合处理，从而提高系统的分析、决策和响应能力。因此，当多学科的综合应用使可能转为可行，构想变成现实时，各种面向复杂应用的智能系统不断涌现，并对人类社会的进步产生巨大的影响。为了增强系统对研究目标的感知力，提高系统的智能性、容错性、精确性和可靠性，大多数的系统使用多模态技术，即通过多种途径( 听觉、视觉、触觉等) 和多种方式( 多特征提取、多分类器组合等) 对研究目标进行多渠道、多方位的信息采集，并结合领域知识对研究目标进行多层面的特征描述，最后通过相应的规则作出决策分析，而这正是对人脑综合处理复杂问题的一种功能模拟。在这里，本文将多模念看作是对多信息源( 多传感器) 、多特征、多分类器的涵盖和扩展，当系统使用多信息源，或者虽然信息源单一，但使用多种相互独立的特征描述和分类方法时，均属于多模态的范畴。传统的单模态获得的只是研究目标特征的局部信息，刁i 仅信息量有限，而且由于受到自身特点、性能和使用范围的影响，单模态所能提供的信息往往是不完整、不确定的，有时甚至是错误的。因此，仅靠单模态很难满足对研究目标信息的准确获取，从而给系统的决策带来影响。多模态则能提供同一研究目标的不同或相同侧面的有关信息，虽然这些信息在表达方式、可信度、侧重点上不尽相同，但它们之间有着必然的联系。当一组信息描述的是研究目标的同一个特征时，这组信息就是冗余信息。j c 余信息的表达方式虽然可能存在差异，但可以通过变换映射到同一个数据空间。此外，当某一模态出现故障时，系统还町以利用其它模态获得研究目标的信息。凶此，冗余信息可以提高系统的容错性和可靠性。当一组信息描述的是研究目标的各个相互独立的特征时，这组信息就是互补信息。互补信息反映的是研究目标的多模态信息融合算法研究0 系统分析不同特征，其表达形式虽存在明显差异，但能构成对研究目标的更为完整的描述，可以减少由于缺失某些特征而产生的对研究目标的理解歧义，提高系统决策的准确性。使用多模态的另一个优点是可以降低系统的结构和算法复杂性。以实时目标识别系统为例，提高分类准确性的一个捷径就是同时对目标的多种特征( 例如声音、外形、蕨色等1 加以区分。如果将所有的日标特征集中于一个分类器，分类器的结构和算法可能会很复杂，系统的实时性和识别率也不能得到有效的保障，而且复杂的分类器维护起来往往也较为复杂，一旦分类器出现故障，系统可能陷入瘫痪状态。反之，如果将设计一个结构复杂、性能优良的高维输入分类器转化为设计多个结构简单、性能稳定的低维分类器，每个分类器分别获得对研究目标的识别结果后，即可根据预定的原则得到最终的决策。即使某个分类器出现故障，系统仍然能够通过其它分类器继续保持运转。此外，人们不需要对系统进行大规模调整就可以随时集成新的分类器参与识别，这将更有利于科技成果的转化和系统性能的提升。同理，多个结构简单的子系统经过组合后完全可以取代结构复杂的单一系统完成更为精密、复杂的任务，这种化繁为简、化整为零的方式不仅可以很好地保证系统的实时性能，更为加速科研领域的成果转化提供了一个新的思路。概括地说，多模念突破了时间和空间的限制，增加了测量维数，可以获得比单模态更准确全面的信息，从而减少信息的不确定性，降低系统的复杂性，提高系统的容错性、可靠性和决策准确性。多模念技术的应用在提高系统性能、满足系统完成各种复杂任务的需要的同时，也带来了新的问题需要处理的信息量猛增。这些信息的表达方式多样、信息关系复杂，如果对来自不同模态的信息进行孤立地加工不仅会导致信息处理工作量的增加，影响系统的实时性，更切断了各种信息之间可能的内在联系，从而造成系统信息资源的浪费。这就迫切要求采用相应的信息融合技术，对获得的多模态实时信息进行综合处理，消除冗余和矛盾的信息，解析互补信息，产生新的有意义的信息，降低信息的不确定性，并形成正确的决策，从而获得比单模态更高的精度【l ，2 ”。由于多模态融合使用并行结构和分布式计算，因此可提高信息处理的速度。当多模态信息进入系统以后，如何处理这些庞大复杂的信息，使之按照确定的方式在系统中流动，经过综合分析和处理后获得关于环境和研究目标的一致第一幸绪论性描述，并以此形成最终的判决，这些都是信息融合需要解决的问题，其核心内容即是融合方法问题。显然，信息融合的方法依赖于具体的应用系统，然而应用系统所处的环境往往是复杂的和不确定的，这些不确定的因素主要有：传感器测量的不充分性、不精确性、周围环境的干扰等。因此，为了能够在不确定的环境中完成信息的融合并作出萨确的决策，在融合过程中应该使用各种不确定推理技术，即从不确定的初始信息出发，通过运用不确定的知识，最终推断出虽然具有一定程度的不确定但却是合理或近乎合理的结论。信息融合是面向问题及应用而展丌的，所研究的内容具有多样性和广泛性，本文将研究重点定为面向目标识别的多模态信息融合，是因为很多领域的问题诸如语音识别、o c r 、图像处理、目标检测、故障诊断等都可以归属于目标分类和识别的范畴。此外，自动目标识别已成为当今世界各国军备发展的重点之一，而目标识别融合是实现自动目标识别的重要途径。所以，研究面向目标识别的多模念信息融合具有重要的理论和实践价值，其研究成果可广泛应用于军事和民用领域。1 2 信息融合理论概述1 2 1 信息融合的基本原理信息融合的概念始现于2 0 世纪7 0 年代1 1 0 】，当时是针对使用多传感器的系统这一特定问题而开展的，又被称作多源相关、多传感器混合、数据融合等。近年来，随着信息融合技术研究在我国的发展，“数据融合”、“信息融合”已成为公认名称，但就信息和数据的内涵而论，信息融合一词更确切、更具概括性。结合文献地8 。10 1 ，信息融合的定义可概括为：在一定的准则下，对按时序获得的来自不同空间和时间的多源观测数据和信息进行自动分析、关联，把在空问、时间上冗余、互补甚至矛盾的信息依据某种准则进行融合，得到对研究目标的一致性描述和解释，以完成所需的决策和估计任务的处理过程。融合的目的就是对多模态信息进行多级别、多方位、多层次的处理，从而产生新的更有利于结论的信息，而这种新信息是任何单一模态所无法获得的，融合过程完成后，系统将获得比它的各组成部分更优越的性能。根据上述定义，倩息融合的内容主要包括：多模态信息融合算法研究与系统分析数据检测：通过传感器不断扫描观测目标，并进行独立的测量和判断。每扫描一次，都输出各自观测区域的测量参数。数据校准：进行时间和空间的坐标转换，统一各传感器的时间和空间参考点。数据关联：将新的测量参数与对应的历史参数进行相关处理，判别所检测到的数据是否来自同一目标。如果测量参数所对应的目标不一致，将严重影响最终的决策过程，这称为关联的二义性，是信息融合所要解决的主要问题之一。目标跟踪：也称状态估计，预测目标在下一次扫描中的可能位置，以便进行相关处理，这些数据显示了目标的运动轨迹。目标识别：目标的识别建立在对己知目标类别的先验知识基础上，因此知识库和数据库的成熟度对目标识别的准确率有较大的影响。决策估计：根据以上过程所获得的信息进行评估，决定系统的行动。1 2 2 信息融合的一般功能模型众多学者一直致力于信息融合的基础理论研究，积极探讨信息融合系统的基本要素以及这些要素组成信息融合系统的方式和规律，希望构建出信息融合的一般功能模型，为信息融合理论的研究者提供公共参考框架。g a i n e v 和b l a s c h 提出包含预测( p r e d i c t ) 、提取( e x t r a c t ) 、匹配( m a t c h ) 、搜索( s e a r c h ) 等4 个处理模块的p e m s 控制回路【2 0 1 ，类似的结构还有b o y d 提出的观测、定向、决策、行动回路( b o y dc o n t r o ll o o p ) 和英国智能协会提出的收集、核对、评估、传播回路( i n t e l l i g e n c ec y d e ) 。b e d w o r t h 提出瀑布模型( w a t e r f a um o d e l ) 【2 7 】，大量的数据经过信号采集、预处理、特征提取、模式匹配等环节后逐步提练凝聚，直至到达瀑布的顶部( 决策环节) 。该模型强调的是对信息融合过程中低层数据的处理，但没有考虑信息的反馈。美国数据融合专家组提出的j d l 模型【2 6 ，2 8 】将融合过程分为数据预处理、目标优化、态势评估、威胁评估和过程评估等5 个级别，确定了对信息处理的逻辑分割。与其它模型不同，j d l 模型强调的是信息融合的推理层次而非计算机上的结构形式，同时也没有指明信息在整个系统中的流向，而人们在设计信息融合系统时通常希望能够对信息的流动加以控制。此外，与瀑布模型类似，j d l 模型也没有反馈机制。第一章绪论虽然上述处理模型各有特点，但它们的功能原理和作用大致相同，b e d w o r t h 【1 7 】在对多种模型进行对比分析后提出了o m n i b u s 模型。该模型综合了各模型的优点，利用b o y d 回路控制信息流动，采用瀑布模型对数据融合中各处理过程的定义，同时借鉴j d l 模型对信息融合功能的分级结构，使模型更适应具有复杂决策要求的应用领域。o m n i b u s 模型如图1 1 所示，不同信息融合模块的处理过程描述如下：特征融合图卜lo i n i b u s 模型感觉及信号处理：对应于j d l 模型的第0 级和b o v d 回路的观测模块。通过对输入数据进行规范化、格式化、数据检验、关联等处理完成数据在时间和空间上的融合，满足系统对计算和时序安排的要求。特征提取、模式处理：对应于j d l 模型的第1 级和b o v d 回路的定向模块。对前一模块输送来的数据进行特征提取、分析和融合，实现对目标位置、运动特性和身份的实时估计。该层处理是一个低层次的处理，对应的是目标跟踪和目标识别。决策分析、上下文处理：对应于j d l 模型的第2 、3 、4 级和b o y d 回路的决策模块。联合较低层次上的状态和身份估计以及较高层次上的态势评估、威胁评估、过程评估，并形成最终的决策。系统响应、资源任务：对应于b o v d 回路的行动模块。对系统的决策进行响应，并对上述评估进行评价，搜集相关信息，对系统资源进行再分配，或者修改处理过程本身以获得更完整、更准确的结果。多模态信息融合算法研究与系统分析由于信息融合是对多模态信息进行多层次、多方位的处理，因此各种数据所携带的有用信息在系统的每一个融合过程、每一个环节上都应发挥最大的作用，并且信息之间应有机地联系在一起，使系统的各个部分达到和谐与统一。1 2 3 信息融合的级别信息融合与传统的信号处理方法有着本质区别，其关键在于信息融合所处理的多模念信息具有更复杂的形式，而且通常在不同的信息层次上出现。综合现有文献，信息的融合町分为5 级：1 、检测级融合检测级融合是直接在多传感器分布检测系统中的检测判决层或信号层上进行的融合。分布式检测的处理过程是每个传感器对所获得的观测先进行一定的预处理，然后将压缩的信息送给其它传感器，最后在某一中心汇总和融合，从而产生全局检测判决。此法的缺点在于融合中心只能得到压缩后的信息，相对于传统的集中式检测，其性能会有所下降，但可通过对每一部分分别进行最优局部处理来弥补这一损失1 2 1 。矧。检测级融合可分为有融合的并行结构、无融合的并行结构、串行结构、树状结构。检测级融合最初仅用于军事指挥、控制和通信中，现已扩展到气象预报、医疗诊断等众多领域。2 、位置级融合位置级融合是直接在传感器的观测报告和传感器的状态估计上进行的融合，包括时间和空问上的融合，又称为跟踪级融合，主要应用于跟踪系统，可分为集中式、分布式、混合式和多级式结构。3 、目标识别级融合目标识别级融合是对经由多种方式得到的数据、特征或决策进行的融合，并根据融合后的结果进行最终判决，常用的方法主要有投票法、加权平均法、模板匹配法、聚类分类法、神经网络法、证据组合理论、粗糙集理论、模糊理论等。4 、态势评估态势评估是专门针对军事领域的，对敌我双方在战场上战斗力量的分配情况做出评价，力争反映最真实的战场态势并提供事件、活动的预测，最终形成战场综合态势图。第一章绪论5 、威胁评估威胁估计也是专门针对军事领域的，在态势评估的基础上，综合敌方破坏能力、机动能力、运动模式及行为企图等知识，估计出作战事件出现的程度或严重性，并对作战意图做出指示与告警。1 2 4 信息融合的研究现状和发展趋势由于信息融合系统的信息来源丰富、时空覆盖区域广阔，测量维数和置信度较高，故而系统探测和识别性能得到极大改进，不仅提高了目标空间分辨率，更具有较强的故障容错与系统重构能力。科学技术的最新成果往往首先被用于军事领域，信息融合技术也不例外。信息融合技术自诞生伊始，就引起西方各国的国防部门的高度重视，并将其列为军事高科技研究和发展领域中的一个重要专题。1 9 8 4 年，美国国防部专门成立数据融合专家组( d f s ，d a t af u s i o ns u b a n a l ) ，专门指导、组织和协调有关这一国防关键技术的系统研究。1 9 8 8 年，美国国防部又把信息融合列为重点研究开发的2 0 项关键技术之一，且列为最优先发展的a 类。从1 9 8 7 1 9 9 7 的1 0 个财政年间，美国国防部用于信息融合的研究经费高达9 亿美元，期间相继开发出军用分析系统( t c a c ) 、全源信息分析系统( a s a s ) 、海面监视信息融合专家系统( 0 s i f ) 、空中作战方案专家系统( n 玎r ) 等军用系统。而以信息融合中心为核心的c 4 i ( c o m p u t e r ，c o m m a i l d ，c o t r o l ，c o m m u n i c a t i o na 1 1 di n t e l l i g e n c e ) 系统则在1 9 9 9 年的科索沃战争中发挥了重要的作用。英、德、法、日、俄罗斯等囤也将信息融合技术运用到军事领域，并建成智能信息融合示范系统。早期的信息融合技术研究主要是基于军事应用背景，例如各种c 3 i 系统、自动目标识别、遥感、战场侦察、自动态势识别等，大多着重于增强计算能力和有效组织数据的方法，所以长时期内其技术一直处于封闭状态。随着研究的深入和应用领域的扩大，有关研究内容及成果才逐渐披露于各种学术会议和公开文献中，并被广泛应用于疾病诊断、故障诊断、机器人控制、空中交通管制、工业控制等领域1 1 4 1 。学术研究方面，与信息融合有关的国际学会和国际会议主要有：国际信息融合学会( i s l f ，1 9 9 8 年成立，每年举行一次国际学术大会)信息融合学术会议( 美国三军每年召开一次)多模态信息融合算法研究与系统分析正e e 系统与控制会议i e e e 自动控制会议i e e e 航空航天与电子系统会议m e e 指挥、控制、通信和信息管理系统会议国际军事运筹学会议国际雷达、控制与判决、信号处理会议此外，1 9 8 5 年以来，国外先后出版了1 0 余部有关信息融合方法的专著。其中，u i n a s 与w a l t z 的专著多传感器数据融合和h a l l 的专著多传感器数据融合中的数学技术对信息融合研究的内容、应用和公共基础作了全面的系统论述，b a 卜s h a l o m 等人的跟踪与数据互联以及由b a 卜s h a o l m 主编的连续出版物多传感器多目标跟踪方法与进展则综合报导了信息融合在多目标跟踪领域的新思想、新方法和新进展【2 】。国内关于信息融合技术的研究在2 0 世纪9 0 年代逐渐形成高潮，并引起国家相关部门的高度重视，列入8 6 3 计划，发展成为多方关注的共性关键技术。代表专著和译著主要有杨靖宇的战场数据融合技术【1 1 】、康耀红的数据融合理论及应用 8 l 、何友等人的多传感器信息融合及应用队刘同明等人的数据融合技术及应用【1 2 】、赵宗贵等人的数据融合方法概论【1 3 】等。目前，部分在研的新一代c 3 i 系统f 在向多传感器信息融合方向发展。信息融合是一门跨学科跨领域的综合理论，改变了以算法为核心的传统信息处理技术，通过利用关于信息的先验知识和启发式规则，可以有效地简化数学模型、降低计算复杂性，解决系统实时性问题。信息融合的发展趋势主要集中在：信息融合系统的基本理论，对知识获取、知识表达、规则组织与管理方法的研究信息融合中的信息冲突、信息相关问题数据关联的二义性问题系统的准确性与鲁棒性的研究自动目标识别算法不确定输入条件下的有效算法多层次、多中心的大型信息融合技术第一章绪论主要信息融合理论和方法的研究与应用信息融合系统的性能评估信息融合中的知识库技术研究信息融合系统的工程实现1 2 5 信息融合的一般方法当研究目标与周围环境的信息通过各种模态以各种形式进入系统以后，如何处理这些繁杂的信息，使之按照确定的方式在系统中流动，并最终依据对研究目标和周围环境的正确描述做出相应决策，是信息融合所要解决的问题，而这需要靠具体的融合方法来实现。融合方法是指所有用来对多模态信息融合系统获得的各类数据进行计算和推理以获得致结果的方法，目前尚无对各种模态都能进行融合的通用融合模型和算法，一般需要根据具体的应用场合而定，以下对信息融合的主要方法进行分述。1 、加权平均法这是最简单、最容易理解的一种实时处理信息的融合方法，即将多个模态提供的冗余信息进行加权平均后作为信息融合结果。当每个测量值为标量，且加权值反比于每个测量值之间的标准差时，加权平均法与贝叶斯法相一致。该方法可满足低层数据的实时处理要求，但必须先对系统和各模态进行细致的分析以便获得正确的加权值。调整和确定加权值的工作量很大，且具有一定的主观性，可考虑基于某种最优原则( 例如总均方误差最小) 的自适应加权平均法【3 3 州。2 、卡尔曼滤波卡尔曼滤波用于冗余模态信息的低层次动态实时融合。当系统噪声和传感器噪声都为高斯分稚的白噪声时，该方法结合测量模型的统计特性进行递推并能给出统计意义下的最优融合信息估计。卡尔曼滤波的递推特性保证了系统的实时数据处理能力，无需大量的存储空间和计算量。如果应用系统模型的线性程度较差或在数据处理过程中存在不确定性，可以考虑使用单位上三角阵或对角阵方差因子化滤波以及扩展的卡尔曼滤波【3 8 39 1 。3 、多尺度估计方法w i l l s k v 等人受小波变换理论和多尺度表达的启发，将多尺度框架引入估计和信息融合中，可以把各模态中不同尺度不同类型的信息融合在一起，而相对多模态信息融台算法研究与系统分析于单尺度的信息融合，计算量没有显著增加。典型的算法有适用于静态模型的多尺度平滑算法、适用于动念模型的基于小波变换的动态多尺度信息融合算法以及适用于大型动态系统的多尺度递归估计4 0 4 1 等，在减少计算量上很有效。4 、产生式规则产生式规则主要用于低层融合，其中的规则需要通过对具体使用的模态进行特性分析后产生，与每个规则相联系的置信因子表示规则的不确定性程度。融合时，两个或多个规则在同一个推理框架中形成一个联合的规则。由于每条规则的可信度与系统的其它规则有关，当系统刀级或改换时，需要重新生成新的规则，因此系统的可扩展性较差。s 、m a r k o v 链通过利用m a r k o v 链和线性加权原则，可以组合各个模态的输出值并形成一个一致的输出值，再使用熵来衡量每个模态对于自身的输出值和一致输出值的确定性程度，并以此来确定加权值，因而融合后的结果是各模态的线性加权组a 【32 1 。6 、统计决策理论利用统计决策理论可以融合多模态融合过程中的冗余信息，即在使用鲁棒极值决策规则对多模态信息进行融合前，所有的多模态信息必须经过一个鲁棒测试以验证它们的一致性。7 、b a y e s 推理b a y e s 推理包含两个组成部分：b a y e s 定理和b a y e s 假设。当用于信息融合时，如果x i 表示系统中某一模态对观测日标的观测值( j = 1 ，2 ，模态数) ，先假设各目标出现的先验概率 p ( 0 。) ，i = 1 ，2 ，目标数 以及各模念关于目标识别估计的条件概率 p ( x j i o i ) 都是已知量，则利用b a y e s 定理可得联合后验概率为p ( 。，i j ) = 芝曼踹，z = “：，一。) n 为模态数( 公式1 1 )再根据某种舰则( 例如最大后验概率) 得到对观测目标的最佳估计【4 4 ，4 5 1 。d u a n t w h v t e 提出多b a v e s 推理【2 9 ，3 叭，把系统中的每个模态都作为一个b a v e s 估计器，由它们组成一个决策者队，通过队列的一致性观测得到最终融合结果。t h o m o p o u l e s 则将b a y e s 推理和证据理论相结合提出，“义证据理论。b a v e s 推理是一种经典的不确定性推理理论，但陔方法存在几点不足：第一章绪论1 ) 需要预知各目标类别的先验概率及各模态关于目标类别估计的条件概率，这在很多实际的系统中是很难获得的；2 ) 当目标集较大，可能的决策较多时，大量的先验、条件、后验概率的复杂计算将影响系统的实时性；3 ) 要求各个事件与决策相互排斥，不能很好地描述系统总体的不确定性。8 、d s 证据理论d s 理论由d e m p s t e r 和s h a f e r 在2 0 世纪7 0 年代提出，是对b a y e s 推理的一种重要扩展，把b a v e s 推理中的事件扩展成命题，把事件的集合扩展成命题的集合，用信任区间代替概率，用d e m p s t c r 组合规则代替b a y e s 公式，并提出了基本概率分配、信任函数和似然函数的概念。由于对不确定信息的描述采用“区间”的方法，d s 证据理论解决了关于不确定性信息的表示方法，在区分“不知道”与“不确定”方面以及精确反映证据收集方面显示出很大的灵活性。在d s证据理论中，证据与子集相关，而不是与单个元素相关，因而缩小了问题的范围，减轻了处理的复杂度1 4 ”。9 、遗传算法遗传算法是模拟生物在自然环境中的遗传和进化过程而形成的一种自适应全局优化概率搜索方法，在对染色体进行编码后，通过选择、交叉和变异等模拟生物基因操作的步骤进行种群逐代优化后逐渐趋近于问题的最优解。不同的编码方法和不同的遗传算子构成了各种不同的遗传算法。在信息融合过程中，遗传算法通常与模糊理论、神经网络等联合使用【4 ”。1 0 、粗糙集理论粗糙集理论( r o u 曲s e t ) 是波兰数学家z p a w l a k 在1 9 8 2 年提出的一种数据分析理论通过对不完全数据进行分析、推理，可以发现数据间的关系，提取有用特征，简化信息处理，从而完成对不精确、不确定知识的表达、学习和归纳，因此是种处理模糊和不精确性问题的新型数学工具。粗糙集理论的重要特点就是具备很强的定性分析能力，无需提供除问题所需的数据集合之外的任何先验信息，例如统计学中的概率分布、模糊理论中的隶属函数，d s 证据组合理论中的基本概率分配等，只是利用定义在数据集合上的等价关系对集合的划分作为知识，寻找其隐藏的数据关系及内在规律，确定给定问题的近似集【“”。1 1 、模糊理论模糊理论通常用于高层的信息融合。模糊逻辑是一种多值型逻辑，通过对每多模态信息融合算法研究与系统分析个命题赋予一个0 ，1 1 区间的值，即隶属度，多模态信息的不确定性可直接反映在推理过程中。模糊融合系统的设计实质上就是模糊规则及隶属度的确定【1 加。12 2 1 。1 2 、神经网络神经网络的结构本质上是并行的，并且有学习的功能，这为神经网络在多模态信息融合中的应用提供了良好的前景【1 2 3 ，1 2 4 】。基于神经网络的多信息融合具有以下特点：具有统一的内部知识表示形式，并且建立基于规则和形式的知识库；利用外部信息，便于实现知识的自动获取和并行联想推理；能够将不确定的复杂环境通过学习转化为系统理解的形式：具有并行处理信息能力，系统的处理速度快。神经网络融合方法往往和专家系统等基于知识的方法相结合，组成智能混合系统，将学习和推理统一起来，形成比单一系统更强的功能1 1 2 5 d 2 训。1 3 存在问题l 、尚未形成基本的信息融合理论框架和广义融合模型与融合算法7 1 。在信息融合领域，理论研究远远落后于实际需要。虽然信息融合的应用研究已十分广泛，但信息融合本身却一直未能形成系统的理论框架和有效的广义融合模型及算法，绝大部分的信息融合工作都是针对特定应用领域内的问题来开展的，即根据问题的种类，各自建立直观的融合准则，选取相应的融合算法，并在此基础上形成最佳融合方案。但是这些研究反映的只是信息融合所固有的面向对象的特点，并不能推而广之，因此难以构成信息融合这一独立学科所必需的完整理论体系。这种现象阻碍了研究者对信息融合本身的深入认识，尽管信息融合一词被广泛地使用，但经常被错误地理解，甚至在某种程度上仅被看成是一种多传感器处理概念。此外，由于缺乏公共的参考框架，人们很难对融合系统作出综合分析与评估，这也使得融合系统的设计带有一定的盲目性。因此，即使不少学者曾探索融合系统的性能评估问题，但这类评估大多只是提出一些特定的系统性能指标，或针对特定的应用背景来对某种融合算法进行分析。2 、融合系统的鲁棒性与容错性没有得到很好的解决。出于环境的复杂性、各模态性能的不精确性以及人类自身认识的局限性，致使所获取的信息具有一定程度的不确定性，这主要表现在信息本身的不完全性、信息获取的不町靠性、信息表达的不严密性、信息之间的矛盾性、识别的不确定性等，对这些不确定信息的融合过程实质上是一个不确定性推理过程，因此，第一章绪论开发不确定推理系统，解决系统的鲁棒性与容错性是信息融合理论研究中必须考虑的问题。3 、对目标识别及高层信息融合的研究缺乏系统性。近年来信息融合在目标跟踪领域的研究较为丰富，已形成一套渐趋成熟的理论，相对而言，对目标识别以及高层信息融合的研究则缺乏系统性，具体的融合方法仍是模式识别的相应技术，只是在融合前对各观测属性进行了关联处理。模式识别手段是提高融合效果的瓶颈，它直接制约了信息融合的精度和效率。仅仅依靠集成不同的模式识别手段并不能保证相应系统精度的提高，反而可能产生维数灾难。因此在目标识别中，设计高性能、结构简单的模式识别系统，解决高维特征输入、小样本学习，设计高性能的分类器等都是值得进一步深入研究的课题。4 、属性函数的获取问题。属性函数的获取问题是目标识别决策融合应用的瓶颈问题，在实际应用中，最棘手的问题莫过于如何获得可靠的隶属度、基本概率分配等，缺少较成功的范例。5 、关联的二义性。关联的二义性是信息融合的主要障碍。在进行融合处理以前，为保证所融合的信息来自同一观测目标，必须对来自多模态的观测结果进行关联，以确保融合信息的一致性。显然，如果对不同目标的信息进行融合，将使系统难以得出正确的结论，因此，如何降低关联二义性是信息融合研究领域亟待解决的问题。6 、信息融合方法与融合系统实施存在的问题。目| j 的信息融合是经一种简单的方法合成信息，得出融合结果，并没有充分有效地利用多模态所提供的冗余信息，实现多模态信息的高智能处理。针对信息融合方法的研究也只是刚刚起步，许多工作仍处于试探性的或仿真性的阶段，投入正式使用的信息融合系统较少。信息融合系统的设计还面临许多实际问题，例如复杂动态环境下的系统实时响应、大型知识库的建立及管理等，这些问题都不是仿真所能解决的。1 4 本文主要研究内容本文从面向目标识别的多模态智能系统的实际应用出发，围绕着多模态信多模态信息融合算法研究与系统分析息融合与目标识别技术实际应用中需要解决的问题展开了研究和探讨，并提出了一些新的思路和解决方案。本文的主要研究内容及框架如下：1 ) 第一章是绪论部分。分析了多模态技术与信息融合理论相结合的必要性并简要介绍了信息融合的基本原理、研究和发展现状、常用的融合方法以及目前在信息融合技术研究中所存在的问题，本文在后续章节中将主要针对1 3 节中的1 、2 、3 、4 、6 等问题进行探讨和研究。2 ) 第二章是面向目标识别的多模态信息融合系统的分析。在比较现有几种信息融合功能模型的的基础上，指出面向目标识别的多模态信息融合系统的功能要素，并提出了基于融合功能和信息层次的多模态信息融合的通用功能模型f h 模型，详细分析了目标识别融合过程中信息的流向、信息流动时可能产生的融合层次及融合结构。最后以“8 6 3 ”课题“智能化人机交互网络游戏示范应用”为蓝本，设计出智能人机交互系统的模型框架。3 )第三章对d e m p s t e r _ s h a f e r 证据理论进行研究。针对d s 证据理论存在的问题，在证据冲突、决策规则分析、缓解计算复杂性及基本概率分配的获取几个方面提出了新的观点及改进方案，使d s 证据理论更为实用。首先，针对目前较少文献研究d s 证据理论的决策规则的现状，提出基于p i 鼬i s t i c 概率( 源于拉丁语p i 舭u s ，赌博) 的多信度决策规则并设计了3 种p i 鲫i s t i c 概率转换方法。它们的优点在于，既可以有效地提高决策的精度，避免使用单+ 信度进行决策的片面性，又可以在不提高决策风险的前提下，使满足决策阈值的候选目标数降至最少，减少后续融合过程的计算量，从而有效地缓解了焦元“爆炸”问题。其次，针对高度冲突的证据组合会产生不合理结论的现象，提出了基于“交并集”和p i 鲫i s t i c 概率的改进方法。使用该法时，所有证据的融合顺序对融合结果没有影响，因此可以很方便地编程实现。第三，提出了运用d s 证据理论对多分类器进行决策层融合时，各目标的基本概率分配的获取方法。利用训练样本的分类统计特性获得每个分类器对目标识别的匹配度和可信度，然后通过经验公式确定每个目标的基本概率分配和不确定性分配。通过多分类器集成的方式，可以把设计结构复杂、性能优良的高维输入分类器转化为设计多个结构简单、性能稳定的低维分类器，这种方式不仅可以提高系统的分类性能，同时也为加快目标识别领域的成果转化提供了一个新的思路。4 ) 第四章对粗糙集理论进行研究。首先，针对不完备信息系统，在分析第一章绪论了现有的数据补齐法和扩充法的优劣后，提出了基于差异关系和数据部分补齐的处理不完备信息的思想。本文定义了差异关系，对差异矩阵进行扩充使其能适用于不完备信息系统，证明了用差异关系进行属性约简和求核的可行性，并给出了相应的算法