信息融合绪论2013.ppt

1、信息融合,1.1 信息融合的概念、目的和作用,传感器信息融合又称数据融合，是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。 将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对象某一特征的表达方式。 经过融合后的传感器信息具有以下特征：信息冗余性、信息互补性、信息实时性、信息获取的低成本性。,目前，在军事领域一般把信息融合定义为：一个利用计算机技术对按时序获得的多个传感器的观测信息，按照一定的准则进行检测、互联、相关、估计和组合的自动分析、优化综合的信息处理过程，其目的是为了获得更准确的状态和身份估计，以及完整而及时的战场态势和威胁估计。 可以着重从以下三个方面理解这

2、个定义： 第一，信息融合是一个利用计算机技术进行自动信息处理的过程，没有计算机技术的应用就不可能有信息融合； 第二，信息融合是一种多层次的、多方面的信息处理过程，它涉及到信息检测、互联、相关、估计和组合的方方面面，它是一种在多个层次上实现对多源信息处理的过程，而每一个层次都表示了不同级别的信息抽象； 第三，信息融合的功能和结果既包括在较低层次上的状态和身份估计，还包括在较高层次上的整个战场态势估计和威胁估计。,信息融合目的,多传感器信息融合在解决探测、跟踪和目标识别等问题上，具有许多优势。军事领域信息融合的目的是为了获得更准确的状态和身份估计，以及完整而及时的战场态势和威胁估计。 增加了系统的

3、生存能力。 扩展了空间覆盖范围。 扩展了时间覆盖范围。 增加了可信度。 减少了信息的模糊性。,改善了探测性能。 提高了空间分辨力。 改善了系统的可靠性。 增加了测量空间的维数。 与单传感器系统相比，多传感器的复杂性大大增加，由此会产生一些不利因素，如成本提高了，设备的尺寸、重量、功耗等物理因素增大了，以及因辐射增多而使系统被敌方探测的概率增加了。,信息融合的研究范围,信息融合技术是为了解决由于同一个系统使用多个传感器或多个系统使用多个传感器问题的一种信息处理技术，因此信息融合的研究范围主要是多传感器系统，包括对多种目标的探测、识别和跟踪，以及战场监视、态势和威胁评估、决策支持等，主要集中在军事

4、领域。 作为一种信息综合和处理技术，信息融合实际上是许多传统学科和新技术相结合的一个边缘新兴学科，它包括了通信、信号处理、模式识别、估计理论、决策论、计算机科学、人工智能和神经网络等众多学科和技术领域的内容。,信息融合的基本功能,多传感器信息融合的基本功能与人脑信息融合的基本功能是类似的。多传感器信息融合就是充分利用多个传感器资源，通过对这些传感器及其观测信息的合理调配，把多个传感器在空间或时间上的冗余或补充信息依据某种准则来进行综合，以获取对被测对象全面正确的解释或描述。,功能模型从融合过程出发，描述数据融合包括哪些主要功能、数据库，以及进行数据融合时系统各组成部分之间的相互作用过程。,信息

5、融合在军事的应用及其特点,信息融合在军事上的应用绝大部分是在敌对的现实世界中进行的。 被观测目标的特点对信息融合系统提出了较高的要求，如系统要有可变的响应特性，快速、精确的信息处理能力，必要时还要求人工干预等。,信息融合层次的划分主要有两种方法。 第一种方法是按照融合对象的层次不同，将信息融合划分为低层（数据级或像素级）、中层（特征级）和高层（决策级）。 另一种方法将是将传感器集成和数据融合划分为信号级、证据级和动态级。,信息融合的分类,数据级融合(或像素级融合),对传感器的原始数据及预处理各阶段上产生的信息分别进行融合处理。尽可能多地保持了原始信息，能够提供其它两个层次融合所不具有的细微信息

6、。 局限性： (1)由于所要处理的传感器信息量大，故处理代价高； (2)融合是在信息最低层进行的，由于传感器的原始数据的不确定性、不完全性和不稳定性，要求在融合时有较高的纠错能力； (3)由于要求各传感器信息之间具有精确到一个像素的配准精度，故要求传感器信息来自同质传感器； (4)通信量大。,数据级融合(或像素级融合),特征级融合,利用从各个传感器原始数据中提取的特征信息，进行综合分析和处理的中间层次过程。 通常所提取的特征信息应是数据信息的充分表示量或统计量，据此对多传感器信息进行分类、汇集和综合。 特征级融合分类： 目标状态信息融合 目标特性融合。,特征级融合分类,目标状态信息融合 主要应

7、用于多传感器目标跟踪领域。融合系统首先对传感器数据进行预处理以完成数据配准。数据配准后，融合处理主要实现参数相关和状态矢量估计。 目标特性融合 特征层联合识别，具体的融合方法仍是模式识别的相应技术，只是在融合前必须先对特征进行相关处理，对特征矢量进行分类组合。在模式识别、图像处理和计算机视觉等领域，已经对特征提取和基于特征的分类问题进行了深入的研究，有许多方法可以借用。,决策级融合,在信息表示的最高层次上进行的融合处理。不同类型的传感器观测同一个目标，每个传感器在本地完成预处理、特征抽取、识别或判断，以建立对所观察目标的初步结论，然后通过相关处理、决策级融合判决，最终获得联合推断结果，从而直接

8、为决策提供依据。 因此，决策级融合是直接针对具体决策目标，充分利用特征级融合所得出的目标各类特征信息，并给出简明而直观的结果。决策级融合优点： 实时性最好 在一个或几个传感器失效时仍能给出最终决策，因此具有良好的容错性。,决策级融合,三个层次的比较,信息融合过程,首先将被测对象它们转换为电信号，然后经过AD变换将它们转换为数字量。数字化后电信号需经过预处理，以滤除数据采集过程中的干扰和噪声。对经处理后的有用信号作特征抽取，再进行数据融合；或者直接对信号进行数据融合。最后，输出融合的结果。,信息融合系统的通用处理结构,通用处理结构：在整个融合处理流程中，依照实现融合处理的场合不同，研究人员提出了

9、通用处理结构的概念。Heisttand描述了三种处理结构，分别是集中式结构、分布式结构以及混合式结构。不同处理结构针对不同的加工对象。 集中式结构：加工的是传感器的原始数据； 分布式结构：加工的是经过预处理的局部数据； 混合式结构：加工的既有原始数据，又有预处理过的数据。,通用处理结构集中式,集中式系统结构 在此结构中，各个传感器录取的检测报告直接被送到融合中心，在那里进行数据对准、点迹相关、数据互联、航迹滤波、预测与综合跟踪。这种结构特点是信息损失小，对系统通信要术较高，融合中心计算负担重，系统的生存能力也较差。,通用处理结构分布式,分布式系统结构 分布式结构与集中式结构的区别在于，每个传感

10、器的检测报告在进入融合中心以前，先由它自己的数据处理器产生局部多目标跟踪航迹，然后把处理后的信息送至融合中心，融合中心根据各结点的航迹数据完成航迹关联和航迹融合，形成全局估计。相对于集中式系统，此类系统具有造价低、可靠性高、通信量小等特点。,通用处理结构混合式,混合式系统结构 混合式融合系统同时传输检测报告和经过局部结点处理后的航迹信息，它保留了上述两类系统的优点，但在通信和计算上要付出较昂贵的代价。此类系统也有上述两类系统难以比拟的优势，在实际场合往往采用此类结构。,另一种结构形式分类：串联、并联和混合融合形式。,信息融合系统的模型和结构 检测级,带反馈并行结构,分散式结构,并行结构,串行结

11、构,树状结构,信息融合的主要技术和方法,信息融合的研究内容极其丰富，涉及的基础理论也非常广泛，而信息融合方法是信息融合研究的核心技术。目前融合方法大致可以分两类:概率统计方法和人工智能方法。 概率统计方法主要有卡尔曼滤波、假设检验、贝叶斯方法、统计决策理论以及其他变形的方法。 人工智能方法包括D-S证据推理、模糊逻辑以及神经网络、专家系统等。其中贝叶斯估计、D-S证据推理、模糊理论、神经网络占整个信息融合算法的85。而支持向量机作为一种比较新的机器学习方法也已经在信息融合中应用。,（1） Kalman滤波及其扩展 此方法用测量模型的统计特性递推决定在统计意义下是最优的融合数据估计。如果系统具有

12、线性动力学模型，且系统噪声和传感器噪声是符合高斯分布的白噪声，那么，Kalman滤波为融合数据提供唯一的统计意义下的最优估计。,（2） 贝叶斯估计 贝叶斯融合方法产生于多传感器融合技术的初期，它首先对各传感器信息进行相容性分析，删除可信度低的错误信息，在假定已知相应的先验概率的前提下，根据贝叶斯规则获得每个输出假设的概率。对可信度低的错误信息可以采用数据探测技术中的分布图法剔除。,（3）人工神经网络 基于神经网络的信息融合实质上是一个不确定性推理过程，它充分利用外部环境的信息，实现知识的自动获取以及在此基础上进行联想推理。 现在也有学者将神经网络和D-S证据理论相结合的数据融合算法研究。由此可

13、见各种数据融合算法相结合，是未来算法研究的一个趋势。,产生式系统由一个综合数据库、一组产生式规则和一个控制系统三个基本要素组成。其中：综合数据库是产生式系统所用的主要数据结构，它主要用来表示问题的状态，即初始状态、中间状态和目标状态等，以及状态之间的关系。它不是固定不变的，在求解的过程中，它的内容将越来越多，状态之间的关系也越来越复杂。 经常用来表示数据库的数据结构有串、集合、数组、树、表、记录、队列等。 产生式规则是对数据库进行操作的一系列规则。规则的一般形式是： IF 条件 THEN 操作 即满足应用的先决条件后，就对数据库实行后面的操作。,3 开展信息融合技术的思考信息融合技术的研究与应

14、用越来越深入与广泛，已经由军事领域逐步扩展到民用领域。在我国信息融合的研究具有探索性和预研性。当前我们应该着重跟踪国际技术前沿，对一些前景尚不确定的问题，应该着重概念研究、理论分析，力求作出技术判断，为未来融合系统的需求进行技术储备，而那些已经被确认为是信息融合迫切需要解决的问题，则根据我们的技术潜力进行充分的技术论证，有重点、有目标地进行发展。,1.4 信息融合要解决的几个关键问题,实现信息融合的实际系统面临着一系列的技术困难和难题，归纳起来有六大关键问题：信息转换、信息相关、融合推理、数据库、信息安全和系统评估。 1.信息转换 在多传感器系统中，各传感器输出的信息格式、各传感器对目标和环境

15、的描述等都是不一样的，为了能够把这些不同来源的信息进行融合，首先面临的问题就是要把它们转换成相同的格式，或者说对不同传感器的描述进行归一化处理，然后才能进行信息相关处理。,2.信息相关信息相关就是要对各传感器获得的信息进行关联处理。信息相关的核心问题之一是要克服传感器测量的不准确性和干扰等引起的相关二义性，即保持信息的一致性；另一个核心问题就是要控制和降低相关计算的复杂度，开发出合适的相关处理算法和模型。,3.融合推理融合推理是进行信息融合的核心步骤，它所完成的功能主要有：对传感器获得信息的取舍做出决定，显然不是传感器获得的所有信息都要进行融合处理；对同一传感器相继获得的信息进行综合和状态估计

16、，并参照其他信息源的信息进行修改验证；对不同传感器的相关信息进行验证分析、归纳综合、协调修改和状态跟踪估计；对新发现的信息进行分析和综合，如是否需要建立新的目标航迹等；开展态势决策分析等。,4数据库数据库不仅要及时存储当前各传感器的测量数据，并把它们及时提供给融合推理，还应向融合推理提供所需要的各种其他数据。与此同时，数据库还应存储融合推理的中间结果、最终态势和决策分析结果等。数据库既包含当前实时数据，还包括非实时的先验数据等。,5.信息安全军用信息融合系统汇集了各类传感器和信息源的信息，以及信息融合的中间数据和最终结果信息等，这些信息通常具有不同级别的保密要求和访问权限。信息融合系统在实现信

17、息融合功能的同时，还必须保证这些信息的安全，能够让应该使用信息的用户及时访问、获取所需信息，同时又要限制用户的存取权限。,6.系统评估 目前，在信息融合系统性能评估中用得较多的是各种重要的测量数据，如在评价系统的探测性能方面，主要指标有探测统计数据（探测概率以及虚警率）、关联品质（提取特征的精度）、系统反应时间等；在评价系统的跟踪性能方面，主要指标有轨迹统计数据（能够跟踪的目标轨迹数目、漏掉的轨迹数目、伪轨迹数目、轨迹改变的数目等）、轨迹品质（特征质量、轨迹正确率、轨迹精确度）和反应时间（包括跟踪起始时间和跟踪结束时间）；在评价系统的识别性能方面，主要指标有目标正确分类率、目标正确识别率等。,

18、综上所述，信息是未来战争胜负的决定因素，信息融合是对信息的综合、优化处理和提升，使人们能够更加全面、准确、合理、方便地使用信息。深入研究、合理应用信息资源，解决信息融合技术目前所面临的关键难点问题，使其迅速发展和完善，是当前面临的迫切而重要的任务。,1.5 信息融合研究历史、现状和热点,数据融合是由美国JDL（数据融合联合指挥实验室 ）实验室数据融合专家组(DFS)提出的并给出了一般的概念模型。最初用于军事领域，现在广泛应用于机器人，交通管制，故障诊断等民生领域。 Sung-Bae cho和Jin H.Kim使用基于模糊逻辑多神经网络融合解决在线手写字符识别问题。Alexandre lemie

19、ux等构造了一个灵活的多分类器系统用于人脸识别系统。国内有哈尔滨工业大学权太范等人出版了信息融合一书，北京理工大学，浙江大学等学校都在研究信息融合问题处理雷达图像识别系统。,信息融合(information fusion）起初被称为数据融合(data fusion），起源于1973年美国国防部资助开发的声纳信号处理系统，其概念在20世纪70年代就出现在一些文献中。在20世纪90年代，随着信息技术的广泛发展，具有更广义化概念的“信息融合”被提出来。在美国研发成功声纳信号处理系统之后，信息融合技术在军事应用中受到了越来越广泛的青睐。20世纪80年代，为了满足军事领域中作战的需要，多传感器数据融合M

20、SDF (Multi-sensor Data Fusion）技术应运而生。1988年，美国将C3I(Command，Control，Commication and Intelligence）系统中的数据融合技术列为国防部重点开发的二十项关键技术之一。由于信息融合技术在海湾战争中表现出的巨大潜力，在战争结束后，美国国防部又在C3I系统中加入计算机（computer），开发了以信息融合为中心的C4I系统。此外，英国陆军开发了炮兵智能信息融合系统（AIDD）和机动与控制系统 (WAVELL）。欧洲五国还制定了联合开展多传感器信号与知识综合系统（SKIDS）的研究计划。法国也研发了多平台态势感知演示验

21、证系统（TsMPF）。军事领域是信息融合的诞生地，也是信息融合技术应用最为成功的地方。特别是在伊拉克战争和阿富汗战争中，美国军方的信息融合系统都发挥了重要作用。当前，信息融合技术在军事中的应用研究己经从低层的目标检测、识别和跟踪转向了态势评估和威胁估计等高层应用。20世纪90年代以来，传感器技术和计算机技术的迅速发展大大推动了信息融合技术的研究，信息融合技术的应用领域也从军事迅速扩展到了民用。目前，信息融合技术己在许多民用领域取得成效。这些领域主要包括：机器人和智能仪器系统、智能制造系统、战场任务与无人驾驶飞机、航天应用、目标检测与跟踪、图像分析与理解、惯性导航、模式识别等领域。,美国是数据融

22、合技术起步较早、发展最快的国家。美国国防部早在七十年代就资助从事声纳信号理解融合系统的研究，在以后研制和开发系统和IW系统中，更是优先发展数据融合技术。1988年，美国国防部将数据融合技术列为九十年代重点开发的20项关键技术之一，出巨资支持其研究，并取得了一些研究成果，开发了一系列系统。 此外，美军方最近还研制一系列IW系统，如：传感器战模型、信息战初始阶段模型、C2W（指挥控制战）分析目标寻求工具、分布式交互仿真IW集成、C2保护建模、通信网络建模工具、IW/C2W任务计划和演习系统、海军IW行动计划、通信网络建模工具及C2W应用、联合仿真系统、模型、认知模型、目标遴选模型、广义通信分析工具

23、和IW建模系统。,近些年来，随着科学技术的不断进步，特别是微电子技术、信号检测与处理技术、计算机技术和网络通信技术等的飞速发展，各种面向复杂应用背景的多传感器系统大量涌现。在这些信息处理系统中，信息表现形式各种各样，信息量非常巨大，信息处理过程相当复杂，要求信息处理速度非常之快，这些都已远远超出平常人脑的综合处理能力。 另一方面，近年来随着计算机和数据处理技术的发展，对信息实时并行处理己成为可能，正是在这种背景下，数据融合技术受到各国学者的广泛关注，并取得了可喜的进展。,学术方面，在国际上DFS已经成为信息融合研究的积极组织者，这一领域的研究内容和成果已经大量出现在各种学术会议和公开的文献资料中，例如美国三军信息融合年会、SPIE（International Society for Optical Engineering）传感器年会、IEEE Transactions on AES(Aerospace and Electronic Systems)，AC（Automatic Control）、SMC（System， Man and Cybernetics），以及其它IEEE的相关年会和会刊中。1988