多源信息融合理论与技术发展(教学PPT)

1,多源信息融合,2,目录,一、多源信息融合的一般概念与定义二、信息融合的社会需求三、信息融合系统的模型和结构四、多源信息融合主要技术和方法五、发展起源、现状与未来,3,自然界异类多传感信息融合,演绎活动,大脑,记忆先验知识规则推理能力,眼睛,耳朵,舌头,鼻子,手,4,自然界同类多传感信息融合,左目和右目的视觉传感器分别获取二维图象信息，经大脑融合后产生立体图象信息左耳和右耳的听觉传感器分别获取一维声音信息，经大脑融合后产生立体声音信息大脑对图象信息和声音信息进一步融合后产生新的认知结果,5,自然界多传感信息融合的本质,自然界中人和动物感知客观对象，不是单纯依靠一种感官，而是多个感官的综合。人类的视觉、听觉、触觉、嗅觉和味觉，实际上是通过不同感官获取客观对象的不同信息，然后由大脑对这些信息进行交融，得到一种综合的感知信息。这种把多个感官信息进行交融的过程就是多源信息融合。千古流传的瞎子摸象的故事，就是因为缺少视觉信息，瞎子们的大脑对不完全信息进行融合的结果，难以避免地产生了对大象认知的偏差。,6,信息融合的定义一,信息融合就是由多种信息源如传感器、数据库、知识库和人类本身获取有关信息，并进行滤波、相关、和集成，从而形成一个表示构架，这种构架适合于获得有关决策，如对信息的解释，达到系统目标（例如识别、跟踪或态势评估），传感器管理和系统控制等。（W.A.Sander）,7,信息融合的定义二,信息融合就是一个过程，处理由单个或多个信息源获得的数据或信息，进行关联、相关和组合，从而提高位置和特性估计的精度，以及完成对态势和威胁及其重要性的适时评估。这种过程是根据对估计和评估的不断精练，对增加信息源的评判，以及对过程本身的修正来表征的，从而达到改善结果的目的。,8,信息融合的定义三,目前所研究的多传感信息融合，主要是指利用计算机进行多源信息处理，从而得到可综合利用信息的理论和方法，其中也包含对自然界人和动物大脑进行多传感信息融合机理的探索。其关键问题，就是提出一种理论和方法，对具有相似或不同特征模式的多源信息进行处理，以获得具有相关和集成特性的融合信息。研究的重点是特征识别和算法，这些算法导致多传感信息的互补集成，改善不确定环境中的决策过程，解决把数据用于确定共用时间和空间框架的信息理论问题，同时用来解决模糊的和矛盾的问题。,9,二、信息融合发展的社会需求,空中目标侦察与预警智能交通与智能车辆目标识别与身份认证机器人图像融合与图像重构智能传感与智能控制,10,空中目标侦察与预警,促进多传感信息融合理论发展的主要动因之一是现代战争的迫切需要。由于现代武器系统具有机动性高、隐蔽性好、电子对抗性能强等特征，用于侦察和跟踪敌方目标的预警系统必须采用雷达、红外、视频、音频等多传感检测，同时联络各个检测点的不同数据进行融合，着重研究的问题包括可靠准确的目标获取、跟踪、身份识别、智能处理、后勤计划、维修计划、指挥与控制等。尤其是针对敌方巡航导弹和飞机低空飞行的现代空中预警系统通常由雷达、通信、导航、指挥控制、敌我识别、数据处理和电子对抗等设备构成，具有搜索、监视、跟踪和指挥攻击等多种功能。采用信息融合技术，以达到精确目标获取、识别和跟踪的目的。,11,空中目标侦察与预警,网络联系的现代战场现代战争提供一切获取信息的手段，包括雷达、红外摄象机、光学摄象机、通信设施、计算机网络等，并对所获取的信息进行融合，以得到最佳可利用信息。手持式入网计算机是十分理想的工具。,12,空中目标侦察与预警,全场景预警美国国防部的一份研究报告认为，按照现代战争的概念，必须在战场上按正确时间向战士提供正确信息，包括各种传感信息和由之产生的融合信息。,实时图象微观气象移动目标集成信息,物理模型动态数据库微型传感器无线通信下一代因特网,13,空中目标侦察与预警,现代战争中的机敏传感网络适应范围:城市街巷,地铁、下水道,困难的农村地域,浓雾地区,跟踪慢目标和快目标,快速反应,14,空中目标侦察与预警,只有正确估计目标未来的运动轨迹，才有可能正确击中目标；过去总是假定目标作匀速直线运动，这对于相对低机动的飞机等目标运动是正确的，但对于巡航导弹之类的高机动运动目标，这一假设将完全无效；,目标的运动方程一般太复杂（用上百个状态变量的非线性微分方程描述），而目标的控制行为不确定，估计难度极大；双方可能有对抗行为，相互规避；现代战争的群攻群防改变了战场以往作战的模式，使得多目标运动状态估计成为新的问题。,目标跟踪,15,空中目标侦察与预警,空中拦截是现代战争的又一特点，其关键技术是对敌方目标运动轨迹的精确估计，其次才是精确控制我方攻击武器的运动过程，达到拦截的目的；,由于敌方目标运动的高速和高度机动性，空中拦截无异于“针尖对麦芒”；对于洲际导弹而言，对敌方目标的搜索、发现、识别和跟踪具有更大的困难；电子对抗的强干扰，使得目标的发现和跟踪变得更加复杂。,空中目标拦截,16,智能交通与智能车辆,车辆自动导航促进信息融合理论发展的另一个重要因素是现代民用高科技发展的需求。繁忙复杂的现代城市交通和快速便捷的高速公路，以及未来将要出现的自动车辆系统（AVS），均要求建立智能交通系统（ATS）进行智能监测和控制，同样要求对车辆运行进行交通监视和跟踪，更需要多传感信息融合。未来自动车辆系统异类传感器包括视频传感器、激光扫描仪和雷达传感器等，融合的目的在于把目标输入到路径规划与制导系统中去。,17,智能交通与智能车辆,日本的车辆驾驶支持系统,18,智能交通与智能车辆,智能交通系统中的多传感,19,智能交通与智能车辆,未来的智能交通系统,20,智能交通与智能车辆,DEMO无人驾驶车辆的多传感信息融合，传感器包括：声音传感器立体摄像机彩色CCD摄像机背部摄像机激光雷达检测雷达,21,智能交通与智能车辆,自动车辆,前激光扫描仪,三光束激光扫描仪,车辆制导系统的信息融合,22,智能交通与智能车辆,碰撞报警与规避系统,该系统的多传感包括：计算机视觉声纳IR扫描仪多CPU网络音频与视频监测报警器节流变形与制动冲击激光雷达与MMW雷达,23,目标识别与身份认证,现代战争还要求空中侦察与预警系统能对敌方目标进行识别，以便有针对性进行攻防；而现代身份认证系统也要求能对人或物进行识别和辨认。这些都需要多传感信息融合技术的支持。,24,目标识别与身份认证,谱图,音频传感,地震传感,热像传感,目标,视频传感,运动目标识别的多传感信息融合,25,目标识别与身份认证,面部认证,声音认证,一般用户界面,超级用户访问界面,身份认证的多源信息融合,26,目标识别与身份认证,利用面部识别(面部)、语音上下文无关(语音TI)和语音上下文相关(语音TD)的几种信息源进行融合的结果比较,身份认证融合结果比较,27,目标识别与身份认证,音频特征,视频特征,决策逻辑,决策逻辑,融合,决策逻辑,认证,音频模型,视频模型,基于音频和视频信息融合的身份识别,28,机器人,机器人作为人类20世纪最伟大的发明之一，在短短的40年内发生了日新月异的变化。机器人已经不仅成为先进制造业不可缺少的自动化装备，而且正以惊人的速度向海洋、航空、航天、军事、农业、服务、娱乐等各个领域渗透。信息融合是机器人的现代支撑技术之一，它为多传感器的综合利用提供了最有效的技术手段。,火星探测器上的机器人“漫游者”,29,机器人,军用机器人战车,搬运和装配工业机器人,30,机器人,智能机器人智能移动机器人是高级机器人。智能移动机器人集人工智能、智能控制、信息处理、图像处理、检测与转换、信息融合等技术为一体，跨计算机、自动控制、机械、电子等多学科，成为当前机器人研究的热点之一。智能移动机器人可分为室外和室内两种。室外智能移动机器人又称自主陆地车辆或无人驾驶车辆。多传感信息融合是智能移动机器人的关键技术之一。,图10.4.7AIBO宠物机器人,焊接智能机器人,宠物智能机器人,31,机器人,智能机器人涉及控制工程、计算机、人工智能、传感、新材料、仿生技术等多种学科，主要研究分支有拟人智能技术，未知环境信息获取、理解和控制的新机制理论，复杂环境中的机器人自主工作新方法，人机接口，机器人的智能体系结构、多传感器机器人系统、装配机器人、微操作机器人、微机器人，基于网络的机器人遥操作系统等。,智能机器人,32,机器人,利用高速视觉反馈的抓取机器人,33,图像融合与图像重构,由原始图像得到更多的图像信息。图像融合是遥感地理分布资源信息提炼、战场可视化、预警系统、医学三维图像重构、机器人视觉等领域非常需要的先进技术，是一个很有发展前景的方向。,34,图像融合与图像重构,Reference:S.B.SerpicoandF.Roli,“Classificationofmultisensorremote-sensingimagesbystructuredneuralnetworks”,IEEETrans.Geosci.RemoteSensing,vol.33,pp.562-578,May1995.,图像融合例1,35,图像融合与图像重构,图像融合例2,36,食道壁超声成象信息融合，即利用超声传感形成二维图象，然后利用融合技术使之进行三维重构食道图象，为医疗诊断和治疗提供了重要技术手段,图像融合与图像重构,三维重构食道图象,(a)健康切片(b)切片轮廓线,(a)非健康切片(b)切片轮廓线,融合,融合,系统结构图信息获取并进行融合,医学图像重构,37,三、信息融合系统的模型和结构,融合系统模式推断技术的递阶结构融合系统的分类集中式融合系统结构自主式融合系统结构混合式融合系统结构,38,信息源,局部信息,分布信息,国家信息,INTEL,EW,SONAR,RADAR,.,.,.,DATA,BASES,信息融合模式,数据库管理系统,支持数据库,用户,融合系统模式,融合数据库,39,推断技术的递阶结构,推断类型,应用技术,-威胁分析,-态势评估,-实体的行为与关系,-一个实体的身份,特征与位置,-一个实体的存在与可量测特征,高,低,-基于知识的技术,-决策层次的技术,-估计技术,-信号处理技术,专家系统-脚本,框架,模版基于案例的推理一般算法-等.,-神经网络-集群算法-模糊逻辑,-Bayes网络-后验概率最大化(如Kalman滤波,Bayes方法),-证据推理,推断层次,40,融合系统的分类,数据（像素）级融合,特征级融合,决策级融合,以身份识别系统为例，说明不同类别的融合系统。,41,集中式融合系统结构,在集中式系统结构中，各个传感器录取的检测报告直接被送到融合中心，在那里进行数据对准，点迹相关，数据关联，航迹滤波、预测与综合跟踪。,42,分布式融合系统结构,分布式结构中每个传感器先进行数据处理产生局部航迹，然后把处理后的信息送至融合中心完成航迹关联和融合，形成全局估计。,43,混合式融合系统结构,混合式同时传输探测报告和经过局部节点处理后的航迹信息，它保留了上述两类系统的优点。,44,四、多源信息融合主要技术和方法,信息融合的研究范围信息融合的主要方法多源信息融合的主要理论基础,45,信息融合的研究范围,感知与感觉：把多个感官信息进行交融的过程。决策：包括特征识别和算法，导致多源信息的互补集成，改善不确定环境中的决策过程。逻辑与推理：归纳是一个典型的多源信息融合过程。学习：由多个数据或案例中提取模型、模式或关系等，能够用于模式识别、数据挖掘、知识发现等方面。统计：统计学的精髓在于为了某种目的进行数据约简。信号与图像处理：利用多源数据进行信号的检测与估计，包括图像重构。分布式网络：网络中不同层次的融合中心就是对来自网络各个结点的信息进行融合。多传感器系统：利用多种传感器采集各种信息，包括同类信息和异类信息，并利用计算机对多传感信息进行有效处理，以达到某种目的。,46,信息融合的主要方法,信号处理与估计理论方法：包括小波变换技术、加权平均、最小二乘、Kalman滤波等线性估计技术，以及扩展Kalman滤波，Gauss和滤波等非线性估计技术等。近年来主要研究UKF滤波，粒子滤波，以及期望极大化（EM）算法等。统计推断方法：包括经典推理、Bayes推理、证据推理，以及随机集理论、支持向量机理论等。信息论方法：运用优化信息度量的手段融合多源数据，从而获得问题的有效解决。典型算法有熵方法、最小描述长度方法等。决策论方法：往往应用于高级别的决策融合。人工智能方法：包括模糊逻辑、神经网络、遗传算法、基于规则的推理以及专家系统、逻辑模板法、品质因数法等。几何方法：通过充分探讨环境以及传感器模型的几何属性来达到多传感信息融合的目的。,47,多源信息融合的主要理论基础,信号处理与估计理论：包括不确定、不精确、含糊的数学分支，如概率论、模糊数学、随机集理论、粗糙集理论等；统计学：包括统计推断和决策理论等；各种逻辑、推理和证据理论：包括证据推理、条件事件代数、不确定性推理、可能性理论，以及近似推理等；认知科学与脑科学：包括认知理论与脑科学等；学习理论：包括统计学习和机器学习等；计算机科学：包括人工智能和数据库等；工程：特别是机器人、信号与图像处理、传感器和网络等；其它：如信息论、控制论与系统论、神经元网络等。,48,五、发展起源、现状与未来,发展起源现状与未来关键的问题现有的统计推断方法及其缺陷新的解决思路与发展概况,49,发展起源,20世纪70年代，美国的研究机构通过对多个独立的连续声纳信号进行融合处理，自动检测出敌方潜艇的位置。1985年，美国三军组织实验室理事联合会（JDL）下设的技术委员会成立了信息融合专家组（DFS），专门组织和指导相关技术的研究，为统一数据融合的定义、建立信息融合的公共参考框架做了大量卓有成效的工作。美国1988年起把信息融合列为重点研究和开发的20项关键技术之一，且列为最优先发展的A类。1998年成立的国际信息融合学会（InternationalSocietyofInformationFusion，ISIF），总部设在美国，每年都举办一次信息融合国际学术大会，系统总结该领域的阶段性研究成果以及