多传感器信息融合

国外研究信息融合的关键技术信息融合原理信息融合层次信息融合框架信息融合方法应用背景存在的问题切入点 展望 2 信息融合 informationfusion 起初被称为数据融合 datafusion 起源于1973年美国国防部资助开发的声纳信号处理系统 20世纪80年代 为了满足军事领域中作战的需要 多传感器数据融合MSDF Multi sensorDataFusion 技术应运而生 1988年 美国将C3I Command Control CommicationandIntelligence 系统中的数据融合技术列为国防部重点开发的二十项关键技术之一 3 1991年美国已有54个数据融合系统引入到军用电子系统中去 其中87 已有试验样机 试验床或已被应用 由于信息融合技术在海湾战争中表现出的巨大潜力 在战争结束后 美国国防部又在C3I系统中加入计算机 computer 开发了以信息融合为中心的C4I系统 此外 英国陆军开发了炮兵智能信息融合系统 AIDD 和机动与控制系统 WAVELL 英国BAE系统公司还开发一种被称作 分布式数据融合 DecentralizedDataFusion DDF 的信息融合新技术 使传感器网络中的全部数据都被实时地综合和融合到了一幅单一的作战空间态势图中 4 欧洲五国还制定了联合开展多传感器信号与知识综合系统 SKIDS 的研究计划 法国也研发了多平台态势感知演示验证系统 TsMPF 军事领域是信息融合的诞生地 也是信息融合技术应用最为成功的地方 特别是在伊拉克战争和阿富汗战争中 美国军方的信息融合系统都发挥了重要作用 5 当前 信息融合技术在军事中的应用研究己经从低层的目标检测 识别和跟踪转向了态势评估和威胁估计等高层应用 目前 信息融合技术己在许多民用领域取得成效 这些领域主要包括 机器人和智能仪器系统 智能制造系统 战场任务与无人驾驶飞机 航天应用 目标检测与跟踪 图像分析与理解 惯性导航 模式识别等领域 6 定义1 美国国防部定义 1991 信息融合是一种多层次 多方面的处理过程 包括对多源数据进行自动化的检测 互联 相关 估计和组合处理 automaticdetection association correlation estimation andcombination 从而提高状态和身份估计的精度 以及对战场态势和威胁的重要程度进行有效的评价 7 定义2利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析 优化综合以完成所需的决策和估计任务而进行的信息处理过程 定义3信息融合是组合多源数据或信息 对实体状态进行估计和预报的过程 8 左目和右目的视觉传感器分别获取二维图象信息 经大脑融合后产生立体图象信息 左耳和右耳的听觉传感器分别获取一维声音信息 经大脑融合后产生立体声音信息 自然界中同类多传感信息融合 9 自然界异类多传感信息融合 10 扩展空间和时间覆盖范围 利用互补信息 improveobservability 改进探测性能 增强系统的生存能力 提高可信度 多传感联合确认 利用冗余信息 increasereliability 降低信息的模糊度 提高空间分辨率 传感器能够识别的两个相邻物的最小距离 成本低 质量轻 占空少 传感器选择灵活 11 美国三军组织 实验室理事联合会 JDL 数据融合模型 JointDirectorsofLaboratories 12 13 集中式结构 处理的是传感器的原始数据 特点是信息损失小 对系统通信要求较高 通信链路处 融合中心计算负担重 融合中心处 系统的生存能力也较差 分布式结构 处理的是经过预处理的局部传感器数据 具有造价低 可靠性高 通信量小等特点 混合式结构 处理的既有原始数据 又有预处理过的数据 它保留了上述两类系统的优点 但在通信和计算上要付出较昂贵的代价 14 三种结构形式 串联 并联和混合融合形式 15 一种雷达测量的信息融合结构 传感器故障检测系统 16 信息融合层次的划分主要有两种方法 第一种方法是按照融合对象的层次不同 将信息融合划分为低层 数据级或像素级 中层 特征级 和高层 决策级 另一种方法将是将传感器集成和数据融合划分为信号级 证据级和动态级 17 对传感器的原始数据及预处理各阶段上产生的信息分别进行融合处理 尽可能多地保持原始信息 能够提供其它两个层次融合所不具有的细微信息 局限性 1 所要处理的传感器信息量大 故处理代价高 2 融合是在信息最低层进行的 由于传感器的原始数据的不确定性 不完全性和不稳定性 要求在融合时有较高的纠错能力 3 由于要求各传感器信息之间具有精确到一个像素的配准精度 故要求传感器信息来自同质传感器 4 通信量大 18 19 利用从各个传感器原始数据中提取的特征信息 进行综合分析和处理的中间层次过程 通常所提取的特征信息应是数据信息的充分表示量或统计量 据此对多传感器信息进行分类 汇集和综合 特征级融合分类 目标状态信息融合目标特性融合 20 目标状态信息融合主要应用于多传感器目标跟踪领域 融合系统首先对传感器数据进行预处理以完成数据配准 数据配准后 融合处理主要实现参数相关和状态矢量估计 目标特性融合特征层联合识别 具体的融合方法仍是模式识别的相应技术 只是在融合前必须先对特征进行相关处理 对特征矢量进行分类组合 在模式识别 图像处理和计算机视觉等领域 对特征提取和基于特征的分类问题已有深入研究 有许多方法可以借用 21 在信息表示的最高层次上进行的融合处理 不同类型的传感器观测同一个目标 每个传感器在本地完成预处理 特征抽取 识别或判断 以建立对所观察目标的初步结论 然后通过相关处理 决策级融合判决 最终获得联合推断结果 从而直接为决策提供依据 决策级融合直接针对具体决策目标 充分利用特征级融合所得出的目标各类特征信息 给出简明而直观的结果 决策级融合优点 实时性最好在一个或几个传感器失效时仍能给出最终决策 因此具有良好的容错性 22 23 首先将被测对象信息转换为电信号 然后经过A D变换将它们转换为数字量 数字化后电信号需经过预处理 以滤除数据采集过程中的干扰和噪声 对经处理后的有用信号作特征抽取 再进行数据融合 或者直接对信号进行数据融合 最后 输出融合的结果 24 多目标跟踪的信息融合技术多假定跟踪和相关技术随机数据关连滤波 PDAF 技术交互式复合建模 IMM 技术目标机动信息处理技术 自适自噪声模型等 非线性滤波技术融合结构技术 集中式结构与分布式结构 相似传感器融合技术 结构 算法和方法 不相似的传感器融合技术传感器对准技术 包括各种类型的对准难题及其解决技术 特征融合技术 识别 分类 证明推算 专家系统 神经网络 模糊逻辑 贝叶斯网络等 25 数据转换多传感器输出的数据形式 环境描述等都不一样 信息融合中心处理这些不同信息的关键即是把这些数据转换成相同形式 然后进行相关处理 数据相关数据相关的核心问题是克服传感器测量的不精确性 保持数据的一致性 因此 应控制和降低相关计算的复杂性 开发相关处理 融合处理和系统模拟的算法和模型 态势数据库态势数据库可分为实时数据库和非实时数据库 实时数据库的作用是把当前各传感器的观测结果及时提供给信息融合中心 同时也存储融合处理的最终态势 决策分析结果和中间结果 非实时数据库存储各传感器的历史数据 相关目标和环境的辅助信息以及融合计算的历史信息 态势数据库要求容量大 搜索快 开放互连性好 具有良好的用户接口 融合计算融合计算涉及到以下问题 对多传感器的相关观测结果进行验证 分析 补充 取舍 修改和状态跟踪估计 对新发现的不相关观测结果进行分析和综合 生成综合态势 并实时地根据对传感器观测结果通过数据融合计算 对综合态势进行修改 态势决策分析 嵌入约束法证据组合法人工神经网络法 30 由多种传感器所获得的客观环境 即被测对象 的多组数据就是客观环境按照某种映射关系形成的像 信息融合就是通过像求解原像 即对客观环境加以了解 用数学语言描述就是 所有传感器的全部信息 也只能描述环境的某些方面的特征 而具有这些特征的环境却有很多 要使一组数据对应惟一的环境 即上述映射为一一映射 就必须对映射的原像和映射本身加约束条件 使问题能有惟一的解 嵌入约束法最基本的方法 Bayes估计和卡尔曼滤波 31 融合静态环境中多传感器低层数据的一种常用方法 其信息描述为概率分布 适用于具有可加高斯噪声的不确定性信息 假定完成任务所需的有关环境的特征物用向量f表示 通过传感器获得的数据信息用向量d来表示 d和f都可看作是随机向量 信息融合的任务就是由数据d推导和估计环境f 32 假设p f d 为随机向量f和d的联合概率分布密度函数 则 p f d 表示已知d的条件下 f关于d的条件概率密度函数p d f 表示已知f的条件下 d关于f的条件概率密度函数p d 和p f 分别表示d和f的边缘分布密度函数 已知d时 要推断f 只须掌握p f d 即可 即 上式为概率论中的Bayes公式 是嵌入约束法的核心 33 信息融合通过数据信息d做出对环境f的推断 即求解p f d 由Bayes公式知 只须知道p d f 和p f 即可 因为p d 可看作是使p d f p f 成为概率密度函数的归一化常数 p d f 是在已知客观环境变量f的情况下 传感器得到的d关于f的条件密度 当环境情况和传感器性能已知时 p f d 由决定环境和传感器原理的物理规律完全确定 p f 可通过先验知识的获取和积累 逐步渐近准确地得到 因此一般总能对p f 有较好的近似描述 34 在嵌入约束法中 反映客观环境和传感器性能与原理的各种约束条件主要体现在p d f 中 而反映主观经验知识的各种约束条件主要体现在p f 中 在传感器信息融合的实际应用过程中 通常的情况是在某一时刻从多种传感器得到一组数据信息d 由这一组数据给出当前环境的一个估计f 因此 实际中应用较多的方法是寻找最大后验估计g 即 即最大后验估计是在已知数据为d的条件下 使后验概率密度p f 取得最大值的点g 根据概率论 最大后验估计g满足 35 36 当p f 为均匀分布时 最大后验估计g满足此时 最大后验概率也称为极大似然估计 当传感器组的观测坐标一致时 可以用直接法对传感器测量数据进行融合 在大多数情况下 多传感器从不同的坐标框架对环境中同一物体进行描述 这时传感器测量数据要以间接的方式采用Bayes估计进行数据融合 间接法要解决的问题是求出与多个传感器读数相一致的旋转矩阵R和平移矢量H 37 传感器数据进行融合之前 必须确保测量数据代表同一实物 即要对传感器测量进行一致性检验 常用以下距离公式来判断传感器测量信息的一致 式中x1和x2为两个传感器测量信号 C为与两个传感器相关联的方差阵 当距离T小于某个阈值时 两个传感器测量值具有一致性 这种方法的实质是剔除处于误差状态的传感器信息而保留 一致传感器 数据计算融合值 38 用于实时融合动态的低层次冗余传感器数据 该方法用测量模型的统计特性 递推决定统计意义下最优融合数据合计 如果系统具有线性动力学模型 且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示 KF为融合数据提供惟一的统计意义下的最优估计 KF的递推特性使系统数据处理不需大量的数据存储和计算 KF分为分散卡尔曼滤波 DKF 和扩展卡尔曼滤波 EKF DKF可实现多传感器数据融合完全分散化 优点是每个传感器节点失效不会导致整个系统失效 EKF的优点 可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响 39 嵌入约束法是传感器信息融合的最基本方法之一 其缺点 需要对多源数据的整体物理规律有较好的了解 才能准确地获得p d f 但需要预知先验分布p f 40 证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策 而多传感器数据信息在一定程度上反映环境这方面的情况 因此 分析每一数据作为支持某种决策证据的支持程度 并将不同传感器数据的支持程度进行组合 即证据组合 将分析得出现有组合证据支持程度最大的决策作为信息融合的结果 41 证据组合法是对完成某一任务的需要而处理多种传感器的数据信息 完成某项智能任务 实际是做出某项行动决策 它先对单个传感器数据信息每种可能决策的支持程度给出度量 即数据信息作为证据对决策的支持程度 再寻找一种证据组合方法或规则 在已知两个不同传感器数据 即证据 对决策的分别支持程度时 通过反复运用组合规则 最终得出全体数据信息的联合体对某决策总的支持程度 得到最大证据支持决策 即信息融合的结果 42 利用证据组合进行数据融合的关键在建立快速 可靠并且便于实现的通用证据组合算法结构选择合适的数学方法描述证据 决策和支持程度等概念 43 证据组合法较嵌入约束法优点 1 对多种传感器数据间的物理关系不必准确了解 即无须准确地建立多种传感器数据体的模型 2 通用性好 可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法 有利于设计通用的信息融合软 硬件产品 3 人为的先验知识可以视同数据信息一样 赋予对决策的支持程度 参与证据组合运算 44 常用证据组合方法 概率统计方法Dempster Shafer证据推理 45 假设一组随机向量x1 x2 xn分别表示n个不同传感器得到的数据信息 根据每一个数据xi可对所完成的任务做出一决策di xi的概率分布为pai xi ai为该分布函数中的未知参数 若参数已知 则xi的概率分布就完全确定了 用非负函数L ai di 表示当分布参数确定为ai时 第i个信息源采取决策dj时所造成的损失函数 在实际问题中 ai是未知的 因此 当得到xi时 并不能直接从损失函数中定出最优决策 46 先由xi做出ai的一个估计 记为ai xi 再由损失函数L ai xi di 决定出损失最小的决策 其中利用xi估计ai的估计量ai xi 有很多种方法 概率统计方法适用于分布式传感器目标识别和跟踪信息融合问题 2 Dempster Shafer证据推理 简称D S推理 D S证据推理是Bayes推理的扩充 在多传感器目标识别 军事指挥和防御方向得到了广泛的应用 一个完整的推理系统需要用几个不同推理级来确保精确的可信度表示 D S推理的结构自上而下可分为三级 第一级为目标合成 其作用是把来自几个独立传感器的观测结果合成一个总的输出结果 第二级为推断 其作用是获取传感器的观测结果并进行推断 将传感器的观测结果扩展成为目标报告 第三级为更新 由于传感器存在随机误差 在时间上充分独立的来自同一传感器的一组连续报告 比任何单一报告都可靠 因此在进行推断和多传感器合成之前要更新传感器的观测信息 48 假设F为所有可能证据所构成的有限集 f为集合F中的某个元素即某个证据 首先引入信任函数B f 0 1 表示每个证据的信任程度 B F 1 B 0 从上式可知 信任函数是概率概念的推广 因为从概率论的知识出发 上式应取等号 进一步可得 引入基础概率分配函数m f 0 1 由基础概率分配函数定义与之相对应的信任函数 2 D S推理 原理 49 当利用N个传感器检测环境M个特征时 每一个特征为F中的一个元素 第i个传感器在第k 1时刻所获得的包括k 1时刻前关于第j个特征的所有证据 用基础概率分配函数表示 其中i 1 2 m 第i个传感器在第k时刻所获得的关于第j个特征的新证据用基础概率分配函数表示 由和可获得第i个传感器在第k时刻关于第j个特征的联合证据 50 类似地 利用证据组合算法 由和可获得在k时刻关于第j个特征的第i个传感器和第i 1个传感器的联合证据 如此递推下去 可获得所有N个传感器在k时刻对j特征的信任函数 信任度最大的即为信息融合过程最终判定的环境特征 51 D S证据推理的优点 算法确定后 无论是静态还是时变的动态证据组合 其具体的证据组合算法都有一共同的算法结构 其缺点 当对象或环境的识别特征数增加时 证据组合的计算量会以指数速度增长 52 通过模仿人脑的结构和工作原理 设计和建立相应的机器和模型并完成一定的智能任务 神经网络根据当前系统所接收到的样本的相似性 确定分类标准 这种确定方法主要表现在网络权值分布上 同时可采用神经网络特定的学习算法来获取知识 得到不确定性推理机制 53 神经网络多传感器信息融合的实现 分三个重要步骤 根据智能系统要求及传感器信息融合的形式 选择其拓扑结构 各传感器的输入信息综合处理为一总体输入函数 并将此函数映射定义为相关单元的映射函数 通过神经网络与环境的交互作用把环境的统计规律反映网络本身结构 对传感器输出信息进行学习 理解 确定权值的分配 完成知识获取信息融合 进而对输入模式做出解释 将输入数据向量转换成高层逻辑 符号 概念 54 具有统一的内部知识表示形式 通过学习算法可将网络获得的传感器信息进行融合 获得相应网络的参数 并且可将知识规则转换成数字形式 便于建立知识库 利用外部环境的信息 便于实现知识自动获取及并行联想推理 能够将不确定环境的复杂关系 经过学习推理 融合为系统能理解的准确信号 由于神经网络具有大规模并行处理信息能力 使得系统信息处理速度很快 55 工业过程监视及工业机器人遥感与金融系统空中交通管制与病人照顾系统船舶避碰与交通管制系统生物特征的身份识别 采用多传感器的自主式武器系统和自备式运载器情报收集系统采用多传感器进行截获 跟踪和指挥制导的火控系统军事力量的指挥和控制站敌情指示和预警系统 民用 军用 多传感器信息融合自主移动装配机器人 56 57 海军舰船传感器信息融合系统 58 59 基于音频和视频信息融合的身份识别 现代战争 现代身份验证 60 61 机器人作为人类20世纪最伟大的发明之一 在短短的40年内发生了日新月异的变化 机器人已经不仅成为先进制造业不可缺少的自动化装备 而且正以惊人的速度向海洋 航空 航天 军事 农业 服务 娱乐等各个领域渗透 信息融合是机器人的现代支撑技术之一 它为多传感器的综合利用提供了最有效的技术手段 搬运和装配工业机器人 62 火星探测器上的机器人 漫游者 军用机器人战车 63 64 图像融合在机器视觉监视系统中的应用 图像融合可以增强影像中的信息透明度 改善解释的精度 提高可靠性及使用率 65 66 SAR与可见光在获取地物波谱特征信息的波段范围及方式不同 67 刑侦多传感器数据融合技术在刑侦中的应用 主要是利用红外 微波等传感设备进行隐匿武器检查 毒品检查等 另外 将人体的各种生物特征如人脸 指纹 声音 虹膜等进行适当的融合 能大幅度提高对人的身份识别与认证能力 这对提高安全保卫能力是非常重要的 故障诊断在工业监控应用中 每个传感器基于自身的检测统计量 可以提炼出有关系统故障的特征信息 故障表征 在局部故障诊断处理单元 利用这些故障特征信息 并按照多种故障诊断方法对被诊断的对象做出是否有故障发生的推断 而融合中心则基于一定的准则进行融合处理 最终得出对象是否存在故障的决策 68 69 未形成基本的理论框架和有效广义模型及算法 其绝大部分工作都是针对特定应用领域内的问题来开展研究 也就是说目前对信息融合问题的研究都是根据问题的种类 各自建立直观模型 并在此基础上给出所谓的最佳融合方案 由于理论欠缺现象阻碍了研究者对信息融合本身的深入认识 也使得信息融合在某种程度上仅被看成是一种多传感器信息处理概念 人们无法对面向对