多传感器数据融合技术及应用.ppt

现代信号处理技术及应用 AdvancedSignalProcessingTechnology anditsApplication Sept 9 2013 课程简介 现代信号处理技术及应用 多传感器数据融合 小波分析 课程简介 数据融合 数据融合概述 数据融合模型 数据融合功能模型 数据融合结构模型 Agent模型 课程简介 数据融合 分布式检测与数据融合 Beyas融合规则 Neyman Pearson融合规则 K N融合规则 串行结构融合规则 异步传输融合规则 带反馈并行融合规则 模糊先验概率和代价融合规则 融合系统的性能评估 课程简介 数据融合 数据融合的数学基础 数据融合的应用 D S理论 Kalman滤波 概率数据关联 课程简介 小波分析 小波分析 WaveletAnalysis 20学时 预备知识 连续小波变换 离散小波变换 小波框架 多分辨率分析 正交小波变换 Mallat算法 WA在信号处理中的应用 参考资料 科学出版社 信息融合 2007 电子工业出版社 多传感器信息融合及其应用 2010 清华大学出版社 多源信息融合 第二版 2010 相关论文 第一章多传感器数据融合概述 什么是多传感器数据融合 数据融合的作用 多传感器数据融合的处理对象 数据融合源于仿生学人和动物 感官具有不同的度量特征 可测量出不同空间范围内发生的各种物理现象 自适应的复杂的 将各种信息转换为对环境有价值的解释数据融合 信息融合 一 数据融合的定义 定义1 llinas hall 利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析 优化综合以完成所需要的决策和估计任务而进行的信息处理过程相互关系分析 多传感器 基础多源信息 加工对象协调优化和综合处理 核心定义2 军事领域 是对来自多传感器的数据进行多级别 多方面 多层次的处理 从而产生新的有意义的信息定义3 综合定义 指对来自不同知识源和传感器采集的数据进行综合处理 从而得出更加准确 可靠的结论 融合被多领域频繁应用 滥用 由于所研究内容的广泛性和多样性造成了统一定义较为困难思考 定义的作用 二 数据融合的必要性 随着科学技术的发展 传感器的性能得到很大的提高 新型的传感器不断涌现 如复合传感器 生物传感器 纳米传感器等多传感器系统中信息表现形式多源性信息数量的海量异构信息关系的复杂性实时性信息处理的要求远远超出了人脑的综合处理能力 军事需求 随着新型武器 精确制导 远程打击等 的出现 战场范围扩大 五维空间 必须应用多传感器系统 微波 毫米波 电视 红外 激光 电子支援措施 ESM 以及电子情报技术 提供观测数据 优化综合 实现 实时发现目标获取目标状态估计提供火力控制 精确制导 电子对识别目标属性抗 作战模式和辅助决策等作战信息分析行为意图态势评估威胁分析 20世纪70年代末 多传感器数据融合迅速发展 成为独立的学科 并在军事 民用领域得到了广泛的应用具有代表性的工作 美国的C3I系统 command control communicationandintelligence 目前已经发展至C4I系统 command control communication computerandintelligence 和C4ISR surveillanceandrecon 云时代和大数据 近年来 随着互联网 无线传感网络和物联网等技术的发展 形成了海量数据 massivedata 大数据 bigdata 数据融合进入了新的发展阶段大数据通常用来形容所创造的大量非结构化和半结构化数据大数据的特点 4V 数据体量巨大 volume 从TB跃升到PB级别数据类型繁多 variety 包括网络日志 视频 图片 地理位置信息等价值密度低 value 以视频为例 连续不间断监控过程中 可能有用的数据仅仅有一两秒处理速度快 velocity 1秒定律 与传统的数据处理技术有本质的不同 三 数据融合的目标 目标基于各传感器分离观测信息 通过对信息的优化组合导出更多的有效信息本质目标利用多传感器共同操作的优势 提高整个传感系统的有效性 四 多传感器数据融合系统的优点 冗余信息 增强了可靠性 互补信息 扩展了单传感器的性能 提高了系统的可靠性和鲁棒性扩展了时间或空间的观测范围增强了系统的可信度增强了系统的分辨能力 多传感器数据融合与经典信号处理方法的区别 本质上 关键在于数据融合所处理的多传感器信息具有更加复杂的形式 而且在不同的信息层上出现 包括数据 特征和决策层 五 多传感器数据融合应用领域 一 军事领域TMD 战区导弹防御系统 theatermissiledefensesystem C4ISR 飞行目标跟踪 虚拟战场 科索沃虚拟战场 战场监测士兵机器人 惯性导航惯性导航系统是利用惯性元件来感测航行体的运动加速度 经过积分计算 从而解算出导航参数来确定航行体的位置 惯性导航系统可以连续给出载体的航向 姿态 速度 位置等导航参数 具有隐蔽性好 抗干扰性强 能全天候工作等优点 但其导航需要一段对准时间 存在 漂移 现象 误差随时间积累 长时间工作会产生较大的积累误差星图导航天文导航系统的航向精度在现有导航设备中是最高的 可为武器系统提供精确的位置 航向和姿态信息 二 民用领域 1 机器人传感器包括 摄像机 声纳 陀螺仪 激光测距仪等pioneer 月球车 六足机器人 俄罗斯 火星探测车制造业机器人服务机器人导游机器人机械手Robotcup路径规划 机器人舞蹈 qiro机器人 20个机器人Nao在上海世博会法国馆完美演出了长达10分钟的全自主集体舞蹈表演 创造了类人机器人历史性一幕 这也是世界上第一次大规模机器人同时跳 集体舞 机器人Nao的表演分三个音乐片段 其中包括法国作曲家莫里斯拉威尔的著名交响作品Bolero 完美展示了Nao完成稳定 灵活并有节奏的动作的能力 这也是机器人史上第一次在艺术领域达到饱含情感并与观众产生共鸣的高度 由类人机器人领域的世界顶尖公司AldebaranRobotics研发 星球车 勇气号火星车 好奇号火星车 2 工业过程监控 识别引起系统状况超出正常运行范围的故障条件 触发报警器石油勘探火力发电 发电机组监控 转炉炼钢 温度和含碳量 核反应堆 3 遥感图像融合处理 主要对地面目标或实体进行监视 识别与定位 使用的传感器主要为合成孔径雷达 在多源图像进行融合时 要利用像素级配准通过高空间分辨率全色图像和低光谱分辨率图像的融合 得到高空间分辨率和高光谱分辨率的图像 融合多波段和多时段的遥感图像来提高分类的准确性 采用合成孔径雷达 卫星遥感等对地面进行监视 以识别地貌 气象模式 矿产 植物生长 农作物种植面积和产量预测 环境条件 省气象局 火灾 和威胁状况 原油泄漏 辐射泄漏等 对物理现象 事件进行定位 识别和解释 4 公共安全 毒品检测气敏 红外 微波火灾监测烟雾传感器 二氧化碳传感器瓦斯监测远程医疗X射线 核磁共振 超声波 肿瘤定位智能材料飞机机翼 有限元分析 表面应力计算 微机械手 压电陶瓷制备 温度发生形变 温度控制 刹车系统 5 环境污染监测 环境污染现状大气污染监测环境水污染监测检测指标水质建模 水质综合评判汽车尾气排放检测 6 智能交通 空中交通 空中交通管制系统在雷达网的监视 引导和管理下进行工作 多雷达融合 通过二次雷达识别各种类型的飞机 确定民航机航班号 飞行状态 且与一次雷达进行配对导航设备 监视和控制设备 修正航线偏离 防止飞机相撞 并调度飞机流量 通信设备 调度人员城市交通 摄像 航拍 地感线圈 微波 雷达 地磁传感器 视频 FCD轨道交通 无人驾驶汽车 法国公司INRIA花费十年心血 于2009年5月研制出无人驾驶汽车Cycab自动驾驶 GPS定位误差小于1米 德国大众中国自主车大赛 国防科技大学自主研制的红旗HQ3无人车 7月14日首次完成了从长沙到武汉286公里的高速全程无人驾驶实验 创造了我国自主研制的无人车在复杂交通状况下自主驾驶的新纪录 标志着我国无人车在复杂环境识别 智能行为决策和控制等方面实现了新的技术突破 达到世界先进水平实验中 无人车自主超车67次 途遇复杂天气 部分路段有雾 在咸宁还遭逢降雨一辆高速行驶的汽车上 司机 不扶方向盘还不时扭头跟车上其他人聊天 全然不看前方的路 当这样一辆车从你身边驶过 你肯定会大吃一惊 不敢相信自己眼睛 然而 这一幕7月14日从长沙到武汉的高速公路上已经真实上演 车路协同 车路协同系统主要包含智能车辆 车车通信 VehicletoVehicle V2V 车路通信 VehicletoInfrastructure V2I 车路协同控制和微观仿真等 它显著提高道路基础设施的使用效率道路 大大降低交通事故 延误和环境污染 CVIS展望图 7 农业 精准农业 无土栽培 食品检测农作物农药残留量检测酶抑制法 通过光谱分析 确定有害物质水产养殖分拣系统8 其他电子鼻 electronicnose 电子舌 electronictongue 9 物联网 物联网 Theinternetofthings 物联网是新一代信息技术的重要组成部分是物物相连的互联网 其含义包括 1 物联网的核心和基础仍然是互联网 是在互联网基础上的延伸和扩展的网络2 其用户端延伸和扩展到了任何物品与物品之间 进行信息交换和通信物联网的定义是通过射频识别 RFID 红外感应器 GPS 激光扫描器等信息传感设备 按约定的协议 把任何物品与互联网相连接 进行信息交换和通信 以实现对物品的智能化识别 定位 跟踪 监控和管理的一种网络信息融合是物联网的核心技术 体系结构 信息融合是物联网的核心技术之一 五 多传感器数据融合研究现状 自20世纪70年代末以来 MSDF受到了各国学术界 工业界和军届的广泛关注 成为研究热点 一 国外美国将MSDF技术列为90年代重点研发的二十项关键技术之一 A类 发展C4I系统 经费投资数亿美元学术方面 87年起 美三军每年召开一次数据融合学术会议 出版SPIE专集IEEE94年首次举办智能系统多传感器融合与集成会议MFI94 MFI96 MFI99 MFI01 德国 IEEE系统和控制论会议IEEE航空航天与电子系统会议IEEE自动控制会议IEEEC3MIS会议 1998在美国成立了国际信息融合学会ISIF 每年举行一次学术会议专著LLINAS HALL multi sensordatafusionHALL mathematicaltechniquesinmulti sensordatafusion学术期刊IEEEsensorsjournalIEEEsystem manandcyberneticsInformationfusionInformationscienceSensorandactuatorASensorandactuatorB 二 国内 六 多传感器数据融合方法的进展 经典的理论方法经典推理法 kalman滤波 Bayes推理 证据理论 聚类分析法 参数模板法 物理模型法 熵法 品质因数法 ES等人工智能法FuzzySets NeuralNetwork RoughSet SVM和WaveletAnalysis等 一 数据融合研究存在的问题 多传感器数据融合尚缺乏一套成熟 完整的理论体系与方法多传感器数据融合尚无通用的体系框架和术语多元假设检验的数据融合算法及其数学基础 关键问题 在于如何对误差和不确定进行建模 ex 同一传感器在相同的条件下多次检测存在着差异 误差与不确定建模具体包括 1 融合过程的误差误差的传播 2 传感信息的误差 通常可用Gauss白噪声表示 实际中 这种假设难以满足 传感过程中存在着错误的信息 3 系统运行的误差 假设多sensor的测量相互独立 而当sensor之间的耦合带来系统误差时 系统无法处理这样的误差 一致性处理 sensor的标定已知环境下的标定 未知环境下的标定 建立知识库 实现自主标定 系统必须具备从sensor失效后恢复的能力 二 研究方向 未知环境下的传感器自校准方法多传感器数据融合基础理论研究包括数据融合体系结构 框架和形式化分析等融合算法的改进以提高融合系统的性能不同机器学习算法的有机结合起来是发展趋势如何利用有关的先验知识和数据提高数据融合的性能 二 研究方向 多传感器数据融合的评估方法数据融合系统的传感器优化布局多源异构信息融合算法大数据 海量数据融合的并行处理机制 包括软件与硬件 第二章 多传感器数据融合系统结构 为什么要研究数据融合的功能 结构模型 为什么说数据融合是一门独立的学科 Waltz Llinas提出了对数据融合的两点认识 1 数据融合可广泛用于对C3I有核心意义的基本人工处理 2 数据融合有公共的理论基础 它与具体应用无关 所以自成体系他们为数据融合的研究者提供了一个公共的参考框架 包括 1 开发数据融合一般处理模型及相应的分类 2 专用词汇 数据融合模型的分类 功能模型 结构模型 数学模型 功能模型 根据融合需求 定义数据融合系统的组成 数据融合时系统各主要功能部分之间的相互作用过程 以及数据融合系统的软 硬件组成结构模型 描述数据融合的系统拓扑结构关系 以及数据流的定义数学模型 数据融合算法的数学表示和综合逻辑 第一节数据融合的功能模型 一 美国数据融合工作组面向军事领域应用提出 Hall Waltz 信息源 包括传感器及相关数据 数据库和先验知识 源数据预处理 进行数据的预筛选和数据分配 以减轻融合中心的计算负担 并为融合中心提供最重要的数据 目标评估 融合目标的位置 速度 身份等参数 以达到对这些参数的精确表达 主要包括数据配准 跟踪和数据关联 辨识 以航迹辨识为例 态势评估 检测当前的环境推断出检测目标与事件之间的关系 以判断出检测目标的意图 ex ATMS D S 意图逻辑 威胁估计 结合当前的态势判断敌方的威胁和敌我双方的攻击能力等 应该同时考虑当前的政治环境和对敌策略等因素 较为困难 人机接口 数据库总过程评估监视系统的性能 辨别改善性能所需要的数据 进行传感器资源的合理配置 二 White的三级数据融合模型 该模型为我国学者研究数据融合的基本出发点 一级 数据校准 关联 概率数据关联 跟踪和识别 辨识 二级 态势评估三级 威胁估计 三 数据融合功能模型 五级 1 检测判决融合低级融合 经典信号处理的直接发展 适用于任何多传感器数据融合系统 2 位置融合 3 属性融合 目标识别 4 态势评估 5 威胁估计 2 和 3 为多传感器数据融合的最重要两级 4 和 5 为决策级融合 是C4ISR的核心 适用于军事领域 1 检测判决融合 一级处理 是信号级的数据融合 为一分布式检测问题根据所选择的检测准则形成最优门限 以产生最终检测输出传感器向融合中心传送经过某种处理的检测和背景杂波统计量 后在融合中心直接进行分布式恒虚警检测 预滤波根据时间和空间 以及传感器类型分选和归并数据 控制进入第二级处理的信息量采集管理控制融合的数据收集 包括传感器的选择 任务分配 通过预测目标位置 工作状态优选和监视Ex 计算传感器的指向角 规划观测等 2 位置融合 二级处理 包括数据的校准 跟踪 预测 滤波和关联 综合传感器的位置信息 以获取目标的位置和速度 动态特性 属性信息 建立对象轨迹 航迹 数据库 3 属性融合 三级处理 组合来自多个传感器的属性信息 获取目标 身份 的联合估计 4 态势的提取与评估 第四级 态势的提取 从不完整的数据建立一般化的态势表示 实现战场解释 评估 通过战场环境的正确分析和表达 进行背景分析 多级推理给出意图 告警 规划与结论 对前三级处理的结果予以合理解释 5 威胁估计 第五级 估计敌方杀伤力和危险性 估计我方薄弱环节 并对敌方的意图进行提示和警告 6 辅助功能DBM 人机接口与评估计算 如何将数据融合功能模型 从特殊推广至一般领域 第二节数据融合的结构模型 分类 1 检测级融合的结构模型 2 位置级融合的结构模型 3 属性级融合的结构模型 4 基于MAS的融合结构模型 5 传感器自组织网络结构模型 1 检测级融合结构模型 向融合中心传输检测以及背景杂波统计量 图 1 分散式 不需要全局推理 各传感器观测共同对象 在优化某种目标函数的同时获取局部判决 2 并行 3 串行 4 树状 信息传递流程是从叶结点 根结点 5 带反馈并行全局判决结果分别反馈到各局部传感器作为下一时刻局部决策的输入 先验信息 以改善局部判决的质量 2 位置融合结构模型 获取目标的动态属性 建立对象的动态数据库位置融合的结构模型分为 集中式 分布式 混合式和多级式 1 集中式将传感器数据 融合中心 在融合中心进行数据对准 相关 互联 滤波 预测和综合优点 信息损失量最小缺点 数据互联较困难 系统需具备大容量 计算负担重 位置融合结构模型 集中式 2 分布式 自主式或分级式 多传感器先产生其局部多目标跟踪航迹 然后在融合中心产生航迹关联与融合 形成全局估计应用于C4ISR系统不仅具有局部独立跟踪能力 而且还具有全局监视和评估特征的能力 3 混合式同时传输数据和经局部节点处理后的航迹信息 适用于不同类型传感器的多传感器数据融合 适用于机载多传感器数据融合系统 4 多级式 上述综合各局部节点可以同时或者分别是集中式 分布式或者混合式的融合中心 接收和处理来自多个传感器的数据或来自多个跟踪器的航迹 而系统的融合节点要再次对各局部融合节点传来的航迹数据进行关联和融合 3 属性融合结构模型 获得来自传感器的属性信息 实现对检测对象的联合估计 目标识别分为 决策层 特征层和数据层结构模型 1 决策层融合结构每个传感器为获得一个独立的属性判决要完成一个转换 Di 第i个传感器的属性判决结果 2 特征层融合结构 基于联合特征向量作出属性判决说明 每个传感器观测一个目标 为了产生来自每一个传感器的特征向量要完成特征提取 然后融合这些特征向量 关联 为了将特征向量化分为有意义的群组 必须应用关联过程 3 数据层融合结构 直接融合来自同类传感器的数据 然后进行特征提取和来自融合数据的属性判决 要求传感器为相同或同类的 保证被融合的数据来自相同的目标或对象 为保证被融合的数据对应于相同的目标或客体 关联要基于原始数据完成 注位置与属性融合是紧密相关的 常常是并行同步处理 可视其为同一级融合 数据层 特征层和决策层属性融合的区别 二 多传感器数据融合的层次 普遍被学者所接受的为三层融合结构1 数据层要求传感器是同质的 观测的是同一物理现象 若为异质 只能在特征层 决策层进行融合2 特征层3 决策层 融合精度 三 多传感器数据融合系统设计原则 对于多传感器数据融合系统的特定工程应用 综合考虑传感器的性能 系统的计算能力 通信带宽 期望的准确率 以及资金等因素 以确定哪种层次最优注 可以在不同层次上融合真正做到较为困难 因为 异质传感器数据建模问题 协同和解释都是富有挑战性的工作 1 传感器类型 分辨率 准确率 选型 2 传感器的分布形式3 系统通信能力和计算能力4 系统设计目标5 系统拓扑结构 四 基于MAS的数据融合结构 多源异构信息融合的需求传感器的智能化 网络化 分布式 可扩展性的特点与要求需要解决的问题 什么是agent 它又有哪些特性 又称为主体 智能体 代理 智能主体和智能agentagent定义agent是一类在特定环境下能感知环境 并能自治地运行以代表其设计者或使用者实现一系列目标的计算实体 agent特性 弱定义最基本的特性应当包括 反应性 自治性 面向目标性和针对环境性 每个agent首先应具备这4条最基本的特性强定义移动性 自适应性 通信能力 包括协商 协作等能力 理性 生命周期 持续性或时间连续性 自启动 自利等特性 agent信息处理流程 MAS multi agentsystem 由两个或两个以上相对独立且又相互作用的agent所构成的系统在MAS系统中 每一agent都是自主的行为实体 封装了状态和行为 相对独立agent间存在着复杂关系结构相关性 C S 对等 小组 敌对 继承等关系行为相关性 需要经常进行交互和通信 以相互合作 竞争和协商 从而实现系统的整体设计目标 MAS的协作求解问题的能力超过单个agent 这是MAS产生的最直接的原因 以及求解那些数据 能力和控制具有分布特性的问题 提高系统的效率和鲁棒性等要求MAS的特点每个成员agent仅拥有不完全的信息和问题求解能力 因而其观点是有限的 不存在全局控制 数据是分散或分布的 计算过程是异步 并发或并行的MAS multi agentsystem 结构集中式 分布式 集中分布式 agent的交互 agent通信语言是一种表达agent间交互信息的描述性语言 定义了交互信息的格式 语法 和内涵 语义 支持参与交互的agent对这些消息进行理解和分析 典型的agent语言 KQML语言MAS的研究领域多个agent的协作 协商 合作问题求解 合作学习和冲突消解MAS为多传感器数据融合提供了新的 有效途径 如何设计基于MAS的多传感器数据融合系统 第三节无线传感网络 无线传感网络WSN WirelessSensorNetwork动态拓扑 移动 自组网 导致复杂的数据融合问题传感器网络综合了 传感器技术嵌入式计算技术分布式信息处理技术无线通信技术能够协作地实时监测 感知和采集各种环境或监测对象的信息 并对其进行处理 传送到这些信息的用户 一 概述 随着通信技术 嵌入式计算技术和传感器技术的飞速发展和日益成熟 具有感知能力 计算能力和通信能力的微型传感器开始在世界范围内出现 如图 应用 传感器网络可以使人们在任何时间 地点和环境条件下获取大量详实而可靠的信息 因此 可以被广泛地应用于国防军事 国家安全 环境监测 交通管理 医疗卫生 制造业 反恐抗灾等领域传感器网络是信息感知和采集的一场革命 美国自然科学基金委员会2003年制定了传感器网络研究计划 投资3千4百万美元 支持相关基础理论的研究美国商务周刊和MIT技术评论 将WSN列为21世纪改变世界的十大技术之一 二 基本概念 传感网络定义传感器网络是由一组传感器以AdHoc方式构成的有线或无线网络 其目的是协作地感知 采集和处理网络覆盖的地理区域中感知对象的信息 并发布给观察者解释 1 传感器 感知对象和观察者是传感器网络的3个基本要素 2 有线或无线网络是传感器之间 传感器与观察者之间的通信方式 用于在传感器与观察者之间建立通信路径 3 协作地感知 采集 处理 发布感知信息是