多传感器数据融合技术

多传感器

数据融合技术

引言基本原理、融合过程及关键技术数据融合系统的结构及功能模型数据融合方法研究方向和存在问题2021/5/911、引言1.1国内外研究现状数据融合从20世纪70年代末被提出，“数据融合”出现于20世纪70年代，源于军事领域的C3I(command，control，communicationandintelligence)系统的需要，当时称为多源相关、多传感器混合数据融合，并于80年代建立其技术。美国是数据融合技术起步最早的国家，1983年，美国国防高级研究计划局(DARPA)推出的战略计算机计划中，将多传感器数据融合列为重大研究课题。

1984年，美国国防部(DOD)成立了数据融合专家组(DFS—DataFusionSubana1)

，负责指导、组织并协调有关这一国防关键技术的系统研究，1988年又将其列入国防部22项关键技术之一。

2021/5/92

同时其它西方发达国家和国际组织(如英、日、德、法及欧共体等)也积极开展了数据融合技术研究工作。1986年开始，每年IEEE主办的“机器人与自动化”(RoboticsandAutomation)学术会议上都有专门关于数据融合的专题。各种学术刊物也纷纷开辟专栏和出版专集，交流和探讨数据融合的有关问题。

1987年欧洲共同体开始为期5年的SKIDS

(SignalandKnowledgeIntegrationwithDecisionalControlforMulti—sensorySystem)计划，主要目标是研究多传感器数据融合的通用结构及实时信息融合技术等。

1998年成立了国际信息融合学会(ISIF)

，每年举行一次信息融合国际学术会议。促进了信息融合技术的交流与发展，相继取得了一些有重要影响的研究成果。2021/5/93

和国外相比，我国在数据融合领域的研究起步较晚。1991年海湾战争结束以后，数据融合技术引起国内有关单位和专家的高度重视。一些高校和科研院所相继对数据融合的理论、系统框架和融合算法开展了大量研究，但基本上处于理论研究的层次上，在工程化、实用化方面尚未取得有成效的突破，有许多关键技术问题尚待解决，在工程应用领域，需要开发出有重要应用价值的实用系统。近年来数据融合技术已形成研究热点，国家自然科学基金和国家863计划已将其列入重点支持项目。2021/5/941.2定义数据融合，是多元信息综合处理的一项新技术,它有多种译名,如多传感器相关、多源相关、多传感器融合、信息融合等。数据融合比较确切的定义可概括为:

充分利用不同的时间和空间的多传感器信息资源,采用计算机技术对按时序获得的多传感器观测信息在一定的准则下加以自动分析、综合、支配和使用,获得被测对象的一致性解释与描述,以完成所需的决策和估计任务,使系统获得比它的各个组成部分更优越的性能。2021/5/951.3内容数据关联:确定从多传感器来的数据是否反映同一个目标。多传感器ID/轨迹估计:假设从多源来的报告反映的是同一目标,对这些数据进行综合以改进对该目标的估计,或是改进对整个当前/未来情况的估计。采集管理:给定传感器环境的一种认识状态,通过分配多个信息捕获和处理源,以最大限度地发挥其性能,从而使其操作成本降到最低。简言之,传感器的数据融合功能主要包括多传感器的目标探测、数据关联、跟踪与识别、情况评估和预测。2021/5/961.4特点生存能力强；扩展了空间覆盖范围；扩展了时间的覆盖范围；提高了可信度；降低了信息的模糊度；改进了探测性能；提高了空间分辨率；增加了测量维数；2021/5/972、基本原理、融合过程及关键技术2.1基本原理多传感器数据融合就像人脑综合处理信息一样,其基本原理就是充分利用多传感器资源，通过对这些传感器及观测信息的合理支配和使用，把多传感器在空间或时间上的冗余或互补信息依据某种准则进行组合，以获得被测对象的一致性解释或描述。数据融合的目的是通过数据信息组合而不是出现在输入数据中的任何个别信息，推导出更多的信息，得到最佳协同作用的结果。也就是利用多个传感器共同或联合操作的优势，提高传感器系统的有效性，消除单个或少量传感器的局限性。在多传感器数据融合系统中，各种传感器的数据可以具有不同的特征，可能是实时的或非实时的、模糊的或确定的、互相支持的或互补的，也可能是互相矛盾或竞争的。2021/5/982.2融合过程数据融合过程主要包括多传感器(信号获取)、数据预处理、数据融合中心(特征提取、数据融合计算)和结果输出等环节,其过程如下图所示。2021/5/992.3关键技术

数据融合的关键技术主要是数据转换、数据相关、态势数据库和融合计算等,其中融合计算是多传感器数据融合系统的核心技术。①对多传感器的相关观测结果进行验证、分析、补充、取舍、修改和状态跟踪估计。②对新发现的不相关观测结果进行分析和综合。③生成综合态势,并实时地根据多传感器观测结果通过数据融合计算,对综合态势进行修改。2021/5/9103、数据融合系统的结构及功能模型3.1结构2021/5/9112021/5/9123.2功能模型2021/5/9134、数据融合方法表1各种融合方法的比较融合方法运行环境信息类型信息表示不确定性融合技术适用范围加权平均动态冗余原始读数值加权平均低层数据融合卡尔曼滤波动态冗余概率分布高斯噪声系统模型滤波低层数据融合贝叶斯估计静态冗余概率分布高斯噪声贝叶斯估计高层数据融合统计决策理论静态冗余概率分布累加噪声极值决策高层数据融合证据推理静态冗余互补命题逻辑推理高层数据融合模糊推理静态冗余互补命题隶属度逻辑推理高层数据融合神经元网络动、静态冗余互补神经元输入学习误差神经元网络低P高层产生式规则静态冗余互补命题置信因子逻辑推理高层数据融合2021/5/9144.1综合平均法该方法是把来自多个传感器的众多数据进行综合平均。它适宜于用同样的传感器检测同一个检测目标。如果对一个检测目标进行了k次检测,其平均值

Wi

为分配给第i次检测的权数。2021/5/9154.2贝叶斯估计法贝叶斯推理技术主要用来进行决策层融合，它是通过先验信息和样本信息合成为后验分布，对检测目标作出推断。

2021/5/9164.2D-S(Dempster-Shafer)证据推理法是贝叶斯推理的扩充,其3个基本要点是:基本概率赋值函数mi

、信任函数Beli

和似然函数Plsi

。D-S方法的推理结构是自下而上的,分3级,推理结构如图5所示2021/5/9174.3模糊逻辑法针对数据融合中所检测的目标特征具有某种模糊性的现象,有人利用模糊逻辑方法来对检测目标进行识别和分类。建立标准检测目标和待识别检测目标的模糊子集是此方法的研究基础。但模糊子集的建立,需要有各种各样的标准检测目标,同时又必须建立合适的隶属函数。而确定隶属函数比较麻烦,目前还没有规范的方法可遵循。又由于标准检测目标子集的建立受到各种条件的限制,往往误差较大。2021/5/918

4.4神经网络方法一个人工神经网络(AN)由多层处理单元或节点组成,可以用各种方法互联，图6表示一个具有3层节点的AN,输入向量是与目标有关的测量参数集,输入的数据向量经过AN非线性变换,得到一个输出向量,输出向量可能是目标身份。这样一种变换能够产生从数据到标识分类的映射,也就把多传感器的数据变换为一个实体的联合标识,这是一种特有的并行学习方式,完全不同于传统的基于统计理论的数据融合法。2021/5/9192021/5/9205、应用应用领域：随着多传感器数据融合技术的发展,应用的领域也在不断扩大,多传感器融合技术已成功地应用于众多的研究领域。5.1、C3I5.2、飞行目标跟踪5.3、机器人5.4、星球车

5.5、工业过程监控

5.6、遥感图像融合处理

5.7、公共安全

5.8、环境污染监测

5.9、智能交通

5.10、无人驾驶汽车

5.11、农业

5.12、物联网2021/5/9212021/5/9225.1、多传感器数据融合技术在“C3I”系统中的应用“C3I”就是指挥自动化技术系统，是用电子计算机将指挥（command）、控制（control）、通信（communication）和情报（intelligence）各分系统紧密联在一起的综合系统。2021/5/9232021/5/9242021/5/925预处理器：对同类传感器的数据进行融合；时间和空间配准：为多传感器提供统一参照；信息融合处理器：将测量参数进行合并，提高目标的分类及态势估计的准确性；态势数据库：存储实时或历史态势数据；控制计算机：对目标分类、进行态势估计，并对信息源的使用进行协调；显示与控制：显示融合与评估的结果。2021/5/9265.2、飞行目标跟踪2021/5/927虚拟战场科索沃虚拟战场战场监测士兵机器人2021/5/928惯性导航惯性导航系统是利用惯性元件来感测航行体的运动加速度，经过积分计算，从而解算出导航参数来确定航行体的位置。惯性导航系统可以连续给出载体的航向、姿态、速度、位置等导航参数。具有隐蔽性好、抗干扰性强、能全天候工作等优点，但其导航需要一段对准时间，存在“漂移”现象，误差随时间积累，长时间工作会产生较大的积累误差星图导航天文导航系统的航向精度在现有导航设备中是最高的，可为武器系统提供精确的位置、航向和姿态信息2021/5/9295.3机器人传感器包括：摄像机、声纳、陀螺仪、激光测距等pioneer、月球车、六足机器人（俄罗斯）、火星探测车、制造业机器人、服务机器人、导游机器人、机械手、Robotcup、路径规划2021/5/930机器人舞蹈qiro机器人20个机器人Nao在上海世博会法国馆完美演出了长达10分钟的全自主集体舞蹈表演，创造了类人机器人历史性一幕，这也是世界上第一次大规模机器人同时跳“集体舞”。机器人Nao的表演分三个音乐片段，其中包括法国作曲家莫里斯拉威尔的著名交响作品Bolero，完美展示了Nao完成稳定、灵活并有节奏的动作的能力。这也是机器人史上第一次在艺术领域达到饱含情感并与观众产生共鸣的高度。由类人机器人领域的世界顶尖公司AldebaranRobotics研发2021/5/9315.4、星球车勇气号火星车好奇号火星车2021/5/9325.5、工业过程监控识别引起系统状况超出正常运行范围的故障条件→触发报警器石油勘探火力发电（发电机组监控）转炉炼钢（温度和含碳量）核反应堆2021/5/9335.6、遥感图像融合处理主要对地面目标或实体进行监视、识别与定位，使用的传感器主要为合成孔径雷达，在多源图像进行融合时，要利用像素级配准通过高空间分辨率全色图像和低光谱分辨率图像的融合，得到高空间分辨率和高光谱分辨率的图像，融合多波段和多时段的遥感图像来提高分类的准确性。采用合成孔径雷达、卫星遥感等对地面进行监视，以识别地貌、气象模式、矿产、植物生长（农作物种植面积和产量预测）、环境条件（省气象局-火灾）和威胁状况（原油泄漏、辐射泄漏等）→对物理现象、事件进行定位、识别和解释。2021/5/9342021/5/9355.7、公共安全毒品检测气敏、红外、微波火灾监测烟雾传感器、二氧化碳传感器瓦斯监测远程医疗

X射线、核磁共振、超声波→肿瘤定位智能材料飞机机翼（有限元分析→表面应力计算）微机械手（压电陶瓷制备→温度发生形变：温度控制）刹车系统2021/5/9365.8、环境污染监测环境污染现状大气污染监测环境水污染监测检测指标水质建模、水质综合评判汽车尾气排放检测2021/5/9372021/5/9385.9、智能交通空中交通：空中交通管制系统在雷达网的监视、引导和管理下进行工作，多雷达融合，通过二次雷达识别各种类型的飞机、确定民航机航班号、飞行状态，且与一次雷达进行配对导航设备：监视和控制设备：修正航线偏离、防止飞机相撞，并调度飞机流量；通信设备、调度人员城市交通：摄像、航拍、地感线圈、微波、雷达、地磁传感器、视频、FCD轨道交通2021/5/9392021/5/940车路协同车路协同系统主要包含智能车辆、车车通信（VehicletoVehicle,V2V）、车路通信（VehicletoInfrastructure,V2I）、车路协同控制和微观仿真等，它显著提高道路基础设施的使用效率道路，大大降低交通事故、延误和环境污染CVIS展望图2021/5/9412021/5/9425.10、无人驾驶汽车法国公司INRIA花费十年心血，于2009年5月研制出无人驾驶汽车Cycab自动驾驶（GPS定位误差小于1米）德国大众中国自主车大赛2021/5/9432021/5/944

通过惯性传感器、数字地图和差分全球定位系统，确定汽车行使的地理位置和方向。通过立体图像传感器辨识、跟踪汽车行使路面边缘以及路面的几何形状。通过激光探测器和雷达，完成汽车行驶过程中路况和前方障碍物等信息的检测。将各个传感器输出的信号通过卡尔曼滤波进行数据融合，识别汽车行驶路面情况，通过控制机构实现汽车无人驾驶。2021/5/945国防科技大学自主研制的红旗HQ3无人车7月14日首次完成了从长沙到武汉286公里的高速全程无人驾驶实验，创造了我国自主研制的无人车在复杂交通状况下自主驾驶的新纪录，标志着我国无人车在复杂环境识别、智能行为决策和控制等方面实现了新的技术突破，达到世界先进水平实验中，无人车自主超车67次，途遇复杂天气，部分路段有雾，在咸宁还遭逢降雨一辆高速行驶的汽车上，“司机”不扶方向盘还不时扭头跟车上其他人聊天，全然不看前方的路……当这样一辆车从你身边驶过，你肯定会大吃一惊，不敢相信自己眼睛。然而，这一幕7月14日从长沙到武汉的高速公路上已经真实上演2021/5/9462021/5/9475.11、农业食品检测农作物农药残留量检测酶抑制法→通过光谱分析→确定有害物质水产养殖分拣系统2021/5/948精准农业无土栽培2021/5/9495.11、物联网物联网（The