物联网技术-第6章-物联网数据融合及管理上课讲义

物联网技术-第6章-物联网数据融合及管理6.1何谓数据融合数据融合一词最早出现在20世纪70年代，并于20世纪80年代发展成一项专门技术。它是人类模仿自身信息处理能力的结果，类似人类和其它动物对复杂问题的综合处理。数据融合技术最早用于军事，1973年美国研究机构就在国防部的资助下，开展了声纳信号解释系统的研究。目前，工业控制、机器人、空中交通管制、海洋监视和管理等领域也向着多传感器数据融合方向发展。物联网概念的提出，数据融合技术将成为其数据处理等相关技术开发所要关心的重要问题之一。2023年1月13日6.1.1数据融合的概念

数据融合概念是针对多传感器系统而提出的。在多传感器系统中，由于信息表现形式的多样性，数据量的巨大性，数据关系的复杂性，以及要求数据处理的实时性、准确性和可靠性，都已大大超出了人脑的信息综合处理能力，在这种情况下，多传感器数据融合技术应运而生。多传感器数据融合(Multi-SensorDataFusion，MSDF)，简称数据融合；也被称为多传感器信息融合(Multi-SensorInformationFusion，MSIF)。它由美国国防部在20世纪70年代最先提出，之后英、法、日、俄等国也做了大量的研究。近40年来数据融合技术得到了巨大的发展，同时伴随着电子技术、信号检测与处理技术、计算机技术、网络通信技术以及控制技术的飞速发展，数据融合已被应用在多个领域，在现代科学技术中的地位也日渐突出。2023年1月13日1.数据融合的定义数据融合定义简洁的表述为：数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。2023年1月13日数据融合这一技术有3层含义:①数据的全空间，即数据包括确定的和模糊的、全空间的和子空间的、同步的和异步的、数字的和非数字的，它是复杂的多维多源的，覆盖全频段；②数据的融合不同于组合，组合指的是外部特性，融合指的是内部特性，它是系统动态过程中的一种数据综合加工处理；③数据的互补过程，数据表达方式的互补、结构上的互补、功能上的互补、不同层次的互补，是数据融合的核心，只有互补数据的融合才可以使系统发生质的飞跃。数据融合的实质是针对多维数据进行关联或综合分析，进而选取适当的融合模式和处理算法，用以提高数据的质量，为知识提取奠定基础。2023年1月13日2.数据融合研究的主要内容数据融合是针对一个网络感知系统中使用多个和(或)多类感知节点（如多传感器）展开的一种数据处理方法，研究的内容包含以下几个主要问题。1）数据对准。2）数据相关。3）数据识别，即估计目标的类别和类型。3)感知数据的不确定性。4）不完整、不一致和虚假数据.5)数据库。6)性能评估。2023年1月13日3.数据融合的体系结构

图6-1数据融合的一般模型2023年1月13日6.1.2物联网中的数据融合1.物联网数据融合的意义和作用物联网(IoT)是利用射频识别(RFID)装置、各种传感器、全球定位系统（GPS）、激光扫描器等各种不同装置、嵌入式软硬件系统，以及现代网络及无线通信、分布式数据处理等诸多技术，能够协作地实时监测、感知、采集网络分布区域内的各种环境或监测对象的信息，实现包括物与物、人与物之间的互相连接，并且与互联网结合起来而形成的一个巨大信息网络系统。

2023年1月13日图6-2数据融合示意图2023年1月13日2.物联网数据融合所要解决的关键问题和要求

1）数据融合节点的选择。融合节点的选择与网络层路由协议有密切关系，需要依靠路由协议建立的路由回路数据；并且使用路由结构中的某些节点作为数据融合的节点。2）数据融合时机。3）数据融合算法。

（2）物联网数据融合技术要求物联网与以往的多传感器数据融合有所不同，具有它自己独特的融合技术要求。1)稳定性。2)数据关联。3)能量约束。4)协议的可扩展性。（1）物联网数据融合需要研究解决的关键问题2023年1月13日6.2数据融合的基本原理及层次结构

通过对多感知节点信息的协调优化，数据融合技术可以有效地减少整个网络中不必要的通信开销，提高数据的准确度和收集效率。因此，传送已融合的数据要比未经处理的数据节省能量，延长网络的生存周期。但对物联网而言，数据融合技术将面临更多挑战，例如，感知节点能源有限、多数据流的同步、数据的时间敏感特性、网络带宽的限制、无线通信的不可靠性和网络的动态特性等。因此，物联网中的数据融合需要有其独特的层次性结构体系。2023年1月13日6.2.1数据融合的基本原理

1）多个不同类型的传感器（有源或无源的）采集观测目标的数据；2）对传感器的输出数据（离散的或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取，提取代表观测数据的特征矢量；3）对特征矢量进行模式识别处理（例如：汇聚算法、自适应神经网络或其它能将特征矢量变换成目标属性判决的统计模式识别法等）完成各传感器关于目标的说明；4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；5）利用融合算法将每一目标各传感器数据进行合成，得到该目标的一致性解释与描述。2023年1月13日6.2.2物联网中数据融合的层次结构

1.传感网节点的部署在传感网数据融合结构中，比较重要的问题是如何部署感知节点。目前，传感网感知节点的部署方式一般有3种类型，最常用的拓扑结构是并行拓扑。在这种部署方式中，各种类型的感知节点同时工作。另一种类型是串行拓扑，在这种结构中，感知节点检测数据信息具有暂时性。实际上，SAR(SyntheticApertureRadar)图像就属于此结构。还有一种类型是混合拓扑，即树状拓扑。2023年1月13日2.数据融合的层次划分数据融合大部分是根据具体问题及其特定对象来建立自己的融合层次。例如，有些应用，将数据融合划分为检测层、位置层、属性层、态势评估和威胁评估；有的根据输入输出数据的特征提出了基于输入/输出特征的融合层次化描述。数据融合层次的划分目前还没有统一标准。根据多传感器数据融合模型定义和传感网的自身特点，通常按照节点处理层次、融合前后的数据量变化、信息抽象的层次，来划分传感网数据融合的层次结构。2023年1月13日6.2.3基于信息抽象层次的数据融合模型

1.像素级融合图6-3像素级融合2023年1月13日2.特征级融合图6-4特征级融合2023年1月13日3.决策级融合2023年1月13日6.3数据融合技术与算法

数据融合技术涉及到复杂的融合算法、实时图像数据库技术和高速、大吞吐量数据处理等支撑技术。数据融合算法是融合处理的基本内容，它是将多维输入数据在不同融合层次上运用不同的数学方法,对数据进行聚类处理的方法。就多传感器数据融合而言，虽然还未形成完整的理论体系和有效的融合算法，但有不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合算法。针对传感网的具体应用，也有许多具有实用价值的数据融合技术与算法。2023年1月13日6.3.1传感网数据传输及融合技术1．直接传输模型2．多跳传输模型2023年1月13日6.3.2多传感器数据融合算法

目前已有大量的多传感器数据融合算法，基本上可概括为两大类：一是随机类方法，包括加权平均法、卡尔曼滤波法、贝叶斯估计法、D-S证据推理等。二是人工智能类方法，包括模糊逻辑、神经网络等。不同的方法适用于不同的应用背景。神经网络和人工智能等新概念、新技术在数据融合中将发挥越来越重要的作用。2023年1月13日6.3.3传感网数据融合路由算法

目前，针对传感网中的数据融合问题，国内外在以数据为中心的路由协议以及融合函数、融合模型等方面已经取得了许多研究成果，主要集中在数据融合路由协议方面。按照通信网络拓扑结构的不同,比较典型的数据融合路由协议有：基于数据融合树的路由协议、基于分簇的路由协议，以及基于节点链的路由协议。2023年1月13日6.4物联网数据管理技术

在物联网实现中，分布式动态实时数据管理是其以数据中心为特征的重要技术之一。该技术通过部署或者指定一些节点作为代理节点，代理节点根据感知任务收集兴趣数据。感知任务通过分布式数据库的查询语言下达给目标区域的感知节点。在整个物联网体系中，传感网可作为分布式数据库独立存在，实现对客观物理世界的实时、动态的感知与管理。这样做的目的是，将物联网数据处理方法与网络的具体实现方法分离开来，使得用户和应用程序只需要查询数据的逻辑结构，而无须关心物联网具体如何获取信息的细节。2023年1月13日6.4.1传感网数据管理系统

1.物联网数据管理系统的特点数据管理主要包括对感知数据的获取、存储、查询、挖掘和操作，目的就是把物联网上数据的逻辑视图和网络的物理实现分离开来，使用户和应用程序只需关心查询的逻辑结构，而无需关心物联网的实现细节。

1）与传感网支撑环境直接相关。2）数据需在传感网内处理。3）能够处理感知数据的误差。4）查询策略需适应最小化能量消耗与网络拓扑结构的变化。

2023年1月13日2.传感网数据管理系统结构目前，针对传感网的数据管理系统结构主要有集中式结构、半分布式结构、分布式结构和层次式结构4种类型。1）集中式结构。在集中式结构中，节点首先将感知数据按事先指定的方式，数据传送到中心节点，统一由中心节点处理。这种方法简单，但中心节点会成为系统性能的瓶颈，而且容错性较差。2）半分布式结构。利用节点自身具有的计算和存储能力，对原始数据进行一定的处理，然后再传送到中心节点。3）分布式结构。每个节点独立处理数据查询命令。显然，分布式结构是建立在所有感知节点都具有较强的通信、存储与计算能力基础之上的。4）层次式结构。

2023年1月13日3.典型的传感网数据管理系统目前，针对传感网的大多数数据管理系统研究集中在半分布式结构。典型的研究成果有美国加州大学伯克利分校（UCBerkeley）的Fjord系统和康奈尔（Cornell）大学的Cougar系统。1）Fjord系统。Fjord系统是Telegraph项目的一部分，它是一种自适应的数据流系统。主要由自适应处理引擎和传感器代理两部分构成，它基于流数据计算模型处理查询，并考虑了根据计算环境的变化动态调整查询执行计划的问题。2)Cougar系统。Cougar系统的特点是尽可能将查询处理在传感网内部进行，只有与查询相关的数据才能从传感网中提取出来，以减少通信开销。Cougar系统的感知节点不仅需要处理本地的数据，同时还要与邻近的节点进行通信，协作完成查询处理的某些任务。2023年1月13日6.4.2数据模型及存储查询

目前关于物联网数据模型、存储、查询技术的研究成果很少，比较有代表性的是针对传感网数据管理的Cougar和TinyDB两个查询系统。2023年1月13日6.4.3数据融合及管理技术研究与发展

1)确立数据融合理论标准和系统结构标准。2)改进融合算法提高系统性能。3）数据融合时机确定。由于物联网中感知节点具有随机性部署的特点，且感知节点能量、计算及存储空间等能力有限，不可能维护动态变化的全局信息，因而需要汇聚节点选择恰当的时机，尽可能多的对数据进行汇聚融合。4）传感器资源管理优化，针对具体应用问题，建立数据融合中的数据库和知识库，研究高速并行推理机制，是数据融合及管理技术工程化及实际应用中的关键问题。5)建立系统设计的工程指导方针，研究数据融合及管理系统的工程实现。数据融合及管理系统是一个具有不确定性的复杂系统，如何提高现有理论、技术、设备，保证融合系统及管理的精确性、实时性以及低成本也是未来研究的重点。6)建立测试平台，研究系统性能评估方法。如何建立评价机制，对数据融合及管理系统进行综合分析和评价，以衡量融合算法的性能，也是亟待解决的问题。2023年1月13日小结与进一步学习建议

数据融合技术起源于军事领域多传感器的数据融合，是传感网中的一项重要技术，通过减少数据的传输量，可以起到节能并延长传感网生命周期的作用。本章主要介绍了数据融合的定义、目前在数据融合层次结构、多传感器数据融合算法、传感网中的数据融合技术、融合算法，以及分布式数据管理技术等方面的已有研究成果，旨在将其应用于物联网之中。数据融合及处理的研究与应用已经从大型科学数据采集、计算和军事领域的目标识别、跟踪，发展到了目前传感网、个人信息提取等领域。数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。它的基本目标是通过融合方法对来自不同感知节点、不同模式、不同媒质、不同时间、不同地点、不同表现形式的数据进行融合处理,最终得到被感知对象更加精确、精练的一致性解释与描述。2023年1月13