传感网原理与技术第三章--传感网数据管理PPT课件

第三章传感网数据管理,2,主要内容,3.1概述3.2数据管理技术3.3实例：TinyDB系统3.4本章小节与进一步阅读的文献,3,3.1概述,由于传感器网络能量、通信和计算能力有限，因此传感器网络数据管理系统在一般情况下不会把数据都发送到汇聚节点进行处理，而是尽可能在传感器网络中进行处理，此时，可以把传感器网络看作一个分布式感知数据库。虽然传感器网络的数据管理系统与传统分布式数据库具有相似性，但是在有些方面也有着比较大的差异，主要表现在以下几个方面。,4,3.1概述,（1）所遵循的原则不同传感器网络数据管理系统要尽可能地减少数据传输量和缩短数据传输时间。分布式数据库则不需要考虑能耗问题，只要保证数据的完整性和一致性即可。（2）所管理的数据特征不同传感器网络的数据管理系统所面对的是大量的分布式无限数据流，并且往往是近似的和数据分布的统计特征是未知的，传统的分布式数据库系统所面对的数据通常是确定和有限的，并且数据分布的统计特征是已知的。,5,3.1概述,（3）提供服务所采用的方式不同在传感器网络数据管理系统中，用户对感知数据的查询请求的处理过程与传感器网络本身是紧密结合的，需要传感器网络中的各个节点相互配合才能够完成一次有效的查询过程。而在传统的分布式数据库系统中，数据的管理和查询不依赖于网络，网络仅仅是数据和查询结果的一个传输通道。,6,3.1概述,（4）数据的可靠性不同传感器网络数据管理系统必须要有能力处理感知数据的误差。传统的分布式数据库系统获得的都是比较准确的数据，数据可靠性比较高。（5）数据产生源不同传统的分布式数据库管理系统管理的数据是由稳定可靠的数据源产生的，而传感器网络的数据是由不可靠的传感器节点产生的。,7,3.1概述,（6）处理查询所采用的方式不同传感器网络数据管理系统主要处理两种类型的查询：连续查询和近似查询。传统的分布式数据库系统不具备处理这两种查询的能力。,8,3.1.1传感网数据管理系统的体系结构,传感器网络数据管理系统按照一定的体系结构构建，并且不同的体系结构构建的数据管理系统各有优势，目前主要有集中式结构、半分布式结构、分布式结构和层次结构四种。,9,（1）集中式结构在集中式结构中，所有的数据均被传送到中心服务器上，感知数据的查询和传感器网络的访问是相互独立的。感知数据从普通节点通过无线多跳传送到网关节点，再通过网关节点传送到基站节点，最后由基站将感知数据保存到中心服务器上的感知数据库中。,3.1.1传感网数据管理系统的体系结构,10,3.1.1传感网数据管理系统的体系结构,11,（2）半分布式结构在半分布式结构中，原始的感知数据存放在普通节点上，在簇头节点上处理簇内节点的数据融合和数据摘要，在根节点上形成一个对网内数据的整体视图。执行查询时，利用根节点的全局数据摘要决定查询在哪些簇上执行，簇头节点接收到根节点传来的查询任务后根据簇内数据视图决定融合哪些节点上的数据，这种存储和查询方案称为推拉结合式存取方案。,3.1.1传感网数据管理系统的体系结构,12,（3）分布式结构分布式结构假设每个传感器都有很高的存储、计算和通信能力，数据源节点将其获取到的感知数据就地存储。基站发出查询后向网内广播查询请求，所有的节点都可以接收到请求，并且满足查询条件的普通节点沿着融合路由树将数据送回到根节点，即与基站相连的网关节点。,3.1.1传感网数据管理系统的体系结构,13,（4）层次结构,3.1.1传感网数据管理系统的体系结构,14,层次结构包含了传感器网络层和代理网络层两个层次，并集成了网内数据处理、自适应查询处理和基于内容的查询处理等多项技术。,3.1.1传感网数据管理系统的体系结构,15,数据模型是对数据特征的抽象。传感器网络数据管理系统需要一种具体的数据模型来表示各个节点产生的数据，这样才能有效地组织和管理数据。目前，现有的传感器网络的数据模型主要是在传统的关系模型、对象关系模型或者时间序列模型上进行了扩展。,3.1.2传感网数据管理系统的数据模型,16,TinyDB系统的数据模型是对传统的关系模型进行了简单扩展。它把传感器网络数据定义为一个单一的、无限长的虚拟关系表。该表包含两种类型的属性，第一类属性是感知数据属性，如电压值、温度值等；第二类属性是描述感知数据的属性，如传感器节点的IDE、感知数据获得的时间、感知数据的数据类型、感知数据的度量单位等。,3.1.2传感网数据管理系统的数据模型,17,网络中每个传感器节点产生的每一个读数都对应关系表中的一行，因此这个虚拟关系表被看成是一个无限的数据流。对传感器网络数据的查询就是对这个无限虚拟关系表的查询。无限虚拟关系表上操作集合是传统的关系代数操作到无限集合的扩展。,3.1.2传感网数据管理系统的数据模型,18,康纳尔大学的Cougar系统的数据模型支持两种类型的数据，即存储数据和传感器实时产生的感知数据。存储数据用传统关系来表示，而感知数据用时间序列来表示。,3.1.2传感网数据管理系统的数据模型,19,3.1.2传感网数据管理系统的数据模型,Cougar系统数据模型包括关系代数操作和时间序列操作。关系操作的输入是基关系或者是另一个关系操作的输出。时间序列操作的输入是基序列或者另外一个时间序列操作的输出。数据模型中提供了如下定义在关系与时间序列上的三类操作：（1）关系投影操作：把一个时间序列转换为一个关系；（2）积操作：输入是一个关系和一个时间序列，输出是一个新的时间序列；（3）聚集操作：输入是时间序列，输出是一个关系。,20,3.2数据管理技术,传感器网络的数据管理技术主要包括数据查询、数据索引和网络数据聚合，本节分别介绍这些管理技术的内容。,21,3.2.1数据查询,传感器网络数据查询可以分为两大类：查询历史数据和查询动态数据。从数据查询处理方法，查询语言，聚集处理技术，连续查询处理技术和查询优化技术等方面，结合目前传感器网络中典型的数据管理系统TinyDB，介绍和讲解数据查询有关的主要内容和关键技术。,22,3.2.1数据查询,（1）数据查询处理方法传感器网络数据查询处理方法分为集中式查询处理和分布式查询处理两种。集中式查询处理方法，数据的查询和感知数据的获取是相互独立的，首先传感器网络周期性地将数据集中存储于一个中心数据库中，然后所有的数据查询都在该中心数据库上完成。分布式查询处理方法考虑到节点本身具有一定存储以及处理能力，节点将采集的感知数据进行本地存储或者以数据为中心的存储。,23,3.2.1数据查询,（2）查询语言传感器网络数据查询语言大多都延续了传统的SQL语言形式,并对SQL语言进行了扩展。TinyDB的查询语言是传感器网络中一种具有代表性查询语言，其语法结构表述如下：,24,3.2.1数据查询,SELECTselect-listFROMsensorsWHEREpredicateGROUPBYgb-listHAVINGhavingpredicateTRIGGERACTIONcommand-name(param)EPOCHDURATIONtime,25,3.2.1数据查询,（3）聚集技术聚集操作是查询中常用的操作，传感器节点可以采用两种数据聚集技术：逐级的聚集技术和流水线聚集技术。逐级的聚集技术，该技术从最底层的叶节点开始向最顶层的根节点逐级进行聚集。流水线聚集技术与逐级的聚集技术不同，该技术将查询时间分成多个小段，在每个时间小段内，节点将收到的来自下层节点的数据与自身的数据进行聚集，然后将得到的聚集结果向上层节点传送。,26,3.2.1数据查询,（4）连续查询处理技术传感器网络中，用户的查询对象是大量的无限实时数据流，用户经常使用的查询是连续查询，用户提交一个连续查询后，该连续查询将被分解为一系列子查询提交到局部节点进行执行。子查询也是连续查询，需要经过扫描、过滤和综合相关无限实时数据流，产生部分的查询结果流，最后经过全局综合处理后返回给用户。,27,3.2.1数据查询,（5）查询优化技术现有的传感器网络数据库管理系统一般都采用了一些查询优化策略。其中，致力于降低传感器网络总能量消耗的TinyDB系统的查询优化技术，具有很强的代表性。TinyDB采用基于代价的查询优化技术来产生能量消耗最低的查询执行计划，其查询的代价由传感器节点数据的采集和查询结果的传输所能量消耗决定。,28,3.2.2数据索引,根据数据存储的方式和查询的要求，数据索引主要有层次索引、一维分布式索引和多维分布式索引3种结构。,29,3.2.2数据索引,（1）层次索引层次索引采用空间分解技术，适用于本地存储方法和多分辨率空域查询要求。空间分解技术：给定一个查询的空域范围，计算出对应的多分辨率级别d，然后递归的将传感器网络覆盖的地理区域递归地划分为d个层次，第0层就是整个网络覆盖的地理区域，第i层具有4i个子区域。,30,3.2.2数据索引,（2）一维分布式索引一维分布式引索采用地理散列函数与空间分解技术相结合的方法，适用于以单一属性的数据为中心的存储方法和多分辨率空域查询要求。一维分布式索引也是通过构造层次结构树来实现，不过构造的方式恰好与层次索引相反。与层次索引方式相比，一维分布式索引构造的层次结构树具有多个最高父节点，这些最高父节点可以同时处理查询要求，输出查询结果，避免了单一根节点的通信瓶颈问题。,31,3.2.2数据索引,（3）多维分布式索引多维分布式索引适用于多个属性上具有区域约束条件的区域查询。多维分布式索引关键是保持数据存储的局域性，即将属性值相近的测量数据存储在临近的节点内。在进行区域查询时，可以根据这种划分方法找到满足多种属性要求的感知数据所在的区域，然后从这些区域内的节点输出查询结果。,32,3.2.3网络数据聚合,传统的数据聚合定义为利用计算机技术对按时序获得的若干传感器的观察信息在一定准则下加以自动分析、综合，以完成所需的决策和估计任务而进行信息处理的过程。在传感器网络中使用的数据聚合技术稍有不同，传感器网络中的数据聚合是指将来自多个传感器节点对同一性质的数据和信息进行综合处理，得出更为准确完整的信息的过程。,33,3.2.3网络数据聚合,数据聚合技术的优点：降低能耗提高精准度和可信度提高收集效率,34,3.2.3网络数据聚合,传感器网络中对数据聚合的分类角度：依据聚合前后数据的信息含量分类依据聚合操作的层次级别分类依据数据聚合与应用层数据语义的关系分类,35,3.2.3网络数据聚合,（1）依据聚合前后数据的信息含量分类无损失聚合无损失聚合中，所有的细节信息均被保留。此类聚合的常见做法是去除信息中的冗余部分。有损失聚合有损失聚合通常会省略一些细节信息或降低数据的质量，从而减少需要存储或传输的数据量，已达到节省存储资源或能量资源的目的。,36,3.2.3网络数据聚合,（2）根据聚合操作的层次级别划分数据级聚合数据级聚合是最底层的聚合，是直接在采集到的原始数据层上进行的聚合，在传感器采集的原始数据未经处理之前就对数据进行分析和综合，因此是面向数据的聚合。特征级聚合特征级聚合是中间层的聚合，它先对来自传感器的原始数据提取特征信息，以反映事物的属性，然后按其特征信息对数据进行分类、汇集和综合，因此这是面向监测对象特征的聚合。,37,3.2.3网络数据聚合,决策级聚合决策级聚合是最高层的聚合，聚合前，每种传感器的信号处理装置已完成决策或分类任务。数据聚合只是根据一定的准则和决策的可信度做最优决策，对监测对象进行判别，分类，并通过简单的逻辑运算，执行满足应用需求的决策，因此它是面对应用的聚合。,38,3.2.3网络数据聚合,（3）依据数据聚合与应用层数据语义的关系分类应用中的数据聚合通常数据聚合都是对应用层数据进行的，即数据聚合需要了解应用数据的语义。从实现角度看，数据聚合如果在应用层实现，则与应用数据之间没有语义间隔，可以直接对应用数据进行聚合。网络层中的数据聚合网络层的数据聚合技术不需要了解应用层数据的语义，直接对数据链路层的数据包进行聚合。,39,3.2.3网络数据聚合,独立的数据聚合协议层这种独立于应用层的数据聚合机制(ApplicationIndependentDataAggregation,AIDA)的基本思想是不关心数据的内容，而是根据下一跳地址进行多个数据单元的合并，通过减少数据封装头部的开销及MAC层的发送冲突来达到节省能量的效果。,40,3.3实例：TinyDB系统,传感器网络数据管理系统是一个提取、存储和管理传感器网络数据的系统，核心是传感器网路数据查询的优化与处理。TinyDB系统是一个比较有代表性的传感器网络数据管理系统。,41,3.3.1TinyDB系统简介,TinyDB系统是加州大学伯克利分校在其研制的操作系统TinyOS的基础上开发的一个传感器数据管理系统。该系统为用户提供了一个简洁、易用和类SQL的应用程序接口，用户可以和使用传统关系数据库系统一样使用TinyDB查询传感器网络数据，无需了解传感器网络的细节，使得传感器网络的体系结构对用户透明。,42,3.3.1TinyDB系统简介,TinyDB系统的主要特征如下：（1）提供元数据管理TinyDB提供了丰富的元数据和元数据管理功能以及一系列管理元数据的命令。TinyDB具有一个元数据目录，描述传感器网络的属性，包括读数类型、内部的软/硬件参数等。,43,3.3.1TinyDB系统简介,（2）支持说明性查询语言TinyDB提供了类似于SQL的说明性查询语言。用户可以使用这个语言描述获取数据查询请求，而不需要指明获取数据的具体方法。这种说明性查询语言使得用户容易编写应用程序，并保证应用程序在传感器网络发生改变时能够继续有效地运行。（3）提供有效的网络拓扑管理TinyDB通过跟踪节点的变化来管理底层无线网络、维护路由表，兵确保网络中的每一个节点高效、可靠地将数据传递给用户。,44,3.3.1TinyDB系统简介,（4）支持多查询TinyDB支持在相同节点集上同时进行多个查询。每个查询都可以具有不同的采样率、访问不同类型的感知属性。TinyDB还能够在多个查询中有效地共享操作，提高查询处理的速度和效率。（5）可扩展性强如果需要扩展传感器网络，只需要简单地将标准的TinyDB代码安装到新加入节点上，该节点就可以自动加入到TinyDB系统。,45,3.3.2TinyDB系统结构,TinyDB系统主要由客户端、TinyDBServer和传感器网络三部分组成。客户端安装有基于Java的应用程序接口。用户通过该接口使用TinyDB。传感器网络中的每一个节点都安装TinyDB的传感器网络软件。,46,3.3.2TinyDB系统结构,47,3.3.3TinyDB系统组成,TinyDB系统分为两大部分：第一部分为传感器网络软件；第二部分为客户端软件。其中传感器网络软件在每个传感器节点上运行，是TinyDB的核心。传感器网络软件包括以下四个构件：传感器节点目录和模式管理器、查询处理器、存储管理器、网络拓扑管理器。,48,3.3.3TinyDB系统组成,（1）传感器节点目录和模式管理器传感器节点目录负责记录每个节点的属性，如感知数据类型和节点ID等。通常情况下，每个节点的目录并不相同，因为网络可以由异构的节点组成，而且每个节点可以具有不同的属性。（2）查询处理器TinyDB的查询处理器负责完成查询的处理工作，使用传感器目录存储的信息获得传感器节点的属性，接收邻居节点的感知数据，聚集组合这些数据，过滤掉不需要的数据，将部分查询处理结果传给父节点。,49,3.3.3TinyDB系统组成,（3）存储管理器TinyDB对TinyOS的内存管理进行了扩展，使用了一个小型、基于句柄的动态内存管理器进行内存管理。（4）网络拓扑管理器网络拓扑管理器为TinyDB处理所有传感器节点到传感器节点和传感器节点到基站的通信，即路由查询和数据信息。,50,3.3.4查询语言,TinyDB系统的查询语言是基于SQL的查询语言，称为TinySQL。该查询语言支持选择、投影、设定采样频率、分组聚集、用户自定义聚集函数、事件触发、生命周期查询、设定存储点和简单的连接操作。,51,3.3.4查询语言,SELECTselect-listFROMsensorsWHEREpredicateGROUPBYgb-listHAVINGpredicateTRIGGAERACTIONcommand-name(param)EPOCHDURATIONtime,52,3.3.4查询语言,select-list是无限虚拟关系表中的属性表，可以对属性使用聚集函数，predicate是条件位置，gb-list是属性表，command-name是命令，param是命令的参数，time是时间值。查询语句的TRIGGERACTION是触发器的定义从句，指定当WHERE从句的条件满足时间需要执行的命令，EPOCHDURATION定义了查询执行的周期。,53,3.3.5TinyDB系统仿真,TinyDB系统需要在传感器网络中运行，而在实际中搭建一个传感器网络的代价是比较大的，但是可以通过搭建仿真平台来学习TinyDB。TOSSIM仿真工具是由美国加州大学伯克利分校研发的一款基于TinyOS的应用，通过TOSSIM仿真，我们可以在PC机上模拟传感器网络节点，实现实际节点上运行的程序的功能。,54,3.3.5TinyDB系统仿真,TinyDB的客户端提供了两种查询接口：第一种为支持TinySQL的图形化查询接口，提供了可以使用TinySQL查询语言的图形界面，供终端用户使用；第二种为支持TinySQL的Java查询接口，提供了基于Java的应用程序接口，支持用户使用Tiny