版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
物联网数据存放及
管理物联网数据存放及管理分析1/72目录物联网数据存放现状分析海量元数据查询需求分析物联网元数据管理系统设计面向数据更新构造设计和分析面向估计算元数据组织构造-数据立方体2/72物联网数据存放现状分析大规模存放系统应用越来越广泛,存放容量也从此前TB(Terabyte)级上升到PB(Petabyte)级甚至EB(Exabyte)级。伴随存放系统规模不停增大,在大规模文献系统中,文献数量高达几十亿个,在这种海量数据中查找和管理文献变得异常困难。3/72物联网数据存放现状分析这与互联网环境形成了鲜明对比:由于搜索引擎技术发展,在互联网环境下查找信息很方便,而顾客在存放系统中找到想要信息比在互联网上查找信息愈加困难4/72物联网数据存放现状分析如今存放系统中数据量迅速增加使得查找和管理文献异常困难,为了能够合理管理这些不停增多海量数据,不论是顾客还是管理者都需要能够高效取得文献属性。5/72物联网数据存放现状分析元数据查询包括索引文献元数据,例如索引节点和某些扩展属性,能够帮助回答很多复杂查问询题。利用文献属性,元数据查询允许点查询、范围查询、top-k查询和聚集查询,这些使得复杂、特定查询变得简单。6/72物联网数据存放现状分析能够帮助管理者回答“哪些文献在过去一周里增加很快?”或者是“哪些应用程序和顾客文献占用大多数存放空间?”元数据查询也能够帮助顾客找到10个近来访问报告或最大虚拟机镜像。精确地回答这些问题能够极大提升顾客和管理者管理大规模存放系统中文献。7/72物联网数据存放现状分析现存系统一般都采取通用型数据库管理系统(DatabaseManagementSystem,DBMS)来索引元数据,由于DBMS不能较好适用于多维元数据查询,查询效率非常低8/72物联网数据存放现状分析这就限制了在大规模存放系统中元数据查询性能和可扩展性,因此在大规模存放系统中要想取得迅速、高效元数据查询是很难实现。9/72物联网数据存放现状分析从而使得某些复杂查询非常耗时、效率低下,不能有效地支持顾客或管理者查找到想要文献,或得到想要数据。例如,“我近来修改正PPT在哪?”或者“我目录下这个文献有几个副本?10/72物联网数据存放现状分析为理解决上述问题,必须提供一种高效多维元数据查询系统,并且必须满足以下特点:第一,必须能够从存放系统中快速收集到元数据;第二,查询和更新必须快速并且可扩展;第三,必须能够快速返回计算结果,比如用户提交一个复杂查询后并不想长时间在线等候计算结果,有时这个过程非常费时11/72物联网数据存放现状分析例如“某公司想统计一种星期内顾客产生数据总量有多少?”或者“近来一星期内排前五名热点文献是哪五个?”,顾客或管理者希望系统能够预先计算好这些成果而不用在线等候,当提交查询后能够迅速返回成果12/72物联网数据存放现状分析第四,资源需求必须很低,现存很多元数据查询工具需要专门CPU、内存以及硬盘,这就使得它们非常昂贵并且很难集成到存放系统中;第五,查询接口必须灵活好用,对于现存文献系统接口和查询语言,复杂查询非常困难13/72物联网数据存放现状分析在海量数据中,让顾客取得想要信息至关主要,对存放系统中多维元数据查询研究将大大提升文献元数据查询效率,实现复杂查询,缩短响应时间,这对于顾客或管理者查找和管理文献,以及决策支持都有主要意义14/72海量元数据查询需求分析目前存放系统都是采取层次化目录构造来组织文献,层次化构造使得文献访问效率不高。访问某个文献必须通过层次型目录树构造达到文献保存位置,假如不懂得文献保存位置,就必须遍历整个目录或使用操作系统搜索功能,而操作系统仅能依靠文献名来检索和查找数据。15/72海量元数据查询需求分析在近来十几年里,新数据类型(多媒体、电子邮件)不停涌现,这些数据中包括了大量元数据信息。结识到现有文献系统不足,学术界和工业界都做了大量工作来研究如何利用丰富元数据信息来提升文献管理和搜索效率16/72海量元数据查询需求分析在大规模存放系统中查找和管理文献显得愈加困难,元数据查询能够较好处理点查询、范围查询、top-k查询以及聚集查询,便于进行某些复杂、特殊查询。能够迅速地实现上述查询能极大地提升顾客或管理者对大规模存放系统管理17/72海量元数据查询需求分析在大规模存放系统提供高效元数据查询是一种很大挑战,而目前有某些商业元数据查询系统主要致力于小型存放系统(最多几千万个文献)并且经常很慢,花费资源多18/72海量元数据查询需求分析在大规模存放系统中想要实现高效元数据查询,需满足下列几点:最小资源需求元数据查询不应当需要额外硬件,它应当集成到存放系统中而不减少系统性能。目前大多数元数据查询系统都需要专门CPU、内存以及磁盘,使得它们非常昂贵并且很难布署,这就限制它们扩展性19/72海量元数据查询需求分析迅速元数据搜集必须从几十亿、几百亿个文献中周期性搜集发生变化元数据,而不会给整个存放系统带来额外负载,使得系统变慢。目前爬行算法(crawlingmethod)非常慢并且消耗系统资源20/72海量元数据查询需求分析迅速可扩展索引查询和更新查询必须迅速,甚至伴随系统规模扩大,性能依旧能保持较好,能够迅速周期性对元数据索引进行更新。不过,现存系统一般都采取通用型关系型数据库来索引元数据。DBMS经常使用重量级锁和事务,这给系统增加负载21/72海量元数据查询需求分析易用查询接口大多数系统输出简单查询应用程序接口,不过研究表白专门设计接口能够较好体现且容易使用,这会大大提升查询体验。22/72物联网元数据管理系统设计系统设计要求第一、高性能,能够迅速从文献系统中聚集元数据,处理并发操作、热点数据管理和访问等问题;第二、查找和更新速度必须快且可靠。现有系统一般采取通用DBMS来索引元数据,不过通用DBMS设计并不完全适合多种应用场所,例如元数据查找,尤其是支持多种复杂元数据查询,热点数据查询等;并且在大规模存放系统中会限制其性能和扩展性。23/72物联网元数据管理系统设计第三、低资源消耗。确保元数据查询不需要占用太多存放空间,且不会减少系统性能。第四、接口灵活好用。现有文献系统接口不能较好支持多种复杂文献查询。第五、良好伸缩性及可用性。伴随存放系统规模越来越大,必须确保系统具有良好伸缩性和可用性24/72多维元数据组织构造传统索引办法已不能满足多维数据索引和查询要求,例如哈希表是数据精确匹配而不能进行范围查询,而B树索引一维数据而不能搜索多维空间。目前存在大量空间数据索引办法25/72多维元数据组织构造一般来说,常见多维空间数据索引有两种数据组织方式:基于规则分割办法和基于数据分割办法。基于规则分割索引构造按照特定算法对数据空间进行划分,包括KD树、网格等,这种办法仅适用于数据分布均匀情况,在数据分布不均匀时会引发索引构造不平衡。基于数据分割办法有R树,Cell树等,按照数据分布特性逐层划分空间26/72多维元数据组织构造假如系统基于每个维度单独建立索引,则需要对每个维度进行查找之后将成果做交集。假如系统按照多维属性信息建立了空间索引构造,则能够同步在文献大小、创建时间和修改时间这个三个属性维度上做约束,大大减少了查询数据量和查询时间代价。系统花费一定存放空间维护空间索引构造,在提供多种复杂查询服务时能够有效减少查询时间延迟27/72有关研究工作:R树构造与B树相同,R树是一种高度平衡树,它叶子节点统计包括数据对象指针。假如索引是磁盘驻留,则每个节点对应一种磁盘页,以节点为单位读取和写入。该构造设计使得空间搜索只需要访问一小部分节点,大大提升检索效率。索引构造是完全动态;插入、删除和查找操作能同步进行并且不需要定期地对树构造进行重新组织28/72有关研究工作:B树、B-树、B+树、B*树B树即二叉搜索树:
1.所有非叶子结点至多拥有两个儿子(Left和Right);
2.所有结点存放一种关键字;
3.非叶子结点左指针指向小于其关键字子树,右指针指向大于其关键字子树; 如:29/72B树
B树搜索,从根结点开始,假如查询关键字与结点关键字相等,那么就命中;不然,假如查询关键字比结点关键字小,就进入左儿子;假如比结点关键字大,就进入右儿子;假如左儿子或右儿子指针为空,则报告找不到对应关键字; 假如B树所有非叶子结点左右子树结点数目均保持差不多(平衡),那么B树搜索性能逼近二分查找;但它比连续内存空间二分查找长处是,变化B树构造(插入与删除结点)不需要移动大段内存数据,甚至一般是常数开销;30/72B树31/72
是一种多路搜索树(并不是二叉):
1.定义任意非叶子结点最多只有M个儿子;且M>2;
2.根结点儿子数为[2,M];
3.除根结点以外非叶子结点儿子数为[M/2,M];
4.每个结点寄存最少M/2-1(取上整)和至多M-1个关键字;(最少2个关键字)
5.非叶子结点关键字个数=指向儿子指针个数-1;
6.非叶子结点关键字:K[1],K[2],…,K[M-1];且K[i]<K[i+1];
7.非叶子结点指针:P[1],P[2],…,P[M];其中P[1]指向关键字不大于K[1]子树,P[M]指向关键字大于K[M-1]子树,其他P[i]指向关键字属于(K[i-1],K[i])子树;
8.所有叶子结点位于同一层; 如:(M=3)B-树32/72B树33/72 B+树是B-树变体,也是一种多路搜索树:
1.其定义基本与B-树同,除了:
2.非叶子结点子树指针与关键字个数相同;
3.非叶子结点子树指针P[i],指向关键字值属于[K[i],K[i+1])子树(B-树是开区间);
5.为所有叶子结点增加一种链指针;
6.所有关键字都在叶子结点出现; 如:(M=3)B+树34/72是B+树变体,在B+树非根和非叶子结点再增加指向弟兄指针;B*树定义了非叶子结点关键字个数最少为(2/3)*M,即块最低使用率为2/3(替代B+树1/2);
B+树分裂:当一种结点满时,分派一种新结点,并将原结点中1/2数据复制到新结点,最后在父结点中增加新结点指针;B+树分裂只影响原结点和父结点,而不会影响弟兄结点,因此它不需要指向弟兄指针;
B*树分裂:当一种结点满时,假如它下一种弟兄结点未满,那么将一部分数据移到弟兄结点中,再在原结点插入关键字,最后修改父结点中弟兄结点关键字(由于弟兄结点关键字范围变化了);假如弟兄也满了,则在原结点与弟兄结点之间增加新结点,并各复制1/3数据到新结点,最后在父结点增加新结点指针;
因此,B*树分派新结点概率比B+树要低,空间使用率更高;B*树35/72 B树:二叉树,每个结点只存放一种关键字,等于则命中,不大于走左结点,大于走右结点;
B-树:多路搜索树,每个结点存放M/2到M个关键字,非叶子结点存放指向关键字范围子结点; 所有关键字在整颗树中出现,且只出现一次,非叶子结点能够命中;
B+树:在B-树基础上,为叶子结点增加链表指针,所有关键字都在叶子结点中出现,非叶子结点作为叶子结点索引;B+树总是到叶子结点才命中;
B*树:在B+树基础上,为非叶子结点也增加链表指针,将结点最低利用率从1/2提升到2/3;有关研究工作:B树、B-树、B+树、B*树36/72有关研究工作:R树构造
R树是一种高度平衡树,它是B树在k维上自然扩展,用空间对象MBR来近似体现空间对象,根据地物MBR建立R树,能够直接对空间中占据一定范围空间对象进行索引。R树每一种结点都对应着磁盘页D和区域I,假如结点不是叶结点,则该结点所有子结点区域都在区域I范围之内,并且存放在磁盘页D中。假如结点是叶结点,那么磁盘页D中存放将是区域I范围内一系列子区域,子区域紧扣空间对象,一般为空间对象外接矩形。一种空间数据库由代表对象集合组成。每个对象元组都有一种唯一标识符,可通过这些标识符来检索对象元组。R树叶节点按下列形式统计索引统计入口比较典型有R+树、R·树、压缩R树等。37/72有关研究工作:R树构造特点;
1.根节点若非叶子节点,则最少有两个子节点;
2.每个非根叶节点和非叶节点包括实体个数均介于m和M之间;
3.所有叶子节点在同一层次;
R树弟兄结点对应空间区域能够重合,能够较容易地进行插入和删除操作。但正由于区域之间有重合,空间索引也许要对多条途径进行搜索后才能得到最后成果。38/72R树空间分布图39/72BloomfilterBloomFilter是一种空间效率很高随机数据构造,它利用位数组很简洁地表达一种集合,并能判断一种元素是否属于这个集合。BloomFilter这种高效是有一定代价:在判断一种元素是否属于某个集合时,有也许会把不属于这个集合元素误以为属于这个集合(falsepositive)。因此,BloomFilter不适合那些“零错误”应用场所。而在能容忍低错误率应用场所下,BloomFilter通过很少错误换取了存放空间极大节省。40/72由一种很长二进制向量数组和一系列随机映射函数组成,它只需要哈希表1/8到1/4大小就能处理同样规模集合查问询题Bloomfilter41/72BloomfilterBloomfilter本质是哈希计算,不一样之处于于Bloomfilter对同一数据使用多种哈希函数进行数次哈希,将成果保存在同一种向量数组中,因此Bloomfilter在达成相同功能情况下比原始哈希构造更节省存放空间。Bloomfilter算法一种缺陷在于查询一种元素是否在集合S上也许存在失误定位(FalsePositive)42/72集合表达和元素查询下面我们详细来看BloomFilter是如何用位数组表达集合。初始状态时,BloomFilter是一种包括m位位数组,每一位都置为0。Bloomfilter43/72为了体现S={x1,x2,…,xn}这样一种n个元素集合,BloomFilter使用k个互相独立哈希函数(HashFunction),它们分别将集合中每个元素映射到{1,…,m}范围中。对任意一种元素x,第i个哈希函数映射位置hi(x)就会被置为1(1≤i≤k)。注意,假如一种位置数次被置为1,那么只有第一次会起作用,背面几次将没有任何效果。在下列图中,k=3,且有两个哈希函数选中同一种位置(从左边数第五位)。Bloomfilter44/72在判断y是否属于这个集合时,我们对y应用k次哈希函数,假如所有hi(y)位置都是1(1≤i≤k),那么我们就以为y是集合中元素,不然就以为y不是集合中元素。下列图中y1就不是集合中元素。y2或者属于这个集合,或者刚好是一种falsepositive。
算法Bloomfilter
Bloomfilter45/72RBF索引构造从B树演变而来R树构造,能有效地支持多维范围查询。不过,R树不能有效地支持点查询。由于组员查询只能在叶子节点上进行,对应操作将造成查询效率很低。然而,Bloomfilter是一种空间利用率高且能有效地支持点查询构造。46/72RBF索引构造一种叫做RBF新空间存放构造来存放多维元数据,基本思绪是是扩展典型R树构造,将Bloomfilter插入到每个R树结点上来支持点查询,维持多维范围信息并实现空间效率47/72RBF索引构造48/72面向数据更新构造设计和分析R树更新基于R树索引在商业上得到广泛应用和发展,不过它在频繁更新操作时性能低下。R树及其变体在空间索引构造中占据主导地位,49/72R树更新传统空间索引研究主要考虑静态数据,只关注高效查询处理,R树更新性能很差,不能直接用于频繁更新应用环境50/72R树更新存放系统下元数据更新是很频繁,直接对索引修改会产生大量磁盘操作并也许引发索引构造不平衡。已经存在多种基于R树索引更新机制主要采取是自顶向下模式51/72减少更新操作办法位置预测一种减少对象更新操作次数策略是采取线性函数来表达移动对象位置,保存对象运动特性,包括目前位置和速度参数等,通过这些数据能够预测将来一段时间后位置52/72减少更新操作办法容忍更新减少更新次数另一种策略是容忍更新。并不是每次更新都需要一种至上而下删除操作和插入操作。当一种对象新位置没有移出本来MBR,换句话说就是该对象还在同一种叶子节点内时,只要修改对应叶子节点数据信息即可,不需要删除后插入,也不也许引发分裂和合并操作53/72延迟更新更新操作包括删除和插入两个步骤,延迟更新也包括延迟删除和延迟插入两个方面。延迟删除策略是将更新信息立即插入,而旧对象信息不会立即删除,而是使用某种策略将未删除索引信息缓存起来方便辨别新旧数据,直到缓冲区满或者其他情况下才进行删除操作54/72批量操作R树批量插入策略是目前研究热点之一。其中STLT(Small-Tree-Large-Tree)技术,首先利用输入数据集建立一棵小R(Smalltree)树,然后将小R树插入到原有大R树(Largetree)中55/72批量操作GBI(GeneralizedBulkInsertion)技术利用聚类算法将输入数据集分割为多种空间上接近数据组,为每个数据组建立R树构造,最后将这些R树构造批量插入到目标R树中56/72多版本文献更新系统Versioning文献系统保存被修改文献之前版本,来实现顾客误操作以及系统错误后数据恢复。Versioning文献系统存在主要问题是不能有效地保存大量version,version数据消耗大量存放空间,对version删除策略,恢复系统时version选择问题等57/72多版本文献更新系统Cedar采取简单version策略来帮助客户在误操作后恢复数据。近来Elephant文献系统提供了一系列version选项,用来保存对顾客最为主要文献version。58/72多版本文献更新系统CVFS提出两种有效节省空间version元数据构造,对于inodes和indirectblocks采取Journal-based元数据,而对于目录采取MultiversionB树,有效地节省了version占用空间。59/72多版本文献更新系统Causality-basedversioning结合causalrelationship和versioning技术,通过causalconnection使得version更具意义,提出新在何时创建version算法;通过causalrelationship定位version,能够更有效在错误后恢复到正确version60/72面向估计算元数据组织构造-数据立方体数据立方体(DataCube)是分析数据仓库数据基本单位,是联机分析处理(On-LineAnalyticalProcessing,OLAP)中主要对象,是一项可对数据仓库中数据进行迅速访问技术。数据立方体是一种数据集合,一般由数据仓库子集构造,并组织和汇总成一种由一组维度和度量值定义多维构造。数据立方体提供一种便于使用查询数据机制,响应时间短61/72数据立方体数据立方体是多维数据库基本构造,并作为在多维数据库上定义所有操作符输入输出基本单位。将它定义为一种四元组<D,M,A,f>,这四个组件分别表达数据立方体特性62/72数据立方体在典型OLAP应用中,存在一种中心关系或数据集合,称作事实表。事实表代表感爱好事件或对象。事实表一般有几个表达维属性和一种或多种度量属性,这些度量属性一般是顾客想要查询到某些值63/72维数据
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高一化学教学设计:物质研究基本方法的核心素养导向与测评实践
- 小学三年级英语教学设计 Unit 5 The colourful world Part A Let's learn
- 高三生物PCR与电泳教案
- 初中七年级道德与法治教学设计:做自尊的人-基于核心素养的深度学习与实践探究
- 高中一年级心理辅导课“乔哈里窗里的小怪兽”自我认知教学设计
- 2026事业单位工勤技能-新疆-新疆放射技术员一级(高级技师)历年参考题库含答案详解
- CN119538179A 基于视觉语言预训练模型的细粒度多模态提示学习方法 (中国科学院空间应用工程与技术中心)
- 2026事业单位工勤技能-广西-广西铸造工二级(技师)历年参考题库含答案详解
- CN119537716A 实体搜索结果的展示方法、生成方法、装置、设备和介质 (北京字跳网络技术有限公司)
- 江苏省徐州市铜山区2026-2027学年高二上学期11月学情调研政治(合格考)试卷(含答案)
- 急性淋巴细胞白血病的护理查房
- 2026年度省综合专家库评标专家继续教育培训模拟试题(含答案)
- 硬化性脂肪肉瘤诊断与治疗中国专家共识
- 雨课堂学堂在线《数据与智能技术应用(清华)》学堂云单元测试考核答案
- 2026年人教PEP版五年级英语上册 Unit5 Food we eat教案
- 2025年建筑工程管理(建筑材料)专业中级职称理论考试题库附答案
- 保险行业风险警示教育心得体会
- 项目质量风险管理监理实施细则
- 老年患者围术期急性肾损伤(AKI)的预警与容量管理精要(科室业务学习专用)
- 《AI通识》学习资料-题库-温州市继续教育-一般公需课
- 血管外科腹主动脉瘤破裂应急预案演练脚本
评论
0/150
提交评论