课程资源云计算cclecture异构数据结构、半结构化非_第1页
课程资源云计算cclecture异构数据结构、半结构化非_第2页
课程资源云计算cclecture异构数据结构、半结构化非_第3页
课程资源云计算cclecture异构数据结构、半结构化非_第4页
课程资源云计算cclecture异构数据结构、半结构化非_第5页
已阅读5页，还剩23页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

5海量数异构数据：结构有效管高效分23

提出，用于大规模数据的处提出，用于大规模流式计提出，用于大规模图计4

需要处理海量的数据在成百上千个CPU上并行处较为容易地实现上述目分而治56Wordforeachwordwininput_value: torintresult=foreachvinresult+= 78

MapReduce的输入数据会划分成等长的小数据处理每个分片所需要管理分片的总时间和构建map任务的总时间将决定着作业的整个行时9让Map和数据在同一个节点至少处于同一个机架不大于数据块的大小如果分 2个数据块，则可能引起数据传Map输出的中间结果在程序运行存放在HDFS中会浪费资重新执行完成或进行中的map任重新执行进行中的reduce任在重新执行时忽略这些Reduce任务需要等所有map任务结束后才能开Master重复分派较慢的map任务，并以最先完成的为结将真正reduce阶段需要处理的数据量降至最 Hadoop待处理的数据集可以分解为可并行处理的小数据Map阶Reduce阶JobTracker负责调度和管理 每台计算机上可运行合并key相同的中间结果，可以直接使Reduce函将连接的结果按照key的范围划Reduce的结果不一定需要合并，而是为新的输 当HMapReduce通常只能支持不多于4000个节例如当两个需要大内存的task被调度到了一如果当系统中只有map或reducetask时，会造成资源的浪 每一个ApplicationMasterApplicationMaster：每个Job有一负责该Job生命周期内的所有工NodeManager负责Container状态的，并向ResourceManager保持按照key的顺序如何写将mapper的输出通过hash函数映射到Reducer对输出的数据进一步排取对每个split取样并排序，取出间隔平均的n-1个构建索引根据n-1个样，构建类似于B树的索引分前缀相同的key，被分配到同一个叶子每个叶子节点上可能有多个图：GV两种表达：邻接矩问题：寻找从一个源点到一个或多个汇点的最短路1:2,2:1,3,3:4:1,置集合S={2,3,...n},数组d(1)=0,d(i)=W1->i(1,i之间存在边or在S中，令d(j)=min{d(i),iS}，令对全部i属于S,如果存在边j->i，那置d(i)=min{d(i),dj)+Wj->i}，转置集合S={1},源点的距离如果i与源点之间存在边，则距离为d(i)=W1-对于j，j的距离为dj)=min{d(iWi->jiProcedure

Procedureforallt∈dH{t}H{t}+forallt∈H

forall<a,f>∈

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论