Hadoop简介 说课一等奖_第1页
Hadoop简介 说课一等奖_第2页
Hadoop简介 说课一等奖_第3页
Hadoop简介 说课一等奖_第4页
Hadoop简介 说课一等奖_第5页
已阅读5页，还剩9页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hadoop简介1、了解hadoop2、了解MapReduce0102目录Hadoop简介MapReduce简介Hadoop简介1HadoopHadoopHadoop是一套分布式系统基础框架，它能够在基于商用硬件构建的大型集群环境运行分布式应用程序。用户可在不了解底层细节的前提下基于Hadoop框架运行分布式程序，而Hadoop框架将为分布式程序提供可靠性和数据处理能力。

Hadoop

Hadoop实现了MapReduce编程模型，它能够将分布式应用程序自动的分成小的工作片段，每一个工作片段都可以在集群的任何节点执行。Hadoop还提供了一个分布式文件系统（HDFS），用户可以在计算节点存储数据。HDFS具有高容错性的特点，能够提供高吞吐量来访问应用程序的数据。MapReduce2

MapReduceMap/Reduce是一种编程模型，它通过使用基于键值对数据集的分布式操作序列实现大型分布式计算。HadoopMap/Reduce框架能够将一组硬件设备构建为计算集群并在该集群的节点上执行用户定义的Map/Reduce作业。

Map/ReduceMapReduce分为两个阶段：Map阶段和Reduce阶段Map阶段

在Map阶段，框架将输入数据集分拆为大量的片段，将每个片段分配给各个Map任务。框架还为运行其Map任务的所有集群节点上分发大量的Map任务，每个Map任务都从框架为其分配的数据集片段中获取键值对数据，经过计算后生成新的键值对数据。Map任务将调用用户定义的Map函数完成每一个键值对数据的转化，从而转化为新的键值对数据。Map阶段结束后，框架将对新生成的键值对数据进行排序，生成一组键值对元组，使得与特定键值相关联的所有值实现聚合。之后，框架将键值对元组集拆分为与Reduce任务数量相同的片段。Reduce阶段

在Reduce阶段，每个Reduce任务都会从框架为其分配的数据集片段中获取键值对元组片段作为输入数据，调用用户定义的Reduce函数进行计算，完成将元组转化为输出键值对数据。与Map阶段机制相同，Reduce阶段框架也会为运行Reduce任务的所有集群节点上分发大量的Reduce任务

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论