Hadoop-HDFS入门第一讲PPT课件.ppt_第1页
Hadoop-HDFS入门第一讲PPT课件.ppt_第2页
Hadoop-HDFS入门第一讲PPT课件.ppt_第3页
Hadoop-HDFS入门第一讲PPT课件.ppt_第4页
Hadoop-HDFS入门第一讲PPT课件.ppt_第5页
已阅读5页，还剩11页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hadoop入门及应用 讲师 Robby 1 本节课的主要内容 Hadoop介绍HDFS介绍HDFS架构 2 Hadoop要解决2个问题 海量数据的存储 HDFS海量数据的分析 MapReduce 3 Hadoop的历史 始于2002年的apache项目Nutch2003年Google发表了关于GFS的论文2004年Nutch的开发者开发了NDFS2004年Google发表了关于MapReduce的论文2005年MapR被引入了NDFS2006年改名为Hadoop NDFS的创始人加入Yahoo Yahoo成立了一个专门的小组发展Hadoop 4 学习Hadoop的目的 Hadoop是IT行业一个新的热点 是云计算的一个具体实现Hadoop本身具有很高的技术含量 是IT工程师学习的首选 5 Hadoop是什么 Hadoop TheHadoopprojectsCommon Avro MapReduce HDFS Pig Hive Hbase ZooKeeper Sqoop Oozie 6 HDFS设计目标 VerylargefilesStreamingdataaccesswrite once read many timesCommodityhardware 7 HDFS不适合的场景 Low latencydataaccessLotsofsmallfilesMultiplewriters arbitraryfilemodifications 8 HDFS架构 1 a txt600G 在Hadoop中 一个文件被划分成大小固定的多个文件块 分布的存储在集群中的节点中 9 HDFS架构 2 同一个文件块在不同的节点中有多个副本 10 HDFS架构 3 我们需要一个集中的地方保存文件的分块信息 home hdfs a txt part1 3 dn1 dn2 dn3 home hdfs a txt part2 3 dn2 dn3 dn4 home hdfs a txt part3 3 dn6 dn11 dn28 11 HDFS架构 4 12 HDFS架构 5 Block 一个文件分块 默认64MNameNode 保存整个文件系统的目录信息 文件信息以及文件相应的分块信息 DataNode 用于存储BlocksHDFS的HA策略 NameNode一旦宕机 整个文件系统将无法工作 如果NameNode中的数据丢失 整个文件系统也就丢失了 2 x开始 HDFS支持NameNode的active standy模式 13 MapReduce原理 1 问题 求出以下数组当中最大的数1 3 23 3 4 18 2 8 10 16 7 5intMax inta n intm 0 for inti 0 i n i if m a i m a i returnm 14 MapReduce原理 2 MapReduce是一种编程模型 用于大规模数据集的并行计算 1 3 23 3 4 18 2 8
人人文库> 全部分类> 教育资料 > 幼儿教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论