hadoop实战视频教程02 - Hadoop 2.0(2)_第1页
hadoop实战视频教程02 - Hadoop 2.0(2)_第2页
hadoop实战视频教程02 - Hadoop 2.0(2)_第3页
hadoop实战视频教程02 - Hadoop 2.0(2)_第4页
hadoop实战视频教程02 - Hadoop 2.0(2)_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Hadoop讲师：迪伦（北风网版权所有）Hadoop 2.0(2)q Hadoop 2.0产生背景q Hadoop 2.0基本构成q HDFS 2.0课程目标课程目标HadoopHadoop 2.0 2.0产生背景产生背景q Hadoop生态系统由Hadoop、HBase、Hive、Pig、Sqoop、Flume、Mahout、Zookeeper等构成q Hadoop 1.0由HDFS和MapReduce两个系统构成HadoopHadoop 2.0 2.0产生背景产生背景q Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题q HDFS存在的问题 NameNode

2、单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性q MapReduce存在的问题 JobTracker单点故障 JobTracker访问压力大，影响系统扩展性 难以支持除MapReduce之外的计算框架，比如Spark、Storm、Tez等HadoopHadoop 1.0 1.0与与HadoopHadoop 2.0 2.0q Hadoop 2.0由HDFS、MapReduce和YARN三个分支构成；q HDFS：NN Federation、HA；q MapReduce：运行在YARN上的MR；q YARN：资源管理系统HDFS 2.0HDFS 2.0q 解决H

3、DFS 1.0中单点故障和内存受限问题。q 解决单点故障 HDFS HA：通过主备NameNode解决 如果主NameNode发生故障，则切换到备NameNode上q 解决内存受限问题 HDFS Federation(联邦) 水平扩展，支持多个NameNode； 每个NameNode分管一部分目录； 所有NameNode共享所有DataNode存储资q 仅是架构上发生了变化，使用方式不变 对HDFS使用者透明 HDFS 1.0中的命令和API仍可以使用：$ hadoop fs -ls /user/hadoop/$ hadoop fs -mkdir /user/hadoop/dataHDFS 2.0 HAHDFS 2.0 HAHDFS 2.0 HAHDFS 2.0 HAq 主备NameNodeq 解决单点故障 主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换 所有DataNode同时向两个NameNode汇报数据块信息q 两种切换选择 手动切换：通过命令实现主备之间的切换，可以用HDFS升级等场合 自动切换：基于Zookeeper实现q 基于Zookeeper自动切换方案 Zookeeper Failover Controller：监控NameNode健康状态，并向Zookeeper注册NameNode Nam

人人文库> 全部分类> 教育资料 > 课设设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论