私塾学习网hadoop中高级_第1页
私塾学习网hadoop中高级_第2页
私塾学习网hadoop中高级_第3页
私塾学习网hadoop中高级_第4页
免费预览已结束，剩余7页可下载查看

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

目前Hadoop1.0存在的架构的问题常见的HA

方案Hadoop0.23

是如何解决的HA本节课程概览!：

做最好的学习社区第一部分：目前Hadoop1.0架构的问题!：

做最好的学习社区Hadoop架构的问题NameNodeRack1Rack2Client文件元数据信息元数据信息DataNodesDataNodesBlock的操作BlocksReplication!：

做最好的学习社区单点故障如果NameNode或者JobTraker关掉，那么整个集群瘫痪。对于7×24生产环境，是具有极大的风险。!：

做最好的学习社区第二部分：常见的HA方案!：

做最好的学习社区方案简介第一种是可以设置一个NFS的

，

fsimage和editlog， 的是实时数据，这样当namenode挂掉后能够通过fsimage和editlog进行完全恢复。第二种是设置Secondary

Namenode。问题：不能迅速的切换，需要花费一定时间恢复。!：

做最好的学习社区!的方案不改变namenode和datanode整体逻辑的基础上，在其上层开发出AvaterNode，AvatarNode的意思就是支持互相切换。提供一个Pri

vatar和一个Standby

Avatar，通过virual

IP来设置IP地址。Pri

vatar对外提供服务，设置了NFS

，将FSImage和EditLog中的FSImage和EditLog。Standby

Avatar将NFS过来进行同步，并且设置Standby

Avatar一直处于safemode状态，不影响正常操作。这样Standby

Avatar相当于一个热拷贝，获得了所有的实时数据。：

做最好的学习社区第三部分：Hadoop0.23

是如何解决的HA!：

做最好的学习社区Hadoop

0.23

HA!：

做最好的学习社区Hadoop

0.23

HA提供2台机器做双机热备一台为Active

节点，一台为StandBy节点同时只有Active节点对外提供服务源数据

在共享StandBy会时刻到共享

拿Meta信息，以保证切换时不会丢掉数据DataNode会向2台机器汇报自己的信息仍需要配置Sencondary

NameNode接解决Edits

log变大问题!：

做最好的学习社区本节课程小结了解Hadoop存在的单点的问题

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论