Hadoop大数据开发基础与案例实战（微课版）课件 4.2HDFS相关概念_第1页
Hadoop大数据开发基础与案例实战（微课版）课件 4.2HDFS相关概念_第2页
Hadoop大数据开发基础与案例实战（微课版）课件 4.2HDFS相关概念_第3页
Hadoop大数据开发基础与案例实战（微课版）课件 4.2HDFS相关概念_第4页
Hadoop大数据开发基础与案例实战（微课版）课件 4.2HDFS相关概念_第5页
已阅读5页，还剩5页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Hadoop大数据项目开发——HDFS体系结构目录content02数据节点块0405第二名称节点01HDFS体系结构03名称节点HDFS体系结构HDFS的核心组件是名称节点（NameNode）和数据节点（DataNode）。它是一个主/从（master/slave）架构的系统，即一个HDFS集群由一个NameNode和若干DataNode组成。其中，名称节点为主节点，数据节点为从节点。HDFS的体系结构块的概述Hadoop2.X版本默认的块大小为128M。块是HDFS中的最小存储单位，并且可以自定义大小。块按实际大小存储。拆分出来的块会有它相应的副本。块的优势可以存储任意大小的数据文件，不用再受单个节点磁盘容量大小的限制。简化了文件存储子系统的设计，将元数据信息和文件数据信息分开存储。有利于实现负载均衡并提高集群可靠性。有利于实现分布式文件系统的容错性。名称节点概述名称节点是整个HDFS集群的管家，名称节点上存储的元数据信息包括：数据块到数据节点的映射信息。每个文件由哪些数据块组成。文件目录的所有者及其权限。文件名、目录名及其层级关系。名称节点的数据结构元数据信息可被持久化到本地磁盘的两个文件中，分别是元数据镜像文件（fsimage）和事务日志文件(edits）。fsimage存储着文件系统的所有命名空间信息。edits存储着HDFS数据的事务操作日志。名称节点的数据结构所谓的持久化，就是指把数据保存到可永久保存存储设备（如磁盘）中。数据节点概述每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中。负责为客户端或名称节点提供数据的检索和读写服务，并通过“心跳”定期向名称节点发送自己的块列表信息。存储着HDFS文件的真实数据，负责数据的存储和读取第二名称节点因为事务日志文件（edits）开始比较小，但随着对数据的不断修改，事务日志文件（edits）会不断增大，大到一定程度的时候，又会影响整个系统的功能，由此引入第二名称节点。1.对元数据镜像文件（fsimage）和事务日志文件（edits）定期合并，缩短名称节点（NameNode）的重启时间，提高系统性能。2.是名称节点的冷备份，因为名称节点有可能发生故障。为什么又引入第二名称节点？第二名称节点的功能：本节小结负责管理整个文件

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论