Hadoop HDFS文件系统技术概述

1、技术创新，变革未来Hadoop Distributed File System技术介绍内容分布式文件系统HDFS优缺点HDFS在Hadoop生态系统中的位置 Hadoop生态系统HDFS体系结构分布式文件系统分布式文件系统（Distributed File System）是指文件系 统管理的物理存储资源不是在一台节点上，而是分布在集群 中的多个节点上。HDFS是什么HDFS 源于 Google 的GFS，是 GFS 的开源版本Hadoop核心子项目分布式文件系统大数据运行在廉价的机器上高容错，因为硬件错误是常态高吞吐，基于流数据模式访问一次写入多次读取数据就近原则支持异构存储http:/had

2、oop.apach/docs/r2.7.3/hadoop- project-dist/hadoop-hdfs/HdfsDesign.htmlHDFS优点高容错，可构建在廉价机器上数据自动保存多个副本，通过增加副本，提高容错性某1个副本丢失以后，可以自动恢复适合批处理移动计算而不是移动数据把数据位置暴露给计算框架适合大数据处理处理数据达到 GB、TB、甚至PB级别的数据能够处理百万规模以上的文件数量，数量相当之大能够处理10K节点的规模流式文件访问一次写入，多次读取，文件一旦写入不能修改保证数据的一致性高吞吐率HDFS缺点低延时数据访问毫秒级内数据存储毫秒级内读取数据小文件存储大量小文件会占用

3、NameNode大量的内存来存储文件、目录和块信息，而NameNode的内存总是有限的小文件存储的寻道时间会超过读取时间，违反了HDFS的设计目标并发写入、文件随机修改一个文件只能有一个写，不允许多个线程同时写。仅支持数据 append（追加），不支持文件的随机修改HDFS在Hadoop生态系统中的位置HDFS术语HDFS 采用Master/Slave的架构来存储数据，该架 构主要由四个部分组成HDFS ClientNameNodeDataNodeSecondaryNameNodeHDFS体系结构HDFS体系结构HDFS体系结构HDFS Client文件切分，文件上传 HDFS 的时候，Cli

4、ent 将文 件切分成 一个一个的Block，然后进行存储与 NameNode 交互，获取文件的位置信息与 DataNode 交互，读取或者写入数据Client 提供一些命令来管理 HDFS，比如启动或 者关闭HDFSClient 可以通过一些命令来访问 HDFSNameNodemaster，一个管理者，不实际存储数据管理 HDFS 的名称空间管理数据块（Block）映射信息配置副本策略处理客户端读写请求DataNodeSlave，NameNode 下达命令，DataNode 执行 实际的操作存储实际的数据块执行数据块的读/写操作SecondaryNameNode （1）SecondaryNa

5、meNode（2）NameNodeSecondaryNameNodeSecondaryNameNode（3）辅助NameNode，分担NameNode工作量定期合并 fsimage和edits，并推送给NameNode执行合并时机根据配置文件设置的时间间隔fs.checkpoint.period 默认3600秒根据配置文件设置edits log大小 fs.checkpoint.size 规定edits文件的最大值默 认是64MB在紧急情况下，可辅助恢复 NameNode并非 NameNode 的热备，当NameNode 挂掉的 时候，它并不能马上替换 NameNode 并提供服务RobustnessNameNode 出错 关键问题DataNode 出错Cluster Rebalancing数