第二章 FusionInsight 技术基础 - HDFS架构原理

HCNP,FusionInsight,R2CXX,1.0,2015.07,张源/357742,2015.10,黄非/301312,新开发,张伟/301377,张伟/301377,新开发,HDFS架构原理,学完本课程后，您将能够:了解HDFS使用的场景了解HDFS功能与架构了解HDFS常用命令和参数,HDFS概述HDFS功能与架构HDFS常见命令和参数,HDFS概述,HDFS(HadoopDistributedFileSystem)基于Google发布的GFS论文设计开发，其除了具备其他分布式文件系统相同特性外，还有自己特有的特性：高容错：认为硬件总是不可靠的高吞吐量：为大量数据访问提供高吞吐量支持大文件存储：支持存储TB-PB级别的数据,HDFS概述HDFS功能与架构HDFS常见命令和参数,HDFS概述HDFS功能与架构HDFS基本系统架构HDFS架构关键设计HDFS高可靠性HDFS常见命令和参数,HDFS基本系统架构,HDFS数据读取流程,HDFS数据写入流程,HDFS概述HDFS功能与架构HDFS基本系统架构HDFS架构关键设计HDFS高可靠性HDFS常见命令和参数,HDFS架构关键设计,HDFSFederation（联邦）,数据副本机制,元数据持久化,健壮机制,HDFS主要目的是保证存储数据的完整性，对于各个组件的失效，做了可靠性处理。重建失效数据盘的副本数据DataNode与NameNode之间通过心跳周期汇报数据状态，NameNode管理数据块是否上报完整，如果DataNode因硬盘损坏未上报数据块，NameNode将发起副本重建动作恢复丢失的副本。集群数据均衡保证数据在各个DataNode上存储是均衡的。数据有效性保证DataNode存储在硬盘上的数据块，都有一个校验文件与之对应。读取数据时，DataNode会校验其有效性，若校验失败，则HDFS客户端将从其他DataNode读取数据，并通知NameNode，发起副本恢复。元数据可靠性保证采用日志机制操作元数据，同时元数据存放在主备NameNode上。快照机制实现了文件系统常见的快照机制，保证数据误操作时，能及时恢复。安全模式HDFS提供独有安全模式机制，在数据节点故障，硬盘故障时，能防止故障扩散。,其他关键设计,统一的文件系统名字空间HDFS对外呈现一个统一的文件系统。统一的通讯协议统一采用RPC方式通信，NameNode被动的接收Client和DataNode的RPC请求。空间回收机制支持回收站机制，以及副本数的动态设置机制。数据组织数据存储以数据块为单位，存储在操作系统的文件系统上。访问方式提供JAVAAPI，HTTP方式，SHELL方式访问HDFS数据。,HDFS概述HDFS功能与架构HDFS基本系统架构HDFS架构关键设计HDFS高可靠性HDFS常见命令和参数,HDFS高可靠性,HDFS应用开发方式,HDFS应用开发需要使用HDFSClient模块，主要包括三种方式：Java提供JavaAPI进行HDFS文件系统的应用开发。Shell提供shell命令完成HDFS文件系统的基本操作。WebUI提供Web可视化组件管理界面。,HDFS概述HDFS功能与架构HDFS常见命令和参数,HDFS常用Shell命令,HDFS参数配置,HDFS服务的参数配置在FusionInsightManager上进行，步骤为：登录FunsionInsightManager，然后选择ServicesHDFSConfiguration。HDFS的配置包含：HDFSNameNodeDataNodeZKFC,HD