《大数据离线分析技术》课件-8.HDFS基本组件

HDFS基本组件大数据离线分析教学目标1.掌握HDFS的核心组件的功能。2.了解HDFS的关键特性。3.了解多NameNode。1.HDFS概述HDFS（HadoopDistributedFileSystem）是ApacheHadoop框架的核心分布式存储系统，专为处理海量数据而设计。关键特性：高容错：通过数据块复制机制，即使节点故障也能恢复数据。可扩展性：支持数千节点集群，存储PB级数据。流式访问：优化大文件顺序读写，避免随机访问开销。兼容性：与Hadoop生态其他组件如YARN、MapReduce无缝集成。2.NameNodeNameNode是HDFS的中央管理节点，负责整个文件系统的元数据管理。NameNode不存储实际数据，而是处理客户端的读写请求：对于写操作，它分配块位置；对于读操作，它提供块元数据。命名空间管理：处理文件创建、删除、重命名等操作。块映射：记录每个文件块的ID和副本位置，支持数据本地化以减少网络传输。心跳监测：定期接收DataNode的心跳信号，监控集群健康状态。性能考虑：NameNode内存驻留元数据，因此集群规模受其内存限制，通常需配置高可用性以避免单点故障。3.DataNodeDataNode是HDFS的存储节点，负责实际数据块的存储和管理。每个DataNode运行在集群的从节点上，存储文件块的副本，并响应NameNode的指令。数据存储：将文件块保存在本地文件系统中，支持块级校验和以确保数据完整性。报告机制：定期向NameNode发送心跳和块报告，报告包括块列表、存储容量和健康状态。块复制：根据NameNode指令，在节点间复制块以维护副本数，通常遵循机架感知策略以优化网络拓扑。读写处理：客户端直接与DataNode交互读写数据，减少NameNode负载，实现高吞吐量4.SecondaryNameNodeSecondaryNameNode是NameNode的辅助节点，主要用于定期合并NameNode的编辑日志（editslog）和文件系统镜像（fsimage），以防止日志文件过大导致NameNode启动缓慢。它不是NameNode的热备份，而是checkpoint节点，帮助维护元数据的持久化。检查点创建：周期性从NameNode拉取editslog和fsimage，合并成新的fsimage，推送回NameNode。减少启动时间：通过合并操作，NameNode重启时只需加载最新的fsimage和少量editslog。资源消耗：需要与NameNode类似配置的内存和CPU，因为合并过程内存密集。非高可用性：SecondaryNameNode故障，不会立即影响系统，但会增加NameNode的日志积累风险。5.多NameNode支持Hadoop3.x引入了多项增强，其中多NameNode支持是关键更新，实现高可用性（HA）配置。通过Active-Standby模式，集群可配置多个NameNode，其中一个Active处理请求，其他Standby同步状态，故障时自动切换。这消除了早期版本的单点故障问题，提高了系统可靠性。日志共享：ActiveNameNode将editslog写入多个JournalNode，Standby从中读取以保持同步。Quorum协议：使用Paxos-like协议，只有多数JournalNode确认后，操作才生效。故障恢复：如果Active故障，Standby从JournalNode获取最新日志，成为新Active。部署建议：至少3个JournalNode，分布在不同机器上，以提升容错。小结1.HDFS是专为处理海量数据设计的分布式存储系统，具有高容错性和可扩展性。2.NameNode负责元数据管理，而DataNode负责数据存储。3.SecondaryNameNode