《大数据离线分析技术》课件-11.HDFS文件系统元数据的持久化

HDFS文件系统元数据的持久化大数据离线分析教学目标1.理解HDFS中的元数据存储2.掌握EditLog与FsImage的功能3.了解Checkpoint过程4.了解ObserverNameNode的概念1.元数据概述元数据概述包括HDFS中文件系统树、块映射和权限等信息，由NameNode在内存中维护。元数据不存储实际数据，而是记录逻辑结构，支持快速查询和修改。持久化确保内存数据定期落地，避免故障丢失。在实际环境中，元数据大小受文件数影响，通过3.x的内存优化如ErasureCoding减少开销，提供高效的命名空间管理。2.EditLog与FsImage元数据概述包括HDFS中文件系统树、块映射和权限等信息，由NameNode在内存中维护。元数据不存储实际数据，而是记录逻辑结构，支持快速查询和修改。持久化确保内存数据定期落地，避免故障丢失。在实际环境中，元数据大小受文件数影响，通过3.x的内存优化如ErasureCoding减少开销，提供高效的命名空间管理。3.Checkpoint过程Checkpoint过程由SecondaryNameNode或Standby执行，定期合并EditLog到FsImage，创建新检查点。过程包括下载FsImage和EditLog，内存中回放日志生成新FsImage，然后上传回NameNode。间隔通过node.checkpoint.period配置，默认1小时。这种过程减少EditLog积累，加速NameNode启动，支持手动触发，提升系统维护性。4.ObserverNameNode3.x更新引入ObserverNameNode，作为只读节点，从ActiveNameNode同步元数据，支持读操作分流。Observer通过JournalNode读取EditLog，实现近实时同步，不参与选举。更新优势包括降低Active负载，提升读性能，例如在联邦配置中，多Observer处理查询请求。这种模式增强可用性，适用于读重环境，而不增加复杂性。5.持久化配置持久化配置在hdfs-site.xml中设置，包括.dir指定FsImage存储路径，node.edits.dir定义EditLog目录。支持多目录冗余，避免单盘故障。配置实践如启用node.edits.journal.plugins使用QuorumJournalManager，确保高可用日志写入。这些参数优化存储策略，支持NFS或本地盘混合，提升持久化可靠性。6.备份与恢复备份与恢复策略包括定期导出FsImage和EditLog，使用hdfsdfsadmin-saveNamespace手动保存。恢复时，从备份目录加载FsImage，回放EditLog重建状态。支持工具如DistCp跨集群复制备份，确保数据安全。例如，在故障后，管理员使用bootstrapStandby初始化StandbyNameNode。这种策略最小化停机时间，提供多层保护。小结1.元数据在HDFS中不存储实际数据，而是记录文件系统的逻辑结构和权限信息2.EditLog记录所有文件系统变更，FsImage是文件系统元数据的静态快照3.Checkpoint过程合并Ed