《大数据离线分析技术》课件-30.HDFS数据管理

HDFS数据管理大数据离线分析教学目标

1.理解块管理的原理和机制

2.掌握配额管理的配置和应用

3.掌握存储策略的类型和实现

4.理解归档与压缩的操作方法

5.掌握数据迁移的工具和过程1.数据管理概述HDFS数据管理涉及数据块的存储、复制、配额控制、存储策略、归档压缩以及迁移等功能，确保大数据的高效存储和访问。HDFS将文件拆分为块（默认128MB），分布在集群节点上，提供容错通过数据复制。HDFS支持NameNode管理元数据，DataNode存储实际数据块；提供块报告和心跳机制监控集群健康。数据管理优化了存储利用率，支持异构存储介质。2.块管理HDFS块管理将文件分割成固定大小块（默认128MB），每个块复制到多个DataNode（默认3副本），确保数据可靠性和可用性。块是HDFS的基本存储单元。NameNode维护块到DataNode的映射；DataNode定期报告块状态。块放置策略考虑机架感知，避免单点故障。当块丢失或损坏，NameNode触发重新复制；支持块扫描验证完整性。HDFS允许自定义块大小以适应不同文件类型。3.配额管理HDFS配额管理限制目录或用户的存储空间和文件数，防止资源滥用。支持名称配额（文件/目录数）和空间配额（字节大小）。hdfsdfsadmin-setQuota<N><directory>设置名称配额；hdfsdfsadmin-setSpaceQuota<N><directory>设置空间配额。配额应用于目录树，支持递归计算；超过配额时写操作失败。HDFS提供报告命令如hdfsdfs-count-q-v查看使用情况。

hdfsdfsadmin-setSpaceQuota1t/user/data

限制1TB空间。4.存储策略概述：HDFS存储策略定义数据块在不同存储类型（如DISK、SSD、ARCHIVE）的放置，支持热、温、冷数据管理。类型：Hot（DISK，所有副本）、Warm（DISK+ARCHIVE）、Cold（ARCHIVE，所有副本）、One_SSD（一个SSD副本，其余DISK）等。详细解释：

使用fs-setStoragePolicy-path-policy<policy>设置；Mover工具迁移数据以符合策略。HDFS支持异构存储，利用RAM_DISK加速。示例：hdfsstoragepolicies-setStoragePolicy-path/cold_data-policyCOLD。5.归档与压缩概述：HDFS归档使用HAR（HadoopArchive）格式打包小文件，减少NameNode负载；压缩支持Gzip、Snappy等，节省空间。语法结构：hadooparchive-archiveNamename.har-p<parent><src><dest>创建归档；设置dfs.block.size调整块大小以支持压缩。详细解释：

归档合并小文件成大块；压缩在写时应用，如SETpress.output=true。HDFS透明解压读取。示例：hadooparchive-archiveNamelogs.har-p/logs/*/archive。6.数据迁移概述：HDFS数据迁移使用DistCp工具并行复制数据，支持集群间迁移；Balancer工具均衡DataNode负载。语法结构：hdfsdfs-distcp<src><dest>迁移数据；hdfsbalancer运行均衡器。详细解释：DistCp使用MapReduce复制，支持更新模式(-update)和覆盖(-overwrite)；Mover根据存储策略迁移块。HDFS支持从旧集群到新集群的无缝迁移。示例：hadoopdistcphdfs://old-nn/pathhdfs://new-nn/path。6.数据迁移概述：HDFS数据迁移使用DistCp工具并行复制数据，支持集群间迁移；Balancer工具均衡DataNode负载。语法结构：hdfsdfs-distcp<src><dest>迁移数据；hdfsbalancer运行均衡器。详细解释：DistCp使用MapReduce复制，支持更新模式(-update)和覆盖(-overwrite)；Mover根据存储策略迁移块。HDFS支持从旧集群到新集群的无缝迁移。示例：hadoopdistcphdfs://old-nn/pathhdfs://new-nn/path。7.HDFS的优缺点HDFS优点：高容错性：数据自动多副本（默认3份）存储，支持节点故障自动恢复。高吞吐量：适合大数据批处理场景，一次写入、多次读取。流式数据访问：设计为“写一次、读多次”，优化大规模数据处理。HDFS缺点：不适合小文件存储：大量小文件会占用NameNode内存，导致性能瓶颈。不支持随机写：仅支持追加写，不支持修改已写入数据。高延迟：不适合低延迟实时访问（如数据库事务）。小结1.HDFS数据管理包括数据块的存储、复制、配额控