《大数据离线分析技术》课件-10.HDFS数据复制

HDFS数据复制大数据离线分析教学目标1.掌握HDFS数据复制机制

2.理解纠删码对存储开销的作用

1.复制概述HDFS数据复制是Hadoop分布式文件系统的核心机制，用于确保数据的可靠性和高可用性。通过将文件拆分为固定大小的块（默认128MB或256MB），每个块会被复制多个副本，默认复制因子为3，这意味着每个块在集群中存在三个拷贝，分布在不同的DataNode上。这种复制策略不仅提供了故障容错能力，当一个节点失效时，系统可以从其他副本中恢复数据，还支持并行读取以提高吞吐量。复制过程由NameNode管理，它负责选择合适的节点放置副本，同时考虑机架感知（rackawareness）以避免单点故障。2.块复制策略HDFS将文件分割成块后，会根据复制因子（dfs.replication）创建多个副本。这些副本的放置遵循机架感知策略：第一个副本通常放置在写入客户端所在的节点上（如果客户端在集群内），第二个副本放置在同一机架的不同节点上，第三个副本则放置在不同机架的节点上。这种策略最大化了数据的局部性，减少了跨机架网络传输，同时提升了故障容错能力。3.管道复制I管道复制是HDFS写入数据的关键过程，用于高效地将数据块复制到多个节点。当客户端写入文件时，NameNode首先分配块并返回一个DataNode列表（按管道顺序排列）户端将数据包发送到第一个DataNode，该节点在接收数据的同时，将其管道式转发到第二个DataNode,第二个再转发到第三个，以此类推。传输机制大大提高了写入效率，减少了客户端的网络负载。01024.纠删码在Hadoop3.x中，引入了纠删码作为传统3x复制的优化替代方案。纠删码使用数学编码算法，将数据块分为数据单元和奇偶校验单元，例如在RS(6,3)策略下，6个数据块生成3个校验块，总存储开销仅为1.5x，而非3x，从而将存储效率从33%提升到约67%。这特别适合冷数据存储，减少了集群的硬件需求和网络带宽消耗。纠删码政策可以通过命令如hdfserasurecode-setPolicy设置在特定目录上启用，并在读取时自动解码恢复数据。5.复制因子配置复制因子决定了每个数据块的副本数量，默认值为3，可通过多种方式配置。在hdfs-site.xml文件中设置dfs.replication参数影响全局默认值，例如<property><name>dfs.replication</name><value>3</value></property>。对于特定文件或目录，可以使用命令如hdfsdfs-setrep-R2/path/to/file动态调整复制因子，其中-R表示递归应用。NameNode会根据新设置调度副本的创建或删除，以实现平衡。配置时需考虑存储空间、性能和容错需求：较高的复制因子提升可靠性但增加开销，低值则节省空间但风险更高。监控工具如HDFSWebUI可查看当前复制状态。6.平衡器工具HDFS平衡器工具用于均匀分布数据块跨集群节点，避免某些节点过载而其他节点空闲。通过命令hdfsbalancer-threshold10运行，其中-threshold指定平衡阈值（默认10%，表示节点利用率偏差不超过10%）。平衡器扫描NameNode的块信息，计算移动计划，并逐步将块从高利用率节点迁移到低利用率节点，同时限制带宽以避免影响正常操作。此外，Hadoop3.x引入了DiskBalancer，用于单个DataNode内部的磁盘平衡，通过hdfsdiskbalancer-plan命令生成计划并执行。小结1.HDFS数据复制通过固定大小的块分布在不同DataNode上2.纠删码技术在Hadoop3.x中提供存储效率提升。3.复制