HDFS高可用性方案

HDFS高可用性方案 大数据高可用性方案 一 副本技术方案 主要介绍HDFS 二 纠错码技术方案 主要介绍HDFS RAID 1 集群高可用方法一 副本技术 主要代表方案 GFS HDFS Glusterfs复制卷和RAID1 Glusterfs复制卷方法如下图所示 1 1副本技术的功能 副本 Replication 就是对原始数据的完全拷贝 功能 1 通过冗余的文件数据 可以十分有效地提高文件的可用性 2 副本还可以选择性地放在合适的存储节点上 通过路由协议配合 可以实现数据的就近访问 提高系统性能 2 集群高可用方法二 纠错码技术 主要代表方案 HDFS RAID AZURE QFS ISILON等 我们将以HDFS RAID为主来说明 2 1HDFS RAID总体架构 HDFSRAID的实现不再HDFS上直接修改 而是在HDFS之上增加了一个包contrib 2 1HDFS RAID基本功能 1Raid数据的管理DRFS的管理包括DFS中哪些文件需要进行raid化 查询raid文件状态等 由RaidShell通过RPC与集群中的RaidNode通信 完成操作 2Raid数据读写DRFS包装了DFS的读 只是读 请求 当发生block丢失或损坏 DRFS会捕获异常 并向RaidNode发送RPC对失效的数据进行恢复 2 1HDFS RAID工作原理 1 HDFS RAID中包括RaidNode NameNode和JobTracker三个主节点 数据raid化有两种 1 通过raidFile命令触发 2 周期扫描policy配置 根据新的配置信息进行相应的raid化 2 1HDFS RAID工作原理 2 raidFile命令处理流程 2 1HDFS RAID工作原理 3 流程说明 1 检查delay时间 到时间方执行 2 参数处理 包括path路径校验 codec设置等 3 查询path路径状态 分为local 本地 和dist 远程 两种模式 4 根据参数构造一个新的raid policy 等待TiggerMonitor线程下次处理该policy 2 1HDFS RAID工作原理 4 新policy处理流程 RaidNode上有一个守护线程riggerMonitor周期性地从configManager中获取policy列表 对每个policy进行如下处理 1 如未执行过 立即处理 如已处理 过滤其path中尚未处理的file 2 如果是local模式 对列表中的file执行RaidNode doRaid 3 如果是dist模式 构建一个raidjob 就是一个待raid文件path构成的sequence文件 RaidNode doRaid 对该文件中的filepath进行raid 2 1HDFS RAID工作原理 5 RaidNode doRaid 的主要流程如下 2 1HDFS RAID工作原理 6 流程说明 1 获取文件block和delay信息 如果block数2时则进入步骤3 3 检查相应的parity文件是否存在 如存在 检查parity文件的更新时间是否与源文件一致 如是 则认为该源文件已经raid且是最新 不进行raid 4 如果parity文件不存在或不是最新 则生成parity文件 生成方法说明如后 并设置parity文件的更新时间与源文件一致 5 检查policy文件的最终状态 是否与源文件一致 通过则raid完成 2 1HDFS RAID工作原理 7 生成parity文件的Encoder过程 2 1HDFS RAID工作原理 8 Encoder流程说明 1 由于编码过程会比较长 所以先生成 p文件 2 构建 p文件path 3 通过ErasuedCode 主要有XOR算法和RS算法 来编码到 p文件 4 删除原有的parity文件 5 将 p文件重命名为parity文件 6 删除 p文件 2 1HDFS RAID工作原理 9 发现错误时Decoder修复过程 2 1HDFS RAID工作原理 10 修复流程说明 1 根据文件中出错的位置 计算出错的block 该block所在的stripe 以及在stripe中的位置 计算parity文件相应block的位置2 读取源block数据和parity数据 读取方式与编码时类似 3 通过ErasuredCode将源block和parity数据的进行解码 生成丢失的block数据 2 2