基于纠删码的分布式容错存储技术研究

1、基于纠删码的分布式容错存储技术研究, , : , ,而节点失效导致的数, 相比于副本技术 , 基于纠删码的数据冗余技术能够在保证相同容错能力的基 础上, 极大地降低存储开销 , 成为了当前分布式存储领域研究的热点。 基于纠删码 的分布式容错存储技术面临的主要挑战在于 :(1) 现有的纠删码数据写入方法将 数据分块、编码与传输等任务集中于同一节点 , 存在较为严重的瓶颈问题。随着数据量的不断增大 ,瓶颈问题更加突出。 (2) 节点规模的不断增加使得多 点失效的概率明显增大 , 在多点修复过程中现有的纠删码数据修复方法修复效率 较低, 修复开销较大。(3) 纠删码更新过程中涉及较多的数据传输与复杂

2、的数据计算 , 现有的纠删 码更新方法需要消耗较大的网络开销 ,导致了较低的更新效率。 为此,本文围绕实 现基于纠删码的高效低成本存储服务这一目标 , 分别针对基于纠删码的数据写入、 数据修复和数据更新技术展开深入研究。针对已有的纠删码数据写入方法因单点瓶颈而导致写入效率较低的问题, 本文研究提出了一种基于分组的分布式流水线数据写入方法D2CP D2CP 采用一种基于分组的分布式框架以维护源节点、数据节点与编码节点之间的邻居关系。通过一种基于一致性哈希的数据放置算法，D2CP 将节点位置与数据存储位 置进行哈希计算以提高数据放置效率。为了降低写入开销，D2CP 采用一种基于分 组的数据发送调度

3、算法以动态调度源节点的数据发送。，D2CP 组织编码节点之间的计算。基于 HDFS-RAIDf 与目前 已有的纠删码数据写入方法相比，D2CP 24.5%, 显著提升了纠删码数据写入效 率并降低了网络开销。在多点失效场景中 , 集中式修复方法存在单点瓶颈的问题 , 而分布式修复方 法存在修复开销大的问题。两种方法的修复效率随着数据量的增大而显著下降。为此，本文研究提出了一种基于协作的自适应数据修复方法DARSDARS采用一种星型结构与树型结构结合的自适应数据修复模型以同时支持单点失效和多 点失效的修复。通过一种带宽感知的节点选择算法，DARS 选择具有更高可用带宽的节点以 保证节点之间的高可用

4、带宽。通过一种线型结构的数据传输算法，DARS 有效组织 提供者节点与中继节点之间的数据传输。通过一种基于中心节点的数据分发算法，DARS 有效组织协调者节点与新生 节点之间的数据交互 , 进而保证节点之间的数据传输效率。为了最小化网络代 价,DARS 通过条调整提供者节点的数目从而保证负载的均衡性。，并动态基于HDFS-RAIDfTSR和CORE目比,，DARS29%和55%,显著提升了纠删码数据修复效率。 更新过程中复杂的数据传输与计算 使得已有的纠删码单点更新方法效率随着数据规模的增长而显著下降为此, 本文研究提出了一种基于树型结构的单点数据更新方法 TA-UpdateTA-Update

5、 采用一种编码参数无关的更新树结构维护节点之间的连接关系,以支 持不同参数的编码算法。通过一种机架感知的树型构建算法 ,TA-Update 构建了一颗最优更新树 , 以 保证节点之间数据传输的高效性。通过一种自顶向下的流水线数据处理算 法,TA-Update 将节点之间的数据传输流水线化并将更新计算任务分布在多个不 同的节点中。TA-Update 通过一种基于缓存的失效处理算法高效修复失效数据并恢复暂 停的更新过程以提高方法的适应性。基于HDFS-RAID， ,TA-Update在单点失效情况下的更新时间平均减少了纠删码单点更新效率。44%,显著提升了多点更新过程中 ,顺序更新的方式导致已有的

6、更新方法更新开销较大 ,更新 效率随着数据量的增大而显著下降。为此 , 本文研究提出了一种基于分组结构的 多点更新方法Group-U。Group-U 采用基于分组的更新框架以有效组织节点之间的邻居关系。 通过一 种负载感知的分组算法 ,Group-U 依据更新负载自适应地为多个待更新节点选择 合理的分组方式与分组大小。通过一种混合更新算法 ,Group-U 依据时间间隔阈值有效组织多个更新节点 的更新时机,从而保证数据节点的数据一致性和编码节点的更新效率。通过一种 基于缓存的失效处理算法 ,Group-U 有效处理更新过程中出现的节点失效并保证 更新过程的顺利进行基于HDFS-RAIDf 台的测试结