分布式存储数据一致性技术架构_第1页
分布式存储数据一致性技术架构_第2页
分布式存储数据一致性技术架构_第3页
分布式存储数据一致性技术架构_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、 分布式存储数据一致性技术架构分布式存储如何保证数据一致性？作为一个面向大规模的分布式存储系统，故障处理是作为一个常态异常处理，在多副本机制下，数据的一致性是如何保证的，中间应用了什么机制？这里以solidfire和fusionstorage block 作为典型的分布式块存储，2种在架构区别较大的存储来讲讲在2种主流协议架构下数据一致性的保障问题。一、 solidfiire分布式块存储写入数据数据一致性保障:solidfire 是全闪存架构双副本保护机制，主机端的写操作会被分片成多个4K的block 下发到存储集群，数据首先写到存储集群中该卷（类似传统存储分给主机的LUN）对应primary

2、存储节点的NVRAM，之后再被复制到集群中该卷对应的secondary 存储节点NVRAM完成第二份副本复制，复制完成secondary 副本之后，集群直接acknowledge write to host 返回主机写入完成。注意这里还没有完返回主机写入完成后，集群中存储节点还有做将NVRAM中数据刷入后端SSD硬盘的数据落盘操作，最终完成数据存储过程。二、 fusionstorage block分布式块存储数据一致性保障:数据一致性意味着当应用成功写入一份数据到存储系统时， 存储系统的几个数据副本必然是一致的，当应用再次读时，无论在哪个副本上读取，都是之前写入的数据。FusionStorag

3、e Block 采取多种方式来保证系统中数据的一致性：1、 副本同步写当 VBS 模块将写操作发送给指定主 OSD 时， 该 OSD 在写入本节点硬盘时，同时将写操作同步到备 OSD， 同步过程中严格按照 IO 编号进行，保证了主 OSD 接收到的 IO 顺序和同步到备 OSD 的 IO 顺序一致。 当主备 OSD 同时完成写操作时，才向应用返回操作成功。具体流程如下图所示：2、 读修复（Read Repair）Read Repair 机制是指在读数据失败时，系统会判断错误类型，如果是磁盘扇区读取错误，系统会自动从其他节点保存的副本读取数据，然后重新写入该副本数据到硬盘扇区错误的节点， 从而保证数据副本总数不减少和副本间的数据一致性从服务端角度，如何尽快将更新后的数据分布到整个系统，降低达到最终一致性的时间窗口，是提高系统的可用度和用户体验非常重要的方面。对于分布式存储系统：N 数据复制的份数W 更新数据是需要保证写完成的节点数R 读取数据的时候需要读取的节点数如果W+RN，写的节点和读的节点重叠，则是强一致性。例如对于典型的一主一备同步复制的分布式存储系统，N=2,W=2,R=1，则不管读的是

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论