版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
云存储高可用机制12集群存储高可用性高可用性(HA,HighAvailablity)是指通过尽量缩短系统停机时间(因日常的维护操作或突发的系统崩溃等),以提高系统和应用的可用性。企业中的关键应用,如邮件服务、文件服务、数据库服务等,通常会要求7*24小时不间断连续提供服务并且不能表现出故障切换,这就要求承载服务的存储系统能够自动判断故障,并提供故障恢复的能力。集群(Cluster)是由多个节点构成的一种松散耦合的节点集合,协同起来对外提供服务。集群主要分为高性能集群HPC(HighPerformanceCluster)、高可用集群HAC(HighAvailablityCluster)和负载均衡集群LBC(LoadBalancingCluster)。集群存储系统是指协同多个节点提供高性能、高可用或负载均衡的存储服务系统,消除单点故障和性能瓶问题,并且具有Scale-Out横向高扩展能力,实现容量和性能线性扩展。集群存储现有技术方案主要通过被冗余技术解决可用性问题,包括副本技术、纠删码技术、主备或全活HA技术。副本技术通过增加不同数量的副本,可以有效提高数据可用性,但是存储利用率低(为副本数量分之一),并增加了数据管理的复杂度。纠删码通过冗余编码提高存储可用性,并且具备较低的空间复杂度和数据冗余度,存储利用率高,但编码方式复杂,需要大量计算并降低业务性能,且适用集群节点数量较多的情形。主备(Active/Standby)HA技术同样采用冗余技术获取高可用性,但存储资源浪费严重。全活(Active/Active)HA技术通过监控并将故障节点资源(IP、服务进程、业务数据等)切换至正常节点上,使整个系统连续不间断对外提供服务。这种HA技术不仅能够提高可用性,而且具备负载均衡功能,资源利用率高。HA技术的主要问题是资源切换期间会导致服务中断,通常只接管IP和服务进程资源,而业务数据或物理存储资源需要由外部系统进行管理。3副本技术副本(Replication)就是对原始数据的完全拷贝。通过为系统中的文件增加各种不同形式的副本,保存冗余的文件数据,可以十分有效地提高文件的可用性,避免在地理上广泛分布的系统节点由网络断开或机器故障等动态不可测因素而引起的数据丢失或不可获取。一般而言,副本数量越多,文件的可靠性就越高,但是如果为所有文件都保存较多的副本数量,将消耗大量的系统存储资源,并增加文件管理的复杂度。副本还可以起到提高系统性能的作用。通过合理的选择存储节点放置副本,并与适当的路由协议配合,可以实现数据的就近访问,减少访问延迟,提高系统性能。另外,通过增加副本数量,将集中地文件访问合理地分布到不同的节点和网络路径,利用其他节点和网络路径平衡节点和网络的负载,可以有效地解决热点问题。对于数据量较大的文件,还可以通过对多个副本的并行读取,进一步分散和平衡节点负载,提高文件读取的效率,提高系统的I/O性能。典型的副本案例包括RAID1、GFS/HDFS副本(默认三个)和Glusterfs复制卷4纠删码技术纠删码(ErasureCode)作为一种前向错误纠正技术主要应用在网络传输中避免包的丢失,存储系统利用它来提高存储可靠性。将要存储在系统中的文件分割成k块,然后对其编码得到的n个文件分片并进行分布存储,则只需存在k’个可用的文件分片,就可以重构出原始文件。纠删码的空间复杂度和数据冗余度较低,若文件分为k块,编码得到后得到的n个分块,需要存放在n个系统节点上,消耗n/k倍的存储资源。纠删码能提供很高的容错性和很低的空间复杂度,但编码方式较复杂,需要大量计算。目前,纠删码技术在分布式存储系统中得到研究的主要有三类,即阵列纠删码、RS(Reed-Solomon)类纠删码和LDPC(LowDensityParityCheckCode)纠删码。一些量化比较的工作研究表明,当数据存放的节点可靠性要求比较高时,如集群存储系统中,采用纠删码可以提供比副本机制更高的可靠性,并且所需的存储空间开销更小。传统的纠删码如RS码的计算量相当大,其解码即从任意n个数据块或编码块中重构原始数据的计算量随着n和m的增加成指数上升关系,严重影响存储性能。低密度校验LDPC码也可以提供很好的保障可靠性的冗余机制。与RS编码相比,LDPC编码效率要略低,但编码和解码性能要优于RS码以及其他的纠删码,主要得益于编解码采用的相对较少并且简单的异或操作。当前实际应用中,大部分集群存储系统主要使用副本技术来保证可用性,采用纠删码技术来提高可用性的系统包括HDFS-RAID、AZURE、QFS、ISILON等。5SAN架构集群存储HA方法
基于SAN架构的集群存储系统,后端存储采用中高端磁盘阵列子系统,支持RAID0、1、5、6、10等不同级别RAID等级,并通过光纤FC接口连接到各个集群节点。SAN磁盘阵列通过不同RAID等级对数据进行保护,通过冗余机制提供高可用性,同时降低了一定程度的存储利用率。在这种架构下,如果再采用副本或者纠删码来提供集群服务高可性,就会进一步降低存储利用率或者大幅降低集群系统性能。当集群节点服务器发生故障时,后端SAN存储通常仍然处于正常工作状态,存储在其上面的数据也是完整一致的。因此,完全可以从正常工作的其他集群节点中选择一个节点来接管故障节点的资源和服务,继续对外提供数据服务,保证业务的连续性。面向基于SAN架构的集群存储系统,可以采用全活HA架构技术,不仅接管故障节点的IP和服务进程资源,而且接管故障节点的存储软件服务进程和物理存储资源,支持NFS/CIFS/HTTP/FTP/ISCSI等协议协议。利用TCP/IP协议的连接重连技术,还可以实现类似CTDB对故障节点的透明接管,不会产生接管期间的业务中断。这些方法保证集群存储系统的存储利用率以及系统性能不会受到影响,并且可以透明接管完整的系统资源,提供更高的系统可用性。6基本设计原则如下:(1)当某个节点由于停机,或者系统出现异常,不能再向上层的应用提供数据存储服务时,则需要由备份节点接管连接到该节点上的SAN存储设备,并启动相应的服务,以保证前端应用仍然可以正常地进行数据存储操作。(2)为平衡系统中各节点的负载,避免备份节点的负载过重,当出现故障的节点修复后,需要将被接管的SAN存储重新恢复。(3)在上述的接管与恢复过程中,需要保证对前端的数据存储没有明显影响,CIFS、NFS等服务不中断,做到透明接管和恢复。(4)备份节点的选择,采用Round-Robin轮询法,在当前正常工作的节点中选择其中之一作为备份节点。7小结
架构的集群存储系统,数据可用性主要由后端的中高端磁盘阵列进行保障,集群可用性重点是集群节点上的资源,包括IP、服务进程、存储管理进程以及SAN物理存储资源。副本技术和纠删码技术当然也可以实现集群的高可用性,但会进一步降低存储利用率或者大幅降低集群系统性能。主备(Active/Passive)HA集群和N+M模式HA集群,不仅冗余较多造成资源消耗,而且提供的高可用性也受到限制。采用SAN架构全活高性能HA集群方法,提供了最大的高可用性,在集群只有一个节点在线时仍然可以对外提供服务。该模型允许最大程度利用硬件资源,每个节点都通过网络对客户机提供资源,每个节点的容量被定义好,使得性
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年环保行业污染排放监测与追溯报告
- 2026年文化产业供应链盈利分析报告
- 2026年农业绿色发展政策及行业准入标准研究报告
- 2026年网络安全行业报告:探讨网络安全市场增长潜力
- 2026年区块链行业应用创新与行业监管报告
- 2026年体育行业一次性购票与长期会员权益对比报告
- 2026年骑行服饰市场未来趋势报告
- 2026年玩具行业供应链多元化与风险备份策略研究报告
- 2026年摩托车行业租赁住房与家装家居市场分析报告
- 2026年5G通信技术在智能制造领域的应用报告:智能工厂产业升级
- GB/T 29911-2025汽车租赁服务规范
- 河大版小学信息技术课件教学
- 年产10万吨铝型材项目可行性研究报告建议书
- 06MS201-3排水检查井规范
- 贝壳租房合同协议
- T-CALC 007-2025 重症监护病房成人患者人文关怀规范
- 《农村既有居住建筑抗震鉴定与加固技术标准》
- ABBdcs组态课件CONDUCTORVMS操作
- DB43T 833-2016 前(后)置微耕机
- 心脏搭桥手术病历
- 高血糖患者的护理
评论
0/150
提交评论