CN111666047B 一种分布式系统中存储卷的生成方法和相关装置 （腾讯科技（深圳）有限公司）

一种分布式系统中存储卷的生成方法和相本申请实施例公开了一种分布式系统中存利用M个存储区块对存储节点进行划区管理。针载数限定了存储节点承载该存储卷所包括的N个小于或等于最大承载数，使得该N个存储块会被卷最多只有一部分数据块会受到所在存储区块2根据所述空间占用率从小到大的顺序对所述分布式系统的磁盘若遍历到的磁盘符合承载条件，加入磁盘集合，所述承载条磁盘确定为用于承载所述N个数据块的N个将配置了所述N个目标磁盘的存储节点确定为用于承载所述N个数据块的目标存储节点，在所述N个数据块中，由同一个存储区块承载的数据块数量小于或等于所述最大承载2.根据权利要求1所述的方法，其特征在于，根据加入所述磁盘集合的第N个磁盘的空间占用率，确定所述第N个磁若所述第N个磁盘的剩余空间大于或等于所述数据块的容量，执行所述将所述磁盘集合中的N个磁盘确定为用于承载所述N个数据块的N个目标从所述N个目标磁盘中分别划取连续存储空间用于生成所述存储卷，所述连续存储空将通过所述存储对象编码生成的N份数据分别存储到所述N个数8.一种分布式系统中存储卷的生成装置，其特征在3所述确定单元，还用于确定所述分布式系统中磁盘的空间占用率；根据所述9.根据权利要求8所述的装置，其特征在于，当所根据加入所述磁盘集合的第N个磁盘的空间占用率，确定所述第N个磁若所述第N个磁盘的剩余空间大于或等于所述数据块的容量，执行所述将所述磁盘集合中的N个磁盘确定为用于承载所述N个数据块的N个目标存储单元，用于将通过所述存储对象编码生成的N份数据分别存储到所述N个数据块所述处理器用于根据所述程序代码中的指令执行权利要求1_7任意一项4[0009]从所述M个存储区块中确定用于承载所述N个数据块的目标存储节点，在所述N个5了存储节点承载该存储卷所包括的N个数据块时，由同一个存储区块承载的数据块数量小于或等于最大承载数，使得该N个存储块会被分配到位于不同的存储区块的目标存储节点[0021]图1为本申请实施例提供的一种分布式系统中存储卷的生成方法的应用场景示意[0023]图3为本申请实施例提供的另一种分布式系统中存储卷的生成方法的应用场景示存储节点划分到多个作为MZ的存储区块中，通过MZ对存储节点对应的存储空间进行管理。6[0031]其中，云存储是在云计算(cloudcomputing)概念上延伸和发展出来的一个新的络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为[0034]本申请实施例提供的分布式系统中存储卷的生成方法应用于具有云计算能力的[0037]在一次存储任务中，服务器101可以确定出待生成的存储卷所包括的数据块的数[0038]然后，服务器101可以从5个存储区块中确定出用于承载3个数据块的目标存储节[0039]由于存储卷所包括的N个数据块被承载在多个不同的存储区块中，且每个存储区7影响同一个存储卷中的数据块不超过最大承载数，使得分布式系统升级时不停写成为可[0040]服务器101确定出目标存储节点后，就可以利用目标存储节点中的存储空间分别上述使用EC的集群，可以根据EC对应的N值确定出确定待生成的存储卷所包括的数据块的8[0051]由于待生成存储卷所包括的数据块的个数是基于待存储存储对象需要存储数据受到影响的个数最少，即需要尽可能的将同一存储卷中的数据块分配给不同的存储区块，同。数据块的容量大小标识了用于承载数据块的存储节点中需要划分出的存储空间的大[0057]存储节点对应的存储机器通常配置有磁盘，磁盘为提供数据存储功能的存储介9[0061]由于数据块的容量是具有一定大小的，通常将数据块的容量大小设定为16G。因中的所有磁盘之前，磁盘集合中的磁盘的总数量就达到了N个，说明系统有足够的剩余空间占用率第i小的磁盘，i从1开始取值。然后，按照排序后的顺序对磁盘进行遍历，即从DISK_LIST此刻为空，因此，磁盘1是满足承载条件的，于是将磁盘1加入SELECTED_DISK_续针对DISK_LIST中的第3个磁盘，即磁盘3，确定出磁盘3满足承载条件，则将磁盘3加入[0075]由于磁盘加入磁盘集合的先后顺序标识了磁盘集合中各个磁盘对应的空间占用存储节点的磁盘数量为1。也就是说，避免了同一个存储节点的两个磁盘都处于磁盘集合会如相关技术中全部数据块均受升级影响，从而有可能并不会影响存储卷提供的业务服[0083]上述实施例提供了一种分布式系统中存储卷的生成方法，该方法在分布式系统成存储卷。由于小于N的最大承载数限定了存储节点承载该存储卷所包括的N个数据块时，由同一个存储区块承载的数据块数量小于或等于最大承载数，使得该N个存储块会被分配[0084]上述实施例提供的分布式系统中存储卷的生成方法，在一种可能的应用场景中，[0097]所述确定单元401，还用于从所述M个存储区块中确定用于承载所述N个数据块的[0099]其中，所述分布式系统中任意一个存储节点配置至少一个磁盘；所述确定单元[0101]根据所述空间占用率从所述分布式系统中确定用于承载所述N个数据块的N个目[0106]当所述磁盘集合中磁盘的总数量达到N个时停止所述遍历，并将所述磁盘集合中[0109]若所述第N个磁盘的剩余空间大于或等于所述数据块的容量，将所述磁盘集合中块承载的数据块数量小于或等于最大承载数，使得该N个存储块会被分配到位于不同的存硬件实体化的角度对本申请实施例提供的用于于分布式系统中存储卷的生成服务器进行配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central[0125]从所述M个存储区块中确定用于承载所述N个数据块的目标存储节点，在所述N个程序用于执行上述实施例提供的分布式系统中存间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目