《ODCC-20220500A分布式存储多协议融合互通技术规范》_第1页
《ODCC-20220500A分布式存储多协议融合互通技术规范》_第2页
《ODCC-20220500A分布式存储多协议融合互通技术规范》_第3页
《ODCC-20220500A分布式存储多协议融合互通技术规范》_第4页
《ODCC-20220500A分布式存储多协议融合互通技术规范》_第5页
已阅读5页,还剩14页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

分布式存储多协议融合互通技术规范ODCC-2022-0500A

[编号ODCC-2022-0500A]

分布式分存布储式多存协储议融技合术互与通产技业术规范

分析报告

开放数据中心标准推进委员会

2022-019发布

分布式存储多协议融合互通技术规范ODCC-2022-0500A

目录

版权声明...........................................................1

编制说明...........................................................2

前言...............................................................3

一、范围..........................................................7

二、规范性引用文件................................................7

三、术语和缩略语..................................................7

(一)术语.....................................................7

1.融合Convergence........................................7

2.多协议融合互通Multi-protocolconvergenceandinterworking7

3.命名空间NameSpace.....................................7

(二)缩略语...................................................7

四、系统概述......................................................8

五、功能要求......................................................9

(一)基础级...................................................9

1.多协议要求..............................................9

2.小文件加速访问功能要求.................................10

3.多租户功能要求.........................................10

4.配额功能要求...........................................10

5.服务质量控制功能要求...................................11

6.分级存储功能要求.......................................11

7.快照功能要求...........................................11

8.回收站功能要求.........................................11

4

分布式存储多协议融合互通技术规范ODCC-2022-0500A

9.加密功能要求...........................................12

(二)增强级..................................................12

1.语义互通要求...........................................12

2.配额功能要求...........................................12

3.多租户功能要求.........................................13

4.服务质量控制功能要求...................................13

5.分级存储功能要求.......................................13

6.快照功能要求...........................................13

7.远程复制功能要求.......................................14

8.数据加密要求...........................................14

9.回收站功能要求.........................................14

六、运维管理.....................................................14

(一)配置管理要求............................................14

(二)系统监控要求............................................14

(三)在线升级要求............................................15

七、可靠性.......................................................15

(一)数据冗余要求............................................15

(二)故障修复要求............................................15

(三)硬盘误插拔修复要求......................................15

(四)亚健康检测要求..........................................16

八、兼容性.......................................................16

(一)管理平台兼容性要求......................................16

(二)NAS版本兼容性..........................................16

5

分布式存储多协议融合互通技术规范ODCC-2022-0500A

(三)对象版本兼容性..........................................16

(四)大数据平台兼容性要求....................................16

九、性能.........................................................17

(一)基础级..................................................17

1.业务性能...............................................17

2.数据重构要求...........................................17

(二)增强级..................................................18

十、安全.........................................................18

(一)管理员安全要求..........................................18

(二)业务安全要求............................................19

1.基础级.................................................19

2.增强级.................................................19

(三)数据加密................................................19

十一、硬件.......................................................19

(一)处理器要求..............................................19

(二)内存要求................................................19

(三)缓存要求................................................20

(四)网卡要求................................................20

十二、网络.......................................................20

(一)网络隔离要求............................................20

(二)RoCE网络要求...........................................21

6

分布式存储多协议融合互通技术规范ODCC-2022-0500A

一、范围

本规范规定了非结构化数据访问协议文件、对象、HDFS融合互通情况下

分布式存储的系统概述、功能特性、运维管理、可靠性、性能、安全、硬件、

等技术要求。

本规范适用于多协议融合互通的分布式存储产品选型及测评参考。

二、规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注

日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有

的修改单)适用于本文件。

YD/T4029-2022计算存储分离架构的分布式存储技术要求

三、术语和缩略语

(一)术语

1.融合Convergence

一套分布式存储系统能够提供文件、对象、大数据数据访问能力。

2.多协议融合互通Multi-protocolconvergenceandinterworking

通过一种协议写入的文件,可以同时被其他协议读写访问。

3.命名空间NameSpace

存储系统的逻辑组成单元,用户的文件和目录都存放在命名空间内。

(二)缩略语

缩略语英文全名中文解释

ACLAccessControlList访问控制列表

7

分布式存储多协议融合互通技术规范ODCC-2022-0500A

HDFSHadoopDistributedFileHadoop分布式文件系统

System

HPCHigh-performancecomputing高性能计算

LDAPLightweightDirectory轻型目录访问协议

AccessProtocol

NASnetwork-attachedstorage网络存储

NFSnetworkfilesystem网络文件系统

SMBServerMessageBlock文件共享传输协议

四、系统概述

早期的存储系统受限于单套系统的性能和扩展能力,一般是按照业务系

统垂直建设。随着分布式存储技术的成熟,单套分布式存储系统能够同时提

供文件、对象、大数据数据访问能力,系统规模从PB级走向EB级,允许多

业务共享存储系统的硬件资源。多业务系统访问在业务处理流程中存在访问

相同数据的诉求,因不同业务系统访问数据协议不同带来了数据复制和迁移,

效率低且空间浪费,多协议互通的分布式存储系统应运而生,一份数据能够

被多种协议同时访问,融合互通的分布式存储成为产业趋势。再进一步,提

供原生的文件、对象、HDFS协议减少协议转换带来的性能损失,使得融合互

通的存储获得更大的收益。多协议融合互通的分布式存储系统如图1所示。

8

分布式存储多协议融合互通技术规范ODCC-2022-0500A

图1多协议融合互通分布式存储系统示意图

本文件分两个级别定义分布式存储协议融合互通技术能力,基础级别规

定多协议融合分布式存储技术要求,增强级别规定在多协议融合的基础上增

加数据跨协议互通的分布式存储技术要求。

五、功能要求

(一)基础级

1.多协议要求

应符合以下技术要求:

a)单套存储系统同时支持文件/大数据/对象服务,支持NFS、SMB、S3、

HDFS等多种协议;

9

分布式存储多协议融合互通技术规范ODCC-2022-0500A

b)NFS语义支持mount、mkdir、count、rm、mv、cp,NFSlock,

truncate,软硬链接,rename文件,rename文件夹等操作;

c)SMB语义应支持创建目录、删除目录、创建文件、删除文件、拷贝文件、

查看文件、修改文件;

d)S3语义支持AWS(AmazonWebServices)S3标准接口,支持put、get、

listobject,对象ACL,桶的生命周期管理,对象的多版本,对象的自定义元

数据、对象的多段上传等接口;

e)HDFS语义支持append、truncate、hsync、hflush、rename、move、

concat、setfacl、setxattr等常用操作命令字。

2.小文件加速访问功能要求

应符合YD/T4029-2022中5.6节的要求。

3.多租户功能要求

应符合以下技术要求:

a)NFS/SMB、HDFS、S3等协议支持多租户;

b)多租户支持域控,域控包括AD域、LDAP域、NIS域;

c)多租户支持不同的IP地址/IP地址段接入。

4.配额功能要求

应符合YD/T4029-2022中5.7a)和b),并应符合如下技术要求:

a)多协议支持独立配额,任意协议写入或删除数据都受配额限制和统计;

b)支持容量配额,当文件总容量达到上限,即限制新文件的写入;

c)支持文件数配额,当文件数达到上限,即限制新文件的写入;

10

分布式存储多协议融合互通技术规范ODCC-2022-0500A

d)支持用户和用户组的配额,当用户或用户组的容量或个数到达配置的

上限时,即限制该用户或用户组的新数据写入。

5.服务质量控制功能要求

应符合如下技术要求:

a)支持用户级或NameSpace级别的服务质量控制;

b)支持限定OPS(个/S)和带宽(MB/S)两个维度的上限的服务质量控制。

6.分级存储功能要求

符合如下技术要求:

a)应支持基于NameSpace设置数据放置策略,支持不同目录选择不同类

型的存储介质;

b)应支持基于文件名、扩展名、时间设置数据迁移策略,数据自动迁移;

c)应支持设置数据回迁策略,回迁策略生效后,数据自动回迁。

7.快照功能要求

符合如下技术要求:

a)NFS/SMB/HDFS均应受快照保护;

b)支持瞬时快照,生成快照时对整系统性能的影响宜小于5%;

c)配额宜包含快照空间的容量。

8.回收站功能要求

应符合如下技术要求:

11

分布式存储多协议融合互通技术规范ODCC-2022-0500A

a)所有协议支持回收站功能;

b)支持回收站数据保留期限设置,超过保留期限的数据自动删除。

9.加密功能要求

NFS/SMB/HDFS/S3协议的数据均应支持加密功能。

(二)增强级

1.语义互通要求

符合以下技术要求:

a)多协议互通的数据应共用同一块物理空间,任意一个文件/对象数据同

时被NFS/SMB、HDFS、S3等协议同时读写;

b)应无需在计算侧安装插件,无需在计算侧或应用层改造,多协议存储

直接提供标准的NFS/SMB、HDFS和S3接口;

c)宜支持POSIX/MPI-IO语义,满足高性能的HPC(High-performance

computing)场景,POSIX/MPI-IO语义能读写NFS/SMB、HDFS、S3产生的文

件;

d)S3语义宜支持对象追加写功能,满足大文件的增量传输,减少网络的

流量;

e)多协议存储应支持纳管原生HDFS,并以统一的命名空间提供HDFS读写

能力;

f)对于NFS/SMB和HDFS写入的文件,宜支持互相元数据检索。

2.配额功能要求

符合如下技术要求:

12

分布式存储多协议融合互通技术规范ODCC-2022-0500A

a)应支持多协议独立配额和共享配额,任意协议写入或删除数据都受配

额限制和统计;

b)应支持用户对于自己的文件系统容量和文件数量的查询。

3.多租户功能要求

符合如下技术要求:

a)租户支持多种类型的用户,包括Unix本地用户、Windows本地用户和

对象用户;

b)多租户支持跨协议访问能力,可通过不同操作系统的不同用户进行映

射,实现多租户的互联互通。

4.服务质量控制功能要求

宜支持多协议共享OPS(个/S)和带宽(MB/S)两个维度的QoS,任意协

议读写业务均受共同的QoS控制。

5.分级存储功能要求

宜支持分级到蓝光存储等归档冷存储,支持通过任意协议从多协议融合

互通分布式存储访问归档冷存储,支持蓝光存储直接访问。

6.快照功能要求

宜符合如下技术要求:

a)一次快照,NFS/SMB/HDFS等多协议均受快照保护

b)S3协议宜支持列举NFS/SMB/HDFS协议产生的快照文件,访问快照数据

13

分布式存储多协议融合互通技术规范ODCC-2022-0500A

7.远程复制功能要求

宜支持跨区域的远程复制功能,任何协议数据都可被复制,且复制后任

意可以可访问。

8.数据加密要求

任意一个加密文件应支持被NFS/SMB、HDFS、S3等协议同时读写。

9.回收站功能要求

支持所有协议共享回收站,回收站中的数据任意一种协议都可以访问。

六、运维管理

(一)配置管理要求

符合如下技术要求:

a)应支持图形管理界面,提供管理员配置存储系统所需的图形化流程;

b)应支持存储池配置、NameSpace配置、访问接口配置、权限配置等。

(二)系统监控要求

符合如下技术要求:

a)应支持设备资源状态监控,如集群、节点、硬盘状态监控;

b)应支持性能监控,如带宽、IOPS;

c)应支持告警筛选,邮件告警通知,告警导出;

d)应支持日志记录和日志导出。

14

分布式存储多协议融合互通技术规范ODCC-2022-0500A

(三)在线升级要求

应支持分布式存储系统软件、硬件驱动在线升级和补丁。

七、可靠性

(一)数据冗余要求

符合如下技术要求:

a)应支持数据纠删码方式保护,支持+2、+2:1等多种EC配比;应能支持

2个存储节点同时故障,业务不中断,数据不丢失;

b)应支持数据中心级故障防护,保证故障一个数据中心,数据不丢失;

c)宜支持+3、+3:1、+4、+4:1等多种EC配比;宜支持任意4个节点同时

故障,业务不中断,数据不丢失;

d)宜支持22+2或20+4大比例EC,为大集群场景提供更高的存储资源利

用率降低成本。

(二)故障修复要求

符合如下技术要求:

a)应支持数据静默损坏的修复能力;

b)宜支持端到端的DIF。

(三)硬盘误插拔修复要求

宜支持硬盘误拔插快速恢复功能,硬盘拔出后10分钟内插入,盘内数据

有效,不会启动数据重构。

15

分布式存储多协议融合互通技术规范ODCC-2022-0500A

(四)亚健康检测要求

符合如下技术要求:

a)应支持慢盘检测和告警,存储系统自动隔离慢盘;

b)宜支持网络亚健康检测和告警,存储系统识别亚健康状态节点,自动

隔离该节点。

八、兼容性

(一)管理平台兼容性要求

应支持通过Rest接口对接管理平台。

(二)NAS版本兼容性

符合如下技术要求:

a)应NFS支持V3,V4

b)应SMB支持SMB2.0/2.1/3.0

c)MPI生态须兼容OpenMPI、MPICH、HyperMPI。

(三)对象版本兼容性

符合如下技术要求:

a)应支持AWSS3V2/V4RESTAPI.

b)应用支持JAVA、Python、C,.NET、iOS、Android、GO开发SDK。

(四)大数据平台兼容性要求

16

分布式存储多协议融合互通技术规范ODCC-2022-0500A

符合如下技术要求:

a)应支持与主流大数据平台对接,如ClouderaCDH、HortonworksHDP、

HuaweiFusionInsight、TranswarpTDH;

b)一套存储应同时支持对接多套的大数据平台,多套大数据计算平台共

用存储资源。

九、性能

(一)基础级

1.业务性能

多协议融合互通的每种访问协议性能考察指标如下:

a)NFS/SMB协议小文件读写衡量指标为单节点的OPS和平均响应时间;

b)NFS/SMB协议大文件读写衡量指标为单节点带宽和平均响应时间;

c)S3小对象读写衡量指标为单节点的TPS和平均响应时间;

d)S3大对象读写衡量指标为单节点的带宽;

e)HDFS协议衡量指标为单节点带宽;

f)Hbase衡量指标为入库和查询性能。

2.数据重构要求

符合如下技术要求:

a)应能在硬盘故障后,自动开始数据重构,不需要人工干预;

b)数据重构速度应大于2TB/H的;

c)数据重构对业务性能影响应小于20%。

17

分布式存储多协议融合互通技术规范ODCC-2022-0500A

(二)增强级

多协议融合互通的跨协议性能考察,大文件和小文件通过某种协议写入,

通过另外一种协议读出情况的性能呈现,具体指标如下:

a)NFS/SMB协议写入小文件,通过S3协议读出,衡量指标为单节点ops

和平均响应时间;

b)S3协议写入小文件,通过NFS协议读出,衡量指标为单节点ops和平

均响应时间;

c)NFS/SMB协议写入小文件,通过HDFS协议读出,衡量指标为单节点

ops和平均响应时间;

d)HDFS协议写入小文件,通过NFS协议读出,衡量指标为单节点ops和

平均响应时间;

e)S3协议写入小文件,通过HDFS协议读出,衡量指标为单节点ops和平

均响应时间;

f)HDFS协议写入小文件,通过S3协议读出,衡量指标为单节点ops和平

均响应时间。

十、安全

(一)管理员安全要求

符合如下技术要求:

a)应支持系统管理员、普通用户等多级管理权限控制;

b)应支持强密码复杂度策略;

c)应支持用户登录锁定机制,以便防止暴力破解;

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论