可计算存储规范书

可计算存储规范书一、范围本规范书定义了可计算存储系统的架构、功能、性能、接口、可靠性、安全性等方面的技术要求，适用于企业级数据中心、云计算平台、边缘计算场景下的可计算存储产品设计、开发、测试及部署。本规范书所指的可计算存储系统，是指将计算能力嵌入存储设备或存储介质，实现数据存储与计算任务就近处理的新型存储架构，包括但不限于智能固态硬盘（ComputationalSSD）、存储处理器（StorageProcessor）、分布式可计算存储集群等形态。二、规范性引用文件下列文件对于本规范书的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本规范书。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本规范书。《信息技术存储管理第1部分：概述》（GB/T31500.1-2015）《云计算分布式存储系统技术要求》（YD/T3709-2020）《信息技术安全技术信息安全管理体系要求》（GB/T22080-2016）NVMeoverFabrics1.4规范OpenComputeProject(OCP)可计算存储框架规范三、术语、定义和缩略语3.1术语和定义可计算存储（ComputationalStorage）：一种将计算资源与存储资源深度融合的技术架构，通过在存储设备内部或近存储位置执行计算任务，减少数据在存储与计算节点间的传输开销，提升系统整体性能与能效比。计算存储处理器（ComputationalStorageProcessor,CSP）：嵌入存储设备中的专用计算单元，具备数据处理、任务调度、存储管理等能力，可独立或协同执行计算任务。数据就地处理（DataProcessingIn-Situ）：在数据存储的物理位置直接执行计算任务，无需将数据迁移至外部计算节点。存储级计算（Storage-ClassComputing）：以存储系统为核心，将计算任务下沉至存储层，构建以数据为中心的计算架构。3.2缩略语CSP：ComputationalStorageProcessor（计算存储处理器）NVMe：Non-VolatileMemoryExpress（非易失性内存快速访问接口）SSD：Solid-StateDrive（固态硬盘）HDD：HardDiskDrive（机械硬盘）QoS：QualityofService（服务质量）SLA：Service-LevelAgreement（服务水平协议）API：ApplicationProgrammingInterface（应用程序编程接口）四、系统架构要求4.1总体架构可计算存储系统应采用“存储硬件+计算引擎+管理平面”的三层架构，实现存储资源与计算资源的统一调度与协同工作。存储硬件层：由存储介质（如NANDFlash、3DXPoint）、存储控制器、计算存储处理器等硬件组件组成，负责数据的持久化存储与基础计算任务执行。计算引擎层：提供通用计算、专用加速（如AI推理、数据压缩/解压缩、加密/解密）等能力，支持计算任务的动态调度与资源隔离。管理平面层：实现可计算存储系统的配置管理、监控告警、任务调度、资源编排等功能，提供统一的北向接口与南向接口，支持与上层应用及底层硬件的交互。4.2架构组件要求计算存储处理器（CSP）应支持多核心并行计算，单核心主频不低于2.0GHz，总计算能力不低于16TOPS（INT8精度）。应具备硬件级数据加速能力，支持AES-256加密/解密、LZ4/Zstandard压缩/解压缩、SHA-256哈希计算等常用数据处理任务的硬件加速。应集成高速存储接口，支持NVMe2.0及以上协议，单端口带宽不低于32Gbps。应支持任务隔离机制，通过虚拟化技术实现不同用户或应用之间的计算资源与存储资源隔离，避免任务间的相互干扰。存储介质企业级可计算存储系统应采用至少3DTLC或QLCNANDFlash存储介质，支持SLC缓存技术，随机读写性能不低于100,000IOPS（4KB块大小）。支持存储介质的在线扩容与替换，无需中断系统服务，扩容后系统性能应线性提升。存储介质的MTBF（平均无故障时间）不低于2,000,000小时，支持端到端数据完整性校验。管理平面应提供图形化管理界面（GUI）与命令行界面（CLI），支持多租户管理，可根据租户需求分配计算与存储资源。应具备实时监控能力，可采集系统的CPU使用率、内存使用率、存储IOPS、带宽、延迟等关键指标，监控精度不低于1秒。应支持自动化任务调度，根据应用负载动态调整计算资源分配，当某一计算节点负载超过阈值（如CPU使用率≥80%持续5分钟）时，自动将任务迁移至空闲计算节点。五、功能要求5.1核心计算功能通用计算任务支持可计算存储系统应支持标准的x86或ARM指令集，能够运行Linux、Windows等主流操作系统，支持C、C++、Python等编程语言开发的应用程序。支持容器化部署，兼容Docker、Kubernetes等容器编排平台，可将计算任务打包为容器镜像，在存储节点的计算引擎中快速部署与运行。提供计算任务的生命周期管理功能，包括任务的创建、启动、暂停、恢复、终止等操作，支持任务状态的实时查询与日志记录。专用加速功能针对AI推理场景，应支持TensorFlow、PyTorch等主流深度学习框架，提供硬件加速引擎，可实现图像识别、自然语言处理等AI任务的近存储推理，推理延迟不超过10ms（单张224×224像素图片识别）。针对大数据分析场景，应支持SQL查询、MapReduce计算框架，可在存储节点内部完成数据过滤、聚合、排序等操作，减少数据传输量，提升分析效率。支持数据格式转换功能，可在存储节点内部完成JSON、CSV、Parquet等数据格式之间的转换，无需将数据传输至外部计算节点。5.2存储功能数据持久化存储支持多种存储协议，包括SCSI、NVMe、iSCSI、NFS、SMB等，可与传统存储系统及云原生存储系统无缝对接。提供数据冗余保护机制，支持RAID0、1、5、6、10等多种RAID级别，支持纠删码（ErasureCoding）技术，当单个或多个存储介质故障时，数据可快速恢复，数据恢复时间不超过1小时（针对1TB数据量）。支持数据快照与克隆功能，可在秒级内创建数据快照，快照数据与原数据相互独立，支持快照的在线恢复与克隆，克隆后的卷可直接用于测试或数据分析。数据分层管理支持基于数据访问频率的自动分层存储，将热数据（访问频率高）存储在高性能存储介质（如3DXPoint）中，将冷数据（访问频率低）存储在低成本存储介质（如QLCNANDFlash或HDD）中，数据分层迁移过程对应用透明。可根据用户自定义策略进行数据分层，支持基于时间、文件大小、访问模式等多种策略组合，例如将30天内未访问的数据自动迁移至冷存储层。5.3协同调度功能计算与存储资源协同调度管理平面应实时监控计算资源与存储资源的使用情况，根据应用的IO特征与计算需求，动态调整计算任务的执行位置。例如，对于IO密集型任务，将计算任务调度至存储节点执行；对于计算密集型任务，将部分数据缓存至计算节点本地存储，减少数据传输开销。支持跨节点协同计算，当单个存储节点的计算资源无法满足任务需求时，可将任务拆分至多个存储节点并行执行，任务拆分与调度过程对应用透明。与外部计算集群协同可计算存储系统应支持与外部计算集群（如Hadoop集群、Spark集群）的协同工作，提供标准的接口（如HDFSAPI、SparkSQL接口），使得外部计算集群可直接访问可计算存储系统中的数据，并将部分计算任务卸载至存储节点执行。支持计算任务的动态卸载，当外部计算集群负载过高时，可将部分计算任务卸载至可计算存储系统的计算引擎中执行，降低外部计算集群的压力。六、性能要求6.1计算性能通用计算性能单台可计算存储设备的整数计算性能不低于32TOPS（INT8精度），浮点计算性能不低于8TFLOPS（FP16精度）。运行标准测试程序（如SPECCPU2017）时，单核心性能不低于SPECint2017300分，多核心性能不低于SPECint20172000分。专用加速性能AI推理任务：在ResNet-50模型下，单台可计算存储设备的推理吞吐量不低于1000张/秒（224×224像素图片），推理延迟不超过5ms。数据压缩/解压缩：支持LZ4压缩算法时，压缩吞吐量不低于10GB/s，解压缩吞吐量不低于20GB/s；支持Zstandard压缩算法时，压缩吞吐量不低于5GB/s，解压缩吞吐量不低于15GB/s。数据加密/解密：支持AES-256加密算法时，加密吞吐量不低于8GB/s，解密吞吐量不低于10GB/s。6.2存储性能随机读写性能4KB块大小随机读性能不低于200,000IOPS，随机写性能不低于150,000IOPS，读写延迟不低于0.5ms。当存储系统扩展至100节点集群时，整体随机读性能不低于20,000,000IOPS，随机写性能不低于15,000,000IOPS，性能线性扩展比例不低于90%。顺序读写性能顺序读吞吐量不低于3GB/s，顺序写吞吐量不低于2GB/s（单台设备）。集群模式下，顺序读吞吐量不低于300GB/s，顺序写吞吐量不低于200GB/s（100节点集群）。6.3端到端性能数据处理延迟对于数据就地处理任务，端到端处理延迟（从任务提交到结果返回）不超过10ms（数据量不超过1MB）；对于大数据分析任务，端到端处理延迟不超过10秒（数据量不超过1TB）。与传统存储系统相比，可计算存储系统执行相同数据处理任务时，端到端性能提升不低于50%，数据传输量减少不低于70%。能效比可计算存储系统的能效比（性能/功耗）不低于1000IOPS/W（随机读写性能），不低于100MB/s/W（顺序读写性能）。执行计算任务时，能效比不低于1TOPS/W（INT8计算性能）。七、接口要求7.1北向接口应用编程接口（API）提供RESTfulAPI接口，支持计算任务的创建、查询、修改、删除等操作，支持存储资源的管理与监控。API接口应符合OpenAPI3.0规范，提供详细的接口文档与示例代码。支持gRPC接口，用于低延迟、高吞吐量的任务调度与数据传输，适用于实时性要求较高的应用场景。提供SDK（软件开发工具包），支持Java、Python、Go等多种编程语言，简化应用程序与可计算存储系统的集成。文件系统接口支持POSIX兼容的文件系统接口，使得传统应用程序无需修改即可直接访问可计算存储系统中的数据，支持文件的创建、读取、写入、删除等操作。支持分布式文件系统接口，如HDFS接口、CephFS接口，可与大数据分析框架无缝集成。7.2南向接口硬件管理接口支持IPMI（智能平台管理接口）或Redfish接口，用于对可计算存储设备的硬件状态进行监控与管理，包括CPU、内存、存储介质、电源、风扇等组件的状态采集与控制。支持NVMeManagementInterface（NVMe-MI），用于对NVMe存储设备进行管理，包括固件升级、健康状态监控、错误日志查询等操作。网络接口支持100Gbps以太网接口或InfiniBandHDR接口，用于存储节点之间及存储节点与外部计算节点之间的高速数据传输。支持NVMeoverFabrics协议，通过网络实现NVMe设备的远程访问，支持TCP、RDMA等传输方式。八、可靠性要求8.1硬件可靠性设备MTBF：可计算存储设备的MTBF不低于1,500,000小时，系统整体MTBF不低于5,000,000小时（集群模式，100节点）。冗余设计：关键硬件组件（如电源、风扇、网络接口、存储控制器）应采用冗余设计，支持热插拔，当某一组件故障时，冗余组件可自动接管工作，无需中断系统服务。故障检测与预警：硬件组件应具备故障自检测能力，可实时监测组件的温度、电压、电流等参数，当参数超出阈值时，及时发出告警信息，告警信息可通过管理平面的GUI、CLI或API进行接收与处理。8.2数据可靠性数据完整性：支持端到端数据完整性校验，通过CRC32C或SHA-256算法对数据进行校验，确保数据在存储、传输与计算过程中不被篡改或损坏。数据备份与恢复：支持全量备份与增量备份，备份数据可存储在本地存储介质或远程存储系统中，备份过程对应用透明。数据恢复时间目标（RTO）不超过1小时，数据恢复点目标（RPO）不超过15分钟。容灾能力：支持跨地域容灾，可将数据同步复制至异地存储系统，当主数据中心发生故障时，可快速切换至异地容灾中心，业务中断时间不超过5分钟。8.3软件可靠性系统可用性：可计算存储系统的年度可用性不低于99.99%，即年度计划外停机时间不超过52.56分钟。故障恢复：当软件模块发生故障时，系统应具备自动恢复能力，可在不超过30秒的时间内重启故障模块或切换至备用模块，恢复系统服务。软件升级：支持在线升级，升级过程中系统服务不中断，升级时间不超过30分钟（单台设备），集群模式下支持滚动升级，升级过程中系统性能下降不超过20%。九、安全性要求9.1数据安全数据加密：支持静态数据加密与动态数据加密。静态数据加密采用AES-256算法对存储介质中的数据进行加密，加密密钥由硬件安全模块（HSM）管理；动态数据加密采用TLS1.3协议对数据在传输过程中进行加密，防止数据被窃取或篡改。访问控制：基于角色的访问控制（RBAC）机制，定义不同角色（如管理员、租户用户、应用程序）的权限，限制用户对计算资源与存储资源的访问。支持多租户隔离，不同租户之间的数据与计算资源完全隔离，互不干扰。数据销毁：支持安全数据销毁功能，包括逻辑销毁与物理销毁。逻辑销毁通过覆盖写入随机数据的方式删除数据，至少覆盖3次；物理销毁通过粉碎或消磁的方式销毁存储介质，确保数据无法被恢复。9.2系统安全身份认证：支持多因素身份认证（MFA），包括密码、短信验证码、USBKey、生物识别等多种认证方式，防止非法用户登录系统。漏洞管理：定期对系统进行漏洞扫描与安全评估，及时修复已知漏洞，漏洞修复时间不超过72小时（高危漏洞）。提供安全补丁自动更新功能，确保系统软件始终处于最新安全版本。安全审计：记录所有用户操作与系统事件，包括登录、任务提交、资源访问、配置修改等，审计日志至少保存180天，支持审计日志的查询与导出，便于安全事件的追溯与分析。9.3网络安全网络隔离：支持虚拟局域网（VLAN）、虚拟专用网络（VPN）等网络隔离技术，将不同租户或应用的网络流量进行隔离，防止网络攻击与数据泄露。防火墙与入侵检测：内置防火墙功能，可配置访问控制策略，限制外部网络对可计算存储系统的访问。支持入侵检测系统（IDS）与入侵防御系统（IPS），实时监测网络流量，发现并阻止恶意攻击行为。十、测试要求10.1功能测试计算功能测试：验证可计算存储系统的通用计算能力、专用加速能力、任务调度能力等，测试内容包括任务创建与执行、资源隔离、跨节点协同计算等。存储功能测试：验证存储系统的数据持久化、数据冗余保护、数据分层管理、快照与克隆等功能，测试内容包括数据写入与读取、故障恢复、数据迁移等。协同调度功能测试：验证计算与存储资源的协同调度能力，测试内容包括负载均衡、任务动态卸载、与外部计算集群的协同工作等。10.2性能测试计算性能测试：使用标准测试工具（如MLPerf、SPECCPU2017）测试系统的通用计算性能与专用加速性能，记录系统的计算吞吐量、延迟、能效比等指标。存储性能测试：使用fio、dd等工具测试系统的随机读写性能、顺序读写性能、IOPS、带宽、延迟等指标，测试单台设备与集群模式下的性能表现。端到端性能测试：模拟实际应用场景，测试系统执行数据处理任务的端到端性能，包括任务执行时间、数据传输量、性能提升比例等指标。10.3可靠性测试硬件可靠性测试：通过硬件故障注入测试（如拔掉电源、风扇、存储介质等），验证系统的冗余设计与故障恢复能力，记录系统的故障检测时间、恢复时间、数据完整性等指标。数据可靠性测试：模拟数据损坏、丢失等场景，验证系统的数据备份与恢复能力，记录数据恢复时间、数据完整性等指标。软件可靠性测试：通过软件故障注入测试（如杀死进程、修改配置文件等），验证系统的软件故障恢复能力，记录系统的恢复时间、可用性等指标。10.4安全性测试数据安全测试：测试数据加密、访问控制、数据销毁等功能的有效性，通过渗透测试验证数据在存储、传输与计算过程中的安全性。系统安全测试：测试身份认证、漏洞管理、安全审计等功能，模拟非法登录、漏洞利用等场景，验证系统的安全防护能力。网络安全测试：测试网络隔离、防火墙、入侵检测等功能，模拟网络攻击（如DDoS攻击、SQL注入攻击等），验证系统的网络安全防护能力。十一、部署要求11.1硬件部署环境要求：可计算存储设备应部署在温度为10℃~35℃、相对湿度为20%~80%（非冷凝）的环境中，电源电压为200V~240VAC，频率为50Hz~60Hz。机架部署：支持标准19英寸机架部署，设备高度不超过2U，单台设备重量不超过30kg，支持前后通风，与其他设备的间距不小于10cm。网络部署：可计算存储系统应部署在专用的存储网络中，与计算集群通过高速网络（如100Gbps以太网）连接，网络延迟不超过1ms。11.2软件部署操作系统要求：支持CentOS7.6及以上版本、Ubuntu18.04及以上版本、RedHatEnterpriseLinux8.0及以上版本等主流Linux操作系统。虚拟化支持：支持KVM、VMware等虚拟化技术，可在虚拟机中部署可计算存储系统的管理平面与计算引擎，支持虚拟机的在线迁移与动态扩容。云原生部署：支持Kubernetes集群部署，通过HelmChart进行快速安装与配置，支持StatefulSet部署模式，确保存储数据的持久化与高可用性。11.3部署流程规划阶段：根据应用需求与现有基础设施，规