版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
OceanStorA800V700R001C30产品技术白皮书文档版本文档版本01发布日期2026-09-18文档版本01(2026-09-18)版权所有©华为技术有限公司i非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分特性可能不在您的购买或使用范围之内。除非合同另有约定,华为公司对本文档内容不做任何明示由于产品版本升级或其他原因,本文档内容会不定期进行更地址:深圳市龙岗区坂田华为总部办公楼邮编:518129网址:客户服务邮箱:support@客户服务电话:4008302118文档版本01(2026-09-18)版权所有©华为技术有限公司ii/cn/psirt/vul-response-process/enterprise/cn/security-advisoryOceanStorA800V700R001C30产品技术白皮书目录文档版本01(2026-09-18)版权所有©华为技术有限公司iii 1 2.1控制框 32.1.1控制器模块 52.1.2接口模块 52.1.3硬盘模块 72.2SmartMatrix互联架构 2.2.1控制框内共享互联 102.2.2控制框间交换互联 11前端和Scale-out网络分离 11前端和Scale-out网络合一 132.2.3低时延RDMA设计 16 173.1SmartMatrix4.0集群架构 203.1.1集群模型 203.1.2DME的管理模型 223.2OceanFS分布式并行文件系统架构 223.2.1Active-Active负载均衡 24数据布局均衡 24大文件分片 24访问接入均衡 263.2.2高性能缓存加速 28智能预取技术 28智能多级缓存技术 29智能全局缓存技术 313.2.3高性能客户端 31NFS/NFS+客户端 31DataTurbo客户端 323.2.4对象协议 343.2.5跨协议访问 343.2.6审计日志(Zone集群) 353.3FlashLink®原生全闪存架构 36OceanStorA800V700R001C30产品技术白皮书目录文档版本01(2026-09-18)版权所有©华为技术有限公司iv3.3.1智能众核技术 363.3.2端到端I/O优先级 383.3.3大块顺序写 393.3.4多流分区技术 413.3.5数控分离技术 44 464.1服务质量控制(SmartQoS) 464.1.1功能特性 46上限流控 47下限保障 494.1.2策略管理 49分层管理 49策略分配 50推荐配置 504.2配额(SmartQuota) 514.2.1配额的原理 514.2.2配额与Dtree 514.2.3配额的类型 514.2.4配额的配置对象 524.2.5配额的应用场景 524.3多租户(SmartMulti-tenant) 524.4推理加速(UnifiedCache) 53 555.1快照(HyperSnapZone集群) 555.2WORM(HyperLockZone集群) 565.3阵列加密(HyperEncryption) 586增值特性:Cloud系列 6.1CloudVxlan 60 7.1硬件可靠性 637.1.1器件可靠性设计 637.1.2控制器可靠性设计 637.1.3整机可靠性设计 647.2数据可靠性设计 657.2.1缓存数据可靠性保证 65缓存多副本 66掉电保护 667.2.2持久数据可靠性保证 66盘内RAID可靠性技术 66分布式EC可靠性技术 67RAID2.0+可靠性技术 67OceanStorA800V700R001C30产品技术白皮书目录文档版本01(2026-09-18)版权所有©华为技术有限公司v.1盘级冗余RAID 68.2框级/柜级冗余分布式EC 68缩列重构 697.2.3I/O路径数据可靠性保证 69文件checksum校验 69盘持久化矩阵校验 707.3业务可用性设计 717.3.1接口模块/链路冗余保护 717.3.2客户端多路径保护 717.3.3控制器冗余保护 727.3.4存储介质冗余保护 72盘故障快速隔离 72多盘冗余 72 8.1前端网络优化 758.2CPU计算优化 768.3后端网络优化 778.4支持前端/ScaleOut网络合一 779系统可服务性设计 9.1系统管理 829.1.1DeviceManager 82存储空间管理 82.1灵活的存储池管理 83.2开箱快速配置向导 83.3基于已有对象快速发放NAS资源 83配置任务 84故障管理 85.1硬件设备状态监控 85.2告警与事件监控 85性能及容量管理 86.1内置性能数据采集与分析能力 86.2独立的数据存储空间 87.3支持容量预测 87.4支持性能阈值告警 87.5支持定时报表 88AIOps设备侧智能运维 88.1智能GUI 88.2性能异常识别 89.3容量预测 89.4性能预测 909.1.2CLI 909.1.3RestfulAPI 90OceanStorA800V700R001C30产品技术白皮书目录文档版本01(2026-09-18)版权所有©华为技术有限公司vi9.1.4SNMP 909.1.5配套工具 909.2升级过程主机透明(NDU) 91 9210.1软件完整性保护 9210.2安全启动 9310.3加密盘数据加密(DataEncryption) 93 95 9912.1智能存储 9912.1.1智能缓存 99 13.1数据面生态兼容性 10313.1.1主机操作系统 10313.1.2存储网络 10313.2管控面生态兼容性 10313.2.1网管软件 103 1简介来智能算力和存力需求爆炸式增加。超大规模预态、超大规模预训练大模型是人工智能产业的标配,巨大的模型规模为的表达能力和学习能力。大模型需要大量数据进行训练,只有高质量大发挥大模型的参数规模优势。强大的计算资源让计算新范式加速实现,要几周到几个月,因此对AI的基础设施,享、高可靠的诉求。不仅如此,华为AI存(TTFT),提升推理吞吐性能,支持主流昇腾、英伟达推理生态,支持业界主流全栈技术未来发展趋势,面向智算、超算等业–高可靠:全共享硬件;控制器、接口、盘等组件全–安全易用:软硬件一体预安装出厂,集群内管理和–规划0忧虑:控制器、接口、盘,按需–跨协议共享能力,支持不同业务阶段的不同应用–盘框配合技术:双端口共享盘、精细化故障管理和力–数控分离技术:卡、控、盘共享协同,业务请求中●原生AI存储架构,为AI的系统提供存储底座OceanStorA800V700R001C30产品技术白皮书2硬件架构文档版本01(2026-09-18)版权所有©华为技术有限公司32硬件架构OceanStorA800硬件架构采用乐高组合架构,以FRU为基础组件,以控制框为组合载体构建设备的基本单元。多框之间采用高速互联架构构建存储集群,框fullmesh共享互联组网,框间采用双交换平面全互联方式组网。2.1控制框2.2SmartMatrix互联架构OceanStorA800采用8U盘控一体形态,由系统插框和各种FRU组成(如图2-1采用风冷散热。FRU组件包括:接口模块盒、接口模块、控制器模块、电源模块、BBU模块、风扇模块、硬盘盒、硬盘单元。FRU插入系统插框维护采用前后对插的布局方式,前视图维护FRU采用上下布局(如图2-2后视图维护FRU采用左右布局(如图2-3所示)。单框内的FRU采用负载均衡的冗余架构,无单点故障,且支持在线更换和供前端链接组件;硬盘盒、接口模块盒、电源模块部署从后视图端插,分别提供对应信号的链接能力,和控制器的前端连接器对接。正交无背板的对插模式,无需背板则),顺畅,散热效率,且不会漏热到接口模块/盘模块的产生热级联效应,提升热敏器件(光模块)和盘的可靠性。),),单;非共享接口模块采用单归属互联架构,单卡只和其中一个控制器互2、接口模块的端口和协议规格能力,请查看产●前端主机链接:主机能够通过共享接口模块的任一端口分别访问2个控制器;正常场景下,主机到两个控制器的链路负载均衡;控制器故障情况下●前端主机链接:在使用非共享接口模块的情况下,若主机需要与每个控制器建立物理链路,需要最少2条链路;控制器故障情况下,需–前端主机连接网络,由解决方案须知须知):–前端主机连接网络,由解决方案),方案的结合来保证全盘磨损均衡,同时通过盘框配合的能力,上报本盘文档版本01(2026-09-18)版权所有©华为技术有限公司8LDPC即低密度奇偶校验码(LowDensityParityCheckCode),是通过校验矩阵定义的一类线性码,主要用于数据校验和纠错,广泛应用于无线通信、卫星域。在数据写入NANDFLASH的Page时,计算出数据的LDPC校验信息一起写入到Page中;在从Page中读取数据的时候通过LDPC进行校验和纠错。HSSD盘片还通过闪存颗粒间内置XOR异或引擎对用户数据进行冗余保护,当Flash颗粒出现物理故障(页失效、块失效、DIE失效甚至颗粒失效等)时,采用校验数据块对故障块上的用户数据进行恢复,确保用户数据不丢失。当故障超出盘级NANDFLASH上的数据会由于存放时间过长,读干扰、写干扰、随机失效等原因导致数据发生跳变错误。HSSD会周期性的读取NANDFLASH上的数据,识别数据跳变情况,对于出现跳变的数据及时校验修复;如果超出盘级修复能力则上报框配合技术由系统做数据修复回写。通过这一后台巡检过程可以提前识并进行处理,能有效防止这些错误导致的数据OceanStorA800使用HSSD为PALM封装规格,(如图2-7所示),采用NVMe(Non-VolatileMemoryExpress)接口协议,支持双端口互联能力,同时和框内两个控制板模块进行共享互联,支持双控共享访问和控制器容错访问。PALM口模块之间通过PCIe总线连接,实现P2P的通信能力,提供极致低时延(互联图如图2-9)。NVMe可以支持更大的并发和队列深度(64K个队列,每队列深度可达64K),充分发掘SSD的性能。NVMe接口的SSD通过多年在闪存技术方面的积累,热OceanStorA800V700R001C30产品技术白皮书2硬件架构文档版本01(2026-09-18)版权所有©华为技术有限公司9PALM为华为自定义的盘物理形态,其拉手条与盘融为一体,尺寸规格与2.5寸SSD差异较大,整体规格:79.8mm*9.5mm*160.2mm2.2SmartMatrix互联架构OceanStorA800采用高速全互联架构,如图2-8所示,该架构采用了分层互联模型,从FRU(控制器、接口等)、到控制框、到zone集群再到HyperScale集群层级层层递●控制框内多控互联:控制器、接口模块、盘之间采用PC控制框采用盘控一体专用硬件设计,框内组件简洁、安全、可靠。框内算力组件包括:控制器、接口模块和●硬盘盒:硬盘盒通过正交互联同时连接两个控制器;硬盘则采用双端口组网模●接口模块:支持不同规格的接口模块,成对配置(基本冗余可靠性诉求),接口前端和Scale-out网络分离要外置线缆进行组网连接。控制框有16张文档版本01(2026-09-18)版权所有©华为技术有限公司12Scale-out组网采用胖树组网拓扑图:zone内组网中,控制框到L1交换机采用接口模块端口和交换机互联;HyperScale集群则由多个zone二次互联,L1交换机上行接入到HyperScaleL2交换机组网构建整集群的互联互通能力。网络上下行建议不低于8:1的收敛比构建,如图所示图2-11为第一组组网逻辑,其它按该逻辑依组网下,需要的交换机端口数量为:L1交换机(即zone收敛)”;L2交换机(即HyperScale交换机)端口数为L1交换机上行端口数*zone数;图2-11Scale-out组网图文档版本01(2026-09-18)版权所有©华为技术有限公司13L1交换机采用AB平面的负载均衡和冗余隔离模式,实现按需配置;推荐单网卡的2个端口分别连接配套一组AB平面交换机。按需扩展和增加交换机配置,HyperScale交换机的选型规格按集群目标zone的规格配置,交换机的数量按实际配置规模选择。前端和Scale-outOceanStorA800的集群组成由多个控制框间走scale-out的分层组网构建,支持分层在线扩容到目标规模。scale-out组网采用接口模块+RoCE交换机的双平面组网模式,需要外置线缆进行组网连接。控制框有16张接口模块,支持按需配置为业务接口,为简化维护推荐按操作顺序选择接口模块,前端业务按L和R的0/1,2/3,4/5,6/7安装。其中为L和R的2/3,4/5,6/7槽位作为Scale-out接口。槽位标识如图2-12所示。OceanStorA800V700R001C30产品技术白皮书2硬件架构文档版本01(2026-09-18)版权所有©华为技术有限公司14图2-12单zone*8个控制框的交换机组网图(2平面共享模式)文档版本01(2026-09-18)版权所有©华为技术有限公司15文档版本01(2026-09-18)版权所有©华为技术有限公司16L1交换机采用AB平面的负载均衡和冗余隔离模式,实现按需配置;单网卡的2个端口分别连接配套一组AB平面交换机(P0连接A交换机,P1连接B交换机);按需扩展和增加交换机配置;L1交换机升级需要按照A平面(连接存储网卡P0口)升级完,再升级B平面(连接存储网卡P1口)。SmartMatrix的跨控组网协议均采用RoCE,支持控制器之间的数据采用单边RDMA通数据经过RoCE无损链路进行RDMA数据传输,数据拷贝任务由网卡端口DMA引擎卸载执行,无需两侧CPU参与,不仅释放算力消耗,还充分发挥DMA数据传输的大带宽低RDMA的通信模式支持单边通信和双边通信模式。a.把控制消息发送到对端,对端准备好接受的内存资源等,通知发送端准备好2.单边RDMA的通讯过程,又称立即数模式,在RDMA建链时协商buffer大小,用于a.控制消息和数据一起发送到接收端,接收端直接存放在预先准备的bufferOceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司173软件架构本章节描述OceanStorA800的软件总体架构和各个子领域架构的基本原理和特征。OceanStorA800系统软件由主机客户端软件、存储业务服务软件和存储管理软件三大主机客户端软件和存储管理软件采用独立软件组件包方式发布,适的服务器硬件进行安装部署。同时OceanStorA800系统支持配套一系列的维护工对象的配置管理功能。提供设备管理终端和北OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司19存储管理软件用于客户日常对存储系统配置与维护场景下,用户可以通过不同的维护终端软件,比如DME、SmartKit、DMEIQ等执行对存储系统进行配置和维护管理操安装部署在存储访问的应用主机上的存储客户端软件是存储服务在主机侧的一个驱动,应用程序可软件提供的API接口、或调用该软件注册到服务器OS中的接口实OceanStorA800配套的存储软件包括DataTurbo、NFS+和OS自SmartKitSmartKit(SmartKit曾用名为OceanStorToolkit)可以帮助技DMEDME为存储集群的统一管理提供GUI的配置管理能力,满足设DMEIQ(eService)DMEIQ(eService)为存储云管理平台,提供远程维护能力。OS原生NFS客户端存储应用主机OS自动的NFS客户端软件,提供NFS协议访问NFS+华为存储团队基于开源NFS软件基础上做了功能增强,主要是在访问I/O栈的优化、客户端和服务端多路径链接的可靠性、多路径并发上优化,实现高可靠高性能NFS+多路径的通用能力已经纳入openEuler的开源社区于2023年发布上市,存储配合定制优化部分则配套存储产品在华为support网站发布使用。OceanStorDataTurbo是华为存储团队开发的,面向不同的应用系统OceanStorDataTurboDTFS为NAS访问客户端组件,提供文档版本01(2026-09-18)版权所有©华为技术有限公司203.1SmartMatrix4.0集群架构3.2OceanFS分布式并行文件系统架构3.3FlashLink®原生全闪存架构3.1SmartMatrix4.0集群架构SmartMatrix集群架构演进到第四代,针对大规模存储控制器的集群管理架构优化和集群规模扩展。该集群采用分层集中管理模型,支持设备和业务状态的实时图3-2SmartMatrix4.0分层逻辑图SmartMatrix4.0集群分4层管理模型,根据管理对象/资源的作用域部署在对应的集群/表3-4SmartMatrix4.0的分层模型层级①FRU1、是系统的最小组织单元,但是无法独立构建存储服务系统,独立的软件运行环境和功能能力。提供特有的功能2、支持软件故障和硬件软故障的自愈修复能力线,不需要做冗余切换/接管。②框1、是系统的最小业务服务单元,由多种类型和数量的FRU单元组成。同类FRU单元至少1+1冗余配置(推荐成对配置)。支持FRU在2、提供FRU单元业务负载调度控制能力,工作状态监控和故障倒换OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司21层级③zone1、是系统的最小集群管理服务单元,由1个控制框或多个控制框+L12、提供存储的业务服务能力,包括存储池和FS服务。服务的可用资源范围为zone内的硬件资源。举例:指定作用域为zone的FS,则FS的最大性能和容量规格为zone的配置最大规格能力。3、提供集群的配置管理和北向对接。GUI的管理终端软件为DM(OceanStorDeviceManager,zone内软硬件的管理)和CLI(管理视图为zone集群,提供zone集群状态、软硬件对象管理)。④HyperScale1、是系统的大规格集群管理服务单元,由1个zone集群或多个zone集群+HyperscaleL2交换机组网组成。支持zone的在线扩容,即插HyperScale集群范围内的所有硬件资源。举例:指定作用域为HyperScale的FS,则FS的最大性能和容量规格为HyperScale集群配3、提供集群的配置管理和北向对接。GUI的管理终端软件为DME(OceanStorDataMamagmentEngine,整个集群内所有软硬件管理能力,含客户端软件)和CLI(管理视图为HyperScale集群,提供HyperScale集群状态和HyperScaleFS关联对象管理)。4、DME支持兼容性范围内的交换机管理,包括L2和L1交换机。SmartMatrix4.0集群故障管理模型,根据故障影响域进行分层容错。表3-5SmartMatrix4.0集群容错模型层级①FRU测故障FRU自愈修复或停止服务,所在框内容错,其它框):FRU系统进行在线自愈修复。如果不能在线修复则上报zone集群管理2、zone集群管理根据集群FRU冗余单元的监控状态,进行故障处理(隔离-->业务接管-->自愈修复-->修复成功则业务回切,修复失败则告警更换)②控制框zone集群系故障框停止服务,所在zone内容错,其它zone不感知1、容错:故障框隔离-->业务均衡切换到zone内其它框2、恢复:框状态修复-->业务回切文档版本01(2026-09-18)版权所有©华为技术有限公司22层级③zone集群1、zone集群2、HyperScale故障zone停止服务,HyperScale集群内容错处理;由于险。新建业务部署在正常zone运行。1、容错:故障zone隔离-->业务均衡切换到zone。2、恢复:zone状态修复-->重均衡的业务走回切;故障④HyperScale群HyperScale故障HyperScale集群停止服务,业务连续性依赖解决方1、容错:故障HyperScale集群隔离,对应业务中断2、恢复:HyperScale集群状态修复-->业务恢复OceanStorA800采用DME作为整个HyperScale集群的统一管理软件,支持集群端到端组件的管理。如图3-3所示,DME通过管理交换机接入管理:OceanStorA800(含存储框、L1交换机、L2交换机)、DataTurbo客户端软件,实现全栈管理能力;同时对外提供北向管理软件/管理客户端的登录网络。3.2OceanFS分布式并行文件系统架构OceanFS分布式并行文件系统架构OceanFS是华为自研的分布式并行文件系统,面向大规模的文件系统应用,可提供2控起配在线扩容至2K控制器规模的系统文件系统,提供单文件系统和多文件系统的能和高性能缓存的特征能力。考虑到AI等解决主机采用不同访问协议共享文件,同步支持了跨协议共享访问能力,支●文件访问客户端:部署在业务主机的软件组件,对接到VFS层实现分布式共享文件●文件协议服务端:部署在存储系统中,配套文件访问客户端软件的选型,实现主机访问和存储文件服务的对接,提供文件的●存储池:部署在存储系统内的zone集群域中,提3.2.1Active-Active负载均衡系统可以均衡打散到整个系统中(如图图3-4所示),使用系统全部资极致性能能力。文件系统的负载均衡分两层,第一层是衡,即选择存储池;第二级是控制器间均衡,在存储池所部署控制器中选置不对称的情况下,支持按存储池的容量、控制器的配置类型、●控制器间均衡:考虑到复合负载场景下,不同业务的性能/容量需求不同,支持均大文件分片功能是存储设备针对大文件读/写知的情况下,将存储系统接收到的一个完整大文件,切割成固定大小的文档版本01(2026-09-18)版权所有©华为技术有限公司252-主机客户端侧:缓存主文件元数据和数据布局表内容,通过用户数据的offset和length映射到子文件的UUID,直接发消息到子文件归属控制器进行数据读写。1.主机客户端下发文件读/写请求到存储系统。2.存储系统根据设置的分裂阈值和数据分片大小将超出阈值的大文件进行打散,打散为主文件和N个分片子文件(主文件管理元数据,子文件管理数3.客户端从文件的归属控制器获取打散文件的数据布局表并进行缓存。4.客户端根据文件的数据布局表对不同控制器发起读/写请求。5.多个控制器对文件进行并行数据读/写。读/写完成后,各个控制器将结果返回给客用户在通过CLI命令创建或修改文件系统/创建或修改Dtree时,可以设置文件系统/1-支持设置打开或者关闭分片配置开关。OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司262-支持设置文件分片的大小。3-支持设置Zone内打散还是Zone间打散。文件服务都是通过IP地址进行接入访问的,大规模的集群系统有多个控制器组成,就必然提供多个服务IP供接入进行共享访问,因此客户端接入时如何选择IP对系统的负载能力影响就很大。OceanStorA800提供了DNS,内置了DNS的获取服务IP能力,实现服务IP的负载均衡能力。同时也支持客户外置DNS服务器进行服务均衡,主机访问客户端可以通过域名访问存储阵列,获取服务I外置DNS服务器组网组网准备:存储提供内置DNS的服务IP,纳入外置DNS的跳转服务配置中;计算的DNS服务配置项中添加外置DNS的服务信息。步骤1①计算节点基于目标文件的访问域名,向外置DNS服务器获取文件服务IP步骤2②外置DNS服务器识域名为存储提供的,转发到存储的DNS服务器获取服务IP步骤3③存储集群根据系统的负载情况,获取相对负载最轻的服务IP反馈给外置DNS服务器步骤4④外置DNS服务器将文件服务IP反馈给计算节点步骤5⑤计算节点根据获取的IP地址,发起存储的建链步骤6⑥存储集群响应计算节点的建链需求。计算节点如果是私有客户端或NFS+客户端,则会基于多路径管理逻辑获取多IP清单构建组网准备:存储提供内置DNS的服务IP,计算的DNS服务器配置中添加该服务IP。●依赖外置DNS服务器稳定性,感知阵列上各服务IP的负载情况,获得更好的),基于智能学习强化的智能读缓存,能够对业务模型预测更准确,实率,保障复杂业务模型下系统高性能;基于智能学习强化的),OceanStorA800V700R001C30产品技术白皮书3软件架构业务,保证业务平稳运行;基于智能学习强化的数据缩减,能够别,合理统筹在线重删与后重删,以及针对不同数据模式采用不同的存储系统提供了基于智能学习的智能读缓存,通过深度学习算法,从空),);●从语义维度看,有语义模式(访问的数据有业务的逻辑的关联,但是没有简单的智能多级缓存,从存储访问客户端到存储服务端均提供智能缓存技OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司30提供非持久化的缓存服务;存储端采用保电内存,提供持久化缓存服务,有效缩短I/O步骤2DataTurbo客户端进行L1缓存命中确认,步骤3存储服务端IOcard进行L2缓存命中确认,步骤2DataTurbo客户端进行L1缓存处理,该缓存为非持久化缓存(存在节点故障情况下缓1.异步缓存配置场景:如果文件为异步挂载的非强制同步明确,则响应请求,数据写入L1缓存,请求结束;系统后台会根据I/O聚合和缓存的策略进行写入存储处2.同步缓存配置场景:如果文件为同步挂载模式,或请求为强制同步模式,则请求等待,并触发后台写入存储的处理请求,进步骤3存储服务端进行L2缓存处理,该缓存是有跨控镜像保护和掉电保护功能的存储系统为多控集群系统,每个控制器都配置有保电的缓存空间,全局有控制器节点的缓存一起构成全局缓存空间。高性能文件访问客户端,指安装部署在共享访问存储服务器上的客户处理;无需等待IP漂移后重新更新链接信息径有多IP对链接,可以并发处理数据报文身提供应用加速能力,高性能缓存提升客户端访问性能;链路管理层提OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司33图3-10DataTurbo客户端DataTurbo客户端关键技术能力:①存储连接层:支持主机多网卡多IP和存储集群的多服务IP的多对的链接能力,实现②存储连接层:支持RDMA协议,可以实现更低的时延和更低的CPU开销③存储连接层:解决标准协议只能在Mount时进行负载均衡的问题,实现IO级负载均衡④存储连接层:支持IP白名单特性,允许用户⑤应用加速层:支持客户端高性能缓存技术,降低访问I/O栈长度,降低端到端的访问延时,支持随机小IO聚合为大IO提升系统带宽⑥应用适配层:支持VFS和fuse的对接,标准的POSIX语义,支持MPI-IO对接,应用文档版本01(2026-09-18)版权所有©华为技术有限公司34S3协议是Amazon推出的对象存储协议,经过多年的发展已经是对象存储领域的标准协议,不仅应用广泛,而且拥有丰富的生态系统(工具、开发包、第三方软件集成)支持。它基于HTTP(S)协议,是一种成熟的REST(RepresentationalStateTransfer)风格的协议。REST风格的协议遵循并利用了HTTP协议的设计原则,具有简单、可靠、无状态的特征,并天然的易于通过网络访问。对象存储领(Account)-桶(Bucket)-对象(Object)的三层模型组成,桶可以视作目录,对象可以视作文件。用户可以使用URI定位并使用自己的数据。对象服务提供多种式,支持加密和非加密的协议传输,支持云上云下的客户端访问。详细对应版本《OceanStorDorado&OceanStor对象存储技术白皮书》。支持跨协议访问,能为同一个文件系统可以基于NFS协议,也可以基于DataTurbo的协议或对象S3协议进行挂载共享访问。跨协议共享的核心技术就是采用不同的协议访问设置的访问权限约束,能够统一识别,做到精确控制访问,确保跨协议之间的权限正确。系统通过MultiprotocalLockmanager进行分布式锁管理,保证跨协议能共享、互斥的访问相同的文件,不会造成审计日志特性是对设备的操作进行日志记录,提供OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司36业务访问的审计是NAS/S3服务对主机客户端的访问操作进行日志记录,采用独立的审计日志文件系统记录日志。该功能按租户为单位支持使能配置,租户间持保证模式和非保证模式,支持配置具体的审计操作对象(具体的配置指南说明)。租户的审计日志功能一旦开启,则对应审计的操作需要志,再执行操作任务。在保证模式下如果操作日志记录失败则操成业务中断;非保证模式下操作将继续执行,但记录的操作日志信息将默认为保证模式,客户可以在线修改。审计日志文件系统采用evtx、XML格式存放日配置管理的审计是针对设备管理员对设备的配置管理操作进行置修改类操作(查询类不记录该日志文件采用系统内部文件存储,不线访问功能,该功能默认使能(不能关闭),支持实时导出查询(导出格式可以选CSV),FlashLink®技术的核心是通过一系列针对闪存介质的优化技术,实现了存储控制器和SSD之间的协同和联动,最大限度的发挥闪存的性能。FlashLink®针对闪存介质特点设计的关键技术主要有:智能众核技术、大块顺序写技术、多流分区技术、端到端I/O优先级、智能技术以及端到端NVMe、数控分离,保障了存储系统稳定低时延和高为了满足系统高吞吐量,低时延的诉求,系统需要强大的运CPU,每个控制器内最多4颗CPU,多达256核;在同一个控制器内实现了业界最多的CPU个数和CPU核数,提供了强劲的运算能力。通过智能众核技术,充分发挥了CPU的强劲的运算能力,实现了性能随着CPU数量线性增加。智能众核技术,由CPU分组在多CPU的架构中(NUMA架构),每个CPU有本地内存(该CPU内存控制器上连接的内存),也可以访问远端内存(连接在控制器其他CPU内存控制器上的内存),访问本地内存比访问远端内存时延更低,开销更小,对内存的访问效率会储系统的性能。CPU分组技术基于NUMA的架构(如图图3-12示意图),控制器内每颗CPU配置有近端内存,CPU核组和本地内存形成一个CPU亲和组。每个CPU亲和组接文档版本01(2026-09-18)版权所有©华为技术有限公司37收到的主机读写请求,就优先基于本CPU亲和组内完成端到端的读写流程处理,避免跨P的交互,没有跨CPU传输的开销。通过CPU分组技术,每个CPU组之间逻辑独立,并发处理不同的主机读写请求,保证了存储系统的多P系统的极致线性CPU数量增加而线性增长。。当业务导入存在不均衡的情况下,部分分组的负载态调度均衡,实现请求跨分区的分发调度,确保复合负载情况下的端通过CPU分组后,不同的读写请求被分发到了不同的CPU处理,避免了CPU间的相互影),也会产生对CPU核的竞争,会造成冲突,影响性能扩展和稳定。系统会在CPU亲和组内部进一步细分功能分组,分为前端接口服务分组,全局缓存服务分组分组等服务分组,为每个服务分组分配CPU和内存资源,确保不同的功能分组在不同的CPU核上免锁运行。每个功能分组资源规模根据业务负载做自适应调整,根据复合负载和业务模型的高效适配,同时实现高OPS/IOPS和高带宽。在服务分组内部,每个核在处理业务逻辑时,使用独立的数据组织结构服务分组内部的CPU核访问同一个数据结构的冲突,实现CPU核间的免锁。下图为核间免锁设计示意图,如下图图3-13所示,功能服务的不同操作流程分解到不同的CPU核上,这些核使用独立的数据组织不涉及到数据并发访问一致性问题实读写流程的处理流程不同,衍生出对应用操作的时延敏感度不同,因数据。这时候读盘时延的大小,直接影响到主机的读时延。系统读写优通过读优先技术,消除读时延波动。盘控配合将该调度策略延伸到盘内作是单并发模型:如果正在进行写或擦除操作时:没有读写调度优先级必须等待相关操作完成后才能进行,这会导致读时延抖动很大。有读写如上图图3-15所示,正在擦除时,如果识别到有高优先级的读请存储的数据,最终都会存储到硬盘上,如果有些盘片上存放的数据不均致某些压力大的硬盘成为系统的瓶颈。随着单盘容量加大,系统配置的OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司40图3-16RAID2.0+映射图SSD盘片上的Flash颗粒具有擦写次数的限制。在传统的RAID覆盖写(WriteInPlace)的方式下,如果某块盘上的数据成为了热点,那么对这些数据的不断改对应的Flash颗粒的擦写次数很快的耗尽。存储系统通过对所有的写操作(包括新写数据和对老数据的改写等)都采用ROW(RedirectOnWrite)新写方式,每次写通过分配新的Flash颗粒来写,实现每个Flash颗粒擦写次数均衡。同时,新写模式采用全新满分条方式写入,有效避免了传统RAID写流程所需的数据读和校验修改写而产生RAID写惩罚,有效降低了写入过程的CPU开销与对SSD盘的读写压力,提升了性能同时也增强可靠性。新写方式每次写入之间是独立的,一次写入的数据量可以根更规模来动态调整块大小,既保证了小IO的时延,也能满足大IO的大块带宽数通。相比传统的RAID覆盖写的方式,ROW大块顺序写方式使得各种RAID级别都能实现高性上图3.3.3大块顺序写以RAID6(4+2)为例,对已有数据进行改写,改写写入的数据以CKG2为例,写入新数据3时,需要读取校验列P、Q和原始数据d,通过冗余算法计算出新的校验位P’、Q’,再把P’、Q’和数据3写入CKG2中。而采用ROW满分条的RAID分条写入硬盘,再修改LBA的指针指向新的CKG,整个过程无需额外的预读。OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司41对于传统RAID,以RAID6为例,D0数据发生变化,需要先读D0、P和Q;再写新的nD0、nP和nQ,因此其读放大是3,写放大也是3。通常对于传统RAID(xD+yP)的随机小I/O写其读写放大为y+1。下表为各种传统RAID级别的写放大数据。顺序写I/O写放大RAID5(7D+1P)221.14(8/7)RAID6(14D+2P)331.14(16/14)RAID-TP(传统RAID不支持)在典型场景,RAID6采用22D+2P(P、Q校验列),RA校验列),下图展示了采用ROW满分条写在典型场景下的写放大比较。顺序写I/O写放大RAID6(22D+2P)1.09(24/22)01.09RAID-TP(21D+3P)1.14(24/21)01.14SSD内部使用NANDFlash来作为存储介质,其逻辑结构如下图所示。每个SSD盘由多个NANDFlash颗粒组成,每个NANDFlash颗粒包含多个Block,每个Block包含多个Page(4KB或8KB)。由于NAND的特性,Flash颗粒中的Block需要先擦除再写。擦除的单位是Block,在擦除前需要把该Block中的有效数据搬移走,对有效数据的搬移就产OceanStorA800V700R001C30产品技术白皮书3软件架构文档版本01(2026-09-18)版权所有©华为技术有限公司42通过多流写技术,对存储系统内的数据进行分类,不同类型的数据存放到SSD盘上的Block中,相同类型的数据同时为有效数据或者同时为垃圾数据的概率较大,减少了擦除Block时搬移的数据量,减少了盘内写放大,提升了SSD盘的性能和寿命。在SSD的垃圾回收过程中,对于每次擦除的Block,SSD硬盘期望该Block中所有数据都是无效数据,这样就可以直接擦除整个Block,而不用搬移有效数据,可以减少系统的写放大。而存储系统中不同数据具备不同的冷热程度。比如:系统的繁,属于热数据,成为垃圾的概率更高;而用户数据一般修改的频率据,成为垃圾的概率要低。多流写技术通过SSD驱动和控制器软件配合,冷热数据在不同的Block中,从而增加Block中数据同时无效的概率,达到减少垃圾回收(GC)过程中搬移有效数据的数据量,提升SSD的性能及可靠性。下面两个图为采用多流减少盘位写放大的原理示意图,图3-20为未采用多流技术示意图,冷个Block上,造成垃圾回收时搬移的数据量大。图3-21为采用多流技术后,冷数据和热数据存在不同的Block上,减少垃圾搬移量。文档版本01(2026-09-18)版权所有©华为技术有限公司43文档版本01(2026-09-18)版权所有©华为技术有限公司44存储根据数据模式特征,实现了三类数据分流:元数据流、用户数据流据流。在不同类型数据中根据冷热情况和盘的规格能力再细分具体的数过多流技术的分区可以让更新频率相当的数据聚合,数据回收时能够大提升GC回收效率,减少对SSD颗粒的擦写次数,有效控制SSD盘写放大延长SSD盘的数控分离技术,指的是对存储访问的请求区分请求中的命令控制部分和处理的技术。相比传统的数控一体架构中以CPU为中心的模型,数控分离架构是以数据为中心的的架构,实现接口模块、控制器和SSD盘协同处理,数据不随业务逻辑反复拷贝,有效规避了CPU的算力和内存总线的放大瓶颈,实现I/O的随路处理能力,达成如图图3-22所示,业务请求中涉及到请求的控制部分和数据部分杂度不一样;不同的处理逻辑对数据流的处理差异比较大,对软硬件的步骤2接口模块完成网络报文的解析剥离出业务请求,将请求发送到对应控制器的CPU处步骤3CPU接受到主机访问请求进行解析处理,根据访问对象的特性配置和请求操作类不同在系统内部会做复杂的逻辑解析和转换处理,转换期间数据随处步骤4CPU业务逻辑处理明确后,数据最终到达盘侧进行持久化读或写操作,完成业务在数控一体的请求处理步骤3这个环节,由于数据随请求处理逻辑存在解析和转换,在控制器内的CPU和内存之间会有多次的交互转换,引入数据在内存和CPUCACHE之间的反复进出,进而导致内存总线的通道读写放大、数据预期淘汰的算力CPU和内存的资源开销大。文档版本01(2026-09-18)版权所有©华为技术有限公司45步骤2接口模块完成网络报文的解析剥离出业务请求,并对请步骤3接口模块将数据流请求直接导入内存/SSD区域,并获取对应的地址更新到请求控制流请求中。再将更新后的控制流请求发送到对应控制器的CPU处理步骤4CPU接受到请求的控制流请求,基于访问对象的特性配置和请求操作类型的不同在数控分离的请求中,接口模块、控制器的CPU、做合适的业务逻辑处理,采用异构算力间的协同调度,实现以数据为中心的I/O处理模前端接口模块采用智能网络芯片,该芯片不仅仅处理网络传输层TCP/RoCE协议硬卸载文件语义的解析,并通过共享访问控制板的系统内存实时查询到文件元数布状态,实现控制流请求的精准快递,送至CPU进行后续处理流程。控制器的CPU作为业务逻辑的总控,除了处理请求控制流的逻辑处理,还提供了跨接口模块、盘和CPU的内存共享管理、元数据共享管理、以及系统任意组件的监控、故SSD盘基于盘框配合和盘卡协同的逻辑,实现控制器CPU和盘的逻辑协同访问,接口模块直通访问盘无需CPU的参与。OceanStorA800V700R001C30产品技术白皮书4增值特性文档版本01(2026-09-18)版权所有©华为技术有限公司464增值特性Smart系列特性是面向存储服务效率提升的特性系列,包括:提升空间使用效率和容量隔离类特性,智能配额(SmartQuota);提升性能规格值、规格隔离等服务性能类特性,服务质量控制软件(SmartQoS);提供数据使用安全类特性,多租户(SmartMulti-tenant)。4.1服务质量控制(SmartQoS)4.2配额(SmartQuota)4.3多租户(SmartMulti-tenant)4.4推理加速(UnifiedCache)4.1服务质量控制(SmartQoS)SmartQoS可以通过动态地分配存储系统的资源来满足某些应用程序的特定性能目标。SmartQoS特性允许用户根据应用程序数据的一系列特征(IOPS、占用延)对特定应用程序设置特定的上限/下限目标。存储系统根据设定的目标,准确限制应用程序的性能,避免非关键应用程序抢占过多存储系统资源,影响关SmartQoS采用基于被控对象的I/O优先级调度技术和I/O流量控制技术(上限流控、下限保障)两种方式来保证数据业务的服务质量,表4-1SmartQoS策略及被控对象上限流控(含突发流控)质量控制服务,包括上限流控和下限保障。上限控制主要用于多业务部止部分业务的流量过大照成其它业务无法正常运行的场景,即防OceanStorA800V700R001C30产品技术白皮书4增值特性文档版本01(2026-09-18)版权所有©华为技术有限公司47更多用于多业务部署情况下对关键业务的保障作用个,尤其是延SmartQoS的I/O流量控制技术需要用户配置SmartQoS策略,并往策略中添加被控对SmartQoS流控管理通过对控制对象中I/O队列管理、令牌分发和出队控制三部分实当用户为某个SmartQoS策略设置性能上限目标,系统就会根据性能上限目标分配一定数量的令牌,通过控制令牌的发放来实现流控。在存储系统中,如果用量类型是IOPS,考虑到不同业务的I/Osize不同对IOPS规格的度量偏差,系统采用规划化处理,再核算规格消耗时会将主机实际I/O按size换算为8KI/O(举例:12K的单I/O请求会按2个IOPS来核算),并消耗对应数目的令牌;如果设定的性能目标是带宽,那基于I/O队列管理通过令牌机制实现存储资源的分配,某个对象的I/O队列所拥有的令牌数越多,系统分配给这个配置对象的I/O资源也越多。实现原理如#ZH-CN_TOPIC_0000002318697901/zh-cn_topic_0000001480397716_fig1225720406所OceanStorA800V700R001C30产品技术白皮书4增值特性文档版本01(2026-09-18)版权所有©华为技术有限公司481.应用服务器I/O下发到相应的被控对象的I/O队列中。2.存储用户可根据被控对象的业务流量配置不同的流量控制策略,通过将某些对象加入配置上限目标的流量控制策略,保证其不占有系统过多资源,影3.处理出队的请求时,仅当请求拿到令牌时才能出队进入系统处理。作为上限流控的一种特别增强,针对部分时延非常敏感的业务,允许其限流控目标。SmartQoS提供了突发流控管理能力,支持对被控对象配置突发能力,指定其突发期的IOPS、带宽、突发时长。OceanStorA800V700R001C30产品技术白皮书4增值特性文档版本01(2026-09-18)版权所有©华为技术有限公司49其工作原理为积攒下前期未消耗的性能,当业务压力突然增大的情况积攒下的性能,短时间获得突破上限目标的性能。长时间来看,其平均1.当对象在过去时间段内流量未达到上限值,则可在未来时间段内系统整体没有过载的情况下该对象的业务流量短暂的超过QoS配置上限,满足业务峰值诉求达到2.突发流量控制是通过积攒突发时长来实现的,当对象在某一秒内性能低于上限性能目标一定阈值时,则积攒一秒的突发时长,当业务压力突然增长破上限值达到突发流量,突发时长为此前积3.消耗完积攒时长或达到配置的最长突发时长,则流量被控制到上限值。下限保障功能专用于保障系统关键业务。下限保障工作原理是针象(文件系统)进行流量控制,以释放足够资源给未达成下限目标的对成对象的下障保障目标。由于其工作原理是尽力保障的过程,需要达到适宜应用于少量关键业务。针对所有业务配置下限保障最终会导致所有当系统中存在被控对象未达成下限目标时,针对系低负载对象依据负载情况给定较宽松的流量条件,高负载对象则依据其限保障缺口进行流量抑制,直至其释放出足够资下限达成但性能未远超下限的对象,仅需要防止其突发流量即可。下限时延保障则是针对配有时延目标的对象的请求提外,时延保障未达成情况下,会将时延目标转化为流量控制,依照流量下HyperScaleFS暂不支持下限保障。SmartQoS流量控制策略可以分为两种类型:普通策略和分层策略。分别如下:OceanStorA800V700R001C30产品技术白皮书4增值特性●普通策略:策略中的对象仅能为对象的策略叫普通策略,主要用于管理单一应用的流量控制策略。如:应用中存在短暂的突发风暴,在突发风暴的●分层策略:可以添加普通策略作为其对象的策略叫分层策略,主要用于管理多种●流控控制的对象,包括:文件系统、租户;一个普通策需求数据,然后通过分配算法,将流量控制策略总体的控制目标分配给略的上限目标值、下限目标值、对象的需求数据,决策对象的实际目标先满足对象的需求量,所谓需求量是指配置对象接收到的请求数,包含数。剩余的上限目标值将会均分至各对象,并对连续多个周期的分配结一个文件系统可以单独加入一条流量控制策略,也可以通过一个租户被控制策略,当一个文件系统被加入多条流量控制策略中时,该文件系统●针对多租户场景,可针对不同租户配置不同的分层策略,确保单租户占用的资源不超过限定值。针对单租户下各不同业务,可配置普通策略,限定●针对混合负载业务场景,可以针对非关键业务尤其是业务压力波动大的业务设置●针对对于业务不均匀又对延迟敏感的工作负载,建议配置突发策略。大响应时延。由于下限策略的工作原理是在系统资源紧张时抑制OceanStorA800V700R001C30产品技术白皮书4增值特性文档版本01(2026-09-18)版权所有©华为技术有限公司51保障少数关键业务,当由于系统资源紧张导致下限策略无法保障时,警,用户可依据告警提示信息调整下限策略。所以应尽量确保配置下限性能不要占用超系统性能的50%,所有业务均配置下限策略与不配置没有区别。下限配置功能,V700R001C00的HyperScaleFS暂未交付。4.2配额(SmartQuota)SmartQuota,即文件系统配额技术,下文称配额。配额的主要作用是方便系统管理员管控资源使用者(包括文件系统、用户、用户组)的存储资源,以限制在SmartQuota特性中,Dtree(目录配额树)是一个重要的概念。Dtree是文件系统内的特殊目录,可以被创建在文件系统的任意一级,Dtree管理其目录下所有的子目录和文件的配额(包括递归的普通子目录和文件,Dtree目录下不能再创建Dtree)。Dtree只能通过管理终端(命令行或GUI管理界面)来创建、删除和修改,而不能通过客户端主机来修改。另外,作为配置配额时的载体,目录配额、用户配额、以能在Dtree上配置。文件系统的根目录也是Dtree,因此也能设置相关配额。1.Dtree只能由管理员通过命令行或GUI管理界面创建、删除、重命名等操作,GUI管理界面仅支持在文件系统根目录的下一级创建Dtree,而命令行则支持在任意一2.Dtree可以通过协议进行共享,共享时不允许被改名和删除。3.不允许跨Dtree进行NFS协议下的移动文件操作,即不允许在两个不同Dtree目录之间进行文件的MV操作(NFS协议)。因为一个文件或Dtree。4.不允许跨Dtree的硬链接,即不允许在两个不同的Dtree之间进行硬链接操作。SmartQuota支持如下配额类型:●容量软配额(spacesoftquota用于空间容量告警的配置值,当配额对象已用空间超过所设置的容量软配额时,向系统告警提示空间资源紧张,●容量硬配额(spacehardquota):配额对象上用于限制最大可用容量的配置值。当配额对象已用空间到达所设置的硬配●文件软配额(filesoftquota):配额对象上用于文件数告警的配置值,当配额对象已用文件数超过所设置的文件软配额时,向系统告警提示文件资●文件硬配额(filehardquota配额对象上用于限制最大可用文件数的配置值。与容量硬配额一样,当配额对象的已用文件数到达所设置的硬配●用户配额:限制某个用户创建的文件和目录的总体配额,包括容量和文件数量。●用户组配额:限制某个用户组创建的文件和目录的总体配额,包括容量和文件数根据实际情况,管理员可以非常灵活地配置资源管控的策略。比如,管理4.3多租户(SmartMulti-tenant)多租户特性主要解决租户之间逻辑资源的隔离问题,包括业务●业务隔离:每个租户都有自己的存储资源、认证用户,用户能通过租户的LIF任务(如金融分析、法律审查、会议纪要生成)的准确性,但也带来Ocean
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年江苏省宿迁市宿豫区黄山路中学等校中考数学一模试卷
- 考风考纪警示教育课件
- 草原牲畜皮毛加工疫病防护科普课件
- 全国交通安全日后续篇:儿童乘车安全课件
- 2025年甘肃史地专升本真题及答案
- 2025年上海市2025年黑龙江省(专升本)英语考试真题及参考答案
- 2026年安徽省马鞍山市初一入学语文分班考试试卷及答案
- 2025年安宁《VR设计师岗》专业培训试卷
- 2026成都市三十七中高一入学语文分班考试真题含答案
- 2026定点医疗机构医保业务知识考试题库附参考答案
- 中国慢性乙型肝炎功能性(临床)治愈临床实践专家共识课件
- 苏少版美术四年级上册第三课《精彩的表达》教学课件
- 起重吊装施工方案
- T/CAAMTB 220-2024电动载货汽车车架性能台架试验方法
- 2027物理步步高 大一轮复习第六章 微点突破3 机车启动问题
- 2026年辽宁省中考数学试卷(含答案及解析)
- 聚变装置-氚聚变设施和聚变燃料处理设施的密封和通风系统的设计和操作标准标准立项发展报告
- 家装水电施工工艺标准
- 2026-2030中国核电用铝合金材料市场需求预测与未来发展潜力研究报告
- 2026中国气象量子计算技术研发进展与产业化前景
- 2025-2030中国计算机硬件代理商行业供需关系研究投资价值评估分析报告
评论
0/150
提交评论