2025高性能全闪文件系统的设计与实践

⽬

YRCloudFile IOIOKVCacheKVCache AIIOcheckpoint推理阶段产⽣⼤量的KV

AI

随着AI的爆发，数据容量的

YRCloudFile YRCloudFile核⼼组件POSIX私有客户端集群管理服务元数据管理服务数据管理服务性能的基⽯｜⽂件打散到多个⽂件创建的时候指定OSD通过计算获取切⽚位置，避免访问

FileFileFile FileFilefile

file

filefilelayout={osd1,osd2…osdn}req={file_id,offset,len}

file

filefile

filefile

file OSS服务绑定⼤IO采⽤RDMA⼩IO和元数据采⽤RDMA 全闪⼀体机产品3节点集群性能480GB/s，750万 每GBps带宽成本下降

5代英特尔®⾄强®

NVIDIANDR400/400GbEEthernet

⽀持E3.S/U.2PCIe5.0和QLCNVMe

每节点双卡400GbIB/RoCE⽹络⽀持单节点性能90GB/s带宽和250万基于多IB/RoCE⽹⼝MultiChannel性能优化⽀持GDS⾼级特性焱融追光⼀体机焱融追光⼀体机 海量⼩⽂件的关键｜dirdirdirdirfilefiledirfilefilefilefileMDSMDSMDSfile fileMDS⼦⽬录会hash选择MDS 元数据集群｜lazypage 元数据集群｜ 元数据集群｜ 采⽤UDP消息通知，批量通知并获取

OSS汇聚上报⼼跳，避免MGR集群压⼒增⼤MGR依赖ETCD集群选主MGR是MDS/OSD按照顺序通知组件接收状态变化，osd->mds->

智能数据分层｜dirdirdirdirfilefilefilefilefilefile对象存储对象存储YRCloudFile 智能数据加载｜YRCloudFileS3://bucketl/image/202110/..yrfs://mnt/image/202110/..yrfs://mnt/image/202110/..S3://bucketl/image/202110/..yrfs://mnt/image/202110/..S3://bucketl/image/202110/..yrfs://mnt/image/202110/..yrfs://mnt/videos..yrfs://mnt/models..S3://bucketl/image/202110/.. YRCloudFile 提供ip⽩名单和token 通过POSIX通过POSIXACLLDAPAD域控服CREATERENAMEUNLINKELK平台，实现⾼效的审计⽇对性能的影响在5% GPU集群客户端GPU集群客户端200GbIBCPU集群客户端25Gb200GbIB25Gb

PagePagePageCache的预读和写缓存可以极⼤Cache 濼霋꡼Multi-Channel，提供IB/RoCE⽀持GDS（GPUDirect模型开 模型训 推理验⽀持400Gb⽹络，单节点提供90GBps带宽，300w IBIBRDMA、TCPdataload数据流动dataload数据流动标准存 标准存 焱融数据湖存储系 归档存 归档存 归档存 归档存 焱融AI全闪存储系统 KVCache提升KVCache缓存命中率突破GPU显存空间上限提供PB级的KVCache缓存空间多节点共享KV提供单节点40GBps带宽，保证KVCache访问延迟相⽐缓存不命中情况下，缓存命中TTFT延迟降低90%降低计算成本，提供更⾼的token KVCache对⽐测试在⻓上下⽂场景中，使⽤YRCloudFileKVCache可实现⾼达13倍的TTFT性能提升。这⼀显著优化得益于其⾼效缓存命中率和对⼤规

在较⾼并发数下，对于不同的上下⽂⻓度，YRCloudFileKVCache所提供的TTFT延迟可缩⼩4倍以上；这表明YRCloudFileKVCache在⾼并发场 ⽀持多种数据源，包括S3、NAS、HDFS，GPUDirectMulti- GPUDirectMulti- 推理场景的增强，⽬前在推出KVCache解决⽅案