OceanStor Pacific系列下一代高性能数据分析（HPDA）存储

构建万物互联的智能世界OceanStorPaciic系列下一代高性能数据分析(HPDA)存储HPCHPC造福人类海量数据+高性能计算，持续推动科技与社会进步新药研发鉴定5新药研发鉴定5000天100天基因测序时长13年1天新新车研发时间60月24月天天气预测准确率21.8%80%新兴业务带来更大的数据量需要更高扩展性、更低TCO1PB单1PB单卫星年采集数据 基因测序 基因测序 卫星遥感10倍维勘探相比二维油气勘探10倍维勘探相比二维油气勘探 每辆车训练数据 算力多样化带来更复杂负载同一套存储支持不同类型负载CPUGPU顺序IOCPUGPU顺序IOO写小IO存储系统高性能分析带来数据高效流转要求数据免迁移、多种协议共享一份数据处理真处理真布数据大大数据成为新驱动力HPC从计算密集型走向数据密集型，HPDA引领产业方向 下一代HPDA存储面向混合负载多协议互通OceanStorPacific995OceanStorPacific99505U超高密产品全成本优化，能省善装性能型NNEW容量型OceanStorOceanStorPacific95505U超高密产品NEWOceanStorOceanStorPacific9950•5U8节点•80盘位NVMeSSD•160GB/s带宽，200万IOPS Half-palmNVMe Half-palmNVMeSSD更小截面积，密度大幅提升 设计，极低风阻 无阻塞送风 8节点/机箱,10*Half-palmNVMeSSD/节点 碳纤维导热垫+VC均热板，高效散热OceanStorPacific9950•后端100GE•前端100GE/100GbIB•PCIe4.0设计•RDMA网络全NVMe闪存设计，激发澎湃动力400K400KIOPS/U24GBps/U250KIOPS/U62.5KIOPS/U3.75GBps/UOceanStorPaciic9950D厂OceanStorPaciic9950D厂商全闪节点E厂商全闪节点E厂商全闪节点N厂商全闪节点995060%IOPS/U相比业界厂商60%IOPS/U相比业界厂商相比业界厂商设计盘间距提升50%，散热能力提升30%，前后双向可维护设计盘间距提升50%，散热能力提升30%，前后双向可维护线独立维护OceanStorPacific9550高密高密容量型•1.68PB裸容量•弹性EC112U108盘通用服务器OceanStorPacific95505U120盘1机箱=3节点224盘/U20盘/U9盘/UHuaweiE厂商业界2.67x密度62.5%空间节省航空对旋增压风扇抗阻能航空对旋增压风扇抗阻能力更强，提供更大风量双层风道CPU与硬盘散热隔离，提高硬盘寿命OceanStorPacific9550高密容量型碳纤维导热垫+碳纤维导热垫+VC相变散热散热能力提升20%，CPU温度降低11℃3,360512GBMate40700万4K双子杀手4K双子杀手类基因组OceanStorPacific9550991.6%Ceph副本HadoopECHuawei弹性EC1.68PB2.7x用率33%67%全场景加速，极速即达新一代并行文件系统同时支持高带宽和高OPS业务DPC分布式并行客户端多业务节点并行访问加速元数据打散归属到各存储节点，免分布式锁开销，降低时延元数据打散归属到各存储节点，免分布式锁开销，降低时延N1N7N2DHT环N6N3N5N41MB1MB1MB1MB大小IO分流大小IO分流元数据机制优化大IO直接写盘，减少转发；小IO在缓存层先聚合再写盘，降低交互次数和IO开销大IO直接写盘，减少转发；小IO在缓存层先聚合再写盘，降低交互次数和IO开销避免读写IO放大并降低时延大文件大IO客户端1MB1MB1MB1客户端1MB1MB1MB1MB1MB1MB1MB1MB小IO(<256K)大IO(>256K)DIO直通B文件索引数据布局 L1Cache小文件小IO8KB8KB8KB8KB8KB8KB8KB8KB8KB1MB1MB1MB1MB1MB1MBB文件索引数据布局一套系统满足油气勘探多环节负载地震资料处理地震资料解释………POSIXNFS/CIFSPOSIX数据拷贝厂商D厂商厂商D10PB+数据50GBps+带宽需求500TB10PB+数据50GBps+带宽需求…地震资料处理地震资料解释……POSIX/MPINFSPOSIX/MPI…OceanStorPacific系列EB级扩展能力5U160GBps带宽&2MIOPSDPC分布式并行客户端NFS客户端访问方式NFSTCP存储节点存储节点存储节点存储节点存储节点 •单客户端只能连接一个存储节点，易出现单点性能瓶颈•数据写入后需跨节点二次转发，时延大 DPC客户端访问方式端DPC客户端RDMA存储节点存储节点存储节点•单客户端并行访问多个存储节点，IO级负载均衡，单客户端和单流性能高•数据直接打散分布到不同节点，无二次转发，时延小MPI-IO实现气象数据MPI-IO实现气象数据分析应用提速3GB/s+单流性能保障数据接收DPC并行客户端，多场景全面提速气象预测星测绘超算中心10GB/s+单客户端性能，10GB/s+单客户端性能，释放胖客户端潜能NFS/CIFS/HDF/S3多协议支持原生接口，语义与性能无损数据仿真数据发布数据仿真数据发布0拷贝00拷贝NFSNFS/CIFS/POSIX/MPI大数据服务对象服务文件服务HDFSS3多协议互通提升自动驾驶研发效率OceanStorPacific系列分级高密大容量池高密全闪池数据导入8小时快速导入AI模型训练上百万OPS，1ms时延OceanStorPacific系列分级高密大容量池高密全闪池数据导入8小时快速导入AI模型训练上百万OPS，1ms时延数据预处理几十GB/s带宽S3/NFSNFSHDFS64TB/车/天全流程涉及NFS/CIFS/HDFS/S3种协议访问24小时PB级数据需要在24小时内分析完成上百PB上百PB数据需保存30年以上效率25%多协议互通，一套存储支持高带宽和高OPS，免数据拷贝TCO20%冷热数据智能分级，高密硬件降低空间占用模模型仿真测试几十GB/s带宽NFS/CIFS OceanStorPacific系列下一代HPDA存储超高密设计面向混合负载多协议互通驶卫星测绘生命科学超算油气勘探驶卫星测绘生命科学超算油气勘探气象海洋工工业CAE一次建设，随时扩容全对称架构，初始小规模部署，随数据增长可线性扩展至数千节点，优化投资一管理迁移周期管理一次建设，随时扩容全对称架构，初始小规模部署，随数据增长可线性扩展至数千节点，优化投资一管理迁移周期管理文件系统硬件系统 二维三维，5~10x网格密度每增加1倍，3~4x全流程10~20倍膨胀，在线扩容受限原始数据：1~20TB/天过程数据：0.5PB~10PB级数据迁移频繁，成为业务瓶颈多次跨集群迁移数据，同一份数据多个副本，资源利用率低数据量大、并发度高、人机交互频繁地震资料处理聚合带宽每PB2GB/s-20GB/s地震资料解释时延要求高：单I/O延时200-400us11 2地震资料处理地震资料处理地震资料采集地震资料解释油藏模拟算节点计算集群DPC算节点算节点算节点算节点DPCDPCDPCPOSIXPOSIX/MPI-IOSmartQuotaHyperSnapSmartQoSMultiTentantNFS/CIFSInfoFlowSmartTierHDFSS3密容量型密性能型型份归档一套存储，按数据热度自动分级热温冷数据自动分级，业务无感知，优化全生命周期TCO33N套->1套，免迁移、易运维同一架构承载地震资料处理、解释与油藏模拟，免数据迁移，提升勘探效率并减少数据副本1原始数据量100GB/样本6PB/年/设备2-基因转换1-数据收集3-基因拼接5-基因注释4-基因比对FASTQ文件XXX格1原始数据量100GB/样本6PB/年/设备2-基因转换1-数据收集3-基因拼接5-基因注释4-基因比对FASTQ文件XXX格式FASTQ文件VCF文件BAM/SAM文件3 每一个人基因组3GB平行测序30次以上原始数据~100GB+质量数据~300GB->压缩后~100GB海量基因数据长期存储一台测序仪生产量6TB/40h，分析过程会产生原始数据量5倍左右的中间文件及结果数据计算量大基因测序过程有I/O密集型、计算密集型、内存密集型等各种计算实例需求50年以上数据持久保存热温冷数据自动分级、自由流动冷数据归档至蓝光实现50年以上长久保存 2样本采集DNA/RNA测序数据分析数据存储数据分发10PB/设备66-数据归档/分发XXX文件高高性能NAS全流程一份数据，无需迁移测序、对比、分析、展示多个环节通过不协议访问同一份数据，仅一个副本全闪+私有客户端提升分析性能NVMe全全流程一份数据，无需迁移测序、对比、分析、展示多个环节通过不协议访问同一份数据，仅一个副本DPC并行客户端单流带宽3GBps以上11 准确率刷新频率80%分钟级100%分钟级100%海量数据存储PB数百PB历史数据时效性和准确性每天持续8轮计算，精度约80%，待提升；要求多模式并发执行，以提高准确性数据流转效率，形成孤岛，资源浪费严重一套存储承载多个环节业务采集、预处理、模式计算、后处理和数据展现通过一套存储承载，免数据迁移环节数据采集气象气象雷达地面观测高空探测气象卫星…数据枢纽集成预测数据同化集成预测观观测数据结构化 观测数据网格处理 变分同化生产数值分析图形转换初始化备份气象展现气象服务气象服务数据共享数据分析云底座…POSIX……OceanStorPacific系列MPI…… 2数据分级与归档无感知热温冷数自动分级，业务无感知，优化全生命周期TCO。支持归档到蓝光，实现百年存储33海量数据并行分析支持MPI-IO，多个计算节点访问同一个文件，大幅提升分析效率GPU传统超算->AI超算P级超算->E级超算混合负载加速承载多类业务，IOGPU传统超算->AI超算P级超算->E级超算混合负载加速承载多类业务，IO模型复杂，要求存储在各种模型下均能提供理想性能多租户业务面向多个行业客户同时提供服务，需要提供租户间资源隔离及QoS能力传统HPC与大数据、AI融合提供跨协议访问能力提升大数据、AI融合业务数据处理效率适配超算的复杂业务模型一套存储支持高带宽&高IOPS，DPC并行客户端支持MPI-IO,提供单流、单客户端高性能1应应用层大小文件混合，高带宽、高OPS工具软件层计算集群(CPU)&I/O云计算存储池存储层OceanStorPacific系列归档储SATA、光存储等大数据和AI平台计算集群(GPU+CPU)HPC平台计算集群(CPU)GB级大文件，高带宽，高IOPSKB级海量小文件，高OPSOceanStorPacific系列MaterialsStudio高性能存储池计算层&I/O科学计算动漫渲染制造仿真生命科学油气勘探气象海洋遥感卫星AbaqusGaussianAnsysSybylQLIKKNIMEFluentSASAI 2数据访问更高效33多租户业务数据和负载隔离具备多租户和QoS能力，实现不同业务资源和性隔离源勘探象卫星科学造仿真华为下一代HPDA存储，助力千行百业释放数据价值上海天文台携手华为OceanStor存储搭建世界首台SKA区域中心原