曙光ParaStor云存储系统

1、曙光ParaStor云存储系统1234市场地位产品规格产品特性应用场景5竞争分析存储市场变化2015年，全球存储市场缓慢增长（2.2%）2015年中国大陆增长率14.8%，全球市场份额7.8%国有厂商市场增长率为43.3%，目前市场份额达56.9%集群NAS市场蓬勃发展全球市场Scale-out NAS稳步增长(19.9%)中国市场Scale-out集群架构存储市场份额已达45.8%存储市场发展趋势49%20%3%4%9%15%12%26%16%11%11%25%2010年单一系统16PB2013年中国区NAS IDC排名第32014年中国区NASIDC排名第2015年中国区 NASIDC排名

2、第1截至2015年1100+用户成功应用累计销售容量260+PBParaStor存储系统市场地位LustreLoongStorStornextParastorN9000GlusterFSMPFSMooseFSHDFSIsilonBWStorCephFastDFSPanaFS商业系统开源系统常见分布式文件系统GPFSDASNASSAN传统存储架构分布式存储分布式文件系统分布式存储分布式块存储提供文件系统服务，通常支持 POSIX接口和NAS提供服务兼具分布式系统的并行化、可伸缩等特点Parastor、CephFS、Lustre、 OceanStor9000、GPFS、蓝鲸 BWFS. 提供比块存

3、储更丰富的接口，考 虑目录、文件属性的支持、非结 构化数据海量存储需求通常以QEMU driver或kernelModule的形式存在Ceph RBD、AWS EBS、 Sheepdog、阿里云盘古、华为 FusionStorage 延迟要求高，提供通用需求，能应 付大/小文件读写，提供VM、数据 库服务对储键值存储，非树形结构，通过REST（get/put/delete）接口实现文件访问，支持上传下载、不支持文件的打开/修改swift、S3、以及各种网盘，通常用于大文件高带宽应用分布式文件系统产品分类后端存储访问层协作管理层前端数据访问层 串行访问：串行地从一个节点读写数据 并行访问：并行地

4、从多个节点同时读取数据 对称性：集群内所有节点均能处理元数据和数据 非对称性：元数据节点、数据节点相互独立 共享式：集群中的每个节点都能访问到相同的底层存储介质 分布式：每个节点只能访问到连接至本地的存储介质，并独占该介质的 访问；访问其他节点数据需要通过网络传输集群文件系统架构中，关注和讨论的主要焦点在于对称性/非对称性、共享式/分布式的区别常见产品分类产品名称后端数据访问方式协作管理角色曙光ParaStor分布式非对称性EMC Isilon分布式对称性华为OceanStor9000分布式对称性Intel LustreSAN共享式非对称性Ceph分布式对称性AS13000（Ceph）分布式对

5、称性LoongStore分布式非对称性联想LeoStor（LoogStore）分布式非对称性IBM SONAS（GPFS）SAN共享式对称性DDNSAN共享式非对称性蓝鲸BWFSSAN共享式非对称性云创科技分布式非对称性Panasas ActiveStor分布式非对称性Gluster分布式对称性Moosefs分布式非对称性昆腾StorNext SNFSSAN共享式非对称性HDS HNAS（BlueArc）SAN共享式对称性架构区别-分布式vs.SAN共享式SAN共享式系统基于对象的分布式系统优势1. 客户端直接访问后端块设备，IO延迟较低2. 单客户端性能较高1. 扩展性好，受硬件限制较小。2

6、. 并发IO支持能力高，高聚合IO带宽劣势1. 容量扩展性受SAN系统扩展能力的影响2. 所有客户端都必须在SAN环境中，特别是在FC-SAN环境中，客户端 数量受限架构区别-全对称式vs.非对称式全对称式非对称式优势1.所有节点功能对等，元数据服务、数据服务 能力同等扩展2.容量要求较小时，节点配置数量较少，成本 更有优势1.元数据和数据节点互相不受影响，各自服务能 力较高2.部分非对称存储支持元数据节点的横向扩展3.故障相互隔离，系统健壮性更好劣势1.同一节点元数据和数据进程容易争抢资源， 影响彼此性能，尤其数据重构时，节点间的数据交互压力很大，更容易 影响系统的整体 性能2.单台节点故障

7、，同时影响元数据和数据服务3.节点数据不易太多，随着节点数量增加，信 息同步复杂度呈几何指数增长1.元数据服务器成为系统扩展的瓶颈；2.即使容量要求较小，元数据节点必须配置，在 小规模系统中，成本不具优势1234市场地位产品规格产品特性应用场景5典型案例产品概述分布式存储架构Scale-Out集群NAS形态非结构化数据存储完全自主研发海量空间，弹性扩展可构建EB级单一存储空间No.12015 IDC国内NAS市场排名第一No.1 EB级，经过验证的国内最大存储系统TOP3连续4年IDC国内NAS市场前三海量非结构化数据云存储系统 ParaStor高性能高可靠易管理 数据管理协议引擎存储高级功能

8、WebUI管理POSIXNFSCIFSFTPHTTPHDFS管理节点索引节点数据节点 数据保护ParaStor分布式文件系统应用协议层数据处理层硬件节点层逻辑架构体系架构数据控制器数据控制器数据控制器索引控制器索引控制器索引控制器索引控制器数据控制器数据控制器数据控制器管理控制器管理控制器客户端管理网数据归档并发读写并发读写并发读写数据迁移元数据读写WindowsUNIX/LINUXMAC数据迁移ParaStor 云存储系统通用产品形态，索引控制器支持2128个，数据控制器支持34096个数据控制器硬件规格支持2U24、4U24、4U36、5U86盘位等4种索引控制器高可靠双活架构；数据冗余支

9、持多副本、纠删码两种方式双节点对称存储架构，不支持扩容硬件规格支持2U12、4U36盘位等2种2016年10月新推出，单路服务器，4U24、4U36盘位仅用于视频监控领域，成本优势明显ParaStor 双节点系统ParaStor 视频监控专用存储系统2U24Bay4U24Bay4U36Bay5U86Bay2U12Bay4U36Bay产品形态双节点对称硬件规格软件特性双节点对称架构2U12、4U36盘位2U12包含8块数据盘4U36包含24块数据盘数据盘最大4TB不支持节点扩容内嵌ParaStor组件及软件POSIX/NFS/CIFS/FTP接口RESTful接口双副本（推荐）、2+2:1权限管

10、理、配额、WORM适合容量小、大文件存储场景适用于金融票据、医疗PACS等市场小文件存储、有扩容要求不建议推荐ParaStor双节点存储系统视频监控专用存储系统硬件主推场景 推广“死区”视频监控专用存储系统98000974单路服务器4U24、4U36盘位 32GB Cache/3.5”HDD1GbE/10GbE视频监控对成本要求较为严格 仅作为存储资源池，节点与视频业务无复用需求存储节点上需要运行视频业务软件对性能要求较高 1234市场地位产品规格产品特性应用场景5典型案例产品特性高性能单节点/聚合带宽元数据性能线性增加小文件聚合高可靠冗余架构多副本/纠删码磁盘分组节点分区数据快速修复易扩展可

11、扩展至EB级在线扩容自动数据均衡多功能访问接口多样集群NAS功能丰富用户管理权限管理易管理图形化界面统一管理监控告警及时运维简单存储策略分级存储配额管理目录分片自动精简配置数据保护远程同步数据归档WORM行业优化QoS自动功耗控制并行集群架构设计满足高并发IO需求条带优化提供高单流IO带宽聚合带宽等于数据控制器带宽线性叠加，随容量线性增长全Active索引集群提升海量小文件处理能力卓越性能 线性增长以太网交换机1以太网交换机2索引控制器索引控制器/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_ar

12、chitecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg 逻辑层0123456789101101234567891011abcdefghijklabcdefghijklABCDEFGHIJKLAB

13、CDEFGHIJKL02ABC 物理层1数据冗余 安全可靠/home/appl/data/web/important_big_spreadsheet.xls数据冗余 多副本 vs. 纠删码Node1DDNode2DDNode3DNodeN-1DNodeNDDDD数据分段对象存储多副本N+M纠删码D1D2D3DnD11D12D1mD21D22D2mD31D32D3mD31D32D3m数据复制空间利用率：1/(1+M)D1D2D3DnErasure Code算法P1P2P3Pm空间利用率：N/(N+M)纠删码冗余 N+M：bN+M的理解N：数据对象个数M：校验对象个数D1N=8，M=2M：允许故障

14、的磁盘数目b的理解允许故障的节点数8+2:1Node1D1Node2D2Node3D3D7D8P1D2D3D4D5D6D7D8P1P2D1D2D3D4D5D6D7D8P1P2Node4D4Node5D5Node6D6P2D1D7N+M：b数据节点最小数量空间利用率4+2:1466.7%4+2:2866.7%8+2:1680%8+2:21280%10+2:1783.3%10+2:21483.3%16+1:11894.1%16+4:21280%16+4:42480%b(N+M)/M+b常见的N+M:b 模式节点分区与磁盘分组同样采用8+2:1，划分多个分区，缩小节点故障域ostor01ostor0

15、7ostor02ostor08ostor03ostor09ostor04ostor10ostor05ostor11ostor06ostor12ostor13ostor14ostor15ostor16ostor17ostor18ostor19ostor20ostor21ostor22ostor23ostor24同样采用8+2:1，划分多个分组，缩小磁盘故障域0807060504030201ostor010807060504030201ostor020807060504030201ostor030807060504030201ostor040807060504030201ostor05080706

16、0504030201ostor06LAN123412341234数据控制器数据控制器初始状态并行数据I/O数据控制器数据控制器数据控制器123412341234数据控制器数据控制器数据控制器扩展后并行数据I/O增加数据控制器按策略自动数据迁移数据控制器海量空间 弹性扩展访问接口专有Linux、Windows内核态访问接口POSIX APINFS/CIFS/FTP接口RESTful编程接口HDFS 接口SNMP接口网络接口40/56/100Gb IB10Gb/1Gb以太网RDMA支持负载均衡和冗余ParaStor文件系统应用节点 私有接口应用模式（并行存储）支持Linux和WindowsNFS/

17、CIFS访问模式（集群NAS形态）应用节点应用节点I/O 节点I/O 节点I/O 节点oAppVFSoAppVFSoAppWinFS存储系统组成存储系统组成应用服务器FTP等文件存储服务器Windows服务器NFS、CIFS、FTP、REST、HDFS VFS接口丰富 应用多样RESTful协议 RESTful接口，HTTP协议传输RESTful接口标准HTTP方式CAS（固定内容寻址存储）OpenStack Swift对象存储接口对象存储服务数据服务数据节点对象存储服务数据服务数据节点Web引擎数据服务数据节点Web引擎数据服务数据节点对象存储客户端Web客户端认证服务器访问方式主要包含上传

18、、下载、更新、删除等非实时读写，不可直接进行编辑和操作CAS存储，Key-Value方式，适合一写多读的场景兼容OpenStack Swift接口，访问之前需要通过KeyStone认证HDFS文件系统内存计算引擎流处理引擎并行数据库中间件批处理引擎关系型数据库曙光ETL工具集分布式云存储(HDFS)数据访问接口（SQL+/JDBC/CLI）分析挖掘库曙光大数据平台管理软件行为分析舆情分析个性化推荐多维度展示大数据安全体系大数据标准体系ParaStor分布式文件系统提供HFDS通用接口可作为Hadoop大数据分析软件的底层存储空间目前仅支持曙光Xdata产品产品形态优势ParaStor-Xdat

19、a 融合系统ParaStor 的数据节点安装Xdata 的软件Xdata 的管理节点单独部署 完全自主研发，可做深度应用优化ParaStor 较之开源HDFS的优势空间利用率高、性能优越、冗余度高融合系统成本优势明显 ParaStor云存储管理系统包括监控、管理、高级三大模块，简洁直观，统一管理，智能监控，及时告警统一管理 运维简单分级存储 热数据区冷数据区新建文件创建时间长访问频度低访问频度高节点1SSD/10K SAS + SATA节点2SSD/10K SAS + SATA节点内分级在线存储区高性能存储节点SSD/10K SAS近线/离线存储区大容量存储节点 SATA节点间分级FILE1F

20、ILE2FILE3FILE4FILE5FILE6配额管理存储池FS2FS1Group2Group1user1user2user3user4多粒度多层次配额设置基于文件系统基于目录基于用户组基于用户300TB40TB60TB50TBdir1dir2dir3dir450TB100TB40TB60TB50TB50TB100TB200TB200TB软硬阈值限定文件数量软阈值容量软阈值文件数量硬阈值容量硬阈值 给出告警 可以继续写入 无法写入SSD缓存加速数据文件应用服务器HDD数据节点1数据节点2数据节点NSSD读缓存数据节点上配置一定数量的SSD访问频度高的随机数据存入到SSD中，再次读取时直接访问

21、SSD智能识别连续/随机IO，自动过滤连续数据访问，最大发挥SSD作用随机、小块数据、读密集型（一定几率重读）的场景，IOPS读性能提升明显单块SATA SSD 8K随机读IOPS，实际测试值20000SSD缓存读数据流程-1客户端索引节点内存SSDHDD数据节点N内存SSDHDD数据节点M读缓存命中客户端向索引节点请求文件的位置索引节点返回访问位置客户端计算得到文件存放的数据节点位置，并向数据节点发送读请求，首先访问内存数据未在内存中，继续向本节点的SSD发送请求SSD缓存命中后，发送读SSD的请求，数据由SSD读取到内存由内存将读取到的数据返回给客户端SSD缓存读数据流程-2客户端索引节点

22、内存SSDHDD数据节点N内存SSDHDD数据节点M读缓存未命中客户端向索引节点请求文件的位置索引节点返回访问位置客户端访问数据节点的内存内存未命中，继续向本节点的SSD发送请求SSD缓存未命中，返回给内存内存下发IO请求至机械硬盘HDDHDD将数据返回给内存内存将数据写入到SSD（作为热点数据缓存）内存将数据返回给客户端*WORM（Write Once Read Many） 全局WORM时钟，确保WORM时间不受硬件时钟影响，且不受篡改 支持手动将写入数据置于WORM状态 支持设置自动将写入数据置于WORM状态的时间 支持对WORM文件内容进行追加写入操作 支持设置WORM文件的过期时间 支

23、持WORM日志，记录存储系统中的WORM行为。Client写设置WORM后，文件只读读WORM小文件聚合数据修复基于对象实现海量小文件系统（上亿个KB级别）修复速度缓慢将若干个小文件“聚合”成大文件修复基本原理开启聚合功能后，数据修复性能提升20倍以上写性能有一定程度的提升实测性能一写多读的场景海量小文件系统：专利局、GIS、卫星遥感、生物基因等适用场景远程复制两套ParaStor系统之间，数据从源端（主存储）复制到目标端（备份存储）目标端数据可以根据策略恢复至源端异步方式，非实时复制专用复制网络，TCP/IP协议，建议万兆以太网实现功能HPC类客户文件数据备份，重要文件有数据恢复的需求虚拟机

24、快照形成的镜像文件视频文件存储备份适用场景远程异步复制存储系统高可靠性是数据安全的第一屏障，但无法避免自然灾害的损坏远程容灾方案可以保证数据存取的持续性、可恢复性和高可用性远程复制是容灾方案的关键技术之一远程复制原理主要流程建立远程复制关系，确定主存储、备份存储，每台数据节点启动复制进程设置复制策略，包括周期（备份窗口期）、目录/文件、全复制/增量复制等主存储数据一次性全复制到备份存储，即初始同步。过程中修改的数据仅做记录，下次备份周期内再复制若是全备份，数据全部复制到备份系统若是增量复制，两地的存储根据记录，依次比对得到发生变化的数据块，并传输至备份存储复制过程中故障导致中断，则故障消除后，

25、尚未复制的数据继续传输，即支持断点续传专用复制网络采用双万兆以太网，且链路带宽不是瓶颈的情况下，单台数据节点MB级文件的性能实测可达800MB/s数据归档活跃数据主存储在线存储 非活跃数据活跃数据长期保存近线/离线存储 磁带磁盘光盘归档 & 长期保存keep生产系统数据在线存储专用于活跃数据的访问迁移非活跃、不常用的数据到近线/离线存储，降低成本，长期保存归档系统分类磁带库归档磁盘介质归档（ParaStor 实现方式）光盘库归档归档控制器离线系统ParaStor专用归档控制器(2U12,双节点对称系统)或内嵌到归档系统节点源端系统：支持NAS协议归档系统：ParaStor 存储方案架构手动或自

26、动执行支持文件名特征、访问时间、文件大小等策略指定任务优先级及执行时间段离线文件检索查询归档/回迁策略石油能源卫星遥感视频监控应用场景单节点归档/回迁性能（1.5GB/s以上）任务并发执行，支持断点执行离线数据巡检，保证文件一致性分区自动上下电，降低功耗优势QoS（Quality of Service）多个业务（数据流）共用网络网络过载或拥塞时，若干业务等待或被丢弃关键业务或高实时性的业务有可能中断QoS 为指定数据流（网络）提供更好的服务质量，确保重要业务不受延迟或丢弃关键业务ParaStor 实现功能适用场景保证特定业务的性能要求单流/极限带宽IOPS及时延磁盘/网络/节点故障时，业务切换

27、限定在特定时间内 广媒非线编多客户端稳定带宽持续读写+时延平滑无丢帧视频监控稳定带宽持续写入自动功耗控制 活跃区休眠区休眠区客户端WindowsUNIX/LINUXMAC数据节点按分区使用， 分为活跃区和休眠区 活跃区提供读写访问 活跃区故障，切换活跃区 待访问数据位于休眠区，自动切换 为活跃区 活跃区到达容量阈值，切换活跃区 在视频监控、卫星遥感等海量离线存储应用中，可以显著降低系统功耗休眠区活跃区活跃区1234市场地位产品规格产品特性应用场景5竞争分析典型应用场景 石油/地震 基因/制药 非线编/媒资 卫星/遥感 数字图书馆气象/环保 医疗影像 视频监控 测绘/地图 金融票据 高性能计算

28、生命科学 音视频 天文地理 资料图片 几百TB以上数据的应用场景基本都适合中小型互联网存储支撑、航天航空设计数据储存、共享文件库海量数据备份归档的应用场景基本都可取代磁带库档案、图书、试验数据1234市场地位产品规格产品特性应用场景5竞争分析华为OceanStor9000应用层数据处理层媒体娱乐 视频监控 HPC文件存储备份、归档软件备份、归档商业推广FTP NFS CIFS数据分析与Hadoop生 精准营销态系统对接HDFSNDMP对象存储服务重删多租户Https传输加密NAS存储服务HDFSInfoTier(动态分级)InfoAllocator(配额)InfoLocker(WORM)Inf

29、oReplicator(远程复制)InfoStamper(快照）InfoRevive（视频图像修复）InfoEqualizer(负载均衡)管 理 系 统InfoTurbo(性能加速)Swift/S3 HttpsInfoScanner(防病毒)InfoMigrator(数据迁移)对象存储网盘资源池OceanStor DFS硬件节点层P系列节点C系列节点 P系列节点：性能型，包括P12、P25、P36 C系列节点：容量型，包括C36、C72除C72节点为Intel Atom CPU以外，其余均是Intel E5-2620V2 CPUSugon vs. HuaweiParaStor 架构 非对称式，

30、128个元数据节点&4096个数据节点 访问协议NFS/CIFS/FTPPOSIXHDFSSwift（测试中） 功能差异 自研数据归档功能 自动功耗控制 小文件聚合 回收站OceanStor9000 架构 全对称式，288个节点(C72是144个) 访问协议NFS/CIFS/FTP POSIX（专为应对曙光开发，不太成熟）HDFS(对接华为FusionInsight HadoopV100R002C50、Cloudera Hadoop 5.4.1)Swift/S3 功能差异 全局缓存、防病毒扫描 快照、NDMP备份、掉电保护（NVDIMM/CBU） 视频图像修复EMC IsilonSugon vs. EMCParaStor 架构 非对称式，128个元数据节 点&4096个数据节点 访问协议NFS/CIFS/FTPPOSIXHDFSSwift（测试中）