DDN高性能存储WOS云存储解决方案

李若甫,ruofu.li,WOS云存储系统超大规模、面向对象、地理分布,2014年6月18日Agenda,公司简介传统方案的困境WOS定位与典型应用场景WOS技术细节Q按需在线扩展，集群性能线性提升性能200MB-500MB/node低延迟，1MB以内对象的每次读写只执行1次硬盘I/O用于保存任意比例的大小从512字节到5TB的文件，且存储效率高达99%,WOS6000,4U,60-driveWOSNode(SAS/SATA)1.98PB/11UnitsperRack,典型拓扑图(物理连接),Loadbalance注:非DDN产品,IP网络注:非DDN产品,WOS6000,云网关(提供各种协议支持）,身份管理平台注:非DDN产品,WOSCloudClusterInterconnect,Service,当前版本可水平扩展到256个节点,WOS|快速部署,十分钟或者更短时间内将WOS节点、接入网络给WOS节点分配IP地址，并制定集群名字(“AcmeWOS1”)进入WOS管理界面。WOS节点出现在“PendingNodes”清单中。拖放该节点到所需的Zone如果需要，指定复制策略,SanFranciscoNewYorkLondonTokyo,拖放新节点到任何需要扩展的Zone,恭喜！WOS集群增加了180TB！,WOS|易于管理,数十PB的部署管理只需要1名全职工程师单一、全局的命名空间，易于配置和扩展自动、透明、策略驱动的数据复制零干预通过（按规划）故障点平滑降级,数据保护|ObjectAssure技术,工作特性ObjectAssure(OA)支持WOS-Lib和RESTAPIOA在WOS的单一节点内运行在WOS的保存策略中，指定“单一副本”时，OA功能开启在WOS集群中，OA和多副本复制保存方法可以混合使用以每个WOS节点为基础，OA侦测多磁盘并发错误，并能纠正2个不同磁盘的并发错误,ObjectAssure流程在PUT操作其间,OA将对象切片保存到8个磁盘上，并生成2份校验数据(8+2)如果驱动器发生故障或对象已损坏,WOS使用校验数据重建被损坏的数据（自愈合）。注意故障磁盘上的数据将散布到节点内的多块磁盘上。WOSOA根据需要在读(GETs)操作期间快速纠正数据,X,ClientApp,WOS-Lib,“PUT”,“GET”,数据保护|ObjectAssure的技术优势,传统RAID重建容量损失备盘容量被搁置重建时间长-必须重建整个驱动器，即使发生故障的驱动器上只有少部分数据数据丢失风险高如果备用驱动器不可用就不能重建增加支持成本在备件数量少时，需要立即请求维修降低写性能RAID降低磁盘写性能，尤其是小文件,x,x,x,x,传统RAID存储,整个驱动器被重建,x,x,x,ReplicatedorObjectAssure,FS+RAID6,WOS,WOS在各个驱动器之间重新平衡数据负载充分利用所有驱动器任何驱动器上的任何可用容量都是备用池的一部分恢复时间缩短50-只实际数据被复制更快的恢复数倍地提升了整体性能，并降低了数据丢失的风险驱动器故障仅使总容量损失故障驱动器自身的容量在定期维护时，通过更换故障驱动器恢复总容量即时资源调配,可用容量:116TB,可用容量:118TB,可用容量:120TB,为恢复容量，可选的计划内维修请求,恢复,RAID备盘,数据保护|同步PUT操作,同步PUTw/ReplicationWOSLib选择“最短路径”节点Zone“SanFran”中的节点保存对象到磁盘，并按照策略复制该对象到NewYork和LondonSanFran节点收到来自NewYork和Londonzones的应答SanFran节点返回OID给应用程序,04.105,05.105,06.105,A,A,A,ClientApp,数据保护|异步PUT操作,PUT带异步复制WOSLib选择“最短路径”节点Zone“SanFran”的节点保存对象的2份副本到不同的驱动器(节点)SanFran节点返回OID给应用程序然后集群(尽快)将对象复制到NewYork&London收到来自NewYork&London的应答，在SanFran的额外副本被立即删除,04.105,05.105,06.105,A,A,在WOS的管理界面中可以查看数据复制的状态,高达4路复制,WOS|GET操作(WOS-Lib),Get操作常规WOS-Lib选择具有最小延迟路径的副本，并发送GET请求Zone“SanFran”中的节点返回对象A给应用程序,04.105,05.105,06.105,A,A,A,Get操作修复受损数据WOS-Lib选择具有最小延迟路径的副本，并发送GET请求Zone“SanFran”节点检测到对象损坏WOS-Lib找到下一个最近的副本并读取、返回给客户端应用程序在后台,SanFranZone中受损的副本被健康的副本覆盖,ClientApp,X,操作:GET“A”,磁盘空间利用率,WOS消除了在SAN/NAS文件系统存储中固有的搁置容量WOS同SAN/NAS文件系统存储相比较，磁盘空间利用率平均高出25%部署1PB的SAN/NAS存储，大约有250TB的磁盘空间被限制，这增加了$50K$100K系统成本，还会浪费电源和场地成本,GPFS&WOS磁盘空间利用率对比,扩展能力和TCO,TransactionsperDay,Sources:AmazonS3CostCalculator,TotalCostofOwnership1PB,5Years,$3.4MinSavingsOver5Years,Sources:NTAP8.1.1AdministrationManual,容量扩展能力,性能,基于WOS快速构建自己的云,NAS协议(NFS,CIFS,等),原生对象存储接口,兼容S3云平台,WOS接入网关NFS协议访问控制可扩展到跨多个站点多个网关高可靠性、容灾保护,云存储平台兼容S3和WebDAV接口多租户报表和计费远程存储，文件共享，备份代理,原生对象存储C+,Python,Java,PHP,HTTPREST接口PUT,GET,DELET