国土资源数据存储新趋势新技术探讨

1,裴晋峰peijinfeng信亦宏达网络存储技术（北京）有限公司,国土资源数据存储的新趋势和新技术探讨,本PPT不代表省厅意见，仅供交流参考,2,云计算平台的存储系统建设统一化的存储资源管理平台数据保护、备份及容灾7*24小时的数据可用性案例分享问题及讨论,提纲,从虚拟化到云平台,PrivateCloud:behindthefirewallofanenterprise,closedtopublicPublicCloud:accessibleviaserviceprovidersforgeneralpurchaseHybridCloud:privatecloudslinkedtopublicclouds,3,基于应用的存储价格存储孤岛,公有云,虚拟化,私有云,Storage,Servers,Apps,Network,Workloadsmovingincreasinglytovirtualizedcloudinfrastructure,云计算平台,云计算的核心：简化资源配置，提高运行效率以按需、易扩展的方式获得所需服务云计算我们认为包括以下几个层次的服务：基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）云解决方案的构成举例：NetApp：敏睿数据共享存储平台架构Vmware：服务器资源虚拟化Cisco：网络资源虚拟化HP：高性能、高度集成刀片服务器,4,国土资源计算机应用构成,核心业务系统国土资源管理信息系统GIS（地理信息系统）.其他OA办公，Email门户网站档案资料存储系统的建设，我们应更关注“数据”结构化数据、非结构化数据数据的管理，包括：安全、备份、容灾,5,数据中心的存储系统建设数据是核心,满足长期发展的基础存储架构如何完成数据的管理数据的存储数据的在线保护数据的离线备份容灾及数据恢复易管理性灵活的可扩展性提供7*24小时业务连续性的保护,6,SANandNAS,FC-SAN：传统上我们认为SAN是更安全、可靠，效率更高的存储架构高性能数据库存储解决方案但以数据库为核心的计算机系统正在向海量数据处理发展大量的非结构数据在爆炸性增加，例如档案、地理信息资源等NAS：带有高效率文管系统的职能存储器脱离主机的文管系统适用于海量文档数据存储FCoESAN网络的统一整合：SAN+NAS,7,8,UnixNFS管理,NFS,NIS服务器,Oracle,/home/dir,WindowsCIFS管理,CIFS,MicrosoftActiveDirectory,Windows客户端,ExchangeServer,SQLServer,ISCSI,FC交换机,层1,/vol/exchlun,同步复制,/vol/oracldata,/vol/eng/users,层2,层3,/vol/oraclmirror,异步复制,备份和管理,以太网交换机,/vol/sqllun,/vol/sqllun,LUN管理,FCoE,FCP,/vol/exch/backup,/vol/orcl/backup,/vol/user/backup,敏睿数据基础架构,传统存储基础架构共享存储层,9,敏睿数据基础架构,工作负载和用户,大数据内容服务器,虚拟化服务器,非虚拟化服务器,A,B,C,D,E,基于策略的数据管理,创建复制副本工作负载A,意外增长工作负载B,创建备份副本工作负载C,性能问题工作负载D,意外增长工作负载E,需要升级系统,性能问题得以解决,需要扩展容量,增长问题得以解决,执行所有操作时都不会对用户造成中断,A1,C1,B,C,D,E,A,统一数据网络FCPFCoEiSCSICIFS/SMBNFS/pNFS,敏睿数据基础架构,10,更快地产生影响,实现无中断运行,业务增长不受限制,我们可以为具备以下特点的敏睿数据基础架构提供单一集成平台：,数据管理,数据可用性,数据扩展,11,云计算平台的存储系统建设统一化的存储资源管理平台数据保护、备份及容灾7*24小时的数据可用性案例分析问题及讨论,提纲,传统的存储空间分配方式,业务审批系统,档案管理系统,办公自动化系统,邮件系统,其它系统,3TB,1TB,1TB,2TB,2TB,总可分配存储空间,没有剩余存储空间,传统存储空间分配方式导致的矛盾,3TB,1TB,2TB,2TB,未使用空间,1TB,图例,使用一段时间后的情景,业务审批系统,档案管理系统,办公自动化系统,邮件系统,其它系统,所有的存储空间还在我手里,新的存储空间分配方式,最多使用3TB,最多使用1TB,最多使用1TB,最多使用2TB,最多使用2TB,总可分配存储空间,规定最大能使用的空间配额，不实际占用空间,图例,业务审批系统,档案管理系统,办公自动化系统,邮件系统,其它系统,采用的使用多少分配多少技术,最多使用3TB,最多使用1TB,最多使用2TB,最多使用2TB,未使用空间,还剩余的空间使用配额,已使用空间,图例,总可分配存储空间,最多使用1TB,在使用当中，采用使用多少分配多少的策略,还有这么多空间可以分配,业务审批系统,档案管理系统,办公自动化系统,邮件系统,其它系统,存储空间均衡调配和高效利用,3TB,1TB,2TB,1TB,办公自动化系统,2TB,其它系统,存储空间池,规定最大能使用的空间配额，不实际占用空间,图例,3TB+1TB+1TB+2TB+2TB,6TB,业务审批系统,档案管理系统,邮件系统,17,共享存储空间管理,创建flexiblevolume不需要预先给Volume分配实际空间WAFL在用户数据写入时自动分配空间,创建RAID组,创建存储池,vol2,vol3,磁盘组织方式对性能的影响分析,原有的架构卷的性能被它的磁盘数量限制,弊端之负载不均衡，资源不能调配,19,RG1,RG2,RG3,RG4,RG5,核心数据库系统,监管系统,门户系统,OA办公系统,档案管理,其他,访问热点,磁盘,LUN,物理磁盘层,逻辑空间层,传统存储磁盘管理模式,20,RG1,RG2,RG3,RG4,RG5,核心数据库系统,磁盘,LUN,监控系统,门户系统,OA办公系统,档案管理,其他,物理磁盘层,逻辑空间层,虚拟化实现存储I/O性能全局共享,21,磁盘,LUN,RG1,RG2,RG3,RG4,RG5,核心数据库系统,监管系统,门户系统,OA办公系统,档案管理,其他,存储池,磁盘IO的平均分布，发挥整体系统I/O性能消除了热点磁盘动态调整I/O优先级，充分、合理利用存储性能,Volume,基于应用数据进行存储性能优先级调整合理分配存储系统I/O性能资源最大可以设置5个级别,统一的性能管理,Disk,Readdatablockfromdisk,传统的存储系统会在磁盘上造成性能瓶颈,23,Readdatablockfromdisk,FlashCache,Disk,启动时间减少47%减少启动风暴存储负载减少50%性能提升71%,客户端启动和登录没有任何影响,FlashCache消除了磁盘性能瓶颈,24,高速缓存技术对在线应用性能加速举例磁盘数量限制了OLTP的性能,FlashCacheisMoreEffectivethanAddingDiskDrivesBaselinesystemwasFAS3160with84high-performancedisksTestedunderOLTPworkload1TBPAMIIcacheincreaseI/Othroughputby78%Averageresponsetimeimprovedby30%withPAMII140moredisksneededtogetsamethroughputas1TBcache1TBPAMIIcachecost55%lessthanadding140moredisks,25,BASELINEConfiguration,Plus1TBPAMIICache,ThroughputGainDuetoPAMIICache,0,10k,20k,30k,40k,50k,OperationsperSecond,+78%,存储效率,数据增长,投资,数据(TB),应用程序集成存储管理自动化集成数据保护服务自动化,使您能够做到少花钱多办事,Snapshot技术,SATA/闪速缓存,RAID-DP,简化配置,虚拟副本,简化复制,重复数据删除,运行效率,NetApp机密信息-仅供内部使用,26,提高存储效率的途径,数据,通常数据在Flexiblevolume上的保存,MetaData,DeduplicationProcess,A-SISdatainflexiblevolume,AdvancedSingleInstanceStorage,MetaData,空间剃刀:A-SIS重复数据删除技术,NetAppConfidential-LimitedUse,28,重复数据删除适用于所有应用,极大的运行和资金成本节省,BackupData,Average=45%,VMwareVMs,Geoseismic,Database,HomeDirs,CIFSShares,E-MailPSTs,MixedData,DocArchives,Engin.Archives,90%,70%,55%,55%,35%,30%,30%,25%,25%,35%,29,云计算平台的存储系统建设统一化的存储资源管理平台数据保护、备份及容灾7*24小时的数据可用性案例分享问题及讨论,提纲,数据安全性的保障手段,全冗余的硬件存储架构设备物理上的安全并不能保证逻辑数据的可用D2D、D2T、D2D2T的数据备份方案LAN、LAN_Free数据备份解决方案面临的问题数据量的膨胀性增加备份窗口的严格限制对生产系统带来的影响,30,RPO/RTO,数据保护时间轴,Failure出错时刻,12hrs,12hrs,12hrs,12hrs,12hrs,12hrs,RPO恢复点目标=企业能容忍的最大数据丢失量RTO恢复时间目标=企业能容忍的最长数据恢复时间,如何衡量一个数据保护系统,RPO（RecoveryPointObject）数据能恢复到哪个时间点。这个指标表明了在数据丢失事故发生时，用户利用数据保护系统来进行数据恢复时，最多会导致用户丢失多长一段时间的业务数据。该指标反映了数据保护系统对业务数据的保护力度，这个指标越小，就说明数据保护系统对用户的业务数据保护越到位RTO（RecoveryTimeObject）在发生数据丢失后，需要多长时间恢复用户应用系统的正常运行。这个指标表明在数据丢失事故发生时，用户利用数据保护系统来进行数据恢复时，最长需要多少时间来恢复整个应用系统的正常运行。该指标反映了数据保护系统对应用系统的保护力度，这个指标越小，就说明数据保护系统对用户的应用系统保护越到位。对应用系统的性能影响数据保护系统的建设成本：一般来说，数据保护系统对用户应用系统以及相关的业务数据的保护越到位，其所需的建设成本就越高管理的复杂度,数据中心数据保护多层次考虑,Highsystemprotection,数据中心,MetroCluster,区域/城域,SnapMirror异步MostcosteffectivewithRPOfrom10min.to1day,广域,PrimaryDataCenter,ClusteredFailover(CFO),CosteffectivezeroRPOprotectionSnapMirror同步MostrobustzeroRPOprotection,数据保护技术简介,数据本地保护（在同一套存储系统内实现数据保护）数据快照RAID技术数据镜像基于磁盘阵列技术的数据备份Snapvault(OSSV、SnapvaultforNBU)数据容灾保护基于磁带库的数据备份物理磁带库虚拟磁带库,业界常用的RAID技术,RAID5，RAID10，RAID6RAID4RAID-DP热备盘RAID后磁盘的可用容量（N-1，N/2,N-2）,36,主流RAID方法比较,RAID-DP提供高于RAID1的物理数据保护只需付RAID4的代价，得到RAID4性能和简单性,硬盘故障保护方式分析,37,RAID4RAID5用于同RAID组中一块硬盘故障RAID10高安全性，高成本，利用率50%RAID-DP用于同RAID组中两块硬盘故障RAID-DP以经济有效的方式提供增强的数据保护功能RAID-DP加SyncMirror(RAIDDP+1)用于Mirror镜像,一套磁盘组故障,任意5块盘,1块盘,SyncMirror,Checksums,RAID45,RAID-DP+SyncMirror,RAID-DP,任意2块盘,任意3块盘,数据保护方案分类,数据保护成本递增,如何快速实现备份和恢复快照方式,基于存储设备的块级增量备份方式，可结合各种类型的应用实现在线备份备份过程对存储系统无性能开销备份/恢复时间短单卷可支持最多255份可执行更频繁的备份备份数据可见结合Snaprestore可实现大数据量的快速恢复,38,TimeinHours,TimetoBackup,TimetoRecover,ToTape(60GB/HrBestCase),FromTape,RedoLogs,300GBDatabase,012345678,snapshotBackup,快照数据,生产数据,快速数据恢复技术：Snaprestore,空闲空间池,生产数据根节点,快照数据根节点,生产数据独占的空间,快照数据独占的空间,共享的空间,图例,直接把快照数据升格为生产数据,生产数据,生产数据整个损坏,数据恢复完成,不需要任何的数据拷贝过程，只涉及到一些标志位的修改和数据块的释放，因此，不管需要恢复的数据量多大，都能在很短的时间内完成数据恢复,传统的数据克隆技术,生产数据,B,C,D,A,B,C,D,A,1.从系统的空闲空间中分配一份和需要克隆的数据容量相等的空间,2.源数据和新分配的空间建立数据复制关系，进行长时间的数据复制把所有源数据拷贝到新分配的空间，拷贝时应用虽然可以继续访问源数据，但是性能会受到严重影响,应用系统,3.数据拷贝完成，断开复制关系，数据克隆完成,快照数据,生产数据,克隆数据,新的数据克隆技术Flexclone:克隆生产,A,B,C,D,空闲空间池,1.复制生产数据的根节点，产生一份快照数据,D,A,2.复制快照数据的根节点，产生一份克隆数据,数据克隆完成，只需要拷贝根节点而不需要拷贝任何数据，可以实现秒级数据克隆,生产数据和克隆数据在逻辑上完全独立，各自可读可写，系统只需要额外的存储空间用来保存两者各自的变化数据即可,生产数据,数据克隆技术Flexclone:克隆删除,B,C,D,空闲空间池,D,A,快照数据,克隆数据,A,存储实现备份容灾数据保护,43,随着服务器利用率增加，基于主机Agent的备份方式已经不再适合备份,传统备份带来的问题问题磁带备份速度慢、复杂流式备份需要较长的备份时间恢复速度慢有限的恢复时间点,基于存储快照的解决方案基于存储的备份快速备份和恢复存储开销低备份频率高，具有应用一致性,异地分支机构,SnapVault,SnapMirror,集成的统一数据备份管理SnapProtect,Snapshot,End-to-EndDataProtection（备份及容灾）,SnapVault/SnapMirror,BackuptoTape,NetAppSecondaryStorage,TapeLibrary,LocalSnapshots,TapeBackups,Disk-to-Disk,SnapVault,Best-in-classNDMPsupport,CommCell,SingleManagementConsole,SnapMirror,我们应更关注数据的可用性,Node1,Node2,双活动存储节点7*24小时高可用性解决方案,500m,DataCenter,StretchMetroCluster,AggregateX,AggregateY,AggregateYMirror,AggregateXMirror,46,BuildingA,BuildingB,NoSPOFsredundancyinallcomponentsandconnectivityDedicatedpairsofFCswitches,双活动数据中心解决方案,DarkFiber,=100km,FabricMetroCluster,NetAppConfidential-LimitedUse,47,PrimaryDataCenter,与传统数据镜像解决方案的区别,AlternateDataCenter,Others,MetroCluster,48,NetAppConfidential-LimitedUse,两地三中心容灾配置-正常,49,v1.0,MetroCluster,楼宇1,I/O,楼宇2,容灾站点,楼宇1与容灾站点间SnapMirror关系,SnapMirror,100KM内同步镜像,无限距离内的异步复制,ODB2,ODB1,三中心容灾配置-本地站点失败,50,v1.0,MetroCluster,楼宇1,I/O,楼宇2,容灾站点,ODB1,ODB2,一个”failover”指令，手工活自动智能的断开镜像关系,与容灾站点间的SnapMirror关系自动透明的转移到楼宇2,I/O,ODB1,ODB2,三中心容灾配置-地区灾难,51,v1.0,MetroCluster,楼宇1,I/O,楼宇2,容灾站点,ODB1,ODB2,I/O,ODB1,ODB2,52,数据保护解决方案结构总结,数据有效性,Cost,成本,数据块级别增量备份,异步文件复制,操作连续性,异构平台冗灾,应用恢复,日常备份,Snapshot,ReplicatorXDataProtectionSuite(TDPS),Synchronous同步Clusters集群MetroCluster,Async/Synchronous异步/同步SnapMirror,SnapVault,较低层次,中级层次,高级层次,SnapRestore,异步/同步复制,53,云计算平台的存储系统建设统一化的存储资源管理平台数据保护、备份及容灾7*24小时的数据可用性案例分享问题及讨论,提纲,54,集成的统一备份环境双活数据中心方案设计,案例一：某企业双活数据中心架构,55,VirtualInfrastructure,基于xxxRPO目标定制对VM1,VM3,VM6的时间表快照,VC,VM1,VM2,VM3,VM4,VM5,VM6,VM7,VM8,VM9,ESX,ESX,ESX,SnapManagerforVI,Datastore1,Datastore2,SMVI请求与VC通讯VC通过所选择虚机的ESX服务器建立热备模式静默VM1,VM3和VM6SMVI在NetApp主存储上执行Datastore1(VM1&VM3)和Datastore2(VM6