存储讲课云解决方案

1、云存储解决方案信息高可用L2+级课程IBM Storage Virtualization solution云存储方案L3级课程虚拟化的动机数据的海量增长数据中心成本飙升部门缺乏足够的能力以快速响应业务的需求服务提交压力不尽人意的可靠性及服务级别保障服务水平压力缺乏熟练的技术管理人员管理成本高资产使用率低采购成本高什么是虚拟化？虚拟化 ： 一种替代以前的进程 创建虚拟化资源并且映射到物理资源 可以进行一对多或多对一的映射 映射任务由软件或微码实现物理资源有自己的接口和功能的部件通常是物理的，可以是集中的，也可以是分散的例子：内存，磁盘，网络，服务器虚拟化的资源替代物理的资源： 同样的接口/ 功能

2、，但是摆脱了物理资源的限制可以综合利用所有的物理资源存储现状：现有SAN环境分析（架构角度）NetappIBM DS4000EMC or HDSSANHitachiThunderHitachiLightningEMCCLARiiONEMCDMX驱动程序驱动程序驱动程序驱动程序驱动程序管理工作必须在不同的要素间进行多路径驱动程序管理软件拷贝服务应用接口Hitachi mandEMCControlCenter供应商 甲 拷贝服务供应商 乙拷贝服务EMCControlCenterSymmetrixManagerEMCControlCenterNavisphere当需要改变存储架构时，主机应用不得不被

3、迫中断存储现状：现有SAN环境分析（管理角度）什么是存储虚拟化？在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器层完全透明。 隐藏了复杂程度 允许将现有的功能集成使用 摆脱了物理容量的局限虚拟化逻辑表现物理设备统一的虚拟化存储环境（架构角度）IBM DS4000NetappIBM DS8000EMC or HDSSANStorage Pool聚集多个磁盘系统建立一个大的存储池一套拷贝服务适用于所有存储系统从一个点管理所有存储系统存储改变不影响应用VirtualDiskVirtualDis

4、kVirtualDiskVirtualDiskSAN Volume ControllerAdvanced Copy ServicesHPEMCDS4000DS8000HDS在异构环境下建立虚拟化存储管理系统（管理角度）存储虚拟化不仅仅为了省钱Top Storage Virtualization Business Drivers“做服务器虚拟化是为了省钱，但是做存储虚拟化不光是为了省钱，更是因为增加了灵活性。Server virtualization is about savings, but storage virtualization is not about savings. Its mo

5、re about flexibility.”Source: Aberdeen GroupJohn Murphy, CEO of MYRA Systems CorpReduce data center complexityImprove utilization ratesControl rapid capacity growthReduce capital costs (including real estate)Implement tiered storageDynamic resource flexibilityDisaster recovery and data protection43%

6、40%38%33%30%25%24%存储虚拟化的实现层面磁盘存储存储网络主机及操作系统可以在某个层面单独实施也可以多个层面共同实施上层层面在某个下层层面的基础上进行共同作用选择虚拟化方案的十大考虑要素应该是一个SAN-wide的虚拟化方案应该支持已有的SAN资产应该能够对应用提供满意的处理性能、可用性及可复原性性能: 用户响应时间，IOPS 或 MB/s可用性: build-in冗余度, 尤其是群集化的虚拟化控制器可复原性: RTO & RPO应该具备n-倍的扩展能力，以满足项目发展的需要包括容量、盘阵组数量、存储端口、服务器数量、主机端口、性能等应该具备所需的数据迁移和数据拷贝功能数据迁移、

7、快照拷贝、远程数据复制等应该支持有效的开放标准存储界面和管理的相关标准，如SMI-S、FAIS ( Fabric Application Interface Standard )等安装过程的生产中断应该最小化应该能够带来可靠的投资回报可获得的益处应该大于评估出的风险在生产稳定性和供应商的生存能力等方面不要纠缠于架构的细节辩论中 源自： The Clipper Group 于2005年5月13日发布的研究报告( #TCG2005028)IBM SVC 高级数据复制服务SVC 存储精简配置SEVDs（Thin Provisioning ）更有效的Thin Provisioning:SVC Grai

8、n Size:32KB,64KB,128KB,256KBSpace Efficient VDisks - zero detect原理支持将 非SE的VDisk 中没有使用过的容量(zeros)回收到SVC MDG里，把VDisk变为SEV方法是将一个 fully allocated VDisk 和一个 Space-Efficient Virtual Disk (SEV) 做 VDisk Mirroring等VDM的同步客户收益为客户腾出更多的存储空间，更有效的利用存储客户可以把通过原来的存储做的SE LUN 迁移到SVC上面从主机的角度看不到任何变化SANVolume Controllerda

9、tadatazeroszerosdataReclaimed disk spaceVDisk copy 1*(fully allocated copy)VDisk copy 2*(space-efficient copy)VDiskSVC CAN NOW MAKE THIS RECLAIMED MANAGED DISK SPACE AVAILABLESVC 容灾Metro Mirror & Global MirrorMulti Cluster Mirroring supportSANSANSANSANSVC (B)原理在四个SVC Cluster之间建立Metro Mirror 和 Global

10、 Mirror 的partnership，之前的版本只能建立两个SVC Cluster之间MM/GM的partnership但是每个VDisk只能创建 一次 MM/GM relationship在整个一套环境中，既可以有Metro Mirror 也可以有 Global Mirror (例如： B to A as Metro Mirror, and D to A as Global Mirror)VDisks SVC (A)VDisks SVC (C)VDisks SVC (D)VDisks 112233Metro Mirror or Global Mirror RelationshipSite

11、 1Site 2Site 3DR SiteMetro Mirror or Global Mirror RelationshipMetro Mirror or Global Mirror Relationship客户收益支持客户的灾备集中侧策略支持灾备服务提供商的多点对一点的复制需求当前的版本支持四个Cluster之间的MM/GM复制伙伴关系Multiple Cluster Mirroring - configuration rulesABDCABDCABDC8192 MM/GM relationship support原理支持 8192 Metro Mirror and/Global Mirr

12、or relationship，之前的版本只支持1024个这些MM/GM relationship可以独立的进行控制 (create/delete, start/stop)客户收益支持大规模的灾备中心 一致性组支持 256 个MM/GM一致性组支持将所有的 8192 relationship 放在一个一致性组里MM / GM targetsMM / GM sources8192 relationships(up from 1024 in 4.3.1)SVC 快照FlashCopyIncremental FlashCopyReverse Flash Copy support原理支持把FlashC

13、opy 的某一个目标VDisk 恢复到源VDisk上，并且不需要停止原有的 FlashCopy关系，并且不需要等原有的FlashCopy关系结束。在以前的版本中，我们想要把源VDisk的数据恢复到某个快照版本，需要：等源VDisk-目标VDisk的快照关系完成，如果原来是no_copy的快照，它永远无法完成。完成后停止源VDisk-目标VDisk的快照关系，创建反向关系，启动反向关系。通过MTFC和reverse FlashCopy 的配合，即Multi-Target Reverse FlashCopy来得到多个rollback points。客户收益SVC Multi-Target Reve

14、rse FlashCopy功能并不影响目标FlashCopy正在做的磁带备份，数据挖掘等应用。 在反向恢复前，能够测试多个不同时间点的快照。在reverse之前还可以为源VDisk再做一份快照，如右图示SANsourceMulti-Target FlashCopy operationtarget2. Reverse FlashCopy operationSANVolume ControllertargetSANORIGINAL RELATIONSHIPSORtargetsourcesourcetarget1. Optional Copy of Original SourceLATER RECO

15、VERY POINT IN TIMESANVolume ControllerTivoli FlashCopy ManagerThe management of many large reverse FlashCopy consistency groups is a complex task, without using tooling for assistance.Tivoli FlashCopy Manager is a new product that provides many of the features of TSM for Advanced Copy Services witho

16、ut the requirement to use TSMFeatures includeCo-ordinating and automating host preparation steps before issuing FlashCopy start commands to ensure the application consistent backup is taken.For example put databases into hot backup mode and flush filesystem caches before starting FlashCopyManagement

17、 of on-disk backups using FlashCopy and providing a simple interface to the “reverse” operation.This should improve the interlock between SVC and TSM for ACS as well.SVC 本地存储HAVdisk Mirror SVC异构存储高可用性（VDM）解决方案SANEMC CX700Management LANSVC ClusterSVC ConsoleAIX NodeIPFCIBM DS8000IBM SAN Volume Contro

18、ller 解决方案及亮点是否需要集中管理分散的存储资源?是否需要一个统一的数据管理平台?是否需要统一和简化的异构存储环境?是否需要建立一个灵活的存储架构以适应未来业务的增长?是否需要进行应用的在线转换和在线数据迁移? 是否需要进行在线的容量扩展或者更换旧存储系统?是否需要改进存储资源的利用率? 是否需要在不同的存储系统间实现灾备？是否需要提高低端存储系统的性能，是否需要以中端存储的价格，获得企业级存储的可用性IBM SAN Volume Controller (SVC) is the AnswerSVC 适合更多的环境IBM SVC 功能性解决方案SVC的功能和优势 （一）简化管理在异构环境中

19、创建统一的磁盘池所有磁盘系统可以按性能最优的方法做统一，规整的划分方便扩容后的设置方便存储设备的移入，移出充分利用磁盘空间，节能减排层次化存储，节能减排在上层做统一的监管，报告统一的管理界面减小管理成本，例如不需要频繁的改bin fileSANSANVolume ControllerSAN传统SAN环境停止应用迁移数据(1TB/4-5小时）连接主机及新存储设备应用重启引入SVC后移动数据（主机系统和应用不受影响）VirtualDiskSVC的功能和优势 （二）不停机数据迁移把数据在不同层次的磁盘池之间迁移时使用新旧设备更替的时候使用新旧设备更替存储局域网SVCImageModeServer旧存

20、储系统新存储系统将SVC植入SAN部署新的存储系统透明的将数据从旧存储迁移到新存储上演示SVC的功能和优势 （三）异构磁盘系统之间做复制服务传统SAN环境 不同设备厂商提供了不同的复制API 复制目的地和复制源必须为同构平台 不同产品使用不同的多路径驱动程序 低端磁盘设备没有复制功能，或仅提供很初级的复制功能引入SVC后 整个SAN环境中使用公共、统一的复制API，不会随着存储设备改变而改变 所有存储阵列使用公共的多路径驱动程序 复制目的地可以使用低价的磁盘设备，从而减少了远程灾备所需的成本SANSANSANVolume ControllerIBMDSxIBMDSxEMCSymEMCSymFl

21、ashCopyPPRCTimeFinderSRDFIBMDSxIBMDS4xEMCSymHPMASVCIBMS-ATASVC的功能和优势（四）先进的快照技术 在多个版本的快照之间设立数据拷贝关系，减小对源VDisk的压力 支持各种形式的快照 对一个源VDisk支持256份快照App写IO其他磁盘系统的快照SVC的功能和优势（四）先进的快照技术 在多个版本的快照之间设立数据拷贝关系，减小对源VDisk的压力 支持各种形式的快照 对一个源VDisk支持256份快照App写IOSVC的快照SVC的功能和优势（五）VDisk镜像功能VDisk Mirror功能使RPO=0,RTO=0成为可能数据在两个

22、磁盘系统之间镜像，每个Extent有两份拷贝一个磁盘系统损坏或离线维护时应用仍能继续可以为已有的VDisk加入一份拷贝，也可以分离一份拷贝Recovery Point Objective (RPO) RPO是反映恢复数据完整性的指标， 即新恢复业务系统的数据损失量。Recovery Time Objective (RTO)RTO是反映业务恢复及时性的指标，表示业务从中断到恢复正常所需的时间。AppAppAppIBMEMCHDSHPSVCVirtual disks写 IOMirror1Mirror2SVC的功能和优势（五）VDisk镜像功能VDisk Mirror功能使RPO=0,RTO=0成为

23、可能数据在两个磁盘系统之间镜像，每个Extent有两份拷贝一个磁盘系统损坏或离线维护时应用仍能继续可以为已有的VDisk加入一份拷贝，也可以分离一份拷贝Recovery Point Objective (RPO) RPO是反映恢复数据完整性的指标， 即新恢复业务系统的数据损失量。Recovery Time Objective (RTO)RTO是反映业务恢复及时性的指标，表示业务从中断到恢复正常所需的时间。AppAppAppIBMEMCHDSHPSVCVirtual disksMirror1Mirror2读 IOSVC的功能和优势（六） QoS功能对高性能的磁盘池分配更多的系统资源对每个VDis

24、k都可以限制对其服务的等级，以满足某段时间内对某个应用服务级别的要求SATAMidrangeEnterpriseEnterpriseFree所有缓存空间SVC的功能和优势（七） 方便的继承已有数据（迁入和迁出）检查兼容性列表确认符合兼容条件将SVC的节点都插到光纤交换机上停止应用（最好关闭相关的主机）更改交换机上的Zone更改存储上的LUN Masking映射在SVC上使用Image Mode来创建VDisk以继承原有的数据卸载主机上原有的多通道软件，安装SDD启动应用如果想进一步优化性能，再将Image Mode VDisk在线迁移成Striped Mode VDisk将所有Striped

25、Mode 和 Sequential Mode 的VDisk在线迁移成Image Mode 的 VDisk停止应用卸载SDD 安装存储的多通道软件更改交换机上的Zone更改存储上的LUN Masking映射启动应用移出SVCExtent 1aExtent 2aExtent 3aExtent 1bExtent 2bExtent 3bExtent 1cExtent 2cExtent 3cStripedModeSEV(Space-Efficient Vdisk）是在SVC上实现了业界著名的thin provisioning功能。原来的虚拟磁盘（Vdisk )占用与其容量完全相等的物理磁盘空间像使用传统

26、的磁盘阵列系统方式一样使用SEV， 只有当进行写数据时，才使用物理磁盘空间大大减少实际使用物理磁盘容量使用IBM SVC的，可以使其所管理的所有磁盘系统都具有thin provision 功能IBM SVC SE Vdisk与普通的Vdisk可以是统一的存储池SEV功能是SVC免费提供的， 不需要额外的软件授权， 现有的客户可以升级到SVC4.3后就可以享受这一功能。SVC的功能和优势（八） 提高存储系统利用率IBM SVC 复杂解决方案目前面临的问题容量被分离在单独磁盘系统单独的磁盘系统需要单独管理,在SAN有多个管理点磁盘系统的使用不能优化容量被限制在单独磁盘系统SAN95%capacit

27、y25%capacity50%capacitySVC 虚拟化方案的益处把多个磁盘系统组成单一的存储池对存储的使用更加有效率使用单一单点管理所有系统节约存储容量,减少浪费减少存储设备，节约能源结合SVC SEV,进一步节约存储容量，减少存储设备SANSANVolume Controller55%capacity SVC 打造绿色云计算数据中心优化存储资源，实现统一管理SVC 实现信息生命周期管理：信息的价值随时间而异Source: Enterprise Storage Group时间7Days14Days21Days28Days3Months6Months9Months1Year5Years10

28、Years020406080100120数据价值Data BaseDevelopment CodeEmailProductivity FilesMPEGVendor_ZSVC Metro MirrorSVC Global MirrorSAN生产中心灾备中心Vendor_YManagement LANSVC ConsoleNodeNodeSANSVC ClusterFC or extensionNodeNodeIPFCVendor_X 01011010101010100101101010101010 01010010100101101010010101SVC ClusterSVC最高级别数据保护

29、异构存储本地HA 远程容灾SVC VDMSVC VDMSVC配合HA-XD做灾备的方案技术原理1. Power HA/XD侦察到生产站点故障，启动 failover进程。2. Power HA/XD在灾备中心启动容灾站点卷。3. Power HA/XD在灾备中心重新启动系统和应用。商业价值1.不需要人为干涉的自动切换2. 更快的切换时间跨地域逻辑卷管理 基于IP的远程镜像异构存储高可用及容灾方案Power HA/XDMetro Mirror与DS8000 & SVC集成与IBM FlashCopy、 Metro Mirror集成高可用及容灾方案FlashCopyGeographic Mirro

30、ringGLVM 集群Metro Mirror/Global Mirror 集群Tier 4Tier 3Tier 2Tier 7Tier 6 Tier 5Tier 1真正实现最高级容灾保护（第七级）。大大加快系统切换速度，同时避免人为操作失误。SVC1 Quorum 1/2/3Site 1Site 2SVC配合VMware的SRM做灾备的方案(1/3)SVC Cluster 1SVC2 Quorum 1/2/3SVC Cluster 2ISL 2ISL 1SVC VDisk MirroringMetro MirrororGlobal MirrorMetro/Global MirrorSecon

31、dary VDisksSwingBench + OracleApplication still runningSVC1 Quorum 1/2/3Site 1Site 2SVC Cluster 1SVC2 Quorum 1/2/3SVC Cluster 2ISL 2ISL 1SVC VDisk mirroringMetro MirrororGlobal MirrorSVC配合VMware的SRM做灾备的方案(2/3)SwingBench + OracleSVC1 Quorum 1/2/3Site 1Site 2SVC Cluster 1SVC2 Quorum 1/2/3SVC Cluster 2ISL 2ISL 1SVC VDisk mirroringMetr