DS8000存储容灾技术v11.ppt

2010年5月 DS8000存储容灾技术 1 1 1 1 1 东四容灾方案介绍 目录 DS8000存储PPRC介绍 DS8000硬件图示 DS8000组件 FramesFrames DS8000体系架构 将物理磁盘组成逻辑卷 提供给服务器使用 使得这些逻辑卷看起来像是物理磁盘一样 DS8000逻辑配置 磁盘虚拟化 DS8000逻辑配置层次 OnearraysiteusedtoconstructoneRAIDArray 8DDMs RAID5 10 61ArrayperRankRankcanbeCKDorFB1 NranksinExtentPoolAssociatedwithServer0orServer1DividedintoExtentsVolumesaremadeinExtentPool DS8000逻辑配置层次 续 VolumesorLUNsMadeupofextentsfromoneextentpoolMinsize0 1GBor1cylinderMaxsize2TB FB 56GB CKD AssociatedwithLSSduringconfigurationVolumeGroupContainsLUNsandhostattachments FBLUNmaskingOnehostattachment oneportorportgroup canbememberofonlyonevolumegroupOnevolumecanbememberofmultiplevolumegroupsMultiplehosts evendifferentopensystemsservertypes canbememberofthesamevolumegroupHostMultipleserverportscanbespecified inoneormoregroups inonehostdefinition DS8000逻辑配置 Array Anarrayiscreatedfromonearraysite ForminganarraymeansdefiningitforaspecificRAIDtypeRAID5 10 6IntheDS8000currentimplementation onearrayisdefinedusingonearraysiteAccordingtotheDS8000sparingalgorithm fromzerototwosparesmaybetakenfromthearraysiteAnarrayisformedusingonearraysiteandwhilethearraycouldbeaccessedbyeachadapterofthedeviceadapterpair itismanagedbyonedeviceadapterWhichadapterandwhichservermanagesthisarrayaredefinedlaterintheconfigurationpathD1 D2 D3 andsoon standforthesetofdatacontainedononediskwithinastripeonthearrayIf forexample1GBofdataiswritten itisdistributedacrossallthedisksofthearray ArraySite Array配置示例 DS8000逻辑配置 Rank Whenanewrankisdefined itsnameischosenbytheDSStorageManagerForexample R1 R2 orR3 andsoonYouhavetoaddanarraytoarankProcessofformingarank ThearrayisformattedforeitherFB opensystems orCKD zSeries data Thisdeterminesthesizeofthesetofdatacontainedononediskwithinastripeonthearray Thecapacityofthearrayissubdividedintoequalsizedpartitions calledextents Theextentsizedependsontheextenttype FBorCKDOneextentistheminimumphysicalallocationunitwhenaLUNorCKDvolumeiscreated DS8000逻辑配置 ExtentPool AnextentpoolisalogicalconstructtoaggregatetheextentsfromasetofrankstoformadomainforextentallocationtoalogicalvolumeSameRAIDtypeandthesamediskRPMcharacteristicsSothattheextentsintheextentpoolhavehomogeneouscharacteristicsNopredefinedaffinityofranksorarraystoastorageserverTheaffinityoftherank andit sassociatedarray toagivenserverisdeterminedatthepointitisassignedtoanextentpoolWhenassignedtoextentpoolsranksareorganizedintworankgroups Rankgroup0iscontrolledbyserver0Rankgroup1iscontrolledbyserver1OneormorerankswiththesameextenttypecanbeassignedtoanextentpoolOnerankcanbeassignedtoonlyoneextentpool Therecanbeasmanyextentpoolsasthereareranks Atleasttwoextentpools oneperservertobalancetheactivity ofeachtypeCKDorFBAdditionalextentpoolsmaybeusedtosegregaterankswithdifferentDDMtypes DS8000逻辑配置 逻辑卷 Alogicalvolumeiscomposedofasetofextentsfromoneextentpool OnaDS8000 upto65280volumescanbecreated DS8000逻辑配置 LSS Alogicalsubsystem LSS isanotherlogicalconstruct Itgroupslogicalvolumes LUNs ingroupsofupto256logicalvolumes LSSsalsohaveanaffinitytotheservers Alleven numberedLSSs X 00 X 02 X 04 uptoX FE belongtoserver0Allodd numberedLSSs X 01 X 03 X 05 uptoX FD belongtoserver1 DS8000逻辑配置 LSS示例 DS8000逻辑配置 HostAttachment Multipleserverportscanbespecified inoneormoregroups inonehostdefinitionEachhostattachmentcanbeassociatedwithavolumegrouptodefinewhichLUNsthatHBAisallowedtoaccess Multiplehostattachmentscansharethesamevolumegroup DS8000逻辑配置 VolumeGroup MapsLUNstoserverportsorportgroupsFBLUNmaskingLUNmaskingatVGlevel notLUNlevelSpecifichostattachmentcanbeinonlyonevolumegroupOptionsforsharedaccessPlacehostsinseparatevolumegroupsandsharedvolumesinmultiplevolumegroupsPlacesharedvolumesandmultiplehostsinsinglevolumegroupOneHostport portgroupcanbememberofonevolumegroupOneVolumecanbememberofmorethanonevolumegroupMorethanonehost evendifferentopensystemsservertypes canbememberofonevolumegroup DS8000逻辑配置 总结 18 18 18 18 18 目录 19 19 19 19 19 建立存储容灾重要性 无法预知的IT硬件设备的损坏 断电 火灾 自然灾害 恐怖袭击等 造成数据丢失或业务的突然中断 系统人员误操作造成意外宕机或关键数据丢失 无法避免 手段频多的黑客攻击 病毒入侵 垃圾邮件 网络与系统的漏洞 造成网络瘫痪 系统崩溃 一旦发生灾难 洪水 地震 火灾等 或者人为灾难 用户失误 磁盘失效等 导致数据丢失或者业务中断时 能够快速 及时地恢复数据 保证业务的连续运行 提高系统可用性 增加业务的可持续性 减少关键业务应用程序受故障影响在灾难和不可预知事件发生后 最快恢复关键业务数据 保障业务运营持续性 DS8000容灾技术介绍 IBM企业级存储容灾解决方案通过IBMSystemStorageDS8000企业级高端磁盘存储系统 结合IBM特有的数据复制技术MetroMirror 同步的数据复制 和GlobalMirror 异步的数据复制 在两套或多套DS8000磁盘存储设备间建立数据复制关系从而实现高可用性 在数据存储方面提高IT基础架构的整体可用性 方案配合Power服务器AIX操作系统的特色软件PowerHA XD及IBM全面的业务连续性计划配套服务 建立完善的灾难备份中心 从而保证关键数据的可恢复性与业务应用的可持续性 远程数据同步复制技术 MetroMirror PPRC的同步实现机制 1 在生产系统中的应用程序将数据写到生产系统的磁盘 2 生产系统中心的磁盘数据传输到备份中心的磁盘3 当生产数据都写入备份中心存储设备后 备份磁盘将写完操作信息返给生产磁盘4 生产系统收到灾备系统传回的已写信息之后 生产机的磁盘系统通知主机该写操作已完毕 现在同步复制技术PPRC已经正式改名为MetroMirror 同步数据复制零数据丢失支持最远303公里 数据写入后备存储 返回写操作完成信息 返回数据写入成功信息 数据写入存储 远程数据异步复制技术 保证一致性 GlobalMirror PPRC XD的异步机制 1 在生产系统中的应用程序将数据写到生产系统的磁盘 2 当数据完全写入生产中心存储设备后 I O完成的信息会返给生产主机 当生产系统收到磁盘系统传回的已写信息之后 生产系统应用继续执行 即可以进行下一步操作 3 备份机磁盘数据复制 备份磁盘复制生产系统数据 生产磁盘会定期把已经改变了的数据传输到备份中心的磁盘 4 当数据已经写入备份中心存储设备后 写完操作信息会返回给生产磁盘 生产中心的磁盘系统认为此次操作完成 异地RPO最短3 5秒 无距离限制 保证数据一致性 数据写入存储 返回数据写入成功信息 本地数据复制技术 FlashCopy FlashCopy提供一个 时间点 的拷贝服务功能 从源卷到目标卷快速地复制数据 逻辑拷贝通常可以在数秒时间内完成 然后就释放源卷 进行正常工作 而物理拷贝操作在后台进行当物理拷贝进行过程中 拷贝和被拷贝数据都能被使用 PPRC flashcopy技术的结合 A B做PPRC B是不能被服务器访问的 为充分利用灾备中心的设备 DS8000FlashCopy功能可以对B进行一份或多分快照 用于系统查询 批处理 测试 DS8000容灾解决方案介绍 两地三中心方案 DS8000容灾解决方案介绍 存储HA 异地灾备 HA GM 27 27 27 27 27 东四容灾方案介绍 目录 东四现有存储 东四容灾系统 北京联通容灾拓扑图 31 31 31 31 31 目录 DS8000存储PPRC介绍 DS8000逻辑配置步骤 1 安装激活许可2 配置IO卡 定义IO的类型 3 创建arrays 配置arrays的raid类型 raid5 raid10 radi6 4 创建ranks 5 创建extentpools 配置extentpool的server Server0orServer1 并指定rank到extentpool 6 创建LUN 定义lun类型 FB CDK 7 创建volgrp8 创建主机连接关系 安装许可 1 通过DSCLI下的lskey命令 查看许可证状态2 通过applykey命令 安装许可证3 通过lskey验证 配置I O端口 1 通过lsioport命令 检查端口的状态2 通过setioport命令 设置端口状态dscli setioport topologyscsi fcpI0000 创建Array 1 通过lsarraysite命令检查DS8000上安装的Arraysite2 通过mkarray命令创建Array 创建Array 3 通过lsarray命令验证创建的Array 创建Rank 1 在创建Array的基础上 通过mkrank命令创建Rank2 通过lsrank命令验证已创建的Rank 创建ExtpoolExtpool 并指定 RankRank到Extpool 1 通过mkextpool命令验证创建的Extpool2 通过lsexptool命令查看Extpool 确认其ID 创建ExtpoolExtpool 并指定 RankRank到Extpool 3 通过chrank命令 将Rank指定到Extpool4 通过lsexptool命令查看Extpool 可以看到Extpool的容量 创建标准的FB卷 1 适用于单个Rank的Extpool情况2 通过mkfbvol命令 创建FB卷3 通过lsfbvol命令 检查创建好的卷 创建在存储池中条带化的FB卷 1 适用于多个Rank的Extpool情况2 通过mkfbvol命令 创建FB卷 注意 eamrotateexts参数3 通过lsfbvol命令 检查创建好的卷 创建VolumeGroup 1 确定需要连接的主机类型scsimap256或是scsimask 创建VolumeGroup 2 通过mkvolgrp命令 创建VG3 通过showvolgrp命令 查看VG中的卷 创建VolumeGroup 4 通过chvolgrp命令 修改VG中的卷 创建主机连接 并指定VG到相应的主机连接 1 通过mkhostconnect命令 创建主机连接建立hostconnect连接时 选择存储Ioport时尽量选择不同IO卡的口 防止IO卡故障造成连接不可用 mkhotconnect wwname10000000C9846593 profile IBMpSeries AIX volgrpV9 ioportI0202p570 ZHJFDB1 FCS1mkhotconnect wwname10000000C9846593 profile IBMpSeries AIX volgrpV9 ioportI0203p570 ZHJFDB1 FCS1mkhotconnect wwname10000000C984507D profile IBMpSeries AIX volgrpV9 ioportI0332p570 ZHJFDB1 FCS2mkhotconnect wwname10000000C984507D profile IBMpSeries AIX volgrpV9 ioportI0333p570 ZHJFDB1 FCS2mkhotconnect wwname10000000C984659E profile IBMpSeries AIX volgrpV9 ioportI0202p570 ZHJFDB2 FCS1mkhotconnect wwname10000000C984659E profile IBMpSeries AIX volgrpV9 ioportI0203p570 ZHJFDB2 FCS1mkhotconnect wwname10000000C984644D profile IBMpSeries AIX volgrpV9 ioportI0332p570 ZHJFDB2 FCS2mkhotconnect wwname10000000C984644D profile IBMpSeries AIX volgrpV9 ioportI0333p570 ZHJFDB2 FCS22 通过lshostconnect命令 NameIDWWPNHostTypeProfileportgrpvolgrpIDESSIOport p570 ZHJFDB1 FCS1004010000000C9846593 IBMpSeries AIX0V9I0202p570 ZHJFDB1 FCS1004110000000C9846593 IBMpSeries AIX0V9I0203p570 ZHJFDB1 FCS2004210000000C984507D IBMpSeries AIX0V9I0332p570 ZHJFDB1 FCS2004310000000C984507D IBMpSeries AIX0V9I0333p570 ZHJFDB2 FCS1004410000000C984659E IBMpSeries AIX0V9I0202p570 ZHJFDB2 FCS1004510000000C984659E IBMpSeries AIX0V9I0203p570 ZHJFDB2 FCS2004610000000C984644D IBMpSeries AIX0V9I0332p570 ZHJFDB2 FCS2004710000000C984644D IBMpSeries AIX0V9I03333 通过chhostconnect命令 可以修改指定的VG 多路径管理软件 多路径管理软件SubsystemDeviceDriver SDD SUNStorEdgeTrafficManagerforSUNSolaris HPPVLinksforHP UX IBMAIXnativemultipathingI Osupport MPIO IBMi5 OSV5R3multipathsupport Inaddition therearethird partymultipathingsolutions suchasVeritasDMP whichispartofVeritasVolumeManager 建立PPRC步骤 1 确定生产端 容灾端lun已建立lun对应关系原则 两端lun的大小 id最好一样 lss分配原则 按系统分类 给每个系统分配特定的LSS 根据存储整体规划2 确定生产端与容灾端的物理链路存在3 建立PPRCpath 并修改lss属性 pprcpath是建立在物理链路的基础上的逻辑链路 每条物理链路最多能建256条逻辑链路 pprcpath的通信是基于LSS每个LSS最多对应4个LSS东四lss属性timeout为30秒4 建立pprc关系 确定容灾LUN对应关系 以综合结算系统为例生产端存储 东四数据保护DS8100容灾端存储 金盏DS8300T生产端LUN 7800 7805 7810 7815 7820 7826 7830 7832 7900 790 7910 7915 7920 7926 7930 793容灾端LUN 7800 7805 7810 7815 7820 7826 7830 7832 7900 790 7910 7915 7920 7926 7930 793 确定可用的物理链路 可以通过lsavailpprcport命令查询1 首先要先查询到两端的设备id和设备的wwwn号 可以用lssi命令查询到 PPRCfromshujubaohu DS8100toDR DS8300T shujubaohu DS8100 IBM 2107 75APMFC044 DR DS8300T DS8300 IBM 2107 75DMLFC243 2 输入lsavailpprcport命令lsavailpprcport devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 remotewwnn5005076305FFC243 fullid78 783 输出结果LocalPortAttachedPortType IBM 2107 75APML1 I0033IBM 2107 75DMLN1 I0030FCPIBM 2107 75APML1 I0233IBM 2107 75DMLN1 I0130FCP 建立pprcpath 1 用mkpprcpath命令建立pprcpathmkpprcpath devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 remotewwnn5005076305FFC243 srclss78 tgtlss78I0033 I0030I0233 I0130mkpprcpath devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 remotewwnn5005076305FFC243 srclss79 tgtlss79I0033 I0030I0233 I0130pprcpath方向是单向的 如果要建立反向的pprcpathf需要在对端存储上建立pprcpath 2 用lspprcpath命令查询 修改LSS属性 1 用chlss命令修改chlss devIBM 2107 75APML1 pprcconsistgrpenable extlongbusy3078chlss devIBM 2107 75APML1 pprcconsistgrpenable extlongbusy30792 用showlss命令查看 建立PPRC关系 1 用mkpprc命令建立pprc关系mkpprc devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 typemmir7800 7805 7800 78057810 7815 7810 78157820 7826 7820 78267830 7832 7830 78327900 7905 7900 79057910 7915 7910 79157920 7926 7920 79267930 7932 7930 7932 type参数是控制pprc的类型 mmir为同步 gcp为异步 dev参数为生产端设备id remotedev参数为容灾端设备id2 通过lspprc命令可以查看PPRC的状态lspprc devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 l7800 7805 7800 78057810 7815 7810 78157820 7826 7820 78267830 7832 7830 78327900 7905 7900 79057910 7915 7910 79157920 7926 7920 79267930 7932 7930 7932刚执行完命令时 pprcr的状态为copy pending 在后台进行同步 当所有数据同步完成后的状态为full duplex 建立PPRC关系 生产端向容灾端存储切换步骤 数据级容灾 1 停止生产端应用2 停止生产端主机环境3 failoverpprc 从生产端切到容灾端 在容灾端操作 4 建立容灾端到生产端pprcpath 在容灾端操作 5 failbackpprc 从容灾端同到生产端 在容灾端操作 6 容灾端存储对生产端主机授权7 启动生产端主机环境8 启动生产端应用注 第4 5步为在生产端存可用的情况 如果生产端存储不可用 此步骤不执行 以上步骤为在zone通道已打通的情况 failoverpprc failoverpprc在灾备端转换备份卷为主卷建立反向的MetroMirror关系 此时LUN的对应关系为Suspended状态 数据并未反向同步 1 前提条件 生产端已跟容灾端建立PPRC关系2 dev参数为容灾端的设备ID remotedev参数为生产端设备ID3 LUN对应关系为容灾端LUN对应生产端LUN failoverpprc 生产端LUN关系 容灾端LUN关系 failoverpprc 在灾备端执行Failover failbackpprc 在灾备端执行Failback failbackpprc将数据拷贝回原有的生产卷1 先决条件是在容灾端执行failoverpprc命令2 已建立容灾端到生产端pp