SVC存储虚拟化技术方案及应用

1、 SVC 存储虚拟化技术方案及应用 目 录1 为何需要存储虚拟化？2 什么是 SAN 存储虚拟化？3 存储虚拟化的价值4 SAN 虚拟化平台-IBM SVC4.1 SVC 硬件架构4.2 SVC SAN 组网架构4.3 SVC 逻辑架构4.4 SVC cache5 SVC 存储虚拟化应用示例5.1 应用示例 1: 形成统一的存储虚拟化环境5.2 应用示例 2:快照/clone 技术5.3 应用示例 3:数据保护和卷的在线迁移5.3.1 首先介绍一下 SVC 卷 (volume) 的类型 :5.3.2 应用示例 3.1: 跨存储的数据迁移和替换5.3.3 应用示例 3.2: 存储加入 SVC 虚

2、拟化网关5.3.4 应用示例 3.3: 通过 SVC 进行异构存储间的数据迁移5.4 应用示例 4:存储虚拟化的扩展性1 为何需要存储虚拟化数据的海量增长，存储设备数量每年都在急增。超过百套不同品牌（HDS、EMC、IBM、HP、NETAPP、HuaWei）和不同型号。中、高端 SAN 存储组成了“万国牌”。特别是非核心生产的存储数量和品牌都增加，可存储运维人员还是那几杆枪，运维“万国牌”存储，需要存储管理员同事熟练掌握HDS,EMC,IBM,HP,NETAPP,HuaWei 等中、高端存储日常操作，要都精通几乎成了不可能任务。存在大量空间容量只有几十 TB 的中端小存储。缺乏统一的管理平台页

3、面，在不同存储间登录切换的耗时耗力就让人懊恼不已。更重要的是单个存储容量盘子小，存储使用率不敢用的太高，导致 used%使用率一直比大容量存储的 used%低不少。累计加起来空间浪费情况十分严重。各个品牌型号存储复制方案相互间无法兼容，每次都要针对新型号的存储重新开发一套完整的存储复制(copy services)自动化脚本，用来创建测试、开发、生产报表 DB，和进行数据备份。还要同时维护多套存储复制方案，耗时耗力,累到吐血。每年有超过 1/3 工作量用在数据迁移和存储过保替换上。存储虚拟化前主要采用主机端卷组管理软件数据迁移方案，无法真正意义上做到 online 替换。存储虚拟化主要为解决以

4、下个问题:1. 企业级存储复制方案(copy services)选型和平台统一。消除不同品牌型号存储间无法进行快照、clone、数据复制迁移、容灾复制等限制。2. 存储资源整合和平台统一管理。将一个个“孤岛“存储打通连接，在虚拟化的技术下让这些”孤岛“组成一个大的资源池，对外提供存储服务。减小人员管理运维”万国牌“存储的运营成本，通过统一的管理平台大幅提升运维效率。3. 便于不同品牌型号存储间的频繁数据迁移和存储过保替换。找寻一种在存储端就能实现 online 数据迁移并让主机和应用无感知的存储迁移解决方案。4. 业务快速响应的需求,特别是非核心生产环境的大量存储服务交付压力。2 什么是 SA

5、N 存储虚拟化？什么是虚拟化？虚拟化不受限于物理设备界定及限制的逻辑资源表示 在单独物理设备中创建更多的虚拟资源 超越单独物理设备界限整合众多的物理及虚拟资源统一管理 活动动态变更及调整信息基础架构如何存储虚拟化？ 在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。 服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器层完全透明。 -隐藏了复杂程度 -允许将现有的功能集成使用 -摆脱了物理容量的局限块存储虚拟化模型(Block-level virtualization overview):说明:Disk Subsystem 即单个独立的磁盘

6、系统，比如传统 SAN 存储阵列。Disk Subsystem 分盘/空间给虚拟化网关形成 Physical Disk (LUN/Mdisk)。虚拟化网关将 Physical Disk (LUN/Mdisk) 格式化后创建 虚拟存储池(POOL)。并生成逻辑卷(Logical volume)map 给主机使用。SVC 的存储虚拟化方案即是(A block-level virtualization solution)。3 存储虚拟化的价值根据多年来我司 SAN 存储虚拟化经验，总结如下几条存储虚拟化带来的好处:4 SAN 虚拟化平台 - IBM SVC4.1 SVC 硬件架构NODE: SVC

7、节点下图中包含 2 个 SVC controller 也叫 SVC node 。是定制化的 X86 服务器。Node 详细英文解释如下:Each SVC hardware unit is called a node. The node provides the virtualization for a set of volumes, cache, and copy services functions. The SVC nodes are deployed in pairs (cluster) and multiple pairs make up a clustered system or s

8、ystem. A system can consist of 1 - 4 SVC node pairs. Because the nodes are installed in pairs, each node provides a failover function to its partner node if a node fails.I/O group: SVC 节点组，由 2 个节点组成，双活架构同时互为主备。I/O group 详细英文解释如下:Each pair of SVC nodes is also referred to as an I/O Group. An SVC clus

9、tered system can have 1 - 4 I/O Groups.A specific volume is always presented to a host server by a single I/O Group of the system.The I/O Group can be changed.Cluster/System: SVC 集群，由 2-8 个节点组成。Cluster/System 详细英文解释如下:The system or clustered system consists of 1 - 4 I/O Groups. Certain configuration

10、 limitations are then set for the individual system. All configuration, monitoring, and service tasks are performed at the system level.Configuration settings are replicated to all nodes in the system. To facilitate these tasks, a management IP address is set for the system.一个满配的 SVC 集群 I/O group 和

11、node 关系图4.2 SVC SAN 组网架构说明:Disk Subsystem 即单个独立的磁盘系统，比如传统 SAN 存储阵列。Storage Zones: SVC 硬件和后端存储(Disk Subsystem) 间联通的 zone 。Host Zones: SVC 和前端主机间联通的 zone。通过 Storage zone 和 host zone 达到前端和后端 SAN 流量隔离的目的。4.3 SVC 逻辑架构说明:Disk Subsystem 即单个独立的磁盘系统，比如传统 SAN 存储阵列,可以是不同品牌不同型号的存储。Disk Subsystem 分盘/空间给虚拟化网关SVC

12、Clustered Systems 形成 MD (Manage disk)。SVC 通过 MD 创建虚拟化存储池 POOL。单个 POOL 里面可以包含不同 Disk Subsystem 的 MD。在 POOL 的基础上，SVC 存储虚拟化层创建卷(volume)并通过 I/O group map 给主机使用: 注意一个 volume 只能被一个 I/O group 进行管理，这个 I/O group 是这个 volume 的 owner I/O group。 主机 IO 访问 SVC volume 也是通过 I/O group 进行。每个 I/O group 由 2 个 SVC node （

13、X86 服务器）组成,这 2 个 node 是双活架构同时互为备份。4.4 SVC cache说明:1. 主机端发起写 IO2. SVC node1 cache 接收到写 IO，并将该 IO mirror 到 SVC-node2 cache3. IO 在 SVC-node 2 cache mirror 完成后，SVC 回复(act) 主机写操作完成。4. 数据由 cache 落盘到 SVC 存储存储。(正常情况下一个卷 volume 只有有个 copy,对卷做 mirror 后产生 copy-2)5 SVC 存储虚拟化应用示例5.1 应用示例 1: 形成统一的存储虚拟化环境将一个个”孤岛”存储

14、设备连接打通，不同品牌和型号的 SAN 存储阵列统一接入 SVC 虚拟化网关，作为 SVC 的”硬盘”。在虚拟化的技术下让这些”孤岛“存储组成一个个大的资源池，对外提供存储服务。有效提升整体环境中存储容量的利用率。减小人员管理运维”万国牌”存储的运营成本，通过统一的管理平台大幅提升运维效率。5.2 应用示例 2:快照/clone 技术通过 SVC 存储虚拟化层对外提供统一的数据复制(Enterprise-level Copy Services functions )功能：比如数据镜像(mirror),快照(flashcopy),克隆(clone),容灾复制等。(不再需要为这些存储单独购软件功能

15、的 license。)存储虚拟化需求数据复制说明:通过 SVC 存储虚拟化对应用提供统一的存储数据复制(Enterprise-level Copy Services functions )服务: 通过 SVC flashcopy 快照功能，对 DB 数据库应用进行整体快照复制，创建每日刷新生产报表数据库(每日大数据分析)。 通过 SVC flashcopy 快照功能，对 DB 数据库应用进行整体快照复制，创建部署(新版本发布验证)数据库(100%保证部署环境和生产环境一致)。 通过 SVC 克隆(clone)卷技术，创建开发、测试数据库应用，并支持按需求随时刷新开发、测试数据库和生产保持一致。

16、注：这里就不过多介绍容灾复制方案 Metric mirror 和 Global mirror 的示例了，因本人认为这个不是存储虚拟化的优势所在。说明: SVC 快照技术为 COW(copy-on-write)。5.3 应用示例 3:数据保护和卷的在线迁移5.3.1 首先介绍一下 SVC 卷(volume)的类型:SVC 的卷(volume) map 给主机后，在主机端就看到一个个硬盘了。 Striped volume 普通条带卷:后端存储分 LUN map 给 SVC，SVC 识别到这些 LUN 后将其命名为 Mdisk(manage disk)。多个 Mdisk 组成资源池 POOL。在资源

17、池里面创建跨多个 Mdisk 的 striped volume。 Image volume 镜像卷:后端存储分 LUN map 给 SVC，SVC 识别到这些 LUN 后将其命名为 Mdisk(manage disk)。此时不将该 Mdisk 加入资源池 POOL。而是通过将这一整个 Mdisk 直接做一个整卷 map 给主机使用。该模式下后端存储可以收回该 LUN 对 SVC 的 map 关系，之后直接将此 LUN map 给主机使用，其上数据直接可以用。感觉就像是数据盘从 SVC 直接 image 复制到后端存储一样。Image mode 的英文解释:Image mode volumes

18、are used to migrate LUNs that were previously mapped directly to hostservers over to the control of the SVC. Image mode provides a one-to-one mapping betweenthe logical block addresses (LBAs) between a volume and an MDisk. Image mode volumeshave a minimum size of one block (512 bytes) and always occ

19、upy at least one extent.An image mode MDisk is mapped to one, and only one, image mode volume.The SVC also supports the reverse process, in which a managed mode volume can bemigrated to an image mode volume. If a volume is migrated to another MDisk, it isrepresented as being in managed mode during t

20、he migration, and is only represented as animage mode volume after it reaches the state where it is a straight-through mapping. Mirrored volumes: 即对该 volume 做了一份实时的数据镜像 mirror。一般情况下会将镜像 copy 放在在另外一台存储所在的存储池。5.3.2 应用示例 3.1:跨存储的数据迁移和替换数据迁移场景 1:旧的 source 存储(数据源)已经接入 SVC 网关。新的 target 存储(目标) 也已经接入 SVC 网关。将应用数据从旧存储在线(应用无感知)迁移到新存储，迁移完成之后旧存储过保下线。整个过程中主机应用无感知。数据迁移场景 2:旧的 source 中端存储(数据源)已经接入 SVC 网关。新的 target FLASH 存储(目标) 也已经接入 SVC 网关。将应用数据在线(应用无感知)迁移切换到新的 FLASH 存储，完成针对该应用由中端存储到 FLASH 存储的替换升级。以下是一个数据迁移示例，供参考:5.3.3 应用示例 3.2:存储加入 SVC 虚拟化网关将存储接入 SVC 虚拟化网关: source 存储(数据源)已经