商业银行虚拟化建设方案

1、xx市商业银行虚拟化建设方案目录1.方案概述32.整体解决方案设计52.1.方案设计原则52.2.第一阶段：实现虚拟化整合52.2.1.VMware虚拟化软件设计72.2.2.服务器部署和设计82.2.3.存储设计92.2.4.业务持续性和高可用设计122.2.5.NetApp和VMware的深度集成142.2.6.运维管理建议182.3.第二阶段建设212.3.1.虚拟化软件212.3.2.双活及灾备设计323.服务和培训443.1.NetApp服务体系443.1.1.服务组织介绍443.1.2.服务级别介绍483.1.3.故障报修流程513.2.NetApp技术培训介绍541. 方案概述为

2、帮助xx商行实现高效、灵活的私有云平台，我们在进行方案设计时，首先立足于xx商行的实际情况和应用需求，充分考虑和分析了xx商行IT系统建设的愿景和规划，并借鉴了同行其他单位的云计算项目的经验，同时还利用和整合业内先进厂商的最佳设计、实践原则。因此，本方案具有以下亮点和优势：n 先进而成熟的整体解决方案 VMware和NetApp两大领先厂家的联合解决方案o VMware具有最领先的虚拟化、云计算解决方案o NetApp具有最领先的云存储解决方案o VMware和NetApp合作紧密，其产品整合度高、集成度好，共同创造更佳的数据中心解决方案n 成熟的方案和团队，确保项目的顺利落地 类似方案在金融

3、业内有大量案例 我对商行，特别是xx商行的应用环境、总体需求和远期愿景，都有深入的理解。针对本次项目，我方将设立专门的团队，和xx商行紧密合作，量身定做实施方案，确保项目的顺利完成n 构建了先进的私有云平台，提升整个数据中心的运营效率 池化的资源管理，提升了硬件资源的利用率和分配管理 随需应变，快速应对应用新需求、新变化o 新应用环境部署时间从数周下降到数小时，甚至一小时内o 应用资源调整(容量、性能)时间，从天级时间到小时级o 应用数据恢复时间，从数小时下降到分钟级别o 生成一份开发、测试数据副本，从数小时下降到数分钟o 无论计算负载还是存储负载，都可以实现在线动态调整 提升应用连续服务能力

4、o 建立同城双活、异地灾备体系，实现关键数据三重保险，提升物理故障防范能力，消除业务停机时间o 实现数据的多重保护 提升应用服务质量o 大容量二级缓存技术，实时对热点数据进行加速o 应用负载的在线平衡能力 提升运维管理能力o 通过云计算技术，整合和简化IT基础架构运维管理，降低运维复杂度，简化流程，实现更少的人员，管理更多的应用和数据o 各个应用的资源占用和使用趋势一目了然，并预判未来资源需求o 极大地简化了灾备切换过程、容灾演练和数据验证流程n 实现降本增效 节省硬件开支o 计算和存储资源的虚拟池化，提升了硬件使用率o 存储消重技术，大幅降低了虚拟化环境中的存储空间占用。该技术对于虚机系统盘

5、部分，节省空间可达90%。 提升研发效率o 精简克隆技术，利用一份物理空间，克隆出多个副本，满足独立的应用、研发、测试、培训环境要求，不但节省大量空间，而且提升研发效率 提升性能效率o 基于存储智能缓存技术和闪存，可以显著地提升应用I/O性能 提升管理效率，降低运维成本 保护现有投资o 虚拟化技术可以有效整合和利用现有资源为保证项目的顺利实施，实现风险可控，有必要分阶段、分步骤地进行，建议将整个云平台分为2个阶段来实施。第一阶段：将现有6套业务系统整合到稳定可靠的虚拟化平台之上，实现前后端资源的整合管理和各个子系统的深度集成 ，同时，还将进一步增强xx分行在虚拟化、云计算架构下的技术储备和运维

6、流程管理，为最终实现云平台建设打下坚实的基础。第二阶段：进一步完善虚拟化架构的各项功能，包括流程自动化管理、软件定义的运维管理，最终实现私有云建设。2. 整体解决方案设计2.1. 方案设计原则1. 先进性与成熟技术的集合：在系统设计中，我们要采用当今业界的流行技术，同时要选用在众多关键领域中已经得到充分验证的产品，以保证系统的可靠性和可用性。2. 易管理性：在项目设计时，应充分考虑到未来项目实施完成后，整个系统的易管理性。3. 高可用性：在充分考虑到系统灵活性的同时，要避免单点故障的发生，以保证系统的可靠和数据的安全。4. 高可扩展性：整体架构和各个子系统在以后有足够的扩充性，起到投资保护的作

7、用，具有高可扩展性。5. 开放性与标准化：采用标准的技术以保证与第三方厂家的产品、技术相兼容。6. 多重保护：在确保高可用性的前提下，为用户提供额外的数据灾备系统，以及本地快速重构系统的能力。2.2. 第一阶段：实现虚拟化整合建设思路包括： 新购置一台安全、稳定、高效的存储系统作为数据部署平台 存储设备要求能够充分和虚拟化软件结合满足云平台的要求 存储自身要能够达到99.999%的系统可用性 存储要求能够有较高数据的效率 新购置2台多核大内存的服务器作为虚拟化平台的计算资源 购置一套虚拟化平台软件实现业务系统虚拟化 所有系统要充分考虑和未来同城、异地的容灾接口。本阶段的设计拓扑图如下：而整体架

8、构的设计，无论在功能、性能、容量等各个维度，都是高度可扩展的：虚拟化软件Vsphere运行于新购的2台服务器上，虚拟化管理平台服务器（VC）将部署在虚拟系统内，2台服务器通过光纤通道连接到NetApp FAS3220高性能存储阵列上。现通过以下3个部分阐述项目建设的详细内容：2.2.1. VMware虚拟化软件设计本次建议使用VMware vSphere系列软件作为虚拟化承载平台，帮助建立规范有效的虚拟化基础架构，为未来虚拟化基础架构的发展、扩充奠定良好的基础。Vmware软件配置如下： VMware vSphere 5.1企业增强版，配置16个CPU使用许可 VMware vCenter S

9、erver 5.1标准版，配置1个使用许可 VMware PSO原厂规划服务 VMware PSO P2V服务虚拟化平台的一些主要功能包括：vMotion：使用VMotion迁移运行中的虚拟机和执行无中断的 IT 环境维护。可以实现虚拟机不停机的从一台PC服务器迁移到另外一台，从而避免“多个鸡蛋放到一个篮子”可能造成的顾虑，同时现在支持通过较高延迟的网络链路进行虚拟机迁移。HA：可以实现在服务器硬件或虚拟机发生故障的情况之下，快速的重启应用，最大程度的降低宕机造成的业务中断的影响。实现经济高效、独立于硬件和操作系统的应用程序可用性。Fault Tolerance（容错技术）：可以实现完整的业务

10、连续性，当有硬件发生故障之时，可以保障业务系统的连续运行，而不需要中断应用系统。VMware Fault Tolerance（容错技术）提供了迄今为止，最高级别的业务连续性保障，可以花费最小的代价得到最高的可靠性要求。动态资源调配（DRS）：动态地实现服务器资源负载平衡，以根据业务优先级向正确的应用程序提供正确的资源，从而让应用程序可以根据需要压缩或增长。Data Protect：VMware Data Protect为小型环境中的虚拟机提供简单、经济高效、无代理的备份和恢复。基于存储的动态资源调配（Storage_DRS）: 通过分组、放置和平衡改进管理并实现更高效的存储资源利用。存储/网络

11、 I/O 控制：利用 VMware 存储/网络 I/O 控制功能，您可以配置规则和策略来指定每个虚拟机的业务优先级。检测到 I/O 拥塞时，存储/网络 I/O 控制会根据规则向虚拟机动态分配可用 I/O 资源，从而使您能够： 提高关键应用程序的服务级别 虚拟化更多类型的工作负载，包括占用大量 I/O 的关键业务应用程序 确保每个云计算租户获得公平的 I/O 资源份额 减少所需的活动性能管理工作量，提高管理员的工作效率 减少单一应用程序所需的专用存储卷，提高基础架构的灵活性和敏捷性同时，为了让xx商业银行科技部门的管理人员能够快速熟悉了解VMware虚拟化平台的特性，适应管理对象、管理方式的变化

12、，VMware建议采用VMware vCenter Management Suite对虚拟化平台进行管理。2.2.2. 服务器部署和设计建议新增2台高性能服务器作为虚拟化服务器。服务器推荐配置建议如下： CPU：4路10核 内存：256GB（最佳配置512GB） 网络：8个千兆位以太网口 HBA卡：两张2.2.3. 存储设计建议新购一套Netapp FAS3220高性能存储，具体配置如下：项目部件名称配置说明数量FAS3220主控制器冗余SAN+NAS存储控制器，24GB可用容量缓存，配置8个8Gb/s FC主机接口，4个1Gb/s 千兆IP主机端口，4个6Gb/s SAS磁盘端口；配置FC-

13、SAN主机连接协议，冗余高可用控制器机箱，每个机箱都有冗余风扇和电源保护，可在线扩展闪存和端口等，支持480块磁盘扩展能力1套硬盘10K RPM 600GB SAS硬盘48高级功能配置A-SIS重复数据删除功能软件，智能消重VMware虚拟机和虚拟桌面数据，节省存储使用空间并提升虚拟效率1配置SnapShot和SnapRestore数据保护套件，实现存储数据的快速备份和恢复1配置FlexVol自动精简调用软件，支持动态卷扩展和缩减，增强虚拟存储池功能1配置MultiStore安全多分区软件，实现根据应用进行存储细粒度划分使用，实现多种业务系统安全隔离，可与VMware DRS无缝集成完成动态资

14、源分区划分1配置FlexShare存储性能优化软件，可根据应用优先级实现不同应用级别的存储性能分配和管理，可与VMware DRS无缝集成，实现虚拟机I/O策略划分1配置System Manager企业级存储管理套件，实现存储系统硬件以及软件功能的统一管理和监控1VMware增强插件配置NetApp VSC增强插件，与VMware无缝集成，可在VMware vCenter管理台内完成对NetApp存储系统的监控、管理、配置、备份、恢复和虚拟机内单一文件恢复等高级功能1售后服务3年7*24小时硬件和软件售后服务1本次存储部分的设计有以下专门的考虑：n 使用高可靠、高可用的存储系统以及RAID-D

15、P技术系统的高可靠性，是由高可靠的磁盘阵列、高可靠的RAID技术和冗余的访问路径构成。NetApp存储是由采用业界先进的技术，按照高可靠性要求设计的。所有部件都采用冗余设计，并辅以各种纠错、校验机制，确保磁盘阵列的高可靠性。著名调研机构IDC的一份白皮书内也指出，根据对2006年到2008年NetApp用户的统计数据看，NetApp FAS存储的可用性超过了99.999%。在大容量磁盘逐渐成为主流的今天，虽然现代企业级光纤磁盘的可靠性很高，在正常的运行环境中，故障率大概是1年每100个磁盘中更换23个。然而，磁盘毕竟是一种精密的设备，环境的变化，例如温度湿度的变化、空气洁净度的恶化，往往会引起

16、故障率的上升。尤其当一个磁盘损坏，RAID组正在重构的时候在一个繁忙的系统中，这个过程往往长达数个小时如果第二个磁盘损坏，RAID 5就会丢失数据，对于用户来说，这将意味业务中断，客户资料丢失另外，对于SATA磁盘，其容量大概是FC磁盘的数倍，而可靠性是光纤磁盘的1/10 （可参见磁盘厂家相关参数），因此SATA磁盘发生故障的几率就大大增加了，请参见下图：一种解决方案是利用RAID1+0，通过50%的空间损失来提供可靠性。而NetApp则提供了RAID-DP技术，其可靠性高于RAID 5几个数量级，也高于RAID1+0。请参见下图。（对数坐标，越低越可靠）在性能方面，由于NetApp存储采用了

17、WAFL技术，能将随机写转变为顺序批次写，解决了写惩罚（Write Penalty）和校验热点盘的问题。值得指出的是，NetApp公布的所有性能测试结果，均基于RAID-DP；而其他厂商则基于RAID10。从这些公开的结果看，NetApp存储无论从SAN还是NAS，都具备了业界领先的性能。n 充分考虑了未来的升级扩展能力NetApp FAS存储可以做到在线的扩展；同时也具有业界最好的升级能力。NetApp是业界唯一一家支持从最低端升级到最高端存储（容量超过1000TB）的主流存储厂商。而且整个升级过程只需要不到半个小时即可完成。n 针对VMware环境的专门优化o VMware支持三种存储协议

18、：FC SAN/iSCSI和NFS，而NetApp可以同时提供以上存储协议，为用户提供了灵活的选择。其中，NFS从管理角度是最佳的选择。o FlexVol虚拟化存储技术，将数据分散在多个RAID组，提高了I/O性能，避免出现磁盘热点，另外，FlexVol剩余空间共享的特点，也提高了空间利用率。o NetApp和VMware vSphere实现了深度集成，VMware VAAI白皮书正是以NetApp作为典范节省。同时，NetApp也提供VSC for vSphere插件，使用户能够在vCenter中统一管理存储，从而进一步简化管理。o NetApp高效的DeDup功能，可以将多个虚机的系统数据

19、进行消重去冗，大幅降低空间使用，从而节省投资。o 秒级省空间克隆技术FlexClone，尤其适用于VMware下的开发和测试环境。克隆瞬间完成，不另外占用主机和存储I/O资源，同时又节省了大量空间。o NetApp成熟的快照备份、D2D备份和容灾技术，保证了VMware环境下的业务连续性。n FAS存储简便的管理，降低维护成本NetApp拥有业界公认的管理简便性，而且从低端到高端采用同样的管理界面，因此，当系统升级后，系统管理员不需要进行重新培训。也许现实情况更能说明问题，Oracle公司总共购买了10PB的NetApp存储，而其中的大部分都部署在Austin的数据中心。对于如此庞大的存储系统

20、，Oracle总共只有4个系统管理员来进行管理，包括日常维护和配置变更。Oracle全球IT服务中心高级总监Bill Weils评价道：“我们之所以选择Network Appliance 作为我们任务关键型业务解决方案的存储供应商，原因在于NetApp 产品能够提供较高的可用性以及可靠、一致的性能和较低的管理开销，这大幅度降低了我们的总拥有成本。NetApp 将执行存储管理任务所必需的开销降低了50%。”2.2.4. 业务持续性和高可用设计. 概述利用NetApp的SnapShot、FlexClone、SnapMirror和SnapVault技术，可实现快速、高效的备份、恢复：

21、利用NetApp快照技术，提供秒级的VMware整个infrastructure的备份功能 利用SnapRestore，可提供秒级的单个或者多个VM的恢复。 利用FlexClone技术，可以提供秒级的、省空间VM克隆，VM克隆可以在另外的VM主机上，进行datastore scan后，进行使用。 SnapMirror和SnapVault提供了异地容灾、备份技术，异地的数据均可以通过datastore scan加以使用。. 在VMware中使用NetApp快照备份和恢复技术在基于磁盘的备份方案中，包含了从生产系统拷贝虚拟磁盘文件到备份的磁盘系统，或者使用某种split mirror

22、备份方式。尽管和直接将生产系统的数据备份到磁带相比，这两种方式提供了非常快速的备份方案，但是，这两种方式对每次备份都需要100%的额外空间。这种需要增加存储的方式与我们通过使用VMware来提高总体利用率的目的背道而驰，因此不是我们所建议的。某些友商提供了Copy-Out的快照技术作为split mirror技术的替代，但是Copy-Out快照技术所带来的I/O负担，从而导致了对系统性能的影响，使得这些快照技术也不能被用户所接受。而NetApp的专利的快照技术完全没有传统的基于磁盘备份的固有的问题。而和Copy-Out的快照技术相比，NetApp的快照技术由于不移动数据，从而不会产生对性能的负

23、面影响。和Split Mirror的备份方式所导致的100%的磁盘开销相比，NetApp快照技术的开销只是变化的数据块。NetApp专利的快照技术可轻易地集成到VMware环境中，可实现虚拟主机的恢复、完整的虚拟主机克隆，或者站点复制以及冗灾等。这种解决方案的优点在于它是存储界唯一对系统性能没有负面影响的快照技术。2.2.5. NetApp和VMware的深度集成本次项目中采用NetApp FAS系列存储和Vmware虚拟化软件有很多无缝结合点可以最大化的提升相互产品的功能。VMware vCenter通过调用FAS3220设备插件，可以驱动FAS3220执行一系列任务。比如备份、灾备功能，菜

24、单化部署单元功能。FAS3220存储分别通过VMware的四个插件实现不同的功能。以下是详细的调用关系如下图所示。VSC存储管理插件在云计算架构下，管理不再是存储、服务器、网络等分离式管理，统一的、集成的管理平台是云存储的最佳实践。vCenter是虚拟化平台的管理平台，在vCenter上集中对存储进行配置、监控等是虚拟化平台与云存储结合的一种推荐方式。为此，FAS系统存储拥有专门的vCenter上的存储管理插件Virtual Storage Console（VSC）。它主要有以下功能： 虚拟存储控制台 配置和克隆 备份与恢复VSC 的核心功能保证了在 ESX/ESXi主机上提供最佳可用性和性能

25、。VSC 具备以下核心功能： 为 ESX/ESXi主机中的 FC、FCoE、iSCSI和 NFS 确定和配置最佳 I/O 设置。 为现有 FC、FCoE和iSCSI数据存储库确定和配置最佳路径选择策略。 确定支持 VAAI 的存储阵列以及是否为 VAAI 启用了这些阵列。 确定连接到特定存储阵列的 ESX/ESXi主机。 配置和克隆功能能够提供称作 NetApp RCU 的单独插件之前所能提供的功能。可在该工具中免费获取配置数据存储库和管理重复数据删除设置等功能。配置和克隆特性提供的快速克隆功能要求创建克隆的存储阵列上有FlexClone许可证。 监控并报告从数据存储库到物理磁盘等各层级的存储

26、使用量。 提供中央接口，从存储控制器、网络交换机和 ESX/ESXi主机收集数据，帮助解决 I/O 相关问题。VSC 完全支持运行 ESX/ESXi 4.0 及更高版本的主机。下载并安装 VSC 之前，确保部署具有必需的组件。vCenter Server 版本 4.0 或更高版本。VSC 可以安装在vCenter Server 上，也可以安装在另一台服务器或虚拟机上。如果安装在另一台服务器或虚拟机上，该系统应运行 32 位或 64 位 Windows Server 2008、2003 SP1及更高版本，或 32 位版本的 XP Professional SP2 及更高版本。存储阵列需运行 Da

27、ta ONTAP 或更高版本。NFS Plug-in插件ESX Server通过NAS的 NFS Plug-in插件，可以将NAS文件系统挂载到ESX Server，作为NFS DataStore。通过NFS Plug-in插件，还可以定义虚拟机IO的优先级，保证关键业务的IO的优先级，不受其它业务IO性能影响。SRA插件SRA插件由NetApp提供，部署在SRM Server上，与SRM软件实现无缝连接。在SRM界面，通过SRA插件可以直接调用的SnapMirror（存储复制功能）和FlexClone（虚拟克隆工具），实现灾备功能和虚拟机克隆功能。VAAI插件VAAI（vSt

28、orage APIs for Array Integration）是VMware提供存储管理接口，主流的NAS和SAN存储都支持这个接口，并针对VAAI提供专用的插件，部署在vCenter Server。NetApp存储提供的VAAI插件，可以实现虚拟机和存储空间的快照和恢复功能、NFS Datastorge参数调整和配置功能。VASA插件VASA的目的是加强存储资源在VMware的可视化，可以通过vCenter和CapacityIQ工具获得对物理存储阵列的一些细节信息，如 RAID 信息，磁盘数量等等。. DeDup重复数据删除技术在VMware环境里的应用在VMware环境中

29、，非常流行的部署方式是从预先创建的虚机的模板来快速创建新的虚机。一个虚机的模板通常包含了虚机的配置文件(.vmx)以及一个或多个虚拟磁盘文件(.vmdk)，包含了操作系统，公共应用程序，以及补丁文件或系统更新。从模板来创建新的虚机，通过拷贝配置文件以及虚拟磁盘文件，并注册成为独立的虚机，大大减少了管理上的时间开销。但是，在这种方式下，造成了大量的重复数据。下图说明了在VMware环境下的典型存储开销。NetApp提供了一种重复数据删除的技术，称为FAS Dedup。通过FAS Dedup技术，我们能够消除在VMware环境中的重复数据，大大提供存储的总体利用率。FAS Dedup提供了一种虚拟

30、化的技术，使得多个虚机可以共享在NetApp主存储上的相同的物理数据块。FAS Dedup无缝的集成到VMware的环境中，而不需要在VMware的配置和管理中进行任何的改变。下图说明了VMware环境中启用FAS Dedup后对存储开销的影响。目前，FAS Dedup是Volume级别的，它消除在同一个Volume中的重复数据。因此，为了更好地提高存储利用率，我们建议尽量将相同操作系统、相同应用的虚机部署在同一个datastore中，从而部署在启用FAS Dedup功能的FlexVol中。2.2.6. 运维管理建议vSOM是vSphere与vCenter Operations Managem

31、ent Suite标准版的集合，它除了可以高效地完成服务器虚拟化，让整个数据中心更加地灵活，敏捷，高效外，还可以深度监控整个IT基础架构的容量与性能，可以实现更高的容量利用率、整合率和硬件节约，同时还可以缩短问题诊断和解决的时间，避免业务受到影响。vSOM的运维管理解决方案具有如下的功能特性。n 全面的可见性，便于vSphere管理员使用 获取关于基础架构和应用运行状况、风险和效率的全面视图和深入运营洞察信息 自动从vCenter收集数据 以vCenter窗格的方式深入集成 直观的屏幕引导用户发现需要注意的问题 降低虚拟机管理成本并优化vSphere管理效率n 主动管理性能 停止监控，转而开始

32、主动管理基础架构和应用性能 自动化的根本原因分析和修复建议可帮助管理员快速发现并消除潜在瓶颈n 容量优化 发现容量不足和超额配置情况，以便合理调整虚拟机大小、回收闲置资源并放心提高整合率 通过增加ESXi上的虚拟机密度降低基础架构成本 vSOM的运维管理解决方案的管理界面可以显示虚拟基础设施的健康状态、风险和效率。此外，管理界面还可以显示当前虚拟基础架构中各节点（可以在vCenter级别，数据中心级别，集群级别，ESXi主机级别以及虚拟机级别上显示节点信息）的资源使用情况和资源需求情况，并以数字的形象直观地呈现负载的高低。对于主要的环境资源，包括CPU，内存，网络以及存储等，进行使用情况汇总。

33、n vSOM提升了vSphere的价值 如果只使用vSphere，用户可以节约28%的运维成本，如果在vSphere环境下使用vCenter Operations Management Suite，那么可以节约50%的运维成本，因此，vCenter Operations Management Suite可以大幅提升vSphere的价值。Management Insight Technologies对vSOM的调查研究表明，vSOM可以使客 户获得比单独运行vSphere更多的好处，一些主要的优势提升数据如下：n 提高基础架构和应用可用性 将应用的停机时间减少 36% 将故障诊断和解决问题的时间

34、减少 26%n 降低成本 实现约双倍的 vSphere IT 成本节约n 提高容量利用率 将vSphere容量利用率提高 40%，将整合率提高 37%vSOM相对于单独使用vSphere所带来的运维成本收益，如下图所示。图：在vSphere环境下部署VC Ops所带来的运维收益除了可以节约运维成本，vSOM在关键性能指标上，相对于单独使用vSphere都提高了30%40%，具体的性能收益数据如下图所示。图：在vSphere环境下部署VC Ops所带来的性能收益 可见，无论在降低运维成本还是提高整体性能方面，vSOM都可以在很大程度上提升vSphere的价值，它拥有单独部署vSphere所无法比

35、拟的优势。2.3. 第二阶段建设在第一阶段实施完成后经过一段时间的稳定运行，可以进行第二阶段的实施，在虚拟化方面主要实现云扩展，在存储方面完成同城、异地的容灾保护。下面分为2个部分分别阐述第二阶段的建议2.3.1. 虚拟化软件xx商业银行软件定义的数据中心的目标是建立统一高效的管理系统，覆盖系统的方方面面，做到对所有虚拟化系统的统一监控与管理，保证整个系统的高可用性和高可靠性。并以集中统一的管理方式，高效灵活的实施技术服务，以标准化、自动化的实施管理流程达到提供优质服务的效果，更好的为xx商业银行的业务发展服务。根据IT数据中心运维管理的原理和要求，结合xx商业银行信息系统现状，本着高起点、高

36、标准的原则，VMware建议xx商业银行从以下几个方面进行软件定义数据中心的建设和优化：n 计算资源池的扩容n 完善软件定义数据中心的运维管理n 实现软件定义数据中心的连续性管理n 实现软件定义数据中心的自动化管理n Unix系统向X86平台迁移n 采用技术客户经理模式完善改进虚拟化数据中心的运维计算资源池的扩容采用VMware vSphere管理计算资源池，扩容就变得非常容易。只需要在群集中添加新物理服务器即可，VMware vSphere环境下一个群集最多可以包括32台物理服务器。物理服务器建议配置如下：n CPU：4路10核n 内存：256GB（最佳配置512GB）n 网络：8个千兆位以

37、太网口n HBA卡：两张与此同时，随着物理服务器的增多，共享存储的容量和性能配置也需要相应的变化。完善软件定义数据中心的运维管理在完成第一步虚拟化系统的建设后，VMware建议xx商业银行进行相应的运维护管理加强，包括针对池化资源的监控管理、配置管理以及实现业务系统与IT基础架构的关联。监控管理及早发现系统问题，在在众多报警中进行过滤筛选并进行故障根源分析。以帮助xx商业银行快速定位故障，主动管理，保证业务系统的稳定运行，减少服务停顿时间，提高系统运行的稳定可靠性。xx商业银行通过监控管理达到下列目标：n 实现虚拟化系统工作负载监控： 工作负载度量显示当前虚拟系统基础架构中各节点（vCente

38、r级别，数据中心级别，集群级别，ESXi主机级别以及虚拟机级别）的资源使用情况和资源需求情况。 关键资源的负载汇总视图对CPU，内存，网络以及存储I/O等进行使用情况汇总。 工作负载的细节视图详细显示资源缺乏情况和与之关联的对象，包括需要调整的系统组件以及受到影响的对象。显示性能问题并给出解决建议：如某个对象受到了影响还是导致了问题；虚拟机的密度是否过大，是否应该迁移某些虚拟机到新的位置，是否缺少资源，是否存在配置问题，OS和应用程序层面是否需要进行调整等等。 对CPU、内存、磁盘性能情况，网卡的读写情况、进程活动及占用资源情况、重要文件、目录的使用大小情况等进行监控；对Oracle数据库的死

39、锁、表空间使用情况、数据库连接数等进行监控；对Weblogic中间件的Jvm内存使用情况、连接数、应用状态等进行监控。n 从业务系统视角监测其相关资源的实时运行情况及性能趋势；也可以从主机、数据库、中间件等不同视角定义用户的监测对象。n 分析业务监控、技术层面监控需求，自动发现虚拟化系统与物理服务器的关系，自动发现虚拟化系统中已安装的应用软件以及这些应用软件之间的逻辑关系。n 在统一界面中查看网络、存储、主机、虚拟层、OS、DB、中间件、应用，并具有自学习能力，帮助xx商业银行分析根源问题，主动预警。n 对平台中的配置模型、属性进行管理，包括：业务系统、业务服务、设备、中间件、数据库等模型，以

40、及模型对应的属性进行管理。实现软件定义数据中心的连续性管理xx商业银行在虚拟化管理系统高用性、异地灾备方面还存在不足，VMware建议xx商业银行补充和完善连续性管理。n 本地虚拟化系统的高可用性：除了已实施的VMware HA、DRS以外，为进一步提高系统安全性，建议对虚拟化系统管理核心vCenter Server也实施HA保护，保证vCenter Server及其数据库免受硬件、操作系统、应用程序和网络故障的影响，以达到管理核心时刻正常运行的效果。vCenter Server的HA建议通过vCenter Server HeartBeat实现。n 虚拟化系统的异地灾备：建立异地灾备中心，建立

41、健全自动化的灾难恢复计划，以帮助提高灾难恢复效率，并可在日常管理中演练，保证计划的可行性。未来xx商业银行可考虑在数据中心之间通过VMware虚拟化冗灾实现异地灾备。通过连续性管理帮助xx商业银行实现日常故障的快速恢复；在突发自然灾害的情况下在异地快速恢复业务，保证业务连续性和客户满意度。实现软件定义数据中心的自动化管理软件定义中心中的自动化管理包括了自动化的流程，自助门户以及自动化的应用部署。xx商业银行通过自动化管理将规范资源申请使用流程，达到IT资源的使用“有借有还”、可计量、可跟踪，在满足业务部门需求的情况下保证资源被合理有效的使用。xx商业银行首先建立有效的流程审批制度，如下图：针对

42、业务部门或开发部门，建立自助式的资源申请方式，如下图：为了衡量科技部门对业务系统提供的支撑，xx商业银行还需要提供详细的资源使用报告，如下图：Unix系统向X86平台的迁移Unix小型机退出历史舞台已是必然，目前X86体系结构的服务器无论从可靠性可用性还是性能上来看，都已与传统的Unix小型机不相上下，再加上VMware的解决方案，X86服务器能够提供的效能已远远超过Unix小型机，更何况采购成本、后续维护成本更是远远低于Unix小型机。下表是二者的简单比较：技术服务经理完善虚拟化数据中心运维技术客户经理（TAM）是VMware针对大客户推出的长期服务计划，可以在以年为单位的时间段内为xx商业

43、银行提供高水准的专业咨询和技术指导，帮助xx商业银行最大化 VMware方面的投资；TAM将充分利用经过验证的技术和经验成为xx商业银行快速达到战略目标的关键推动力。TAM可为xx商业银行提供多种现场技术服务，确保虚拟化平台的良好运行，同时通过现场的知识传递来提高系统管理人员对虚拟化平台的管理维护水平。TAM现场技术包括以下内容：. 实施步骤俗话说“罗马非一日建成”，上述措施并非一次性实施完成，结合xx商业银行的具体情况，VMware建议xx商业银行将软件定义数据中心的扩容以渐进的方式进行，分步骤依次进行。第一步：计算资源池的扩充，引入vCenter的高可用，并同时引入VMwar

44、e技术服务经理，以完善软件定义数据中心的管理。第二步：实现精细化面向业务运维管理和自动化管理。第二步：建立灾备中心，在生产中心和灾备中心实现灾难恢复管理并实现U2VL。在完成上述三个阶段的基础上，xx商业银行还可以考虑优化和完善数据中心的管理流程，包括明确管理员的职责和任务，推进发布管理和深化配置管理等，把xx商业银行数据中心建立成一个管理规范、灵活健壮、富有弹性、可靠性高的软件定义的数据中心，为xx商业银行的业务发展提供有力的保障。. VMware软件配置 VMware vSphere企业增强版，XX个CPU使用授权 VMware vCenter Server Heartbea

45、t VMware vCenter Operation Management Suite企业版，100个虚拟机使用授权 VMware vCenter Site Recovery Manager企业版，200个虚拟机使用授权 VMware vCloud Automation Center企业版，100个虚拟机使用授权 VMware PSO Unify Portal VMware PSO原厂服务 VMware PSO TAM技术服务经理2.3.2. 双活及灾备设计在同城使用NetApp 双活技术，保障2个中心里面任意的部件损坏对于前端业务都是透明的。实现两机房之间的双活数据中心，其特点如下：n 两机

46、房为双活工作方式，不同于传统同步容灾技术中的主-备模式n 极强的物理故障防范能力：任何主机、交换机、存储发生故障，业务不会受到影响，或者仅需快速接管n 极强的站点故障防范能力：站点严重故障，仅需要快速切换(类似主机双机切换)，对业务的影响，远远低于同步容灾模式NetApp MetroCluster双活数据中心技术，与业界主流应用和基础架构都有联合的解决方案，如Oracle RAC，DB2 9.7 HA，VMware HA, FT，Microsoft Exchange/SQL/HyperV，Sun Cluster，XenServer；MetroCluster在全球有着广泛的案例，仅在德国就有60

47、00个用户案例。在国内也有大量的金融行业用户，如建总行、招总行和交总行。. VMware在MetroCluster上的双活实现VMware的白皮书“VMware vSphereMetro Storage Cluster Case Study”就以NetApp MetroCluster为例，阐述了VMware如何实现双活数据中心。和Vmware相关技术可以实现整体双活架构在实现双活架构后，在异地机房部署一套FAS3220使用NetApp SnapMirror容灾复制技术完成2地三中心架构。架构图如下：. 灾备系统技术实现容灾功能为SnapMirror，它同时支持三种不

48、同的模式：同步、半同步和异步模式。SnapMirror数据容灾复制管理软件，是专用的NetApp FAS存储系统之间的数据容灾复制管理软件，他具备以下特点：配置简单，可以满足各种数据DR需求可以使用FC或IP网络可以在任意NetApp FAS系统间实现Mirror可以满足各种数据恢复响应需求通过传输变化的数据块实现网络带宽的高效利用容灾备份的数据直接可用快速数据复制和容错将主站点发生故障的宕机成本降至最低选择复制过程的同步级别采用一个产品即可控制复制的频率（异步、同步或准同步）更有效地利用网络降低了数据复制和灾难恢复的成本设置简便几乎不需要增加 IT 资源；可以经常测试灾难恢复计划SnapMi

49、rror允许客户选择适当的同步级别（同步、半同步和异步），从而实现了较高的灾难恢复保护级别。例如，如果选择“同步”选项的话，远程站点的复制数据将始终是最新的，并能在发生故障后随时提供。这一方式简化了灾难恢复过程，降低了系统宕机时间。而“半同步”允许客户根据站点的需要，确定有多少 I/O 操作可以失去同步，或者是复制站点可以在多长时间内与数据源失去同步。而“异步”选项则允许您根据需要（每分钟、每小时或每天）任意安排传输过程。您可以设置最适合每一站点的频率。时间安排很容易修改，而且修改后可以立即生效。. 业务切换和反向恢复如果生产中心的FAS出现问题停机或数据丢失，可以将服务器登陆到

50、镜像的FAS中恢复系统响应，在同步SnapMirror的方式下没有任何数据损失，在异步方式下将会损失上次数据同步到灾难发生时的数据。如果整个生产中心的主机出现问题，可以在启动备份主机，登陆到镜像的FAS中恢复生产。同样的，在同步SnapMirror方式下没有任何数据损失。这一过程的具体业务切换的步骤如下表所示。恢复步骤动作所需时间断开SnapMirror手工/软件触发数秒起动备份主机（若未启动）手工15分钟备份主机登录到NAS目录或者连接LUN手工/软件触发数秒 5 分钟Log重做（数据库）手工/软件触发1几十分钟从上表中可以看出，有了远程容灾的措施，在生产中心遭受到严重故障而导致损坏数据丢失

51、的情况下，可以在数秒到1小时内（依应用类型不同），恢复业务系统的响应。针对VMware环境，NetApp提供SRM下的管理插件，因此可以把以上过程大幅简化，进一步降低切换时间。数据恢复如果生产中心的FAS的数据已经丢失，需要从容灾中心的FAS中恢复数据，系统管理员只需在控制台中将原先的SnapMirror的方向（源和目的）对调，就可将镜像的数据同步回数据源，完成数据恢复的工作。恢复数据所需的时间要根据数据变化量的大小和可用的网络带宽来决定。根据目前数据量大约3GB, 带宽在300KB情况下,大约需要10000秒,也就是小于3小时实现数据恢复,完成后，可以将生产系统重新启动，再将SnapMirr

52、or的方向再调整为最初的设置。. 容灾端数据可用性测试方案容灾系统是提升企业信息系统可用性、应对各类物理、逻辑故障和灾难的一种有效手段。通过FAS的异步容灾功能，异地容灾中心的容灾存储上讲具备最新的时间点数据，以及最近的一些历史时间点备份（视策略而定,具体策略要在实施过程中与客户商定），请参见下图：每一份快照，其存储空间仅仅为该快照与前一个快照之间生产发生变化的数据。而通过每一份快照，应用主机又可以看到该时间点的整个数据。当灾难发生时，对于容灾系统来说，最关键的就是其业务系统可以正常启动。为了保证这一点，进行定期的容灾数据测试是非常有必要的。而FAS的FlexClone功能，正好

53、可以在不影响现有的容灾复制的前提下，占用微量的存储空间，就可方便地进行容灾测试。利用FlexClone进行容灾测试和演练利用FAS的Protection Manager和SnapDrive可轻松完成容灾测试。其原理在于，由于每个快照在应用看来，都是一份完整的数据集，因此，将一个快照备份瞬间转变为一个可写的卷，就可实现快速的克隆。步骤如下：检查容灾复制状态。在Protection Manager里面，可检查各个复制组的状态。启动DR Clone Wizard，完成数据克隆。从图形界面中选择需要的时间点备份，然后完成快速的克隆。完成后，生成克隆的结果信息。以上所有步骤，均可利用定制脚本完成。而VS

54、C for VMware可提供VMware环境下的容灾检验功能Flexclone技术特点FlexClone技术可以创建目标卷的多个可写拷贝，所生成的每个FlexClone卷均可进行读写操作，而且可以对FlexClone卷再次执行克隆。可以即时地创建克隆卷，与创建Snapshot相类似，只需数秒钟的时间即可完成创建克隆卷的操作。FlexClone卷无需额外占用空间，只有新增数据才需要占用新的存储空间，FlexClone卷与被克隆卷的相同部分在磁盘中共享数据块。根据应用需求，可以对克隆生成的FlexClone卷执行分离操作，通过拷贝共享数据块，形成完全独立的新卷。FlexClone是基于被克隆卷的

55、Snapshot生成的，因此可以生成多个完全一致的克隆卷，也可与SnapMirror等软件结合使用。FlexClone的应用下表是一些FlexClone技术的典型应用和优势。应用领域优势应用系统或容灾测试在对系统结构进行必要的变更时，无需担心导致生产系统的停机。在维护窗口期限紧张的情况下，仍可避免对系统进行未经测试的变更。更低的风险，更小的压力，更高的安全服务级别。数据挖掘由于同时支持读、写操作，数据挖掘操作和软件的实施可以更加灵活。并行处理对于一个业务里程碑/生产数据集可建立多个FlexClone卷，用于多台服务器的并行处理，从而更快地获得结果。在线备份当发现生产数据集被破坏时，可立即加载克隆数据予以替换，恢复读写工作。利用数据库的特性如DB2的写暂停（write-suspend）或Oracle的热备份（hot backup），通过延迟数据库写操作来透明地准备数据库卷用于克隆操作。因为数据库需要保持一致性，这些操作是必要的。系统部署可以维护一个模板环境，然后使用FlexClone卷建立并部署一致或变化的环境。利用克隆创建测试模板用于先期测试。结合使用Data ONTAP SanpMirror和FlexClone卷，可以更快和更有效地实现迁移。IT