医院灾备新时代-数据库灾备运维分析

医院灾备新时代——数据库灾备运维分析目录TOC\o"1-5"\h\z前言 2\o"CurrentDocument".维护测试环境 2\o"CurrentDocument".定期演练 2\o"CurrentDocument".数据库灾备系统日常运维 4\o"CurrentDocument".常见灾备系统运维问题 5\o"CurrentDocument"4.1.PDCA循环 6\o"CurrentDocument"4.2.不注意检查灾备系统的运行状态 6\o"CurrentDocument"4.3.不进行数据库恢复测试 6\o"CurrentDocument"4.4.忽略容灾系统的硬件资源 6\o"CurrentDocument"4.5.不注意灾备系统的恢复时间和切换时间 6\o"CurrentDocument"不注意灾备系统本身为生产环境引入的风险 7\o"CurrentDocument".数据容灾与数据备份的联系 7\o"CurrentDocument"1.数据备份是数据容灾的基础 7\o"CurrentDocument"2.容灾不是简单备份 7\o"CurrentDocument"3.容灾不仅是技术 8\o"CurrentDocument".数据容灾等级 8\o"CurrentDocument"1.第0级：本地备份、本地保存的冷备份 82.第1级：本地备份、异地保存的冷备份 9\o"CurrentDocument"3.第2级：热备份站点备份 9\o"CurrentDocument"4.第3级：活动互援备份 10\o"CurrentDocument".异地容灾技术 11\o"CurrentDocument"1.远程镜像技术 11\o"CurrentDocument"2.快照技术 11\o"CurrentDocument"3.互连技术 12\o"CurrentDocument"4.虚拟存储 12\o"CurrentDocument".常见灾备系统运维问题 13\o"CurrentDocument"1.不注意检查灾备系统的运行状态 13\o"CurrentDocument"2.不进行数据库恢复测试 13\o"CurrentDocument"3.忽略容灾系统的硬件资源 13\o"CurrentDocument"4.不注意灾备系统的恢复时间和切换时间 14\o"CurrentDocument"5.不注意灾备系统本身为生产环境引入的风险 14、,1

刖B数据库灾备系统包括：备份系统和容灾系统。两者实现原理和承担的作用是不同的。备份记录的是数据库一段时间的变化，用于恢复数据库到过去的某一个时间点时的状态，应对的场景主要是由于误删除、测试开发等原因需要把数据库恢复到某一个时间点的情况。容灾系统对应的是生产系统的实时或者准实时映像，应对的场景是在生产系统崩溃时及时把应用切换到容灾系统上，确保生产系统的持续运行。.维护测试环境俗话说：“养兵千日，用兵一时”，为了确保在关键时刻能够用备份系统或容灾系统快速恢复生产数据库的正常运行，平时必须做好足够的演练。所以，在进行数据库备份和容灾系统建设时，建设方都会为生产数据库系统建设一个数据库恢复测试环境。而数据库管理员日常的一个重要工作就是维护测试环境，并定期做数据库恢复测试和容灾数据库切换测试。测试系统维护工作主要有以下内容：检查灾备测试环境的存储是否足够，用于进行数据库灾备测试的环境不可能与生产环境一样，其CPU处理能力和内存可能会比生产系统要少，但其存储系统的大小一定不能低于生产数据库的数据文件的大小；检查操作系统版本是否满足要求，尽量保证测试环境的操作系统版本与生产环境一样，因为这样才能尽可能真实地模拟在真正的生产环境中做数据库恢复时可能会遇到各种问题；检查数据库软件版本是否满足要求，要保证测试环境的数据库软件版本与生产环境一样，包括补丁程序；检查测试环境的日志中是否有报错信息，重点检查操作系统和存储系统的管理日志中是否有报错信息，如果有应该及时处理。.定期演练数据库备份恢复演练的最终目的是确保在将来的某个时刻，如果要进行数据库恢复操作时，能够快速、准确地在规定时间内恢复整个生产数据库。要不断通过针对各种数据库故障的恢复演练来完善数据库恢复方案。数据库备份恢复演练通常包括以下内容：恢复整个数据库，这个部分是用来检验整个生产数据库发生不可修复的故障后，是否能够利用数据库备份系统进行恢复；恢复部分数据文件，并且打开数据库，这个部分主要是用来应对部分数据文件受到损坏，仅仅需要在生产数据库上恢复部分数据文件的情景；将数据库恢复到过去的某个历史时刻，然后打开数据库，这个部分主要是用来应对某些人为“误操作”引起的数据丢失或修改的情景，不仅要把数据库的数据文件恢复出来，还要利用数据库日志文件将数据库修复至“误操作”之刖。在进行数据库恢复演练时，需要做如下记录：记录每个具体操作指令（包括具体的命令、参数等）；记录每个操作完成所需的时间；记录所有操作可能遇到的各种问题以及处理方法和处理时间；记录数据库恢复后的检查过程。将上述记录整理成恢复演练技术文档《数据库恢复技术方案》，供下次演练时参考。这也是今后在正式生产环境中做数据库恢复操作时的重要参考资料。数据库恢复演练的步骤如下：为不影响容灾系统的正常工作，可以把容灾系统上的数据文件拷贝一份到测试环境中，这样，在进行切换演练时，就无须担心影响到容灾系统；在测试环境中停止数据同步操作，在打开容灾数据库前，需要停止容灾数据库的数据同步操作；在测试环境中打开数据库，将测试环境的数据库打开并假设作为生产数据库使用；将部分用于测试的应用终端连接到测试环境中，将用于测试的终端应用程序连接至测试环境的数据库上，在测试终端上测试各种关键应用；应用开发人员根据测试的切换时间，检查应用程序在这个时间点之后的业务操作是否正常；清理测试环境，将测试用的数据库从测试环境中清除；整理切换演练技术文档，将整个切换演练过程的所有操作命令、各个步骤所需时间等记录下来，并将其整理成《数据库容灾切换技术方案》。.数据库灾备系统日常运维数据库管理员的日常工作之一就是检查数据库灾备系统的运行是否正常。主要检查以下几个方面：①上次的数据库备份是否正常完成；②上次数据库备份所需时间是否正常；③备份系统的介质是否有报错信息；④容灾数据库与生产数据库之间的数据同步是否正常；⑤容灾端数据库的参数是否与生产数据库的参数匹配。把检查灾备系统是否正常运行作为数据库管理员的日常运维工作是非常必要的。有一个非常大型的医院HIS系统出现了硬件故障，导致HIS数据库无法打开。当用户决定利用数据库备份进行恢复时，才发现备份系统早已报错，数个星期前就已经停止备份了。而且用户没有建设数据库容灾系统。虽然最终打开了HIS数据库，但是不可避免地丢失了很多数据，这些数据需要手工补录。没有不出问题的生产数据库，数据库管理员总会遇到这样或者那样的情况，需要修复生产数据库，尽快恢复业务应用。其实，如果具备了前面提到的《数据库恢复技术方案》和《数据库容灾切换技术方案》，数据库管理员是不需要担心的。如果生产数据库真的出了非常严重的故障，数据库管理员只需按照已制订好的预案处理就行了。以下是关于数据库恢复和数据库容灾切换的实际操作流程：1）检查生产环境是否满足数据库恢复要求。硬件环境是否完好；存储空间是否足够；13）操作系统是否正常；14）数据库软件是否完备；1.5）备份软件是否正常。2）检查数据库备份情况。3）近期备份是否正常确定利用哪次的数据库备份进行恢复；备份介质是否正常。4）开始恢复生产数据库根据演练情况预估恢复时间；根据演练步骤进行数据库恢复操作。5）应用测试，测试生产数据库是否可用：检查生产数据是否可用；检查是否有数据需要手工补录。6）正式启动生产数据库和应用程序通知各个科室可以正式使用业务操作；现场观察生产环境运行情况；做一次生产数据库的备份。7）容灾数据库切换流程检查容灾数据库环境是否正常；重点检查容灾系统的数据库参数；检查容灾环境的存储。8）应用测试将应用终端转接到容灾数据库上；检查容灾数据库的数据是否完备；检查应用的性能是否满足要求。9）正式切换数据库系统将所有的医院客户端的数据库配置都转接到容灾数据库上；现场观察生产环境运行情况；对容灾数据库做一次数据库备份。10）修复原来的生产环境将修复好的生产环境作为容灾端做数据同步；将修复好的生产环境作为容灾端，重新配置数据库容灾系统。11）将现有的生产数据库反向切换回修复好的生产环境，按照之前的步骤将数据库从容灾端切换回生产端。4.常见灾备系统运维问题4.1.PDCA循环plan：计划；do：实施；check：检查；action：修正是一个非常好的方法，可以用来检查灾备运维期间遇到的问题，然后调整灾备系统的策略和实施过程。需要关注以下问题：4.2.不注意检查灾备系统的运行状态很多情况下都是灾备系统早已出现问题，用户在平时没有进行检查。结果在真正出现问题后，却发现灾备系统无法顶上。究其原因，一方面，是主观上重视不够，认为灾备系统只要建设好了就不用管它了。另一方面，医院信息化的人手不足，能够应付好平时的生产系统就很不错了。针对医院信息化的特点，建议使用专业的应用监控平台来监控生产和容灾系统的运行情况，一旦出现问题，这类监控平台会主动通知系统管理员。4.3.不进行数据库恢复测试医院信息科的管理流程中没有关于数据库恢复测试的工作内容。甚至于在建设数据库容灾系统时也因为各种原因而没有实施数据库恢复测试，更不用说有具体的数据库恢复技术方案了。90%以上的数据库故障都可以在较短时间内恢复，前提是要有详细的数据库恢复方案。4.4.忽略容灾系统的硬件资源因为资金限制，绝大多数医院在建设容灾系统时，仅仅考虑了数据不丢失或少丢失，并没有真正考虑到容灾系统的计算能力问题。对于三甲医院，容灾系统的计算能力至少应该是生产系统负载的110%以上。如正常的生产系统负载是50%,生产系统的CPU个数假设是10个。那么容灾系统的CPU个数应该不少于：10X50%X110%=6（个）。这样，如果容灾系统真正顶上作为生产系统使用，也有10%的资源空闲。4.5.不注意灾备系统的恢复时间和切换时间因为平时没有做数据库恢复和切换演练，在真正出现数据库故障时，往往给不出大致的系统恢复时间。这会造成决策上的失误，没有使用正确的方法来恢复数据库，造成应用系统长时间不能恢复正常。6.不注意灾备系统本身为生产环境引入的风险很多1T系统故障都是最近对系统做了改动，但是却没有注意到这些改动带来的风险而造成的。在建设容灾系统时，或多或少都会对生产系统做改动。无论这种改动多么小，都会为生产系统带来新的风险。在工程施工和日常运维中涉及现有生产系统的更改时一定要考虑风险分析和风险控制。5.数据容灾与数据备份的联系企业关键数据丢失会中断企业正常商务运行，造成巨大经济损失。要保护数据，企业需要备份容灾系统。但是很多企业在搭建了备份系统之后就认为高枕无忧了，其实还需要搭建容灾系统。数据容灾与数据备份的联系主要体现在以下几个方面：数据备份是数据容灾的基础数据备份是数据高可用的最后一道防线，其目的是为了系统数据崩溃时能够快速的恢复数据。虽然它也算一种容灾方案，但这种容灾能力非常有限，因为传统的备份主要是采用数据内置或外置的磁带机进行冷备份，备份磁带同时也在机房中统一管理，一旦整个机房出现了灾难，如火灾、盗窃和地震等灾难时，这些备份磁带也随之销毁，所存储的磁带备份也起不到任何容灾功能。2.容灾不是简单备份真正的数据容灾就是要避免传统冷备份所具有先天不足，它能在灾难发生时，全面、及时地恢复整个系统。容灾按其容灾能力的高低可分为多个层次，例如国际标准SHARE78定义的容灾系统有七个层次：从最简单的仅在本地进行磁带备份，到将备份的磁带存储在异地，再到建立应用系统实时切换的异地备份系统，恢复时间也可以从几天到小时级到分钟级、秒级或0数据丢失等。无论是采用哪种容灾方案，数据备份还是最基础的，没有备份的数据，任何容灾方案都没有现实意义。但光有备份是不够的，容灾也必不可少。容灾对于IT而言，就是提供一个能防止各种灾难的计算机信息系统。从技术上看，衡量容灾系统有两个主要指标：RPO(RecoveryPointObject)和RTO(RecoveryTimeObject),其中RPO代表了当灾难发生时允许丢失的数据量；而RTO则代表了系统恢复的时间。3.容灾不仅是技术容灾是一个工程，而不仅仅是技术。目前很多客户还停留在对容灾技术的关注上，而对容灾的流程、规范及其具体措施还不太清楚。也从不对容灾方案的可行性进行评估，认为只要建立了容灾方案即可高枕无忧，其实这具有很大风险的。特别是在一些中小企业中，认为自己的企业为了数据备份和容灾，整年花费了大量的人力和财力，而结果几年下来根本就没有发生任何大的灾难，于是放松了警惕。可一旦发生了灾难时，后悔晚矣！这一点国外的跨国公司就做得非常好，尽管几年下来的确未出现大的灾难，备份了那么磁带，几乎没有派上任何用场，但仍一如既往、非常认真地做好每一步，并且基本上每月都有对现行容灾方案的可行性进行评估，进行实地演练。6.数据容灾等级设计一个容灾备份系统，需要考虑多方面的因素，如备份/恢复数据量大小、应用数据中心和备援数据中心之间的距离和数据传输方式、灾难发生时所要求的恢复速度、备援中心的管理及投入资金等。根据这些因素和不同的应用场合，常见的容灾备份等级有以下四个：第0级：本地备份、本地保存的冷备份这一级容灾备份，实际上就是上面所指的数据备份。它的容灾恢复能力最弱，它只在本地进行数据备份，并且被备份的数据磁带只在本地保存，没有送往异地。在这种容灾方案中，最常用的设备就是磁带机，当然根据实际需要可以是手工加载磁带机，也可以是自动加载磁带机。前者主要适用于存储数据容量较小的中小型企业，主要产品有IBM的TotalstorageUltrium外置式磁带机3580,单盒磁盘窝囊可达200GB,压缩后可存储400GB数据，可满足绝大多数中小企业，乃至大型企业数据备份需求。HP的磁带机产品线更是非常全面，手工加载的磁带机目前主要有HPSurestoreDAT24、HPSurestoreDAT40、HPStorageWorksDAT72,它们单盘磁带所能存储的容量分别是24GB、40GB和72GB,不同用户可灵活选择，另外HP还有一个LTO-Ultrium磁带机系列磁带机和DLT/SDLT系列磁带机。自动加载磁带机中IBM主要有Totalstorage企业磁带机3592,HP有StorageWorksDAT40x6T等。注：以上只是拿IBM和HP这两个著名品牌的产品作代表进行说明，其实还有许多其它品牌的磁带机产品可选择，如日立、索尼、富士通等。除了选择磁带机外，还可选择磁带库、光盘塔、光盘库等存储设备进行本地备份存储。6.2.第1级：本地备份'异地保存的冷备份在本地将关键数据备份，然后送到异地保存，如交由银行保管。灾难发生后，按预定数据恢复程序恢复系统和数据。这种容灾方案也是采用磁带机等存储设备进行本地备份，这些磁带设备的选择可参见前面介绍。同样还可以选择磁带库、光盘库等存储设备。我们常常见到一些公司为了避免备份磁带因机房安全问题而出现磁带被除数盗、被毁，通常是把备份磁带，特别是月以上的备份磁带放入专门的保险柜，甚至租用银行的专门保险箱来存放这些备份磁带。但这还不能说是万元一失，原因就是，一般来说这些保管磁带的地点与所在公司在同一城市中，万一出现了地震、战争之类的自然灾难，这些备份磁盘还是难逃厄运。6.3.第2级：热备份站点备份在异地建立一个热备份点，通过网络进行数据备份。也就是通过网络以同步或异步方式，把主站点的数据备份到备份站点。备份站点一般只备份数据，不承担业务，拓扑结构。当出现灾难时，备份站点接替主站点的业务，从而维护业务运行的连续性。这种异地远程数据容灾方案的容灾地点通常要选择在距离本地不小于20公里的范围，采用与本地磁盘阵列相同的配置，通过光纤以双冗余方式接入到SAN网络中，实现本地关键应用数据的实时同步复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的镜像数据。该数据是本地生产数据的完全实时拷贝。对于企业网来说，建立的数据容灾系统由主数据中心和备份数据中心组成。其中，主数据中心采用高可靠性集群解决方案设计，备份数据中心与主数据中心通过光纤相连接。主数据中心系统配置主机包括两台或多台服务器以及其他相关服务器，通过安装HA软件组成多机高可靠性环境。数据存储在主数据中心存储磁盘阵列中。同时，在异地备份数据中心配置相同结构的存储磁盘阵列和一台或多台备份服务器。通过专用的灾难恢复软件可以自动实现主数据中心存储数据与备份数据中心数据的实时完全备份。在主数据中心，按照用户要求，还可以配置磁带备份服务器，用来安装备份软件和磁带库。备份服务器直接连接到存储阵列和磁带库，控制系统的日常数据的磁带备份。其中，光传输设备作为两个数据中心之间的传输设备，两个数据中心利用光传输设备通过光纤组成光自愈环，可提供总共高达80G（保护）和160G（非保护）的通信带宽。4.第3级：活动互援备份这种异地容灾方案与前面介绍的热备份站点备份方案差不多，不同的只是的主、从系统不再是固定的，而是互为对方的备份系统。这两个数据中心系统分别在相隔较远的地方建立，它们都处于工作状态，并进行相互数据备份。当某个数据中心发生灾难时，另一个数据中心接替其工作任务。通常在这两个系统中的光纤设备连接中还提供冗余通道，以备工作通道出现故障时及时接替工作，当然采取这种容灾方式的主要是资金实力较为雄厚的大型企业和电信级企业。这种级别的备份根据实际要求和投入资金的多少，又可分为两种：①两个数据中心之间只限于关键数据的相互备份；②两个数据中心之间互为镜像，即零数据丢失等。零数据丢失是目前要求最高的一种容灾备份方式，它要求不管什么灾难发生，系统都能保证数据的安全。所以，它需要配置复杂的管理软件和专用的硬件设备，需要投资相对而言是最大的，但恢复速度也是最快的。以上两种热备份方式就不再是传统的磁带冷备份方式了，而是通SAN之类先进的通道技术，把服务器数据同步，或异步存储（镜像方式）在远程专用存储设备（也可以是磁带设备）上。在以上两种热备份容灾方案中，主要的设备包括磁盘阵列、光纤交换机或磁盘机等。的是HP的一款低档磁盘阵列HPStorageworksMSA1000,为一款高档虚拟磁盘阵列HPStorageWorksVirtualArray7410产品。IBM的一款企业级光纤交换机——TotalStorage®SAN交换机F32产品，它可提供32个光纤交换端口；而是一款中档光纤交换机——TotalStorage@SAN交换机F16,它可提供16个光纤交换端口。7.异地容灾技术在建立容灾备份系统时会涉及到多种技术，如：SAN或NAS技术、远程镜像技术、虚拟存储、基于IP的SAN的互连技术、快照技术等。远程镜像技术远程镜像技术是在主数据中心和备援中心之间的数据备份时用到。镜像是在两个或多个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过程，一个叫主镜像系统，另一个叫从镜像系统。按主从镜像存储系统所处的位置可分为本地镜像和远程镜像。远程镜像又叫远程复制，是容灾备份的核心技术，同时也是保持远程数据同步和实现灾难恢复的基础。远程镜像按请求镜像的主机是否需要远程镜像站点的确认信息，又可分为同步远程镜像和异步远程镜像。同步远程镜像（同步复制技术）是指通过远程镜像软件，将本地数据以完全同步的方式复制到异地，每一本地的I/O事务均需等待远程复制的完成确认信息，方予以释放。同步镜像使远程拷贝总能与本地机要求复制的内容相匹配。当主站点出现故障时，用户的应用程序切换到备份的替代站点后，被镜像的远程副本可以保证业务继续执行而没有数据的丢失。但它存在往返传播造成延时较长的缺点，只限于在相对较近的距离上应用。异步远程镜像（异步复制技术）保证在更新远程存储视图前完成向本地存储系统的基本I/O操作，而由本地存储系统提供给请求镜像主机的I/O操作完成确认信息。远程的数据复制是以后台同步的方式进行的，这使本地系统性能受到的影响很小，传输距离长（可达1000公里以上），对网络带宽要求小。但是，许多远程的从属存储子系统的写没有得到确认，当某种因素造成数据传输失败，可能出现数据一致性问题。为了解决这个问题，目前大多采用延迟复制的技术，即在确保本地数据完好无损后进行远程数据更新。2.快照技术远程镜像技术往往同快照技术结合起来实现远程备份，即通过镜像把数据备份到远程存储系统中，再用快照技术把远程存储系统中的信息备份到远程的磁带库、光盘库中。快照是通过软件对要备份的磁盘子系统的数据快速扫描，建立一个要备份数据的快照逻辑单元号LUN和快照cache,在快速扫描时，把备份过程中即将要修改的数据块同时快速拷贝到快照cache中。快照LUN是一组指针，它指向快照cache和磁盘子系统中不变的数据块（在备份过程中）。在正常业务进行的同时，利用快照LUN实现对原数据的一个完全的备份。它可使用户在正常业务不受影响的情况下，实时提取当前在线业务数据。其“备份窗口”接近于零，可大大增加系统业务的连续性，为实现系统真正的7X24运转提供了保证。快照是通过内存作为缓冲区（快照cache）,由快照软件提供系统磁盘存储的即时数据映像，它存在缓冲区调度的问题。3.互连技术早期的主数据中心和备援数据中心之间的数据备份，主要是基于SAN的远程复制（镜像），即通过光纤通道FC,把两个SAN连接起来，进行远程镜像（复制）。当灾难发生时，由备援数据中心替代主数据中心保证系统工作的连续性。这种远程容灾备份方式存在一些缺陷，如：实现成本高、设备的互操作性差、跨越的地理距离短（10公里）等，这些因素阻碍了它的进一步推广和应用。目前，出现了多种基于IP的SAN的远程数据容灾备份技术。它们是利用基于IP的SAN的互连协议，将主数据中心SAN中的信息通过现有的TCP/IP网络，远程复制到备援中心SAN中。当备援中心存储的数据量过大时，可利用快照技术将其备份到磁带库或光盘库中。这种基于1P的SAN的远程容灾备份，可以跨越LAN、MAN和WAN,成本低、可扩展性好，具有广阔的发展前景。基于IP的互连协议包括:FC1P、iFCP、Infiniband、iSCSI等。4.虚拟存储在有些容灾方案产品中，还采取了虚拟存储技术，如西瑞异地容灾方案。虚拟化存储技术在系统弹性和可扩展性上开创了新的局面。它将几个IDE或SCSI驱动器等不同的存储设备串联为一个存储池。存储集群的整个存储容量可以分为多个逻辑卷，并作为虚拟分区进行管理。存储由此成为一种功能而非物理属性，而这正是基于服务器的存储结构存在的主要限制。虚拟存储系统还提供了动态改变逻辑卷大小的功能。事实上，存储卷的容量可以在