异地备份方案-Q复制.doc

一、 核心数据库异地备份方案1. 目标1）提供高可靠的复制机制，构建稳健安全的数据灾备。2）对生产运行基本没有影响。3）灾备数据库随时提供只读访问。2. 架构图如下生产区社保数据中心采用一台IBM System Z (ELS Z114)服务器和运行zLinux操作系统提供高性能与高扩展性的数据库服务器。在异地灾备中心使用一台高端的PC服务器运行Linux和DB2作为异地的灾备服务器。数据的同步采用先进的Q Replication解决方案：采用高效率的基于日志捕获技术及异步传输的机制，同时对生产系统的正常运作基本没有负面影响。3. Q复制技术介绍 Q复制技术是IBM 的基于队列的新复制架构，是一种高吞吐量、低延迟的数据同步方法。它使用WebSphere MQ的消息队列在源数据库与目标数据库之间，或者在源子系统与目标子系统之间传递事务。通过捕获并同步数据变化的增量信息，Q复制技术使得数据源与数据目标之间的数据内容保持一致。 Q复制技术的体系结构如下图所示。 Q Capture程序通过读取DB2的日志直接获取所指定的复制源表的增量数据；继而，Q Capture程序将事务作为消息，通过MQ消息队列发送；最后，Q Apply程序从队列中读取这些消息，并将其应用于目标表。 Q复制设计用于支持业务连续性、数据备份、工作负载分发和应用程序集成场景。Q复制具有以下几个优点：u 低延迟：一旦提交了对源表进行的修改，并从日志中读取到这些修改，这些变化就立即发送出去。u 对数据源影响小。详见下面的Q复制技术特性部分。u 高吞吐量：Q Capture程序始终可以跟踪在源表发生的快速变化，并且Q Apply程序使用多线程，使得它能够及时跟踪通信通道中的消息。u 低网络流量：消息使用一种压缩格式在队列中传送，而且在发送数据的选项中允许选择传送最少量的数据。u 异步性：消息队列使得Q Apply程序可以不连接源数据库或者源子系统就可以接收事务。如果Q Capture程序或者Q Apply程序停止，在程序可用后，需要进行处理的消息仍然存在于队列中。由于消息是永久的，所以数据源和目标即使在系统或设备故障的情况下仍可以保持同步。 Q复制技术是数据库表级的数据同步技术，可以灵活的指定需要同步的数据内容。比如，可指定某些表作为复制来源，指定一个或多个表作为每一张数据源表的复制目标；可配置复制源与复制目标间的数据映射关系，如选取数据源表中的某些列，或者用SQL语言的where子句进行过滤选取数据源表中符合where子句条件的某些行；可过滤数据源表上的Delete操作而只获取Insert和Update操作产生的数据增量。Q复制技术可以支持各种灵活的数据同步配置拓扑结构。可以在远程服务器之间或者仅在一个单一的服务器上进行复制。可以选择进行单向复制，或者选择多向复制。其中，多向复制可以是双向的（对于管理备份系统十分有用），或者是对等复制（对于交易系统上的数据同步很有帮助）。Q复制技术的关键特性：u Q复制对数据源的影响 Q复制通过读取DB2的恢复日志来获取源数据库上的增量数据，不需要访问数据库上的业务表，不存在任何SQL操作来争用数据库资源。并且，在运行阶段，Q复制会首先直接从内存中DB2的Log Buffer里读数，并放到发送队列中；如果DB2已经将部分日志写入日志文件，则Q复制才从日志文件中读数。因此，Q复制不会对源数据库产生直接影响。 另外，在适当调优后，比如适当增大分配给DB2 Log和Q复制程序的系统内存，或者分配给DB2日志文件和MQ数据及日志文件I/O较高的存储，可以将Q复制对源数据库所在的系统的影响将到最低。u Q复制在数据完整性上的考虑 数据同步必须保证在复制目标上数据的完整性和业务逻辑。Q复制技术在同步增量数据时，会同时考虑在单张表或者多个有关联关系的表上执行的SQL操作顺序，当增量数据在复制目标上执行相应操作时，Q复制将按照在数据源上的顺序执行，若数据源上产生的增量数据之间具有相关性或者事务性，则这些业务逻辑将得到保护。相比之下，一般应用程序开发，很难实现照顾到所有的数据关联关系，在数据完整性上存在隐患。u Q复制性能提升因素 与开发应用程序或者采用其他数据同步方式相比，通过减少在交易数据库上的操作、减少交易数据库服务器上的CPU使用、以及提高数据写入的并行度，Q复制具有减少同步时间延迟和提高数据吞吐量的显著技术优势。u 减少在交易数据库上的操作 Q复制技术从内存中DB2的Log Buffer或者日志文件中获取增量数据，并直接放到MQ的发送队列中。与开发应用程序实现数据同步相比，Q复制技术获取数据增量的时间延迟最少，且不需要执行select等SQL操作，可以避免对交易数据库上业务的影响，同时避免对数据库内存及CPU资源的争用。并且，通过将MQ消息数据与日志配置在和数据库不同的存储上，可以减少对I/O资源的争用。u 减少交易数据库服务器上的CPU使用 数据同步检验工作对同步质量至关重要，但同时也消耗比较多的系统资源。在Q复制中，由于采用MQ保证了数据增量的传输，所以同步检验工作可以在复制目标即查询数据库所在服务器上执行。在查询数据库所在服务器上，同步检验程序定期检查已经在目标数据库上提交的增量记录，并从消息队列中将相应记录清除。与其它在数据源上作同步检验的复制技术相比，Q复制技术可以减少近1/3的CPU消耗，从而可以支持更高的数据吞吐量。u 提高数据写入的并行度 在Q复制中，APPLY程序负责将增量数据从消息队列中读出并在目标数据库上执行相应的Insert、Update或Delete操作。在执行这些操作之前，Q复制的APPLY程序会分析各个交易