GBase8s+ER系统部署说明

1、1,概述本文简要描述了GBase8s ER系统和数据复制的基本概念，为进行ER环境搭建提供依据和指导。2，ER原理简介GBase8s Enterprise Replication用于管理一个或多个站点上数据的多个副本，这样能够方便企业的各个组织机构共享企业共同的数据资源。ER工作于多数据库服务器环境之上，是一种基于逻辑日志的异步传输复制工具。工作于源服务器上的ER工具通过读取逻辑日志的方式捕获将要复制的事务信息，将其存储在发送队列中，然后可靠地将每一个事务作为复制数据传送到目标服务器。目标服务器上的ER工具接收这些事务，将其内容作用于特定数据库上的特定表，实现数据库表内容与源服务器的一致性。2

2、.1 ER基本术语解释在搭建ER环境之前以及后续ER环境维护过程中，你必须理解以下ER相关的基本术语：Enterprise Replication server:又称Replication server,是参与数据复制的GBase8s数据库服务器。此服务器维护ER环境的相关信息，比如哪些表的哪些列参与复制以及复制的触发条件，这些信息存储在名为syscdr的数据库中。syscdr由8s数据库服务器在初始化ER环境的时候自动创建，内含133张表用于跟踪记录ER进度。另外，多个8s数据库服务器可以位于同一台物理机器上，并且每一个服务器都可以参与ER，这对于搭建调试ER环境提供了极大便利。Partic

3、ipant:直译“参与方”，指定参与复制的数据库服务器和参与复制的数据（库名，表名，列名）。Replicate：ER最常用术语，直译"复制"，用于定义数据复制的参与方以及数据复制的各种属性，比如数据复制的频度，数据复制期间的冲突解决方案。Replicate Set:复制集，方便管理多个replicate。Replication Model：ER主要支持两种复制模型，Pirmary-target模型（主从模型）和Update Anywhere（处处更新模型）。主从模型下，主服务器上的任何数据变更都会复制到从服务器上，而从服务器上的数据变更不会复制到主服务器上。处处更新模型下，

4、任意服务器上的数据变更都会复制到其他参与复制的服务器上。2.2 ER工作流程说明在进行数据复制之前，首先需要声明数据库服务器作为复制参与方，然后声明数据复制的各种属性（复制粒度以及冲突解决方案）。以上声明完毕后，ER复制工作流程如下图所示分为三个阶段：1，数据捕获（Data Capture）2，数据传输（Data Transport）3，数据复制（Applying replicated data）1，客户端应用执行一个事务操作；2，事务信息被写入逻辑日志；3，日志捕获组件（Snoopy）读取逻辑日志，并将日志记录传递给分组组件（Grouper）；4，分组组件计算需要复制的日志，并将它们分组到描

5、述原始事务操作的消息中；5，分组组件将消息添加到发送队列，特定情况下发送队列将消息临时存储在磁盘上；6，发送队列通过ER网络将消息发送到目标服务器上；7，复制消息被添加到目标服务器的接收队列中；8，数据同步组件将事务应用于目标数据库，必要情况下执行冲突解决方案；9，在确认队列中放置一条事务已经成功应用的消息；10，将确认消息发送给源服务器。3，ER环境搭建现以在3台机器上搭建ER环境为例，概述ER实施过程。3.1，安装数据库在各机器上安装数据库，过程从略，安装完成后数据库配置如下表所示：hostname ertest184 ertest231 ertest232ip 172.16.2.184

6、172.16.2.231 172.16.2.232port 23701 23702 23703servicename server1_serv sever2_serv server3_servdbservername server1 server2 server33.2，修改系统相关配置1，修改各机器上的/etc/hosts，修改后文件中包含以下三条信息以指示各台机器：172.16.2.184 ertest184172.16.2.231 ertest231172.16.2.232 ertest2322，修改各台机器上/etc/services，添加包含其他机器上数据库服务器的端口号，以erte

7、st184机器为例说明如下：server1_serv 23701/tcpserver2_serv 23702/tcpserver3_serv 23703/tcp3，检查3台机器的时间是否一致，如有必要，调整为同一时间值3.3，建议对方机器的信任关系配置多台机器的互信方法有两种，一种通过修改/etc/hosts.equiv的方式，另一种通过配置$GBASEDBTDIR/etc目录下的hostfile,hostuser,onconfig.service的方式，以下以第一种方式为例进行说明：修改各台机器上的/etc/host.equiv，建立来自其他机器上的用户gbasedbt来方操作，如在erte

8、st184机器上添加以下两个条目：ertest231 gbasedbtertest232 gbasedbt注意：配置多台机器互信的前提是关闭各机器的防火墙！3.4，配置数据库组group修改各台机器上$GBASEDBTDIR/etc/sqlhosts.servername，添加以下内容：g_server1 group - - i=105server1 onsoctcp ertest184 server1_serv g=g_server1g_server2 group - - i=106server2 onsoctcp ertest231 server2_serv g=g_server2g_se

9、rver3 group - - i=107server3 onsoctcp ertest232 server3_serv g=g_server33.5，测试连接对方机器数据库使用gbasedbt用户打开一个连接，执行dbaccess->Connection->connect，检查是否存在对方机器上的数据库名；如果存在，请选择，这时界面上会显示输入用户名和指令（无需输入），回车确认，连接选择打开的数据库，互信配置成功。3.6，准备ER环境所需的数据空间和测试所需数据库ER环境需要额外的数据空间以保存发送队列，接收队列ER环境维护的系统库syscdr信息，以下操作需要在所有参与ER的机

10、器上执行，现以ertest184为例进行说明：cd $GBASEDBTDIRcd storagetouch queuedbschmod 660 queuedbstouch syscdrdbschmod 660 syscdrdbsonspaces -c -S queuedbs -p /opt/GBASE/gbase8s/storage/queuedbs -o 0 -s 550000onbar -b rootdbsonspaces -c -d syscdrdbs -p /opt/GBASE/gbase8s/storage/syscdrdbs -o 0 -s 220000onbar -b rootd

11、bs修改onconfig.servername配置文件，写入CDR_DBSPACET和CDR_QDATA_SBSPACE信息后重启实例。测试脚本：create database mytest with log;create table t1(a int primary key,b char(10);create table t2(c int primary key);insert into t1 values(1,"English");insert into t1 values(2,"Chinese");insert into t2 values(100

12、);3.7，定义参与ER的数据库服务器所有相关的复制 定义操作均可在其中一台服务器上进行，现以ertest184为例进行说明：1，cdr define server -init g_server12，cdr define server -connect=server2 -init -sync=g_server1 g_server23，cdr define server -connect=server3 -init -sync=g_server1 g_server33.8，定义ER1，定义主从模型的复制：cdr define replicate -conflict=ignore repl1 "P mytestg_server1:gbasedbt.t1" " select * from t1" "R mytestg_server2:gbasedbt.t1" "select * from t1"2，定义处处更新模型的复制：cdr define replicate -conflict=ignore repl2 "mytestg_server1:gbasedbt.t2" "select *