稳定版售前kingbasees高可用指南

第1 概 拓机原 第2 确定高可用需 第3 KINGBASEES处理意外拓机的方 故障恢 备份还 自动重 安全特 客户端容 第4 KINGBASEES处理计划拓机的方 KingbaseRACon 第5 优化管理 KingbaseDataGuard管理工 第6 KINGBASEES高可用架构和方 如何选 第7 ...........................................................................................................................................66第1什么是高成的影响和系统中的关键部件失效是一样的。一旦用户不能系统，那么系统就变成了不可及时采取相应的补救措施，比如某个节点的对络突然失效了，高可用故障检测软件必须并且在出现故障后及时通知相应的。不间断的处理能力：当进行而且不允许暂停应用时，那么系统必须能够提供持续的数据能力。比如，移动某个数据库位置或者增加硬件，在高可用系统中这些都将是对用户透总的来说：一个高可用的系统应该具备以下的一些显著它们的定义见2.1节）它们的数据，并由此获取收益，这就要求他们的服务必须具有高可用性，不论是小公司还是大企业，它们都拥有在世界范围内随时数据的用户。如果没有用户的，将停止，这会严企业已经通过使用蕴含的资源来提高自身的竞争力和生产效率，通过它们使自己有能力做出更迅速和准确的判断。然而，这加剧了它们对资源的依赖性。如果关键应用变得不可用，那么企业的业务将蒙受巨大损失。比如一个依赖web的电子商务系统，如果出现无法访拓机时间随着企业为了获得更高的竞争力而重构它们的解决方案，提高可用也随之加速。通常情况下，这些新的解决方案都依赖对关键数据的快速。这些关键数据一旦不可用，那么它们的的将导致企业由此步入。客的承诺，将严重影响公司的信誉，给企业的来不可估量的影响。在以服务业务为主的考虑拓机代价时还应该关注如下两个方面拓机原类概例已完成。而当主库该磁盘块，I/O子数据块丢失是指I/O完成但是没有被写到KingbaseES数据库和实例无法对外提供服1-2描述计划内拓机发生的情类描举第2章确定高可用需恢复时间目标产损失，客户不满意，信誉受损等等）的时间总和。概括的讲，恢复时间目标是或者是商业流程对拓机时间的度。恢复时间目标的要求受商业活动的自然属性所决定，而且根据不同的活动，对它的要求也有所不同，比如同一个企业中，顾客要求它的业务需要不停的提供服务，恢复点目的最大数据量。总的来说，它体现了组织或者业务流程对数据丢失的程度。这样的数据丢失常也是不同的。有的业务不允许丢失数据，有的能够少量丢失数据，丢失的数据可以通过人工的管理能力目管理能力目标相对于恢复时间目标和恢复点目标来说更。一般是指高可用解决方案管理的组织对拓机时间和数据丢失的度类似，用户的管理能力目标考量组织对信息系统环境复杂性的总投入和总产理解总投入和总产出对于选择一个能够织要求的高可用方案至关重要。总投入包括所选择高可用方案在整个生命周期里产生的所有开销（比如采购，部署，系统，网络，工具，人员，培训，和支持。同样，总产出的计算将涵盖由高可用方案带来的所有资金上的收入。比如用备机只读部署方案，备用节点在充当备用角色时，它的系统和还能对外提供服务（比如减少如何确定高可用需第一步识别企业的关键活动，比如一个传统的生产工具制造企业。制造业是一个需要大量统对它来说是关键的，因为对于以客户为的企业，它所依赖的是能够随时内部研究成果的互的基于的系统。的系统等待感到懊恼。结果，他们很可能选择其它的进行购物，这就是系统在零数据丢失和最大性能之间折中的明显的例子。相反，如果商业利益认为使用的投入来避免高可用解决方案同时还必须考虑压力和对未来的发展预期。高可用一般是在信息基础会导致预算超支，不切实际的解决方案整合起来也相当复杂而且费用也惊人。一个拥好的整合；每年的费用轻易的就超过了部署的费用；只能选择特定的产品。第3KingbaseES处理意外拓机的方方意外拓故障恢（WAL操作形成不同的日志记录。比记录表数据的日志记录；记录索引的日志记录；以及记录事务提KingbaseES工作时写的日志为联机日志。通常数据 第一步控制文件sys_control，通过的信息决定是否做恢复。如果上一次停机时备份还KingbaseES提供的备份还原方式分两种：一种是基于日志的物理备份恢复，另一种基于SQL语句物理备份KingbaseES通过备份磁盘中数据下的物理文件（数据文件、控制文件和日志文件），依靠还定恢复后的新的数据位置，也可以恢复到历史上某个时间点时数据库服务器一致的状态。物理备份的步全系统备份保存整个数据库的文件到一个指定的。 checkpoint 物理恢复的步 第四步，开始从日志中恢复数据，用户可以选择只从备份下的日志文件中恢复数据，也可以选择继续归档下的日志文件进行恢复。当不到可用的日志记录时，恢复步骤停止，台服务器，本周内所产生的所有归档日志也被保存到了另一台服务器。使用这个全系统备基于时间点的物理恢物理备联机物理备#setarchivemodelog_archive_start=on#forlinuxlog_archive_dest='/home/KingbaseES/archive_log'#forwindowslog_archive_dest'd:\\KingbaseES\\archive_log'#setbackupname、pathetcbackup_name='ONLINE_'#forlinuxbackup_path='/home/KingbaseES/backup'#forwindowsbackup_path=执行联机物理备份./isql-hlocalhost-p54321-USYSTEM-WMANAGER-c"backup;"脱机物理备KingbaseES的数据的读权限、文件创例如：指定备份名选项，备份指定数据到"/home/db/backup"下，备份后，备份集所在sys_backup-b-D/home/usr/KingbaseES/data-nOFFLINE_B1-P/home/db/backup-M物理还 （简称dest ）前，修改dest KingbaseES.conf文件，设置归档 恢复备份名为OFFLINE_B1的备份集到新位置（恢复数据文件时一次最多允许恢复5个区）sys_backuprPhome/db/backup/OFFLINE_B1N/home/db/recover/OFFLINE_B1M5使用归档的日志和尾日志文件，恢复备份名为ONLINE_B2的备份到新位置sys_backup-r-P/home/db/backup/ONLINE_B2-N/home/db/recover/ONLINE_B2-/home/db/archive-Dsys_backup-r-P/home/db/backup/ONLINE_B3-N/home/db/recover/ONLINE_B3-/home/db/archive-D/home/usr/KingbaseES/data-t"2013-05-08逻辑备份逻辑备sys_dump-h-p54321-USYSTEM-WMANAGER-fc:\dumpfile.dmp逻辑还sys_restore-h-p54321-USYSTEM-WMANAGER-dTEST2自动重KingbaseESKingbaseESSTANDBY用户通过配置standby.conf的retrytimes，设置STANDBY尝试重启KingbaseES的次数。该参数为整形，取值范围为0到60，默认值为0。安全特减少人为错误的最好就是进行控制——指定用户只能有权的数据，从而极大的减少了人为错误发生的概率。KingbaseES提供多种认证应用数据的用户，同时采用多种控制确保用户数据的和安全性，KingbaseES还提供加密和传输加密防止用KingbaseES支持基于强化口令的鉴别，它包括对数据库用户施加口令复杂度检查、帐户和口令有效期限设置、帐户锁定等安全策略管理等机制。此外，KingbaseES还支持基于USBKey的双因互制约。一个用户最多拥有这三个角色之一，每个角色只能执行相应的管理与任务。这种方式实现数据库管理权限的合理分配和使用，避免以往管理员权限的。的。该控制粒度只能细化到对象（例如，表、视图）级别。客户端容 具体设置请参见jdbc和odbc联机帮助失败后的处理方式（重启、放弃对资源的接管或转移到其他节点等对虚IP、共享磁盘、概金仓数据库KingbaseES向用户提供了称为KingbaseDataGuard的完备数据保护和恢复特性，LinuxKingbaseDataGuard由主从KingbaseES服务器组成，主服务器对外提供服务，并将所产生日志通过据的一致性。主机和从机的状态都由本地控制器实时。一旦主服务器发生故障，则控制器启动从点错误，节点和介质错误的情况下快速自动的切换，减少拓机时间。同时，备的数据库还能为如尽管传统的解决方案（如备份恢复，镜像，日志转储）都能提供一定程度的高可用相比与传统的解决方案。 具有如下的优势和镜像比起来 具有如下的优势更有效的网络利用率，因为镜像不光需要转储日志还需要转储数据，更高性能，KingbaseDataGuard高性能主要体现在两个方面：首先KingbaseDataGuard相比较而言比镜像需要更少的磁盘i/o；其次KingbaseDataGuard不会对主库的数据刷盘造成影响，般在几千米到几十千米。而KingbaseDataGuard依赖的是标准的tcp/ip协议栈，它能够将两将原封不动的到镜像节点。而KingbaseDataGuard不会出现这样的情况，因为可以提供只读的数据。KingbaseDataGuard具有如下的功系统架数 数 链standby主备通信链数数 链standby主备通信链数 系统部部署要uname-x86_64x86_64GNU/Linux名相同为可选./KingbaseES-Kingbase(Kingbase)090Release64部署步 ./initdb-USYSTEM-Atrust--database=TEST--ssousername=SYSSSO---D并指定归档日志的路径参数log_archive_dest（必选）log_archive_start=log_archive_dest=参数将 tarzcvfdata.tar.gz在备机scpzkong@7:/home/zkong/install/data.tar.gz在备机上解压tar-zxvf 在主机和备机上执行mkdir/home/zkong/install/archive应确保备机用户对解压以后的文件具有读写的权限。主机和备机的数 路径一（/home/zkng/instll 编辑standby.conf。首先将它由bin/temte拷贝到config下cdcptemte/standby.conf../config/vim../config/standby.conf确定standby需要的资源。从而确定配置文件需要有几块，以[****]开始到下一个[*****]是可配的，参数都一样，参数的具体含义请参见联机帮助《KingbaseES高级管理》数据保护章节中standby.conf参数介绍。 = = = = =备机的ip地址和standby端 =主机端standby和KingbaseES的运行日志存 ="standby-%w.log" =Kingbase_fault_num=在Dataguard和KingbaseHA环境下，允许ha切换的次数。当ha切换Kingbase_fault_num次都 =""floatip_readonly_delcmd=""floatip_readwrite_addcmd=""floatip_readwrite_delcmd= =2 ="KingbaseES-Kingbase- = = = ="host=8口，编辑Kingbase.conf设置port=57432。 = =54323 = = = = = = ="-c1-w11>/dev/null2>/dev/null" =5 = = = = = = =./standby–Ustandbytail-f../log/standby-6.logtail-f../log/KingbaseES-6.logcdscpzkong@7:/home/zkong/install/config/standby.conf =standby ="host=7./standby-Ustandby./istandby-Ustandby-getcurrentKingbaseESServer--Local[7]Status:-----KingbaseStatus:-----networkStatus:standbygetall KingbaseESService||--Local[7]Status:|--Remote[8]Status:getcurrentstatusKingbaseESServer--Local[]Status:-----KingbaseStatus:-----networkStatus:getall KingbaseESService||--Remote[7]Status:|--Local[]Status:istandby>switchoveristandby>getallstatus KingbaseESService||--Local[]Status:|--Remote[7]Status:istandby概SD)，通过建立全局的数据缓冲区和事务与恢复管理器全局共享资源管理器(GlobalShareResourceManager,GSRM)：SD理的关键软件，实现对用户数据的全局缓冲管理，同时所有数据库服务器节点的事务管理，包括恢复和全局。集群基础架构：SD采用DB服务器＋GSRM全局资源管理器＋共享磁盘的三级体系以支持服务请求；GSRM服务器和管理集群系统的全局资源GRD；SD整个集群系统中对全局资源的GSRM三级体系中数据的传输基于内部高速通讯网络，以保证工作的高效、可靠。DB服务器是高性能的服务器，GSRM需要大容量内存的服务器，SD需要高性能设备，如RAID磁盘阵列等。须保证不同节点之间数据的一致性，即缓冲区内容的一致性。当节点本节点的缓冲区数据时，不通过全局资源管理器一个全局统一的缓冲区元信息数据，并实现对缓冲区的控制，保证不同群可以整体恢复到前一时刻的状态。除此之外，集群还有一个单机系统无法比拟的优势，就是当集群文件系统：在集群环境下，不同节点可能同时共享磁盘的同一数据，因此文件系统的互安操作系统：AsianuxServer3（64、1-1]tarxvfKingbaseSD.tartarxvfKingbaseSD.tarCRAC来介绍RAC系统的部署。RAC1（2）gsrmgsrm在节1，节点2gsrm服务器上分别安装RAC可执行程序（安装方3.9.2把数RAC ，然后把RAC文件系统安装在共享磁盘的RAC系统可执行程序安装 装方法参见3.9.2节。KingbaseRAC的配置和启初始化数据存放路径、系统管理员的名称和等最基本的信息，这些信息很重要，在初始化过程中需要牢记：只有初始化数据库成功后，才能正常使用。KingbaseRAC系统的初始化命令为：initdb[参数选项][数 参参数含说 --case----初始化数据库所用的数据库编码，KingbaseESSD提----可以通过此选项，把于提高KingbaseESSD数据库数，则REDO日志文件同数据 REDO日志文件默认有三个，用户可以在初始化后通过SQL语句增加新的REDO日志[16,2048--式----KingbaseESSD动删除初始化指定的。指-些配置文件，如KingbaseES.conf、kls.conf这些文件所在的。默认不Ncase_sensitive的取值为什么，系统表的名称和列名总是采用大写。3-1initdb-UKingbaseSD-WMANAGER--database=TEST----saopassword=SAOPWD--ssousername=SSOSYS—ssopassword=SSOPWD-D - - ----saopassword=SAOPWD--ssousername=SSOSYS—ssopassword=SSOPWD-D系统配置文KingbaseRAC统配置文件为共享磁盘上数据Kingbase.conf件，其中提供了各类系统运配置文件比KingbaseES中新增来如下几个参数：dbnode_num:RAC系统点的个数，如dbnode_num=2，表示RAC系统中有两个数据节点右单引号结束'。如dbnode_host='04,05'，表示节点1的IP地址为04，节点2IP地址为05；cluster_port：所有数据节点集群服务线程的端，一个以逗号分割的字符串，整个字符串号一定是节点1的集群服务线程端口，第二个一定是节点2的集群服务端口，......，以此类推。如cluster_port='64322,64323'，表示节点1的集群服务端口为64322，节点2的集群服务端口为64323；gsrm_host：GSRMIPgsrm_host='04'，表示GSRM服务器的IP04；该端一定要与GSRM服务器启动时指定的端一致。heartbeat_check_delayGSRM心跳检测线程检测节点发送的心跳数据包的检查频率，如果heartbeat_check_delay=5000GSRM5gsrm服务器和各个节点的启启动后，KingbaseSD数据库集群系统启动成功。3-3] 的 GSRM：./Kingbase-D./data-p3456-G，启动gsrm服务器，数据库 端口为3456，该端一定要与Kingbase.conf中的gsrm_port一样；节点1：./Kingbase-D./data-p3457-X1，启动节点1，数据库 端口为3457；节点2：./Kingbase-D./data-p3458-X2，启动节点2，数据库 端口为3458。【注】由于我们调整了动态库的生成 ，Linux版本会出现找不到.so文件的错误，请首先执行下面命令以设定在<installdir>/bin cdexport客户端节式的交互式查询工具。isql命令格式如下：isql[OPTIONS]...[DBNAME--helpisql-hHOSTNAME表示要连接的数据库服务器主机名，或者Unix -pPORT表示使用"TCPIP"通讯时使用的端，缺省为"54321"-WKINGBASEES_SERVICE 的 ./isql-UX-WxTEST-h04-p表示IP地址为04，端口为1111的节点，并且到的数据库为TEST，用户名为X，为x，这里的用户名、已经数据库均是在初始化数据库时设定的。OCFS2的安装和配介OCFS2是下一代的ORACLE集群文件系统，它已经被设计成为一种为通用的文件系统，它不仅可以存放数据库相关的文件，还可以存放oracle二进制文件(指Oracle_home下的软件文件-译者注）和配置文件，从而使RAC的管理更加轻松。安 首先要相应的软件包.对于模块，时要考虑它的号，适用的平台，操作系统内版本以及内核的类型（如SMPHUGEMEMPSMP，对工具包，只要符合版本和平台就可以工具包又分为两部分，ocfs2-tools，ocfs2consoleOCFS2模块安装包：OCFS2工具安装包：rpmivhocfs2console-1.4.1-1AXS3.x86_64.rpmrpmivhocfs2-tools-1.4.1-1AXS3.x86_64.rpm安装后，若执行/etc/init.d/ocfs2出现：Usage:/etc/init.d/ocfs2{start|stop|status|reload|-reload|restart|try-ce-offline|status}，说明OCFS2模块和工具包安装成功配有一个配置文件，路径为者改变一些节点的IP，名字，但这需要重起OCFS2以便使更改生效。ip_port=ip_address=number=0name=h104cluster=ocfs2ip_port=ip_address=number=1name=h105cluster=ocfs2node_count=2name=ocfs2 O2CBOCFS2有自己的集群服务结构，叫做O2CB，它包括：NM,HB,TCP,DLM,CONFIGFS，DLMFS等，所有这些在使用format等命令前，要先启动这些服务。/etc/init.d/o2cb/etc/init.d/o2cbonline/etc/init.d/o2cboffline/etc/init.d/o2cb/etc/init.d/o2cb格式化[root@h105~]#parted(parted)willbelost.Doyouwanttocontinue?Yes/No?Newdisklabeltype?[gpt]?(parted)mkpart分区名称？[]?KingbaseESSD文件系统类型？[ext2]?ext3(parted)qparted-Model:LSIINF-01-00(scsi)Disk/dev/sdb:6743GBSectorsize(logical/physical):512B/512BPartitionTable:gptNumber Filesystem 17.4kB500GB 为设备选择一个集群单元大小（clustersize),它支持从4k到1M。如果这个设备用来数据文件或者大的文件，比较合适的大小是128K。size即时这些磁盘支持512字节，但我们仍然不建议使用小的单元。slots#mkfs.ocfs2-b4K-C32K-N4-LKingbaseSDmanmkfs.ocfs2挂载（两台机器上都进行设定自动挂载（两台机器上都进行如果你想在系统启动时挂接ocsf2，你需要保o2bcocfs2务使chkconfig来配o2bc启动时被加载。并且要在/etc/fstab文件中加入如下项：_netdev选项对于mountocfs2设备是必须的，这个选项说明设备需要在网络启动时候挂载，在网络关闭之后取消挂载（datavolume和nointr选项只在数据文件等设备上需要。第4章KingbaseES处理计划拓机的方4-1KingbaseES能够处理的计划计划内拓解决方4-2KingbaseES提供的计划内拓机解决方案所能获得的恢复时间目解决方计划内拓恢复时间目零保护，而且备库不需要像主库一样一直，这就为系统升级提供了方便。而且在升级的过程中不影KingbaseRAConCluster同DataGuard一样，能够部分节点短时间的停止工作而不影响整个集件要求，比如可以扩展为共享的磁盘阵列。不然，由于要升级系统，升级过程中不得不停止步数据，所以它的恢复时间目标理论上为零。这点比DataGuard更优。间目标不如RAC。RAC各个节点的关系相比于第5章优化管理KingbaseHA管理工KingbaseHAB/SKingbaseHA览器完全支持Firefox、IE8。基本支持IE7、IE6。屏幕分辨率支持1024×768及以上。KingbaseHAKingbaseHAKingbaseHA5-1KingbaseHA管理工具的登录KingbaseDataGuard管理工istandbyKingbaseESKingbaseDataGuard以下是istandby工具登录信息：[zkong@server-yanfa1-zqgao1~]$./istandby-Ustandby-Wstandbyusinghost:"",port:54322connected,readyfor\q:\c:\h:showthishelp:listDataGuardSystemsupportedcommands以下是它支持令DataGuardSystemControlcommands:stoplistenerswitchDataGuardSystemConfigcommands:get(bin_dir|data_dir)setDataGuardSystemuser<username>password<password>alert<args>DataGuardSystemQuerycommands:getKingbaseESstatusgetremotestatusgetallstatusgetredologstatusgetcurrent第6章KingbaseES高可用架构和方KingbaseES支持的架构和方KingbaseES复复份志志据据的地方，因为该方案恢复时间目标是不确定的。相恢复点目标要求很明确。比如恢复点目标为一KingbaseESmuti_instanceon方案介提供服务时。可以透明的将服务转移到另外的可用节点上。KingbaseHA除了具备其它ha软件的基本特性外，还具备其它ha软件不具有的优势：使用户可以KingbaseES提供的整个解决方案。减少了使用其它ha软件KingbaseES不兼容的19216811921681心跳心跳数数19216811921681心跳心跳数数火灾，等导致的节点故障，希望恢复点目标和恢复时间目标接近于0。方案部操作系统：NeoKylinLinuxAdvancedServerrelease5.4Annapurna)X86_64相关软件：KingbaseES64bit、KingbaseHAV2.1.0IP地址规划名角IP#hostname#错file:Nosuchfileor#rpm–qa|grepheartbeat#rpm–qa|grep#-eheartbeat-1.2.2-#–eheartbeat-stonith-1.2.2-#–eheartbeat-pils-1.2.2-#–eheartbeat-ldirectord-1.2.2-#vim#Donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionalitywillfail. localhost.locallocalhost#这个地方可能会出现“ha1#vim/usr/etc/ha.d/ha.cf eth1 eth1修改KingbaseES：#vi# RunthegivencommandintheResourceownerenvironment...runasowner()exportOCF_ROOT=/usr/lib/ocfocf_runsu$OCF_RESKEY_kdba-c"$*"export}#添加两变量OCF_ROOT和LD_LIBRARY_PATH，确保HA可以通过此拉起Kingbase，V7beta版LD_LIBRARY_PATH,否则会找不到某个动态库。如果资源配置正确的话，是可以通过执行此KingbaseES启动数据库的。启动KingbaseHA相关的服务#serviceKingbaseHAstart#servicehttpdstart#ps–ef|grep0grep10?heartbeat:mastercontrol0?heartbeat:FIFO0?heartbeat:write:serial0?heartbeat:read:serial0?heartbeat:write:ucast0?heartbeat:read:ucast0?heartbeat:write:ucast0?heartbeat:read:ucast0?heartbeat:write:0?heartbeat:read:0?0?0?/usr/lib64/heartbeat/lrmd-0?0?0? 0?/usr/lib64/heartbeat/mgmtd-0?#由于在节点ha1启动HA的时候还没有配置节点ha2，所以可能HA的比较慢，当查询进程ha1HApengine#12/etc/hosts应一致，为了安装时两节点相配置，将ha1ha_conf.xml文件拷至ha2即可。#在打ssh服务的情况下在节点1执行：scp/etc/hostsroot@06:/etc#将ha1ha_conf.xmlha2。#scp/root/ha_conf.xml#在ha2上安装HA前先把ha1的/etc/hosts和/root/ha_conf.xml这个两个文件拷贝到ha2上，记得是相同下。HA之前的安装步骤同ha1：需要安装第一个节点时保存的配置文件，所以进入选择配置文件界面，由用户选择需要加载的ha_conf.xml配置文件。点击下一步。要重启ha服务才可生效。#serviceKingbaseHAstart#servicehttpdstart#ps–ef|grep#mkdir#mount/dev/sdd1#cp–r/opt/Kingbase/ES/V7/data/Kingbase#chown–RKingbase:Kingbase/Kingbase/data#将/Kingbase/data #umount/Kingbase由于我们已经在/etc/hosts和ha.cf文件中做了相应的配置，我们在节点ha1上面所作的配置会保存在/usr/var/lib/heartbeat//cib.xmlha2时执行重启。首先，登录KingbaseHA的Web管理平台。点击【启动】--【应用程序】--【金仓高可用软件V2.1.0KingbaseKingbase的进程，HAKingbase程启动数据库(V6是通过klsd启动数据库，V7暂不支持通过服务kdbxxxxd来启动数据库)，fip是浮动ip，当HA把数据库拉起时，所有用户可以通过浮动ip数据库。原则上资源的顺序是：磁盘阵列、Kingbase、浮动ip，在控制界面上应当表6-1KingbaseES资源参数的具体说明参值说 fs_then_Kingbase先启动fs，后启动KingbaseES，状态均为启动Kingbase_then_Fip先启动Kingbase，后启动Fip，状态均为启动源顺序应为，先启动fsKingbase、先启动Kingbasefip。具体请参见下图：在root下，依次执行 —configure—edit修改文件；添加如下内容：在group上方添加：primitiveipocf:pacemaker:paramshost_list=””multiplier=”1000”opmonitorinterval=”5”timeout=”60s”在group下方添加：clonecl_ipipno-quorum-=”ignore”\[root@ha1~]#(live)configure# (live)configure#(live)configure#primitiveipocf:pacemaker:paramshost_list=multiplier=1000opmonitorinterval=5timeout=60s(live)configure#clonecl_ipipmetais-(live)configure#locationlo_kha-ipkharule$id="lo_kha-ip-rule"-not_defineddordlt1000(live)configure#commit(live)configure#resource，configuredelete，重新新建即可。(live)configure#bye[root@ha1 _mon–rfVLastupdated:ThuOct2711:37:462011Stack:HeartbeatCurrentDC:ha1(ccf673df-3c0c-4594-8341-8cc5f241524f)-partitionwithquorumVersion:1.0.9-74392a28b7f31d7ddc Nodesconfigured,unknownexpectedvotes2Resourcesconfigured.Online:[ha1ha2]Fulllistofresources:ResourceGroup:fs Started Startedha1CloneSet:cl_Started:[ha1ha2]Migrationsummary:Nodeha1:Nodeha2:1、如果有资源无法启动，或者ha1、ha2之间无法切换，可查看ha的日志（日志内容太多，得仔（备机ha1（主机ha1psef|grepheartbeat令查看，ha的所有进程全部启动以后在启动ha2；主控机有8进程，备机有7个进程（ha启动的时间较慢，一般在5-10分钟左右。5.卸载/重装以root用户登陆Linux。方案介系统解决了重要的数据问题，避免因各种故障（包括：系统损坏、主机硬件故障、数据破坏、文件丢失、宕机等）造成的数据丢失或不可用，并提供可靠的恢复、数据保护等功能。通过用户工作，保证了业务系统稳定高效的运行。同时KingbaseES的DataGuard采用流技术实现数据库数据的同步、完整校验、容灾备份及故障恢复能力。KingbaseHA与KingbaseES的DataGuard有机结合为得用户关键业务提供7×24小时的全天候可靠保障，最终达到数据库系统服务零宕方案和硬件配套方案的难以协调的。HA+DataGuardAB。每组集群中各有两台服务器，一台磁盘阵列作为共享，两台服务器与共享之间通过光纤网络相连；每组集群两台服务器之间采用KingbaseHA软件构建高可Master-Slave双节点集群；集群A和集群B之间采用KingbaseES的DataGuard构建高可靠数据库Primary-Standby模式“双HA”集群。系统结构详见下图6-14。AA1Master机，对外提供KingbaseES,A2SlaveBB1Master机，运KingbaseESDataGuard，B2Slave机。并B2设置DataGuard控制器，用于A组全部宕机时手动DataGuard的控制器启动KingbaseES；集AKingbaseESPrimary状态；集B的KingbaseES为Standby状态；（00集B中两个节点服务器网eth0（B1：1B2：2）上配置一个IPB1（00IPA1IPB1KingabseES对外提供服务（如下图1色实线Aeth1（A1：,A2：）配置一个00,2）配置一个虚拟IPB2（00，IPA2IPB2KingbaseDataGuard私网根据集群网络特点，为加强集群内部HA两节点之间的心跳通信，可以增加网卡eth3，将各节点网卡eth2、eth3IP本方案适合那些拥有多个数据中心的大型企业，并且用户对于自己关键业务的恢复时间目标和恢0。方案部部署环6-2HA+DataGuard案所需硬In(R)Xeon(R)CPUE55204SAS500G*422HBASASHBA4双模光纤跳线(LC-LC415PC英特尔®奔腾™G630CPU(2.7GHz1根据HA+DataGuard的物理架构进行IP地址规划。集群A两个节点服务单元网卡eth0上配置一个IPA（00IPB（00（00IP（192168.10.00PA2网对外服务IP地址在同一网段中，使IPA2IPB2DataGuard私网通信同时具有备用公网的作用，同理使IPA1与IPB1作为公网同时具有备用DataGuard私网通信的作用。为加强集群内部HA两节点之集群内部网络通信故障导致的服务中断。各个网卡的详细IP地址与功能参见下表。实施步64Asianux3NeoKylinAdvancedServer别可以通过系统能够正别各自集群的盘阵设备。另外需注意集群A或者集群B中两个节点识挂载路径“/Kingbase”,同时修改配置文件将data指向“/Kingbase/data”。将共享设备指/Kingbase（下将安装过程初始化数据库产生的data到共享盘阵指定设备分区上（如前所述/dev/sda1挂载的/Kingbase/中。libreadline.so.5、libtermcap.so.2、libcheckexportexportLD_LIBRARY_PATH=/Kingbase安装下的unixodbclib：$根据KingbaseHA2.0版本用户手册进行KingbaseHA共享模式安装即可。在安装KingbaseHAKingbaseHA3.7进行DataGuard置。首先KingbaseESKingbaseHA相关所有服务进程都停止。其次，配置A1B1个节点，A1Primary，B1Standby。分别启动A1B1DataGuardA1B1DataGuard服务全停止，再以相同方式配置A2B2DataGuard服务，A2作为Primary，B2作为Standby。或者将A1上配置的相关文件到A2相应位置，将B1上配置的相关文件到B2相应位置，启动A2与B2的DataGuard服务，并验证配置正确通过。确认主机群磁盘阵列和从集群磁盘阵列的data ： B1scproot@1:/Kingbase/data.tbz/在主机A1上执行：scp A1IP：1B1IP：B1上挂载（/KingbaseES/）data.tbz，生成本地数据：执行命令tar-xjvfdata.tbz；在盘阵挂载下创建archive：mkdirarchiverootarchive，需要修改其属主：chownKingbase:Kingbasearchivearchive所在空间有限，所以应编写自动清（1）将/opt/Kingbase/ES/V7/bin/temte/目录下的standby.conf复制 #debugthesystem,ifit'strue,willoutput#moreinformationtothestandbylogfile.is_debug=false#ifit'struethelogmessagewillhave#thetimestampatit'shead.log_timestamp=true#forcheckthenetwork#thestandbylistenningport.local_server_port=54322#thelocalKingbaseESlistenningporttocommunicate#standbyserver.local_Kingbase_cmdport=#remoteserver'sIPremote_server_ip=#remotecontrollerportremote_server_port=54322#standbylogfilenamepattern.standby_log='standby-%w.log'#Kingbaselogfilenamepattern.Kingbase_log='KingbaseES-%w.log' =/Kingbase/datalog_dir=#forservertostorethearchiveloglog_archive_dest='/opt/Kingbase/ES/V7/archive'#servermodeprimarystandbyserver_mode=primary#protection_modemaxperformanceprotection_mode=#ifit'struewhentheprimaryserverchangeit's#mode,thestandbyserverwillsendthelogwhich#primaryhadn'tsend.send_taillog=#ipaddress&portofprimary#example:primary_conninfo='host=port=1234'primary_conninfo='host=00port=54321'#thisconfigusedtocheckthenetwork.#forwindows ='-n1-w10006'#forlinux（网关或） ='-c1-w11>/dev/null2>/dev/null'#如果原文件中没有会报错，需要手动添加Kingbase_fault_num =#true:enablefloatip,false:disablefloatipenable_float_ip=false#example:floatip_readonly_addcmd ='/sbin/ifconfigeth0:030netmask'#example:floatip_readonly_delcmd ='/sbin/ifconfigeth0:0down'#forstandbyserver = =''#forprimaryserver = = #Setsarchivelogmodelog_archive_start=#Setsarchivelog'sdestinationpath.Validvaluesarestring-pathofOS.log_archive_dest='/Kingbase/archive'启动从机standby控制器； #创建standby用户名和：./standby–UKLS：./standb#istandby登陆，用于管理控制standby：./istandby–UKLS–WKLS#停止控制器：stoplistener#切换主从状态：swichstandby为primary，从机为standby。通过客户端可以正常连接主机数据库，但从机上处于Standby模式的数在客户端机器上配置observer观察使其能主集群和备集群上KingbaseES数据库的状态。KingbaseKingbaseES据库的状态为Primary，备集群Kingbase数据库的状态为Standby。在客户机上进入/opt/Kingbase/ES/V7/configobserver.conf，如下所示server_ip_100server_ip_2='00'server_port_1=server_port_2=network_timeout=TCP=query_interval=1#查询时间间隔，单位为秒通过KingbaseHA管理工工具分别配置文件系统（共享盘阵、DataGuard、FIP（公网虚拟IP、[root@ha2config]#(live)#configurenode$id="1f6befa1-5038-4e70-9cb4-c2ea93d3dec7"ha2\attributesstandby="off"node$id=" d-699e-421f-b53b-53d9d255f9c6"ha1\attributesstandby="off"primitiveFIPocf:heartbeat:IPaddr\metatarget-role="Started"operations$id="FIP-operations"opmonitorinterval="5s"timeout="20s"\paramsip="00"primitivefsocf:heartbeat:Filesystem\metatarget-role="Started"\operations$id="fs-operations"\opmonitorinterval="20"timeout="40"OCF_CHECK_LEVEL="20"\paramsfstype="ext3"directory="/KingbaseES/"device="/dev/sdb1"primitiveipocf:pacemaker:paramshost_list=""multiplier="1000"\opmonitorinterval="21"timeout="60s"primitivestandbylsb:standbyd\metatarget-role="started"\operations$id="standby-operations"opmonitorinterval="15"timeout="15"start-delay="15"primitivestandby_fipocf:heartbeat:IPaddr\metatarget-role="Started"operations$id="standby_fip-operations"\opmonitorinterval="5s"timeout="20s"\paramsip="00"groupsharediskfsstandbyFIPstandby_fip\metatarget-role="Started"clonecl_ipiplocationlsharediskinf:ha1locationl2sharediskinf:locationlo_sharedisk_ipsharediskrule$id="lo_sharedisk-ip-rule"-inf:not_defineddordlt1000property$id="cib-bootstrap-options"\ cluster-infrastructure="Heartbeat"\stonith-enabled="false" "\no-quorum-="ignore"\(live)configure#HA+DataGuard4节点配置准备工作完成之后，检查并确认集群内部心跳正常及DataGuard私网通信正常。首先启动A1机器KingbaseHA务，再启动B1机器KingbaseHA服务，确DataGuard正常运行。然后再分别启A2B2。确认集群A和集B无故障后系统整体运行正常（注意：关机顺序与开机顺序相反KingbaseES上使用命令（如./KingbaseES–D/KingbaseES/data（首先用命令挂载该）启动数据库服务。扩大并增加日志文件size；HA+DataGuardIP，所以需要应用层预留接口实现IP轮询，以保证应用正常运行。Primary状态备集群上的ha3单元为Master主机通过HA管理filesystem（盘阵Standby、FIP、standby_fip；ha4SlaveKingbaseESStandby图6-16主备集群资源正常运行状态将日志传输到备集群的Master机。备集群的Master主机上的数据库服务器对用户不提供服务，只MasterKingbaseES归档下是否有新的日志生成，一旦发现有未应用的新日志，则采用流技术自动进行恢复保证数据同步；备集群也可以根据用户的设置来决定是否清空归档下的日志，如果打开了日志清理的Standby数据库自己不会产生日志，Standby据库的日志都是来自于Primary数据库传输过来的，Standby数据库的归档下，因此清理的也是归档下的日志。在主集群上两个节点均故障或不能启动Primary数据库时，备集群将Standby数据库自动切换到Master主机Primary数据库模式①no-quorum-="ignore"\ 以此来参照当某节点资源运行失败时，HA（由于默；[root@ha(live)#configure(live)configure#node$id="1f6befa1-5038-4e70-9cb4-c2ea93d3dec7"ha2\attributesstandby="off"node$id=" d-699e-421f-b53b-53d9d255f9c6"ha1\attributesstandby="off"primitiveFIPocf:heartbeat:IPaddr\metatarget-role="Started"operations$id="FIP-operations"opmonitorinterval="5s"timeout="20s"\paramsip="00"primitivefsocf:heartbeat:Filesystem\metatarget-role="Started"\operations$id="fs-operations"\opmonitorinterval="20"timeout="40"OCF_CHECK_LEVEL="20"\paramsfstype="ext3"directory="/KingbaseES/"device="/dev/sdb1"primitiveipocf:pacemaker:paramshost_list=""multiplier="1000"\opmonitorinterval="21"timeout="60s"primitivestandbylsb:standbyd\metatarget-role="started"\operations$id="standby-operations"opmonitorinterval="15"timeout="15"start-delay="15"primitivestandby_fipocf:heartbeat:IPaddr\metatarget-role="Started"operations$id="standby_fip-operations"\opmonitorinterval="5s"timeout="20s"\paramsip="00"groupsharediskfsstandbyFIPstandby_fip\metatarget-role="Started"clonecl_ipiplocationlsharediskinf:ha1locationl2sharediskinf:locationlo_sharedisk_ipsharediskrule$id="lo_sharedisk-ip-rule"-inf:not_defineddordlt1000property$id="cib-bootstrap-options"\ cluster-infrastructure="Heartbeat"\stonith-enabled="false" "\no-quorum-="ignore"\(live)configure#问题：发HAA1中切换到A2时可以正常切换（Kingbase的Primary从A1中切换到A2）但是HAA2A1发生了observer切换（KingbasePrimaryA1中切换到B1）与此同A1KingbaseESPrimary式（即双Primary状态：A1Primary式，B1Primary解决方法observer.conf文件中server_timeoutnetwork_timeout参数值增大一180server_timeout=#默认时间20，根据HA与Standby切换时间效率，该数值越大系统越稳network_timeout=sfex式解决：sfex_init-n2#sfex_stat-i1/dev/sdb1controldata:magic:0x53,0x46,0x45,version:revision:blocksize:numlocks:lockdata#1:count:393statusisKingbaseRACon和TNMN 6-18RACONcluster统结 ABCDABCD00负载均衡适应用于那些对恢复点目标和恢复时间目标要求最高的用户（注意Cluster不能处理节点故障。统的部署和日常的。方案部从OpenSUSE仓库sh、pssh包并安装下Yumperl-Net-SSLeayperl-MailToolsperl-IO-Socket-INET6redhat-rpm-configpacemakercorosyncpcsperl-DBD-Pggfs2-utilscmanipvsadmchkconfig--level35NetworkManageroffchkconfig--level35iptablesoffvi/etc/ssh/sshd_configPermitRootLogincluster.conf ldirectord.cf放在/ 需要启动各机器 写进去具体操作步骤如下pacemaker：servicepacemaker cluster- Cluster.conf配置如下：<clusterconfig_version="14"<clusternodename="h4-104"<clusternodename="h4-105"<cl