mysql集群方案之mysql+drbd+heartbeat.doc

这段时间一直在研究mysql的集群方案，前几天发了一个关于mysql+heartbeat+存储的方案，今天把mysql+drbd+heartbeat的方案也放出来吧，这个方案，我个人觉得有瑕疵，就是主机挂了通过heartbeat往备机上面切换这个没有问题，但是如果有failback的话，那么主机回切将会有一系列的问题，主要应该就是脑裂吧，遇到问题的欢迎和我讨论。1. 环境说明：2. test1：0 as5u33. test2：1 as5u34. V I P：25.6.7. 第一部分：mysql的安装（主备机一样）8. # tar -zxvf mysql-5.0.67.tar.gz 9. # cd mysql-5.0.6710. # groupadd mysql11. # useradd -g mysql -s /sbin/nologin -M mysql12. # ./configure -prefix=/usr/local/mysql -with-charset=gbk -localstatedir=/var/data -with-extra-charset=all -enable-thread-safe-client13. # make & make install14.15. # cp support-files/f /etc/f16. # cp support-files/mysql.server /etc/rc.d/init.d/mysqld17. # chmod 755 /etc/rc.d/init.d/mysqld18. 加入服务队列：19. # chkconfig -add mysqld20.21. # chown -R mysql.mysql /usr/local/mysql/22. # /usr/local/mysql/bin/mysql_install_db -user=mysql（这一步可以先不用执行，放到drbd那一块执行）23. # chown -R mysql.mysql /usr/local/mysql/var24.25. # /usr/local/mysql/bin/mysqld_safe -user=mysql &26.27. *28. 配置库文件搜索路径（有时间自己做吧）29. # echo /usr/local/mysql/lib/mysql /etc/ld.so.conf30. # ldconfig31. 添加/usr/local/mysql/bin到环境变量PATH中32. #echo export PATH=$PATH:/usr/local/mysql/bin /etc/profile33. #source /etc/profile 34. *35.36. #37.38. 第二部分：DRBD的安装和设置（首先hosts做好主备解析，关闭iptables相关选项）39. /drbd/40. (1)安装DRBD(主从服务器安装相同)41. # tar -zxvf drbd-8.3.0.tar.gz42. # cd drbd-8.3.043. # make KDRI=/usr/src/redhat/44. # make install45. 检查是否生成了相应的文件：/etc/drbd.conf ; /etc/init.d/drbd ; 以及./drbd/drbd.ko46. 加载安装drbd模块47. # modprobe drbd48. 通过lsmod检查是否已经成功49. #lsmod |grep drbd50. 如果有，则表示成功了51. (2)更改drbd配置文件(主从服务器相同)52. 准备drbd要使用的分区，该分区最好是干净的分区，我在虚拟机中重新划分了一个分区/dev/sdb1作为drbd使用。53. cat /etc/drbd.conf 54. global usage-count yes; 55. common syncer rate 100M; 56.57. #下面这段是建新找的防止开机无限搜索58. startup 59. wfc-timeout 5;60. degr-wfc-timeout 120;61. outdated-wfc-timeout 10;62. 63.64. resource r0 65. protocol C;66. net 67. cram-hmac-alg sha1;68. shared-secret FooFunFactory;69. 70. on test1 71. device /dev/drbd1;72. disk /dev/sdb1;73. address 0:7898;74. meta-disk internal;75. 76. on test2 77. device /dev/drbd1;78. disk /dev/sdb1;79. address 1:7898;80. meta-disk internal;81. 82. 83.84. DRBD的启动在启动DRBD之前,你需要分别在两台主机的hdb1分区上,创建供DRBD记录信息的数据块.分别在两台主机上执行: (做前得先执行这个操作mkfs.ext3 /dev/sdb1或者dd if=/dev/zero bs=1M count=1 of=/dev/sdb1; sync 这个命令破坏原有文件系统，否则底下第一次执行主备同步会感觉到很慢）85. roottest1 local#drbdadm create-md r086. roottest2 local#drbdadm create-md r0 87. “r0”是我们在drbd.conf里定义的资源名称. 现在我们可以启动DRBD了,分别在两台主机上执行: 88. roottest1 local#/etc/init.d/drbd start89. roottest2 local#/etc/init.d/drbd start 90. *To abort waiting enter yes 数字总在等对方响应？怎么回事？*看看/etc/hosts iptables91. =92. 现在可以查看DRBD的状态,然后在test1主机上执行:93. roottest1 # cat /proc/drbd94. version: 8.0.0 (api:86/proto:86)SVN Revision: 2713 build by roottest7, 2008-06-27 14:07:1495. 1: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r- 96. ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0 act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:097. ”/proc/drbd”中显示了drbd当前的状态.第一行的st表示两台主机的状态,都是”备机”状态.ds是磁盘状态,都是”不一致”状态. 这是由于,DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化 一个主机.在test1上执行: 98.99. roottest1 local#drbdsetup /dev/drbd1 primary -o 或:/sbin/drbdadm primary r0100. /sbin/drbdadm secondary r0 （此命令为降级） 101.102. roottest1 # cat /proc/drbd103. version: 8.0.0 (api:86/proto:86)SVN Revision: 2713 build by roottest1, 2010-07-15 14:07:14104. 1: cs:SyncSource st:Primary/Secondary ds:UpToDate/Inconsistent C r- 105. ns:18528 nr:0 dw:0 dr:18528 al:0 bm:1 lo:0 pe:0 ua:0 ap:0 . synced: 0.3% (8170/8189)M finish: 6:46:43 speed: 336 (324) K/sec resync: used:0/31 hits:1156 misses:2 starving:0 dirty:0 changed:2 act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0106.107. 主备机状态分别是”主/备”,主机磁盘状态是”实时”,备机状态是”不一致”. 在第3行,可以看到数据正在同步中,即主机正在将磁盘上的数据,传递到备机上.现在的进度是0.3%.108.109. =110. 稍等一会,在数据同步完后,再查看一下test1的DRBD状态: 111. roottest1 # cat /proc/drbd112. version: 8.0.0 (api:86/proto:86)SVN Revision: 2713 build by roottest1, 2010-07-15 15:07:14113. 1: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r- ns:497928 nr:0 dw:0 dr:497928 al:0 bm:31 lo:0 pe:0 ua:0 ap:0 resync: used:0/31 hits:31091 misses:31 starving:0 dirty:0 changed:31 act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0114. 磁盘状态都是”实时”,表示数据同步完成了.115.116.117. 挂载文件系统,先停止mysql,安装一下数据文件118.119. # mount /dev/drbd1 /var/data120. # /usr/local/mysql/bin/mysql_install_db -user=mysql121. # chown -R mysql.mysql /var/data25.126. drbdadm connect r0127.128. #129.130. 第三部分：heartbeat的安装（主备机一样，唯独ha.cf里面的ucast那条信息）131. libnet 下载：/projects/libnet-dev/132. 两台机器都要安装双机软件libnet.tar.gz heartbeat-2.1.3.tar.gz133. tar -zxvf libnet.tar.gz134. cd libnet135. ./configure136. make & make install137.138. groupadd haclient139. useradd -g haclient hacluster140. tar -zxvf heartbeat-2.1.3.tar.gz141. cd heartbeat-2.1.3142. ./ConfigureMe configure143. make & make install144.145. roottest1 ha.d# more ha.cf146. debugfile /var/log/ha-debug147. logfile /var/log/ha-log148. logfacility local0149. keepalive 2150. deadtime 30151. warntime 10152. initdead 120153. auto_failback on154. node test1155. node test2156. udpport 694157. #ucast eth0 1 （不存在心跳线，所以没必要）158. ping_group group1 0 1 （ping对方和自己，如果都ping不通则自己挂了，释放自己的资源）159. respawn hacluster /usr/lib/heartbeat/ipfail160. apiauth ipfail gid=haclient uid=hacluster161. hopfudge162.163. roottest1 ha.d# more authkeys 164. auth 3165. #1 crc166. #2 sha1 HI!167. 3 md5