高可用性、负载均衡mysql集群解决方案

数据库弱一致性四个隔离级别数据库弱一致性四个隔离级别 SQL 92 标准中定义了四个隔离级别 这四个隔离级别在以前版本的 SQL Server 中即受到支持 READ UNCOMMITTED READ UNCOMMITTED 是限制性最弱的隔离级别 因为该级别忽略其他事务放置的锁 使用 READ UNCOMMITTED 级别执行的事务 可以读取尚未由其他事务提交的修改后的数据值 这些 行为称为 脏 读 这是因为在在 Read Uncommitted 级别下 读取数据不需要加级别下 读取数据不需要加 S 锁 这样就不锁 这样就不 会跟被修改的数据上的会跟被修改的数据上的 X 锁冲突锁冲突 比如 事务 1 修改一行 事务 2 在事务 1 提交之前读取了这一行 如果事务 1 回滚 事务 2 就读取了一行没有提交的数据 这样的数据我们认为是不存在的 READ COMMITTED READ COMMITTED Nonrepeatable reads 是 SQL Server 默认的隔离级别 该级别通过指定 语句不能读取其他事务已修改但是尚未提交的数据值 禁止执行脏读 在当前事务中的各个语句执 行之间 其他事务仍可以修改 插入或删除数据 从而产生无法重复的读操作 或 影子 数据 比 如 事务 1 读取了一行 事务 2 修改或者删除这一行并且提交 如果事务 1 想再一次读取这一行 它将获得修改后的数据或者发现这一样已经被删除 因此事务的第二次读取结果与第一次读取结果 不同 因此也叫不可重复读 实验实验 1 query1 事务 1 step1 创建实验数据 select into Employee from AdventureWorks HumanResources Employee alter table Employee add constraint pk Employee EmployeeID primary key EmployeeID step2 设置隔离级别 这是数据库的默认隔离界别 SET TRANSACTION ISOLATION LEVEL READ COMMITTED step3 开启第一个事务 BEGIN TRAN tran1 step4 执行 select 操作 查看 VacationHours 对查找的记录加 S 锁 在 语句执行完以后自动释放 S 锁 SELECT EmployeeID VacationHours FROM Employee WHERE EmployeeID 4 4 step5 查看当前加锁情况 没有发现在 Employee 表上面有锁 这是因为当 前的隔离界别是 READ COMMITTED 在执行完 step2 以后马上释放了 S 锁 SELECT request session id resource type resource associated entity id request status request mode resource description FROM sys dm tran locks 查看锁的情况如下图所示 我们发现在只有在数据库级别的 S 锁 而没有在表级别或者更低级别的 锁 这是因为在在 Read Committed 级别下 级别下 S 锁在语句执行完以后就被释放锁在语句执行完以后就被释放 query2 事务 2 step6 开启第二个事务 BEGIN TRAN tran2 step7 修改 VacationHours 需要获得排它锁 X 在 VacationHours 上没有 有 S 锁 UPDATE Employee SET VacationHours VacationHours 8 8 WHERE EmployeeID 4 4 step8 查看当前加锁情况 SELECT request session id resource type resource associated entity id request status request mode resource description FROM sys dm tran locks 在开启另外一个 update 事务以后 我们再去查看当前的锁状况 如下图所示 我们发现在表 Object 级别上加了 IX 锁 在这张表所在的 Page 上也加了 IX 锁 因为表加了聚集索引 所以 在叶子结点上加了 X 锁 这个锁的类型是 KEY 然后我们回到事务 1 当中再次执行查询语句 我们会发现查询被阻塞 我们新建一个查询 query3 来查看这个时候的锁状况 其查询结果如下 我们可以发现查询操作需要在 KEY 级别上申请 S 锁 在 Page 和表 Object 上面申请 IS 锁 但是因为 Key 上面原先有了 X 锁 与当前读操作申请的 S 锁冲突 所以这一步处于 WAIT 状态 如果此时提交事务 2 的 update 操作 那么事务 1 的 select 操作不再被阻塞 得到查询结果 但是 我们发现此时得到的查询结果与第一次得到的查询结果不同 这也是为什么将 read committed 称 为不可重复读 因为同一个事物内的两次相同的查询操作的结果可能不同 REPEATABLE READ REPEATABLE READ 是比 READ COMMITTED 限制性更强的隔离级别 该级别包括 READ COMMITTED 并且另外指定了在当前事务提交之前 其他任何事务均不可以修改或删除当前事务 已读取的数据 并发性低于 READ COMMITTED 因为已读数据的共享锁在整个事务期间持有 而 不是在每个语句结束时释放 比如 事务 1 读取了一行 事务 2 想修改或者删除这一行并且提交 但是因为事务 1 尚未提交 数据行中有事务 1 的锁 事务 2 无法进行更新操作 因此事务 2 阻塞 如果这时候事务 1 想再一次读取这一行 它读取结果与第一次读取结果相同 因此叫可重复读 实验实验 2 query1 事务 1 step1 创建实验数据 select into Employee from AdventureWorks HumanResources Employee alter table Employee add constraint pk Employee EmployeeID primary key EmployeeID step2 设置隔离级别 SET TRANSACTION ISOLATION LEVEL REPEATABLE READ step3 开启第一个事务 BEGIN TRAN tran1 step4 执行 select 操作 查看 VacationHours SELECT EmployeeID VacationHours FROM Employee WHERE EmployeeID 4 4 step5 查看当前加锁情况 发现在 Employee 表上面有 S 锁 这是因为当前 的隔离界别是 REPEATABLE READ S 锁只有在事务执行完以后才会被释放 SELECT request session id resource type resource associated entity id request status request mode resource description FROM sys dm tran locks 查询锁状态的结果如下图所示 我们发现在 KEY 上面加了 S 锁 在 Page 和 Object 上面加了 IS 锁 这是因为在在 Repeatable Read 级别下级别下 S 锁要在事务执行完以后才会被释放锁要在事务执行完以后才会被释放 query2 事务 2 step6 开启第二个事务 BEGIN TRAN tran2 step7 修改 VacationHours 需要获得排他锁 X 在 VacationHours 上有 S 锁 出现冲突 所以 update 操作被阻塞 UPDATE Employee SET VacationHours VacationHours 8 8 WHERE EmployeeID 4 4 执行上述 update 操作的时候发现该操作被阻塞 这是因为 update 操作要加排它锁 X 而因为原 先的查询操作的 S 锁没有释放 所以两者冲突 我们新建一个查询 3 执行查询锁状态操作 发现结 果如下图所示 我们可以发现是 WAIT 发生在对 KEY 加 X 锁的操作上面 此时再次执行查询 1 中的 select 操作 我们发现查询结果跟第一次相同 所以这个叫做可重复读操 作 但是可重复读操作并不是特定指两次读取的数据一模一样 Repeatable Read 存在的一个问题 是幻读 就是第二次读取的数据返回的条目数比第一次返回的条目数更多 比如在 Repeatable Read 隔离级别下 事务 1 第一次执行查询 select id from users where id 1 and id disable 语言支持包不安装 默认美国英语 设定主机名 设定主机名 Vi etc sysconfig network Hostname xxx wq 检查主机名 检查主机名 Uname a 必须和上表中的一一对应 否则有问题 Vi etc hosts Ndb1 192 168 131 164 Ndb2 192 168 131 26 Sql1 192 168 131 77 Sql2 192 168 131 101 更新 更新 rpm import http dries ulyssis org rpm RPM GPG KEY dries txt yum update y Mysql grant all on testdatabase to root 192 168 131 identified by xxxxx xxxxxxxxxx Mysql flush privileges Mysql create table test int 1 Mysql insert into test 1 Mysql quit 以上做完以后 可以通过任意一台 API 上创建表 并写数据到表中 其他数据库都会同步 写入 分别连接每台服务器进行检查 分别连接每台服务器进行检查 Mysql uroot pxxxxxxxxxxxx A Mysql use testdatabase Mysql select from test 如果输出结果完全相同 表明 mysql cluster 已经可以正常工作了 在在 2 台台 API 上设置上设置 LVS Mysql cluster 做好以后 数据库分别建立同名的数据库以后 权限分配好 然后只要在 一台上写入数据 其他的 NDB 就存储了相同的数据 用 程序连接任意一台 API 写数据 如果程序中未设置 API 的选择和判断 只使用了其中一 个 API 一旦 API 当机 则无法写入数据 必须修改程序 即便做了 API 的判断和选择 因为没有实现负载均衡 服务器的性能没有充分利用 高可用性也没有达到目标 所以 我们现在在 2 台 API 之间做 LVS LVS 采用 ultramonkey http www ultramonkey org 首先在 NDB1 164 和 NDB2 26 上下载 heartbeat 的软件包 下载所有的 rpm 包 Cd usr local src Mkdir heartbeat Cd heartbeat Wget xxx xxx rpm 我下载了如下的软件包 我下载了如下的软件包 root ndb1 heartbeat ls lh rpm awk print 9 arptables noarp addr 0 99 2 1 rh el um 1 noarch rpm heartbeat 1 2 3 cvs 20050927 1 rh el um 4 i386 rpm heartbeat ldirectord 1 2 3 cvs 20050927 1 rh el um 4 i386 rpm heartbeat pils 1 2 3 cvs 20050927 1 rh el um 4 i386 rpm heartbeat stonith 1 2 3 cvs 20050927 1 rh el um 4 i386 rpm ipvsadm 1 21 1 rh el 1 um 1 i386 rpm libnet 1 1 2 1 1 rh el um 1 i386 rpm perl Authen SASL 2 08 1 rh el um 1 noarch rpm perl Convert ASN1 0 18 1 rh el um 1 noarch rpm perl IO Socket SSL 0 96 1 rh el um 1 noarch rpm perl ldap 0 3202 1 rh el um 1 noarch rpm perl Mail IMAPClient 2 2 9 1 rh el um 1 noarch rpm perl Net SSLeay 1 25 1 rh el um 1 i386 rpm perl Parse RecDescent 1 94 1 el5 rf noarch rpm perl Parse RecDescent 1 94 1 rh el um 1 noarch rpm perl XML NamespaceSupport 1 08 1 rh el um 1 noarch rpm perl XML SAX 0 12 1 rh el um 1 noarch rpm root ndb1 heartbeat Heartbeat 中包含以下几部分 1 Master Director 分发器 MD 2 Backup Director 备份分发器 BD 3 Real server 真实服务器 可以有 2 个以上 RS IP 设置并确认 MD Eth0 192 168 131 164 24 GW 192 168 131 1 Eth1 10 9 30 1 24 MD Eth0 192 168 131 26 24 GW 192 168 131 1 Eth1 10 9 30 2 VIP 192 168 131 105 24 GW 192 168 131 1 用户访问的统一虚拟 IP RS1 192 168 131 101 24 GW 192 168 131 1 RS2 192 168 131 77 24 GW 192 168 131 1 等等 以下操作在所有服务器上执行 主机名确认 分别执行 uname a 主机名对应表中所列 在在 MDMD 和和 BDBD 修改修改 IPIP 转发 转发 vi modprobe sh modprobe ip vs dh modprobe ip vs ftp modprobe ip vs modprobe ip vs lblc modprobe ip vs lblcr modprobe ip vs lc modprobe ip vs nq modprobe ip vs rr modprobe ip vs sed modprobe ip vs sh modprobe ip vs wlc modprobe ip vs wrr wq chmod 755 modprobe sh sh modprobe sh vi etc modules ip vs dh ip vs ftp ip vs ip vs lblc ip vs lblcr ip vs lc ip vs nq ip vs rr ip vs sed ip vs sh ip vs wlc ip vs wrr wq Vi etc sysctl conf net ipv4 ip forward 0 改为 net ipv4 ip forward 1 使修改生效 sbin sysctl p 在在 MD 和和 BD 上安装上安装 heartbeat 软件包软件包 Rpm Uvh perl xx xx xx rpm Yum install heartbeat Rpm Uvh arptables noarp addr 0 99 2 1 rh el um 1 noarch rpm rpm Uvh perl Mail POP3Client 2 17 1 el5 centos noarch rpm 缺少 perl 包 就使用 yum install perl xx xx Perl CPAN e shell 这样安装的 perl 包不知道为何不好使 奇怪 这里 VIP 实际上是绑定在 2 台 director 上 所以 director 之间需要做心跳处理 心跳线 使用 eth1 口 用交叉线连接起来 这样可以避免影响其他服务器 配置配置 heartbeat Heartbeat 有 3 个配置文件 Ha cf Authkeys Haresources ldirectord 进程的配置文件 Ldirectord cf 一共需要配置 4 个配置文件 vi ha cf logfacility local0 bcast eth1 mcast eth1 225 0 0 1 694 1 0 auto failback off node ndb1 node ndb2 respawn hacluster usr lib heartbeat ipfail apiauth ipfail gid haclient uid hacluster wq vi authkeys auth 3 3 md5 514a49f83820e34c877ff48770e48ea7 wq vi haresources ndb1ndb1 ldirectord ldirectord cf LVSSyncDaemonSwap master IPaddr2 192 168 131 105 24 eth0 192 168 131 255 Ndb2 上需要将主机名更改一下 wq 设置属性并使设置属性并使 heartbeat 开机启动开机启动 chmod 600 etc ha d authkeys sbin chkconfig level 2345 heartbeat on sbin chkconfig del ldirectord 启动启动 heartbeat etc init d ldirectord stop etc init d heartbeat start 在在 MD 和和 BD 上检查上检查 VIP 是否生效 是否生效 ip addr sh eth0 root ndb1 ha d ip addr sh eth0 2 eth0 mtu 1500 qdisc pfifo fast qlen 1000 link ether 00 30 48 28 c6 85 brd ff ff ff ff ff ff inet 192 168 131 164 24 brd 192 168 131 255 scope global eth0 inet 192 168 131 105 24 brd 192 168 131 255 scope global secondary eth0 inet6 fe80 230 48ff fe28 c685 64 scope link valid lft forever preferred lft forever root ndb1 ha d root ndb2 ip addr sh eth0 2 eth0 mtu 1500 qdisc pfifo fast qlen 1000 link ether 00 30 48 28 c4 af brd ff ff ff ff ff ff inet 192 168 131 26 24 brd 192 168 131 255 scope global eth0 inet6 fe80 230 48ff fe28 c4af 64 scope link valid lft forever preferred lft forever root ndb2 现在在 MD 164 上已经生效了 检查检查 ldirectored 进程进程 root ndb1 ha d usr sbin ldirectord ldirectord cf status ldirectord for etc ha d ldirectord cf is running with pid 5596 root ndb1 ha d root ndb2 usr sbin ldirectord ldirectord cf status ldirectord is stopped for etc ha d ldirectord cf root ndb2 VIP 生效的 director 应该是 running 状态 standby 应该是 stop 状态 利用利用 ipvs 检查包转发是否生效检查包转发是否生效 root ndb1 ha d sbin ipvsadm L n IP Virtual Server version 1 2 1 size 4096 Prot LocalAddress Port Scheduler Flags RemoteAddress Port Forward Weight ActiveConn InActConn TCP 192 168 131 105 3306 wrr 192 168 131 77 3306 Route 1 3 3034 192 168 131 101 3306 Route 1 3 3038 root ndb1 ha d root ndb2 sbin ipvsadm L n IP Virtual Server version 1 2 1 size 4096 Prot LocalAddress Port Scheduler Flags RemoteAddress Port Forward Weight ActiveConn InActConn root ndb2 在 MB 上已经生效了 在在 MDMD 和和 BDBD 上检查上检查 LVSSyncDaemonSwap 的状态 的状态 root ndb1 ha d etc ha d resource d LVSSyncDaemonSwap master status master running ipvs syncmaster pid 5689 root ndb1 ha d root ndb2 etc ha d resource d LVSSyncDaemonSwap master status master stopped ipvs syncbackup pid 5493 root ndb2 同样 standby 的处于 stopped 状态 以下在以下在 RS 服务器上执行 服务器上执行 ARP 转发限制 MD 或者 BD 采用 ARP 欺骗将 ARP 包转发给下面的 realserver 为了转发成功 需要做 ARP 限制 etc init d arptables jf stop usr sbin arptables noarp addr 192 168 6 240 start etc init d arptables jf save sbin chkconfig level 2345 arptables jf on etc init d arptables jf start 查看限制链表查看限制链表 root sql2 mysql cluster sbin arptables L v n Chain IN policy ACCEPT 29243 packets 819K bytes pkts bytes target in out source ip destination ip source hw destination hw hlen op hrd pro 54 1512 DROP 0 0 0 0 0 192 168 131 105 00 00 00 00 any 0000 0000 0000 0000 0000 0000 Chain OUT policy ACCEPT 3931 packets 110K bytes pkts bytes target in out source ip destination ip source hw destination hw hlen op hrd pro 0 0 mangle eth0 192 168 131 105 0 0 0 0 0 00 00 00 00 any 0000 0000 0000 0000 0000 0000 mangle ip s 192 168 131 101 Chain FORWARD policy ACCEPT 0 packets 0 bytes pkts bytes target in out source ip destination ip source hw destination hw hlen op hrd pro root sql2 mysql cluster root sql1 sbin arptables L v n Chain IN policy ACCEPT 29375 packets 823K bytes pkts bytes target in out source ip destination ip source hw destination hw hlen op hrd pro 54 1512 DROP 0 0 0 0 0 192 168 131 105 00 00 00 00 any 0000 0000 0000 0000 0000 0000 Chain OUT policy ACCEPT 3903 packets 109K bytes pkts bytes target in out source ip destination ip source hw destination hw hlen op hrd pro 0 0 mangle eth0 192 168 131 105 0 0 0 0 0 00 00 00 00 any 0000 0000 0000 0000 0000 0000 mangle ip s 192 168 131 77 Chain FORWARD policy ACCEPT 0 packets 0 bytes pkts bytes target in out source ip destination ip source hw destination hw hlen op hrd pro root sql1 这样 由 MD 或者 BD 转发过来的 ARP 包就被链表控制了 设置如何接收设置如何接收 ARPARP 包包 以下在所有 RS 上执行 cp etc sysconfig network scripts ifcfg lo etc sysconfig network scripts ifcfg lo 0 Vi etc sysconfig network scripts ifcfg lo 0 DEVICE lo 0 IPADDR 192 168 131 105 NETMASK 255 255 255 255 NETWORK 192 168 131 0 BROADCAST 192 168 131 255 ONBOOT yes NAME loopback wq sbin ifup lo 查看查看 lo 0lo 0 root sql1 ip addr sh lo 1 lo mtu 16436 qdisc noqueue link loopback 00 00 00 00 00 00 brd 00 00 00 00 00 00 inet 127 0 0 1 8 scope host lo inet 192 168 131 105 32 brd 192 168 131 255 scope global lo 0 inet6 1 128 scope host valid lft forever preferred lft forever root sql1 root sql2 mysql cluster ip addr sh lo 1 lo mtu 16436 qdisc noqueue link loopback 00 00 00 00 00 00 brd 00 00 00 00 00 00 inet 127 0 0 1 8 scope host lo inet 192 168 131 105 32 brd 192 168 131 255 scope global lo 0 inet6 1 128 scope host valid lft forever preferred lft forever root sql2 mysql cluster 重新启动服务器重新启动服务器 以下在所有服务器上执行 请确认 ip 服务器上没有 running 任何正在使用的服务 reboot 启动启动 mysql cluster 顺序 ndb mgmd 164 26 Ndbd 101 77 Mysqld 所有 检查服务是否正常检查服务是否正常 以下在 ndb 上执行 ndb mgm root ndb1 ha d ndb mgm NDB Cluster Management Client ndb mgm show Connected to Management Server at 192 168 131 164 1186 Cluster Configuration ndbd NDB 2 node s id 3 192 168 131 77 Version 5 0 67 Nodegroup 0 Master id 4 192 168 131 101 Version 5 0 67 Nodegroup 0 ndb mgmd MGM 2 node s id 1 192 168 131 164 Version 5 0 67 id 2 192 168 131 26 Version 5 0 67 mysqld API 7 node s id 5 192 168 131 101 Version 5 0 67 id 6 192 168 131 26 Version 5 0 67 id 7 192 168 131 164 Version 5 0 67 id 8 192 168 131 77 Version 5 0 67 id 9 not connected accepting connect from any host id 10 not connected accepting connect from any host id 11 not connected accepting connect from any host ndb mgm 一切正常 检查检查 heartbeat 是否正常 是否正常 关闭 BD 在 MD 上查看日志 root ndb1 ha d tail f var log messages Dec 17 19 42 21 ndb1 heartbeat 5462 info Received shutdown notice from nd b2 Dec 17 19 42 21 ndb1 heartbeat 5462 info Resources being acquired from ndb 2 Dec 17 19 42 21 ndb1 harc 7085 info Running etc ha d rc d status status Dec 17 19 42 21 ndb1 mach down 7118 info usr share heartbeat mach down nic e failback foreign resources acquired Dec 17 19 42 21 ndb1 mach down 7118 info mach down takeover complete for nod e ndb2 Dec 17 19 42 21 ndb1 heartbeat 5462 info mach down takeover complete Dec 17 19 42 21 ndb1 ldirectord 7153 Invoking ldirectord invoked as etc ha d resource d ldirectord ldirectord cf status Dec 17 19 42 21 ndb1 ldirectord 7153 ldirectord for etc ha d ldirectord cf i s running with pid 5596 Dec 17 19 42 21 ndb1 ldirectord 7153 Exiting from ldirectord status Dec 17 19 42 21 ndb1 heartbeat 7086 info Local Resource acquisition comple ted Dec 17 19 42 21 ndb1 harc 7175 info Running etc ha d rc d ip request resp ip request resp Dec 17 19 42 21 ndb1 ip request resp 7175 received ip request resp ldirectord ldirectord cf OK yes Dec 17 19 42 21 ndb1 ResourceManager 7196 info Acquiring resource group ndb 1 ldirectord ldirectord cf LVSSyncDaemonSwap master IPaddr2 192 168 131 105 24 eth0 192 168 131 255 Dec 17 19 42 22 ndb1 ldirectord 7223 Invoking ldirectord invoked as etc ha d resource d ldirectord ldirectord cf status Dec 17 19 42 22 ndb1 ldirectord 7223 ldirectord for etc ha d ldirectord cf i s running with pid 5596 Dec 17 19 42 22 ndb1 ldirectord 7223 Exiting from ldirectord status Dec 17 19 42 22 ndb1 ResourceManager 7196 info Running etc ha d resource d ldirectord ldirectord cf start Dec 17 19 42 23 ndb1 ldirectord 7245 Invoking ldirectord invoked as etc ha d resource d ldirectord ldirectord cf start Dec 17 19 42 23 ndb1 IPaddr2 7291 INFO Running OK 如果没有出现异常 表明一切正常 破坏性试验破坏性试验 1 检查检查 ndbd 关闭任意一台 ndbd 的进程 在 ndb mgm 上查看是否失去连接 如果失去连接 表示已经识别出来 此时在数据库表中增加内容之后启动刚刚关闭的 ndbd 检查新写入的数据是否已经被同步 过来 如果同步过来 一切正常 2 检查检查 heartbeat 关闭 MD 检查 BD 的反应 root ndb2 tail f var log messages Dec 17 19 47 22 ndb2 harc 6862 info Running etc ha d rc d status status Dec 17 19 47 23 ndb2 heartbeat 6852 info Comm now up updating status to active Dec 17 19 47 23 ndb2 heartbeat 6852 info Local status now set to active Dec 17 19 47 23 ndb2 heartbeat 6852 info Starting child client usr lib h eartbeat ipfail 498 496 Dec 17 19 47 23 ndb2 heartbeat 6879 info Starting usr lib heartbeat ipfa il as uid 498 gid 496 pid 6879 Dec 17 19 47 23 ndb2 heartbeat 6852 info remote resource transition comple ted Dec 17 19 47 23 ndb2 heartbeat 6852 info remote resource transition comple ted Dec 17 19 47 23 ndb2 heartbeat 6852 info Local Resource acquisition comple ted none Dec 17 19 47 23 ndb2 heartbeat 6852 info Initial resource acquisition comp lete T RESOURCES them Dec 17 19 47 29 ndb2 ipfail 6879 info Ping node count is balanced Dec 17 19 47 43 ndb2 heartbeat 6852 info Received shutdown notice from nd b1 Dec 17 19 47 43 ndb2 heartbeat 6852 info Resources being acquired from ndb 1 Dec 17 19 47 43 ndb2 heartbeat 6884 info acquire all HA resources standby Dec 17 19 47 43 ndb2 ResourceManager 6911 info Acquiring resource group ndb 2 ldirectord ldirectord cf LVSSyncDaemonSwap master IPaddr2 192 168 131 105 24 eth0 192 168 131 255 Dec 17 19 47 43 ndb2 ldirectord 6957 ldirectord is stopped for etc ha d ldir ectord cf Dec 17 19 47 43 ndb2 ldirectord 6957 Exiting with exit status 3 Exiting from ldirectord status Dec 17 19 47 43 ndb2 heartbeat 6885 info Local Resource acquisition comple ted Dec 17 19 47 43 ndb2 ldirectord 6961 ldirectord is stopped for etc ha d ldir ectord cf Dec 17 19 47 43 ndb2 ldirectord 6961 Exiting with exit status 3 Exiting from ldirectord status Dec 17 19 47 43 ndb2 ResourceManager 6911 info Running etc ha d resource d ldirectord ldirectord cf start Dec 17 19 47 44 ndb2 ldirectord 6986 Starting Linux Director v1 77 2 32 as da emon Dec 17 19 47 44 ndb2 ldirectord 6988 Added virtual server 192 168 131 105 33 06 Dec 17 19 47 44 ndb2 ldirectord 6988 Quiescent real server 192 168 131 101 3 306 mapped from 192 168 131 101 3306 x 192 168 131 105 3306 Weight set to 0 Dec 17 19 47 44 ndb2 ldirectord 6988 Quiescent real server 192 168 131 77 33 06 mapped from 192 168 131 77 3306 x 192 168 131 105 3306 Weight set to 0 Dec 17 19 47 44 ndb2 ResourceManager 6911 info Running etc ha d resource d LVSSyncDaemonSwap master start Dec 17 19 47 44 ndb2 kernel IPVS stopping sync thread 5493 Dec 17 19 47 45 ndb2 kernel IPVS sync thread stopped Dec 17 19 47 45 ndb2 LVSSyncDaemonSwap 7050 info ipvs syncbackup down Dec 17 19 47 45 ndb2 kernel IPVS sync thread started state MASTER mcast i fn eth0 syncid 0 Dec 17 19 47 45 ndb2 LVSSyncDaemonSwap 7050 info ipvs syncmaster up Dec 17 19 47 45 ndb2 LVSSyncDaemonSwap 7050 info ipvs syncmaster obtained Dec 17 19 47 45 ndb2 IPaddr2 7102 INFO Resource is stopped Dec 17 19 47 45 ndb2 ResourceManager 6911 info Running etc ha d resource d IPaddr2 192 168 131 105 24 eth0 192