Drbd-heartbeat-Moosefs分布式存储双机冗余搭建.doc

Drbd+heartbeat+Moosefs分布式存储双机冗余搭建一、软件：drbd-8.2.1.tar.gzheartbeat-2.1.3.tar.tarlibnet-1.1.2.1-2.rf.x86_64.rpmfuse-2.8.3.tar.gzmfs-1.6.11.tar.gz服务器：10.64.5.104 主drbd mfsmaster10.64.5.105 备drbd mfsmaster10.64.5.106 分布式存储服务器10.64.5.123 分布式存储服务器10.64.5.124 Client端服务器二、DRBD安装：1、编译：tar -zxvf drbd-8.2.1.tar.gz make KDIR=/usr/src/linuxmake install检查是否生成了相应的文件：/etc/drbd.conf ; /etc/init.d/drbd ; 以及./drbd/drbd.ko加载安装drbd模块# modprobe drbd通过lsmod检查是否已经成功#lsmod |grep drbd如果有，则表示成功了2、创建drbd相应的设备下面就来开始创建相应的drbd相关的设备及相应的配置配置如下：2.1、vi /etc/drbd.confglobal usage-count yes; common syncer rate 50M; resource r0 protocol C; net after-sb-0pri disconnect; rr-conflict disconnect; on test-104 device /dev/drbd1; disk /dev/sdb1; address 10.64.5.104:7898; meta-disk internal; on test-105 device /dev/drbd1; disk /dev/sdb1; address 10.64.5.105:7898; meta-disk internal; 2.2、vi /etc/hosts10.64.5.104 test-10410.64.5.105 test-105more /proc/drbddrbdsetup /dev/drbd1 primary -o# 是否参加DRBD使用者统计.默认是yes global usage-count yes; # 设置主备节点同步时的网络速率最大值,单位是字节. common syncer rate 1M; # 一个DRBD设备(即:/dev/drbdX),叫做一个资源.里面包含一个DRBD设备的主备节点的 # 相关信息. # resource r0 # 使用协议C.表示收到远程主机的写入确认后,则认为写入完成. protocol C; net # 设置主备机之间通信使用的信息算法. cram-hmac-alg sha1; shared-secret FooFunFactory; # 每个主机的说明以on开头,后面是主机名.在后面的中为这个主机的配置. on g105-1 # /dev/drbd1使用的磁盘分区是/dev/hdb1 device /dev/drbd1; disk /dev/hdb1; # 设置DRBD的监听端口,用于与另一台主机通信 address 10.0.1.2:7898; meta-disk internal; on g105-2 device /dev/drbd1; disk /dev/hdb1; address 10.0.2.2:7898; meta-disk internal; 3、命令：3.1、创建供DRBD记录信息的数据块.分别在两台主机上执行: drbdadm create-md r03.2、启动：/etc/init.d/drbd start3.3、查看状态：cat /proc/drbd由于DRBD无法判断哪一方为主机,以哪一方的磁盘数据作为标准数据.所以,我们需要初始化，在test-104上执行：drbdsetup /dev/drbd1 primary -o3.4、主备机切换：test-104：drbdadm secondary r0test-105：drbdadm primary r03.5、格式化drbd分区并挂载：mke2fs /dev/drbd1(1)、现在可以把主test-104上的DRBD设备挂载到/opt/test目录上进行使用；(2)、备机的DRBD设备无法被挂载，因为它是用来接收主机数据的，由DRBD负责操作。more /proc/drbd version: 8.2.1 (api:86/proto:86-87)GIT-hash: 318925802fc2638479ad090b73d7af45503dd184 build by roottest-105, 2010-01-11 17:35:20 1: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r- ns:0 nr:1645688 dw:1645688 dr:0 al:0 bm:88 lo:0 pe:0 ua:0 ap:0 resync: used:0/31 hits:29120 misses:88 starving:0 dirty:0 changed:88 act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0Field 说明 值：cs 连接状态 出现的值： o Unconfigured：设备在等待配置。 o Unconnected：连接模块时的过渡状态。 o WFConnection：设备等待另一测的配置。 o WFReportParams：过渡状态，等待新TCP 连接的第一个数据包时。. o SyncingAll：正将主节点的所有模块复制到次级节点上。. o SyncingQuick：通过复制已被更新的模块（因为现在次级节点已经离开了集群）来更新次级节点。 o Connected：一切正常。 o Timeout：过渡状态。st 状态（设备的作用） 可能的值为： o 本地/远程一级状态 o 二级状态 o 未知（这不是一种作用）ns 网络发送 模块号码nr 网络接收 模块号码dw 磁盘写入 模块号码dr 磁盘读取 模块号码of 运行中（过时的）模块号码pe 待解决的 模块号码ua 未答复的 模块号码（最好为0）rootmanager /# mount /dev/drbd1 /opt/datarootmanager /# df -hFilesystem 1K-blocks Used Available Use% Mounted on/dev/drbd1 9.9G 1001M 8.4G 11% /opt/data现在把之前备份的/opt/data中的所有内容再恢复回去。如果不使用heartbeat的情况下，DRBD只能手工切换主从关系现在修改heartbeat的配置文件，使DRBD可以通过heartbeat自动切换 三、heartbeat安装部署：两台机器上的公共操作:(1)、创建用户和用户组：groupadd -g 800 haclientuseradd -g haclient -u 800 hacluster(2)、rpm -ivh libnet-1.1.2.1-2.rf.x86_64.rpm(3)、tar -zxvf heartbeat-2.1.3.tar.gzcd heartbeat-2.1.3./configure 或者 ./ConfigureMe configuremake & make installcp doc/ha.cf /etc/ha.d/cp doc/haresources /etc/ha.d/cp doc/authkeys /etc/ha.d/(4)、编辑hertbeat主配置文件ha.cf，2个主机上的内容一样。以下是需要打开的配置，ha.cf里面有详细说明。vi /etc/ha.d/ha.cfdebugfile /var/log/ha-debuglogfacility local0keepalive 2deadtime 5warntime 10initdead 10ucast eth0 10.64.5.105 #在两台机器上的内容是不一样的，都是指向对方的ip地址auto_failback offnode test-104node test-105ping 10.64.7.254respawn hacluster /usr/lib64/heartbeat/ipfail 或者 /usr/local/lib64/heartbeat/ipfailapiauth ipfail gid=haclient uid=hacluster# ha的日志文件记录位置。如没有该目录，则需要手动添加logfile /var/log/ha-log #File to write other messages tologfacility local0 #这个是设置heartbeat的日志，这里是用的系统日志#设定心跳(监测)时间时间为2秒keepalive 2 #多长时间检测一次warntime 5 #连续多长时间联系不上后开始警告提示deadtime 20 #连续多长时间联系不上后认为对方挂掉了（单位是妙）initdead 120 #这里主要是给重启后预留的一段忽略时间段（比如：重启后启动网络等，如果在网络还没有通，keepalive检测肯定通不过，但这时候并不能切换）#采用bond0的udp广播用来发送心跳信息#bcast bond0#采用网卡bond0的udp单播来通知心跳，ip应为对方IP，建议采用单播。当一个网段有多台这样cluster话，则一定要采用单播，否则每组cluster都会看到对方的节点，从而报错。ucast bond0 172.18.57.154#使用udp端口694 进行心跳监测udpport 694auto_failback off #恢复正常后是否需要再自动切换回来，一般都设为off。#节点1，必须要与 uname -n 指令得到的结果一致。node alsme_probe3#节点2node alssme_probe4#通过ping 网关来监测心跳是否正常ping 172.18.158.254hopfudge 1deadping 5#指定和heartbeat一起启动、关闭的进程#respawn hacluster /usr/local/lib64/heartbeat/ipfail#apiauth ipfail gid=haclient uid=hacluster#是否采用v2 style模式，在三节点以上时一定要打开#crm on(5)、编辑hertbeat认证文件authkeys，2个主机上的内容一样。vi /etc/ha.d/authkeysauth 11 crc#3 md5 Hello!可以选择的是Md5的验证方式,最后记得将authkeys 权限给为600chmod 600 /etc/ha.d/authkeys(6)、编辑haresources，2个主机上的内容一样。vi /etc/ha.d/haresourcestest-104 drbddisk:r0 Filesystem:/dev/drbd1:/testdata 10.64.5.130 mfsmaster第一个字段是主机名，是uname -a得到的第二个字段作用是当前主机设置为primary第三个字段作用定义挂载文件系统,将/dev/drbd1 mount到/testdata目录上第四个字段作用是启动VIP第五个字段启动mfsmaster进程(7)、分配权限：chgrp haclient /sbin/drbdsetupchmod o-x /sbin/drbdsetupchmod u+s /sbin/drbdsetupchgrp haclient /sbin/drbdmetachmod o-x /sbin/drbdmetachmod u+s /sbin/drbdmeta（8）、启动heartbeat/etc/init.d/heartbeat start四、Moosefs安装部署：1、安装 Fuse 首先要安装Fuse, Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统fuse-2.8.3.tar.gz./configuremake & make install编辑 /etc/ld.so.config 加入include /usr/local/lib命令行中：#depmod -a2、安装元服务器切忌：用户的uid和gid必须两台主备机一样，否则切换之后，起不来！(1)、创建用户：groupadd -g 65534 mfsuseradd -u 65534 -g mfs -s /bin/false -d /home/mfs mfs(2)、export KG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATHtar -zxvf mfs-1.6.11.tar.gz./configure -prefix=/opt/data/mfs -with-default-user=mfs -with-default-group=mfsmake & make install(3)、安装必要文件cd /opt/data/mfs/etctouch mfsmaster.cfgtouch mfsexports.cfgmkdir -p /opt/data/mfs/var/mfs/datacp /opt/data/mfs/var/mfs/metadata.mfs.empty /opt/data/mfs/var/mfs/data/metadata.mfs-文件必须这么生成！chown -R mfs. /opt/data(4)、配置/opt/data/mfs/etc/mfsmaster.cfgWORKING_USER = mfsWORKING_GROUP = mfsEXPORTS_FILENAME = /opt/data/mfs/etc/mfsexports.cfgLOCK_FILE = /opt/data/mfs/var/mfsmaster.pidDATA_PATH = /opt/data/mfs/var/mfs/dataSYSLOG_IDENT = mfsmasterBACK_LOGS = 50REPLICATIONS_DELAY_INIT = 300REPLICATIONS_DELAY_DISCONNECT = 3600MATOCS_LISTEN_HOST = *MATOCS_LISTEN_PORT = 9420MATOCU_LISTEN_HOST = *MATOCU_LISTEN_PORT = 9421CHUNKS_LOOP_TIME = 300CHUNKS_DEL_LIMIT = 100CHUNKS_REP_LIMIT = 15(5)、配置输出控制文件/opt/data/mfs/etc/mfsexports.cfg* . rw10.64.5.124 / rw,alldirs,maproot=0(6)、启动mfs/opt/data/mfs/sbin/mfsmaster start(7)、定制hearbeat的启动文件mfsmastervi /etc/init.d/mfsmaster/opt/data/mfs/sbin/mfsmaster startchmod 755 /etc/init.d/mfsmaster3、安装chunkserver块服务器：（建议chunkserver使用2-3个副本）(1)、创建用户：groupadd -g 65534 mfsuseradd -u 65534 -g mfs -s /bin/false -d /home/mfs mfs(2)、export KG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATHtar -zxvf mfs-1.6.11.tar.gz./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -disable-mfsmaster -disable-mfsmountmake & make install(3)、安装必要文件cd /usr/local/mfs/etctouch mfschunkserver.cfgtouch mfshdd.cfgchown -R mfs. /usr/local/mfs数据目录：mkdir /datamount /dev/sdb1 /datachown -R mfs. /data(4)、配置主配置文件mfschunkserver.cfg及共享磁盘配置文件mfshdd.cfgvi mfschunkserver.cfgWORKING_USER = mfsWORKING_GROUP = mfsDATA_PATH = /usr/local/mfs/var/mfsLOCK_FILE = /usr/local/mfs/var/mfs/mfschunkserver.pidSYSLOG_IDENT = mfschunkserverBACK_LOGS = 50MASTER_RECONNECTION_DELAY = 30MASTER_HOST = 10.64.5.130 （两台metaserver的HAip地址）MASTER_PORT = 9420MASTER_TIMEOUT = 60CSSERV_LISTEN_HOST = *CSSERV_LISTEN_PORT = 9422CSSERV_TIMEOUT = 60CSTOCS_TIMEOUT = 60HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfgvi mfshdd.cfg/data#/data24、安装Client服务器：(1)、安装 Fuse 首先要安装Fuse, Linux从2.6.14版本开始通过FUSE模块支持在用户空间实现文件系统fuse-2.8.3.tar.gz./conf