DRBD简要操作_wh.doc

DRBD网络镜像磁盘操作手册版本：Kernel：2.6.18Drbd：8.2.6参考文献：国外论坛：/lists/drbd/users/ 拓扑：拓扑原理：左边的服务器为活跃DRBD，数据写入及访问都由它处理，同时将数据同步拷贝到右边服务器。仅当左边的活跃DRBD宕机，才由右边的辅DRBD接替其所有工作，由于未加入HA功能，所有的切换操作需人为干预DRB同步模式：完全同步要确认同步成功，除了活跃节点上的写操作要更新到其本地磁盘上以外，同时还要将数据拷贝到备用节点的本地磁盘。只有当2个节点都拥有了相同的写数据才算同步成功。其优点是，无论哪个节点宕机，都不会丢失数据环境应用：Primary：IP: 43HOSTNAME：alice新的硬盘：/dev/sda1 1GDRBD驱动：/dev/drbd1 -本地磁盘需要附加到该驱动上挂载目录：/mnt/drbd1 -用于挂载DRBD驱动点，切忌不是挂载本地磁盘到该目录Secondary：IP：51HOSTNAME：bob新的硬盘：/dev/sda1 1GDRBD驱动：/dev/drbd1挂载目录：/mnt/drbd1每台服务器都要将自己的主机名和对方的主机名写入/etc/hosts文件43 alice51 bob全新部署前的基本准备工作：1. 确保主DRBD服务器和辅DRBD服务器都有唯一的主机名。主机名会在drbd.conf文 件中用到2. 每一个DRBD服务器都必需有一个唯一的IP地址3. 将每一个DRBD服务器的主机名与IP地址写入 /etc/hosts文件4. 每一个DRBD服务器要准备至少一块空磁盘，容量最好要相同。安装DRBD 2.6二进制安装yum -y install kmod-drbd82 drbd模板文件位置：/usr/share/doc/drbd82-8.2.6/drbd.conf关闭开机自启（若在自启动过程中失败可能会导致无法登录系统情况）chkconfig drbd off加载drbd模块modprobe drbdDRBD日志观察：/proc/drbd/var/log/message源码安装 drbd-8.2.6.tar.gztar zxvf drbd-8.2.6.tar.gzcd drbd-8.2.6make & make install配置及部署DRBD（两节点配置文件内容必需一致）=主节点配置43 对新磁盘进行格式化，切忌不要在本地磁盘上创建EXT3文件系统。编辑/etc/hosts文件43alice51bob配置drbd.confglobal usage-count no; -关闭DRBD自动更新common syncer rate 5M; -设定同步速率为5MB，同步速率应小于可用带宽的33。无论同步速 率设置为多少，都不能超过磁盘读写速率。#csums-alg sha1 -基于校验和同步，一旦发现主辅数据不同步就执行同步操作 该版本不支持此功能verify-alg sha1 -仅在同步源上设置，默认同步源是主节点，验证辅节点数据是否过时（out of sync），若有过时数据辅节点则触发同步操作，同时将信息写入内核日志 配置完成后还需做如下操作：a. 初始化校验out of sync数据drbdadm verify all如果检测出辅节点有out of sync的数据，可执行下列操作进行重同步drbdadm disconnect alldrbdadm connect allb自动校验out of sync数据（推荐） * 02 * * * /sbin/drbdadm verify allal-extents 250; -设定active log大小，单位KB。启用Active log后数据会写 入日志的同时，也会跟踪哪些数据被写入了磁盘，加入该参数 后数据先写入日志后写入磁盘。一旦服务器奔溃仅同步未写入 磁盘的数据而无需同步整个磁盘。 计算active log大小公式： R：同步速率，单位MB/s t：同步时间，单位秒 参考：/users-guide/s-activity-log.html resource web -资源名，可随意取 protocol C; -完全同步，仅当数据都同步到2台DRBD的本地磁盘才算同步成功 net data-integrity-alg sha1 -验证辅节点数据的完整性确保数据未受损，若数据验证失败将触发同步操作 #cram-hmac-alg sha1; #shared-secret “FooFunFactory; startup wfc-timeout 120; -在进程启动后，设定DRBD连接对端超时的秒数，若在指定 时间内未能连接到辅节点，那么该主节点将自动降级为 Secondary角色。之后如果辅节点恢复运行，主节点会检测 到辅节点的存在，但是其角色仍然是Senondary。需要手动 改变其为Primary角色，命令drbdadm primary alldegr-wfc-timeout 30; -仅当在整个DRBD群集中，暂时只有一台服务器可用， 而另一台服务器坏掉了无法及时修复，而此时这台可用 服务器又发生了崩溃需重启，此时该台服务器上的DRBD 进程将采用该参数开启drbd，从而忽略wfc-timeout 参数 disk on-io-error detach; -如果本地磁盘发现io错误，drbd驱动将卸载本地磁盘以无盘工作#no-disk-flushes; -如果磁盘控制器支持蓄电池功能，并能在断电恢复后刷新新的 数据到本地磁盘，则可以禁用磁盘刷新功能。#no-md-flushes; -原理同上，区别是禁止元数据刷新到磁盘 所谓磁盘刷新是将缓存中的数据写入硬盘中，确保系统奔溃后不丢失数据，假定在drbd配置文件中关闭了磁盘刷新功能，而磁盘控制器本身启用了写缓存但不具备battery-backed功能，只要数据写入缓存系统就认定此写入操作成功，一旦发生系统崩溃缓存中的数据将永远丢失。但如果磁盘控制器本身具备battery-backed功能在奔溃恢复后可将缓存中的数据再次写入磁盘，此时可以在drbd配置文件中关闭磁盘刷新功能。默认DRBD启用磁盘刷新功能 参考：/users-guide/s-disk-flush-support.html on alice -必需与主机名相同 device /dev/drbd1; -DRBD设备名 disk /dev/sda1; -本地磁盘 address 43:7788; /mnt/drbd1/drbd.txt注意：虽然主节点已经配置完成，也为其设定了同步源，但事实上同步还不能实现。因为 要真正实现主辅节点同步，必需在两节点上对/dev/drbd1驱动创建EXT3文件系 统。而此时只有主节点已经创建了EXT3文件系统，而辅节点还未创建。按如下步 骤为辅节点创建EXT3文件系统： 主节点操作： 1. 卸载被挂载的目录：umount /mnt/drbd1 2. 临时将角色降级至Secondary 辅节点的操作： 1. 临时将角色升级至Primary，确保主节点已降至为Secondary 2. 为/dev/drbd1创建EXT3文件系统 3. 回到Secondary角色最后回到主节点，将角色升级至Primary。至此同步操作方可实现辅节点配置51 对新的磁盘进行格式化，切忌不要在本地磁盘上创建EXT3文件系统编辑/etc/hosts文件43alice51bob配置drbd.confglobal usage-count no; common syncer rate 5M; #csums-alg sha1; #verify-alg sha1; -辅节点不需要加这个参数 al-extents 250; resource web protocol C; net data-integrity-alg sha1; #cram-hmac-alg sha1; #shared-secret “FooFunFactory; startup wfc-timeout 120;degr-wfc-timeout 30; disk on-io-error detach;#no-disk-flushes;#no-md-flushes; on alice device /dev/drbd1; disk /dev/sda1; address 43:7788; meta-disk internal; on bob device /dev/drbd1; disk /dev/sda1; address 51:7788; meta-disk internal; 初始化DRBD元数据 在启动DRBD前创建元数据 drbdadm create-md all 启动DRBD /etc/init.d/drbd start 一旦成功启动，就从主节点拷贝数据 将本地磁盘/dev/sda1附加到/dev/drbd1驱动上 drbdadm up all 从/dev/drbd1驱动上卸载本地磁盘/dev/sda1 drbdadm down all 临时提升为Primary角色，切忌再执行此操作前，要将主节点设为Secondary drbdadm primary all 创建文件系统，必需是Primary角色才可以。文件系统也只需创建一此 mkfs.ext3 /dev/drbd1 改回其Secondary角色 drbdadm secondary all=DRBD的常用操作：1. 手动升级角色至Primarydrbdadm primary all2. 手动设定节点为辅节点如果已有挂载的DRBD设备，请先卸载umount /mnt/drbd1drbdadm secondary all3. 手动断开节点连接drbdadm disconnect all4. 手动连接节点drbdadm connect all5. 临时调整同步速率drbdsetup /dev/drbd1 syncer r 110MB6. 要调整运行中的drbd.conf文件并使其生效，执行如下命令drbdadm adjust all7. 校验辅节点数据是否过时，并触发同步操作。仅在主节点设置 A. 编辑drbd.confresource web syncer verify-alg sha1; B. 初始化校验out of sync数据 drbdadm verify all 如果检测出辅节点有out of sync的数据，可执行下列操作进行重同步 drbdadm disconnect all drbdadm connect all C自动校验out of sync数据（推荐） * 02 * * * /sbin/drbdadm verify all手动修复裂脑问题问题描述：模拟主节点网络断开，辅节点将会转换角色到Primay。之后恢复主节点网 络，裂脑问题出现，原因是DRBD检测到两台服务器都为Primary。 主节点/proc/drbd文件中显示的网络状况为：cs:WFConnection 辅节点/proc/drbd文件中显示的网络状况为：cs:StandAlone 或 主节点/proc/drbd文件中显示的网络状况为：cs:StandAlone 辅节点/proc/drbd文件中显示的网络状况为：cs:StandAlone 解决方法：a. 登录辅节点服务器，将其角色改为Secondarydrbdadm secondary all b. 在辅助节点上，断开连接 drbdadm disconnect all c. 在辅节点上，丢弃本地磁盘上的所有数据，并连接资源drbdadm - -discard-my-data connect all d. 登录主节点服务器，观察其连接状态，如果其状态仍为 StandAlone，指行下列命令 drbdadm connect all 更换主节点硬盘操作 1. 关闭主节点服务器，临时将辅节点提升为Primary 2. 为主节点替换新硬盘，并开机 3. 主节点正常