基于GlusterFS的高可用MySQL数据库系统测试.docx

基于GlusterFS的高可用MySQL数据库系统测试原创MySQL 是使用最广泛的数据库之一，而 GlusterFS 是一个开源分布式文件系统。MySQL 的一个主要问题是存在单点故障，当MySQL节点发生故障时，整个业务系统将崩溃。MySQL replication，MySQL Cluster 和 MySQL+Galera 都试图不同程度的解决这个问题，本文试图使用分布式文件系统 GlusterFS 来尝试解决 MySQL 的高可用性。1. 安装 Ubuntu首先我们搭建一个测试环境，在一台物理机（笔记本上）安装 2 个Ubuntu 13.10 虚拟机. 虚拟机软件可以使用VMWare的，也可以用VirtualBox。虚拟机规范:- 1 CPU- 1G memory- 2 Disks: 一块磁盘20G，用于安装系统，一块磁盘10G，留给 Gluster 使用。在安装的时候第二块磁盘可以留着，装完后用fdisk 分区并格式化。- 其他设置： 保持2个VM配置一致，例如时区等。安装完Ubuntu后可以做个 snapshot，系统崩溃后可以快速恢复。2. 配置 Ubuntu使用gluster和mysql前，先对ubuntu虚拟机做一些配置2.1 network安装之后虚拟机默认使用DHCP, 为了避免IP地址的变化，使用静态IP。选择右上角的网络连接图标 - 编辑连接进入 IPv4 设置页面，选择 Manual 方法，并加入以下地址信息 （根据你自己的系统做适当的修改）：- Address: 18- mask: - Gateway: - DNS: 如果不知道当前系统的 IP、网关和DNS，可以使用 nm-tool 显示系统的网络信息。2.2 disk在第二块磁盘上分区、创建文件系统，并mount$ sudo fdisk /dev/sdbn w$ sudo mkfs.ext4 /dev/sdb1$ sudo mkdir -p /data/gv0/brick1$ sudo vi /etc/fstab # 将下面这一行加入到 /etc/fstab 中。/dev/sdb1 /data/gv0/brick1 ext4 defaults 1 2$ sudo mount -a & mount2.3 其他配置2.3.1 sudoers修改 sudoers 打开无密码访问。将下面一行加入到 /etc/sudoers, u1 是用户名，替换成你自己的用户名。u1 ALL=(ALL:ALL) NOPASSWD: ALL%sudo ALL=(ALL:ALL) NOPASSWD: ALL2.3.2 ssh$ sudo apt-get install ssh3. 安装 gluster首先安装 gluster 的依赖包， 如有需要，使用 apt-cache search 搜索包得名字。$ sudo apt-get install -y flex bison openssl libssl-dev libreadline6 libreadline6-dev systemtap systemtap-sdt-dev编译并安装最新的 gluster （目前最新版本是 3.4.2）$ wget /pub/gluster/glusterfs/3.4/3.4.2/glusterfs-3.4.2.tar.gz$ tar zxf gluster-3.4.2.tar.gz$ cd gluster-3.4.2$ ./configure -enable-debug$ make & sudo make install$ sudo ldconfig$ gluster -version现在安装另一个虚拟机，可以做个snapshot，以免后面发生问题时可以快速恢复到可用状态。安装之后，2台主机的主机名和IP地址信息：- u1: 18- u2: 214. 配置 Gluster replication （AFR） 并进行简单的测试4.1 准备 bricksbricks 是 gluster 的术语，是一个volume的基本组成部分，可以认为是主机上的一个目录。在两个虚拟机上：$ sudo mkdir -p /data/gv0/brick1/test4.2 组建2个虚拟机组成的可信存储池在 18 上执行下面命令$ sudo gluster peer probe 21 # 替换为你的系统$ sudo gluster peer statusNumber of Peers: 1Hostname: 21Port: 24007Uuid: e1de158a-1a81-4d6c-af55-b548d4c4c174State: Peer in Cluster (Connected)4.3 创建 replicated volume在任意一台虚拟机上执行下面命令：$ sudo gluster volume create testvol replica 2 18:/data/gv0/brick1/test 21:/data/gv0/brick1/test/ disable NFS （这一步是可选的）$ sudo gluster volume set testvol nfs.disable on$ sudo gluster volume start testvol$ sudo gluster volume status在一台虚拟机上（譬如 18 上）挂载创建的 gluster volume.$ sudo mount -t glusterfs 18:/testvol /mnt/testvol4.4 启动和停止 gluster 服务- 启动:sudo /etc/init.d/glusterd start- 停止: umount:sudo umount /path/to/dir- 停止: volume:sudo gluster volume stop - 停止: glusterd:sudo /etc/init.d/glusterd stop4.5 测试 Gluster 的 replication 功能在前面挂载了 gluster volume 的虚拟机上创建一个文件:$ echo anbnc /mnt/testvol/test.txt观察 brick 目录，test 文件应该出现在两个机器上的 /data/gv0/brick/test 目录下面。$ cd /data/gv0/brick/test & rm test.txt在一个brick目录内删除刚刚创建的文件，gluster 会自动恢复它。 （不是真正的全自动，只有在访问这个文件时才会恢复，否则gluster 不会恢复被删除的文件）$ ls /data/gv0/brick/test/test.txt # gluster 会发现文件丢失了，并自动恢复。4.5.1 由于 DNS 问题，文件不能自动恢复在测试的过程中发现文件在一个brick上被删除后， gluster 不能自动恢复，并且log里面报告了大量的connection timeout、不能连接之类的错误。 阅读代码后返现 gluster 的自动恢复部分代码会使用 DNS， 尽管我们前面使用的都是 IP 地址。而 Ubuntu 自带了一个小巧的 DNS server dnsmasq。它支持不在全局DNS内的局域网机器域名解析。 dnsmasq 用户场景是通过ADSL接入的家庭局域网。 也适合任何小型网络（小于1000个client）。 对这个测试而言最关键的是，它支持 /etc/hosts 配置文件。 Ubuntu 的network-manager 会自动启动 dnsmasq，然而默认它会忽略 /etc/hosts。 可以创建下面一个文件，使得这个文件生效：$ cat /etc/NetworkManager/dnsmasq.d/hosts.confaddn-hosts=/etc/hosts$ sudo service networking restart$ sudo /etc/init.d/dns-clean restart修改后要求下面的几个命令输出相同的IP地址：$ host u1$ nslookup u1$ getent ahosts u15. 安装 mysql在所有虚拟机上上创建 gluster brick 目录，用来保存 mysql data。$ mkdir -p /data/gv0/brick1/mysqldata创建一个新的 volume：$ sudo gluster volume create mysqldata replica 2 18:/data/gv0/brick1/mysqldata 21:/data/gv0/brick1/mysqldata启动新创建的 volume：$ sudo gluster volume start mysqldata登录一台机器，mount gluster volume$ sudo mount -t glusterfs 18:/mysqldata /mnt/mysqldata安装 mysql 并使用新mount的volume：$ 首先下载 MySQL 二进制包$ sudo groupadd mysql$ sudo useradd -r -g mysql mysql$ cd /usr/local$ sudo tar zxvf /path/to/mysql-VERSION-OS.tar.gz$ sudo ln -s full-path-to-mysql-VERSION-OS mysql$ cd /usr/local/mysql$ sudo chown -R mysql:mysql .$ sudo apt-get install -y libaio-dev# mysql 需要libaio.so# 以上操作需要在所有 VM 上执行。修改最大连接数, 这在后面的测试中会使用：mysql show variables like “max_connections”;mysql set global max_connections = 300; # 重启就失效了。永久修改的办法是加入到配置文件中：max_connections = 300安装 mysql$ sudo /usr/local/mysql/scripts/mysql_install_db -user=mysql-basedir=/usr/local/mysql -datadir=/mnt/mysqldata-defaults-file=/usr/local/mysql/f启动mysql：$ sudo /usr/local/mysql/support-files/mysql.server start-datadir=/mnt/mysqldata -log-error=/usr/local/mysql/mysql.error配置mysql：$ /usr/local/mysql/bin/mysqladmin -u root password $ echo bind-address: /usr/local/mysql/f$ /usr/local/mysql/bin/mysql -uroot # 执行下面的语句.CREATE USER yydzerolocalhost IDENTIFIED BY goodluck;GRANT ALL PRIVILEGES ON *.* TO yydzerolocalhost WITH GRANT OPTION;CREATE USER yydzero% IDENTIFIED BY goodluck;GRANT ALL PRIVILEGES ON *.* TO yydzero% WITH GRANT OPTION;6. 测试 MySQL + GlusterFSmysql create database g