inotify rsync文件实时同步

1、Linux下inotify+rsync文件实时同步一、使用背景与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync 在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,r

2、sync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify 组合出现了!二、相关介绍Inotify 是一个Linu x 内核特性,它监控文件系统,并且及时向专门的应用程序发出相关的事件警告,比如删除、读、写和卸载操作等(必须有不低于2.6.13的内核版本 rsync是类unix系统下的数据镜像备份工具remote sync。一款快速增量备份工具Remote Sync,远程同步支持本地复制,或者与其他SSH、rsync

3、主机同步三、环境描述配置环境:centos 6.5Rsync版本:rsync-3.0.6Inotify版本:inotify-tools-3.13服务器端:192.168.1.3客户端:192.168.1.4四、安装与配置rsync1、安装rsync服务端yum install rsync xinetd2、编辑配置文件,设置开机启动rsyncvi /etc/xinetd.d/rsync #将disable后的参数改为no3、创建rsyncd.conf配置文件vi /etc/rsyncd.confuse chroot=no #默认为true,修改为no,增加对目录文件软连接的备份max conne

4、ctions=4 #最大连接数位4pid file=/var/run/rsyncd.pid #pid文件的存放位置log file=/var/log/rsyncd.log #日志文件的位置lock file=/var/run/rsync.lock #支持max connections参数的锁文件roothome #自定义名称uid=root #设置rsync运行权限为rootgid=root #设置rsync运行权限为rootpath=/var/roothome #rsync服务端数据目录路径comment=roothome #模块名称与自定义名称相同ignore errors=yes # r

5、syncd在判断是否运行传输时的删除操作时忽略server上的IO错误,一般来说rsync在出现IO错误时将将跳过-delete操作,以防止因为暂时的资源不足或其它IO错误导致的严重问题read only=no #设定是否允许客户上载文件。如果为yes那么任何上载请求都会失败,如果为no并且服务器目录读写权限允许那么上载是允许的。默认值为yes list=no #用户请求列出可使用的模块列表时,该模块是否被列出auth users=root #指定由空格或逗号分隔的用户名列表,只有这些用户才允许连接该模块这里的用户和系统用户没有任何关系。如果auth users被设置,那么客户端发出对该模块的

6、连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在secrets file选项指定的文件中。默认情况下无需密码就可以连接模块(也就是匿名方式secrets file=/etc/roothome.pass #指定一个包含定义用户名:密码对的文件。只有在auth users被定义时,该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名,需要限式指定一个(例如: /etc/rsyncd.passwd。注意:该文件的权限一

7、定要是600,否则客户端将不能连接服务器4、创建用户认证文件vi /etc/rsync.passroot:1.q1.q5、设置文件权限chmod 600 /etc/rsyncd.conf #设置文件所有者读取、写入权限chmod 600 /etc/roothome.pass #设置文件所有者读取、写入权限6、启动rsync/etc/init.d/xinetd start #启动service xinetd stop #停止service xinetd restart #重新启动1、安装rsync客户端yum install rsync xinetd2、编辑配置文件,设置开机启动rsyncvi

8、/etc/xinetd.d/rsync #将disable后的参数改为no3、创建密码认证文件(客户端只需要存在密码Vi /etc/roothome.txt1.q1.q测试客户端是否可以向服务器上传数据 五、安装inotify-tools工具,实现rsync实时同步uname a #最小2.6.13内核 inotify-tools-3.13.tar.gz1、安装inotify-toolsyum install make gcc gcc-c+ #安装编译工具2、tar zxvf inotify-tools-3.13.tar.gz #解压cd inotify-tools-3.13#进入解压目录./

9、configure -prefix=/usr/local/inotify #配置make #编译make install #安装3、设置系统环境变量,添加软连接echo PATH=/usr/local/inotify/bin:$PATH /etc/profile.d/inotify.shsource /etc/profile.d/inotify.sh #使设置立即生效echo /usr/local/inotify/lib /etc/ld.so.conf.d/inotify.confln -s /usr/local/inotify/include /usr/include/inotify4、修改

10、inotify默认参数(inotify默认内核参数值太小修改参数:sysctl -w fs.inotify.max_queued_events=99999999sysctl -w fs.inotify.max_user_watches=99999999sysctl -w fs.inotify.max_user_instances=65535vi /etc/sysctl.conf #添加以下代码fs.inotify.max_queued_events=99999999 #inotify队列最大长度fs.inotify.max_user_watches=99999999 #要同步的文件包含多少目录fs.inotify.max_user_instances=65535 #每个用户创建inotify实例最大值5、创建脚本,实时触发rsync进行同步 rsync.sh六、因为在之前的rsync