说明:
操作系统:CentOS release 6.8 (Final)x86_64
服务器IP:rsync_server(数据源) 10.15.43.100
rsync_client (目标端)10.15.43.228
同步目录: rsync_server /app/rsync_server
rsync_client/app/rsync_client
rsync_client (目标端)10.15.43.228
1、安装Rsync服务端
[root@localhostsrc]#yum-yinstallrsyncxinetd [root@localhostsrc]#cp/etc/xinetd.d/rsync{,default} [root@localhostsrc]#vim/etc/xinetd.d/rsync servicersync { disable=no#修改为no flags=IPv6 socket_type=stream wait=no user=root server=/usr/bin/rsync server_args=--daemon log_on_failure+=USERID } [root@localhostsrc]#/etc/init.d/xinetdstart#CentOS中是以xinetd来管理Rsync服务的 [root@localhostsrc]#vim/etc/rsyncd.conf#创建配置文件 logfile=/var/log/rsyncd.log#日志文件位置,启动rsync后自动产生这个文件,无需提前创建 pidfile=/var/run/rsyncd.pid#pid文件的存放位置 lockfile=/var/run/rsync.lock#支持maxconnections参数的锁文件 secretsfile=/etc/rsync.pass#用户认证配置文件,里面保存用户名称和密码,后面会创建这个文件 motdfile=/etc/rsyncd.Motd#rsync启动时欢迎信息页面文件位置(文件内容自定义) [app_rsync_client]#自定义名称 path=/app/rsync_client/#rsync服务端数据目录路径 comment=app_rsync_client#模块名称与[app_rsync_client]自定义名称相同 uid=root#设置rsync运行权限为root gid=root#设置rsync运行权限为root port=873 usechroot=no#默认为true,修改为no,增加对目录文件软连接的备份 readonly=no设置rsync服务端文件为读写权限 list=no#不显示rsync服务端资源列表 macconnections=200 timeout=600 authusers=rsync#执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开 hostsallow=10.15.43.100#允许进行数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开 hostsdeny=10.10.2.84#禁止数据同步的客户端IP地址,可以设置多个,用英文状态下逗号隔开 #先允许后拒绝 [root@localhostsrc]#vim/etc/rsync.pass#配置文件,添加以下内容 rsync:123456#格式,用户名:密码,可以设置多个,每行一个用户名:密码 [root@localhostsrc]#chmod600/etc/rsyncd.conf [root@localhostsrc]#chmod600/etc/rsync.pass [root@localhostsrc]#/etc/init.d/xinetdrestart
rsync_server(数据源) 10.15.43.100
安装Rsync客户端
[root@localhostrsync_server]#whereisrsync#查看系统是否已安装rsync rsync:/usr/bin/rsync/usr/share/man/man1/rsync.1.gz#说明已经安装 [root@localhostrsync_server]#
yum install xinetd #已安装rsync只安装xinetd即可,CentOS中是以xinetd来管理rsync服务的
yum install rsync xinetd #如果默认没有rsync,运行此命令进行安装rsync和xinetd
[root@localhostrsync_server]#vim/etc/xinetd.d/rsync servicersync { disable=no#修改为no flags=IPv6 socket_type=stream wait=no user=root server=/usr/bin/rsync server_args=--daemon log_on_failure+=USERID } [root@localhostrsync_server]#/etc/init.d/xinetdrestart [root@localhostrsync_server]#vim/etc/passwd.txt 123456 [root@localhostrsync_server]#chmod600/etc/passwd.txt
测试
在rsync_server的/app/rsync_server目录下创建文件file,在rsync_server端运行同步命令同步数据:
rsync -avH --port=873 --progress --delete /app/rsync_client/ rsync@10.15.43.228::app_rsync_client --password-file=/etc/passwd.txt
rsync_server(数据源) 10.15.43.100
[root@localhostsrc]#mkdir/app/rsync_client/test [root@localhostsrc]#touch/app/rsync_client/test/file [root@localhostrsync_server]#rsync-avH--port=873--progress--delete/app/rsync_server/rsync@10.15.43.228::app_rsync_client--password-file=/etc/passwd.txt sendingincrementalfilelist ./ file 0100%0.00kB/s0:00:00(xfer#1,to-check=0/2) sent81bytesreceived30bytes222.00bytes/sec totalsizeis0speedupis0.00 [root@localhostrsync_server]#
/app/rsync_server/数据源的目录
-password-file=/etc/passwd.txt数据源的密码文件
rsync@10.15.43.228::app_rsync_client rsync目标端rsync服务端配置的用户名,app_rsync_client目标端rsync服务端配置的模块名称
rsync_client
[root@localhostrsync_client]#ls file [root@localhostrsync_client]#
在rsync_server(数据源) 10.15.43.100上安装Inotify-tools工具,实时触发rsync进行同步
1、安装Inotify-tools工
[root@localhostsrc]#ll/proc/sys/fs/inotify#查看服务器内核是否支持inotify,出现下面的内容,说明服务器内核支持inotify total0 -rw-r--r--1rootroot0Jul2710:32max_queued_events -rw-r--r--1rootroot0Jul2710:32max_user_instances -rw-r--r--1rootroot0Jul2710:32max_user_watches [root@localhostsrc]#uname-r#Linux下支持inotify的内核最小为2.6.13 2.6.32-642.el6.x86_64 [root@localhostsrc]#tarzxvfinotify-tools-3.14.tar.gz [root@localhostsrc]#cdinotify-tools-3.14 [root@localhostinotify-tools-3.14]#./configure--prefix=/app/inotify [root@localhostinotify-tools-3.14]#make&&makeinstall [root@localhostinotify-tools-3.14]#vim/etc/profile#设置系统环境变量 exportPATH=/app/inotify/bin:$PATH [root@localhostinotify-tools-3.14]#source/etc/profile [root@localhostinotify-tools-3.14]#echo"/app/inotify/lib">/etc/ld.so.conf.d/inotify.conf [root@localhostinotify-tools-3.14]#ln-s/app/inotify/include/usr/include/inotify [root@localhostinotify-tools-3.14]#sysctl-a|egrep-i"max_queued_events|max_user_watches|max_user_instances"#修改inotify默认参数(inotify默认内核参数值太小) fs.inotify.max_user_instances=128 fs.inotify.max_user_watches=8192 fs.inotify.max_queued_events=16384 fs.epoll.max_user_watches=201420 [root@localhostinotify-tools-3.14]#vim/etc/sysctl.conf fs.inotify.max_user_instances=65535 fs.inotify.max_user_watches=99999999 fs.inotify.max_queued_events=99999999 [root@localhostinotify-tools-3.14]#cat/proc/sys/fs/inotify/{max_user_instances,max_user_watches,max_queued_events} 65535 99999999 99999999 [root@localhostinotify-tools-3.14]#
max_queued_events:
inotify队列最大长度,如果值太小,会出现"** Event Queue Overflow **"错误,导致监控文件不准确
max_user_watches:
要同步的文件包含多少目录,可以用:find /app/rsync_server/ -type d | wc -l 统计,必须保证max_user_watches值大于统计结果(这里/app/rsync_server/为同步文件目录)
max_user_instances:
每个用户创建inotify实例最大值
2、创建脚本,实时触发rsync进行同步
[root@localhostinotify]#catrsync.sh #!/bin/bash src_dir="/app/rsync_server/" dst_dir="app_rsync_client" exclude_dir="/app/inotify/exclude.list" rsync_user="rsync" rsync_passwd="/etc/passwd.txt" dst_ip="10.15.43.22810.10.2.84" rsync_command(){ rsync-avH--port=873--progress--delete--exclude-from=$exclude_dir$src_dir$rsync_user@$ip::$dst_dir--password-file=$rsync_passwd } foripin$dst_ip;do rsync_command done /app/inotify/bin/inotifywait-mrq--timefmt'%d/%m/%y%H:%M'--format'%T%w%f%e'-eclose_write,modify,delete,create,attrib,move$src_dir\ |whilereadfile;do foripin$dst_ip;do rsync_command echo"${file}wasrsynced">>/tmp/rsync.log2>&1 done done [root@localhostinotify]#chmod+xrsync.sh [root@localhostinotify]#touch/app/inotify/exclude.list [root@localhostinotify]#vim/etc/rc.d/rc.local nohup/bin/sh/app/inotify/rsync.sh& [root@localhostinotify]#nohup/bin/sh/app/inotify/rsync.sh&
src_dir="/app/rsync_server/"#源服务器同步目录
dst_dir="app_rsync_client"#目标服务器rsync同步目录模块名称
exclude_dir="/app/inotify/exclude.list"#不需要同步的目录,如果有多个,每一行写一个目录,使用相对于同步模块的路径;
例如:不需要同步/app/rsync_server/"目录下的a目录和b目录下面的b1目录,exclude.list文件可以这样写
a/
b/b1/
rsync_user="rsync"#目标服务器rsync同步用户名
rsync_passwd="/etc/passwd.txt"#目标服务器rsync同步用户的密码在源服务器的存放路径
dst_ip="10.15.43.228 10.10.2.84"#目标服务器ip,多个ip用空格分开
inotify参数
-m 是保持一直监听
-r 是递归查看目录
-q 是打印出事件
-e create,move,attrib 是指监听“创建 移动 删除 写入 权限” 事件
rsync参数
-v,--verbose 详细模式输出
-a,--archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-H,--hard-links 保留硬链结
3、测试
在rsync_server(数据源) 10.15.43.100的/app/rsync_server创建文件
[root@localhostrsync_server]#touchtest{1..9} [root@localhostrsync_server]#touchtest{a..j} [root@localhostrsync_server]#ls test1test2test3test4test5test6test7test8test9testatestbtestctestdtestetestftestgtesthtestitestj [root@localhostrsync_server]#pwd /app/rsync_server [root@localhostrsync_server]#
在rsync_client (目标端)10.15.43.228、10.10.2.84上查看已经同步
[root@localhostrsync_client]#ls test1test2test3test4test5test6test7test8test9testatestbtestctestdtestetestftestgtesthtestitestj [root@localhostrsync_client]#pwd /app/rsync_client [root@localhostrsync_client]#
如果以上测试都通过,说明inotify实时触发rsync同步脚本运行正常。
至此,Linux下Rsync+Inotify-tools实现数据实时同步完成。如果要双向同步可以把以上反过来部署次。
报错:
错误一:
rsync error: some files/attrs were not transferred (see prevIoUs errors) (code 23) at main.c(1039) [sender=3.0.6]
检查服务器端的目录(备份目录)是否存在,并检查其权限。创建目录并修正权限可解决问题。
我这里这个报错是因为selinux开启导致的,setenforce 0或者直接disabled即可
错误二:
rsync error: error starting client-server protocol (code 5) at main.c(1522) [sender=3.0.5]
解决办法:
(1) 检查服务、客户端密码文件是否正确:服务端密码文件(这里为/etc/rsync.pass) 的格式为 用户:密码; 客户端密码文件为:密码(没有用户名)
(2)检查密码文件的权限是否正确
错误三:
password file must not be other-accessible
continuing without password file
Password:
解决办法:
检查服务端和客户端上的密码配置文件权限是否为600(只能为600),若不是可以通过命令 chmod 600 rsync.pass 修改即可
错误四:
password file must not be other-accessible
continuing without password file
这是因为/etc/rsync.pass /etc/passwd.txt的权限不对,应该设置为600。如:chmod 600 /etc/passwd.txt
错误五:
@ERROR: access denied to www from unknown (192.168.1.123)
rsync: connection unexpectedly closed (0 bytes received so far) [receiver]
rsync error: error in rsync protocol data stream (code 12) at io.c(359)
配置选项host allow的问题
错误六:
rsync error: received SIGINT,SIGTERM,or SIGHUP (code 20) at rsync.c(244) [generator=2.6.9]
rsync error: received SIGUSR1 (code 19) at main.c(1182) [receiver=2.6.9]
导致此问题多半是服务端服务没有被正常启动,到服务器上去查查服务是否有启动,然后查看下 /var/run/rsync.pid 文件是否存在,最干脆的方法是杀死已经启动了服务,然后再次启动服务或者让脚本加入系统启动服务级别然后shutdown -r now服务器
错误七:
rsync: read error: Connection reset by peer (104)
rsync error: error in rsync protocol data stream (code 12) at io.c(604) [sender=2.6.9]
原数据目录里没有数据存在
错误八:
@ERROR: chroot Failed
rsync: connection unexpectedly closed (75 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)
这是因为你在 rsync.conf 中设置的 path 路径不存在,要新建目录才能开启同步
错误九:
rsync: Failed to connect to %IP%: No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=2.6.9]
防火墙问题导致,这个最好先彻底关闭防火墙,排错的基本法就是这样,无论是S还是C,还有ignore errors选项问题也会导致
错误十:
@ERROR: auth Failed on module xxxxx
rsync: connection unexpectedly closed (90 bytes read so far)
rsync error: error in rsync protocol data stream (code 12) at io.c(150)
这是因为密码设置错了,无法登入成功,检查一下/etc/rsync.pass /etc/passwd.txt。还有服务器端没启动rsync 服务也会出现这种情况。