linuxea: lsyncd快速配置安装 Lsyncd-实时同步相比较之前的rsync同步的方式，他可以通过ssh的方式进行同步，这也是为什么要写这篇笔记的原因。通常而言，越简单越高效的东西都有必要和价值来进行分享。rsync+ssh配置起来更加复杂，ssh操作文件和目录。通过配置文件来做自定义配置，使用shell脚本和lua语言编写。配置简单，灵活，详细查看官网手册:https://axkibe.github.io/lsyncd/lsyncd2.2.1需要在源节点和目标节点安装rsync>=3.1。这个需求通常来讲系统自带的就足够了。因此，我们要安装的依赖包就包括lua,liblua,以及cmake：yum install lua lua-devel cmake -y克隆代码[root@linuxea_node ~]# git clone https://github.com/axkibe/lsyncd.git /usr/local/lsyncd Cloning into '/usr/local/lsyncd'... remote: Enumerating objects: 4333, done. remote: Total 4333 (delta 0), reused 0 (delta 0), pack-reused 4333 Receiving objects: 100% (4333/4333), 1.76 MiB | 780.00 KiB/s, done. Resolving deltas: 100% (2577/2577), done.安装依赖包安装几个依赖包[root@linuxea_node ~]# cd /usr/local/lsyncd [root@linuxea_node /usr/local/lsyncd]# yum install lua lua-devel cmake -y编译安装安装完成后进行编译即可[root@linuxea_node /usr/local/lsyncd]# cmake . -- The C compiler identification is GNU 4.8.5 -- The CXX compiler identification is GNU 4.8.5 -- Check for working C compiler: /usr/bin/cc -- Check for working C compiler: /usr/bin/cc -- works -- Detecting C compiler ABI info -- Detecting C compiler ABI info - done -- Check for working CXX compiler: /usr/bin/c++ -- Check for working CXX compiler: /usr/bin/c++ -- works -- Detecting CXX compiler ABI info -- Detecting CXX compiler ABI info - done -- Found Lua: /usr/lib64/liblua.so;/usr/lib64/libm.so (found version "5.1.4") -- Configuring done -- Generating done -- Build files have been written to: /usr/local/lsyncd[root@linuxea_node /usr/local/lsyncd]# make [ 12%] Generating defaults.out Compiling built-in default configs [ 25%] Generating runner.out Compiling built-in runner [ 37%] Generating runner.c Generating built-in runner linkable [ 50%] Generating defaults.c Generating built-in default configs Scanning dependencies of target lsyncd [ 62%] Building C object CMakeFiles/lsyncd.dir/lsyncd.c.o [ 75%] Building C object CMakeFiles/lsyncd.dir/runner.c.o [ 87%] Building C object CMakeFiles/lsyncd.dir/defaults.c.o [100%] Building C object CMakeFiles/lsyncd.dir/inotify.c.o Linking C executable lsyncd [100%] Built target lsyncd[root@linuxea_node /usr/local/lsyncd]# make install [100%] Built target lsyncd Install the project... -- Install configuration: "" -- Installing: /usr/local/bin/lsyncd -- Installing: /usr/local/man/lsyncd.1ssh互通通常而言，我们需要打通目标节点在目标节点放行源节点的端口，假如是iptables，就如下添加iptables -I INPUT 5 -s 172.25.110.49 -p tcp -m tcp -m state --state NEW -m multiport --dports 22,2222 -m comment --comment "ssh" -j ACCEPT在源节点复制key到目标节点[root@linuxea_node /usr/local/lsyncd]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:0vgvn8tziq24dxuhg0yLTsVl3OGQNakxeWJUIUWNJPg root@172_30_2_44.cluster.com The key's randomart image is: +---[RSA 2048]----+ | o=OX= | | ..B*+o. | | o+*o | | . =E | | * S . | | = = . . | | o + + . | | o .o*oo. | | . ooo=X* | +----[SHA256]-----+[root@linuxea_node /usr/local/lsyncd]# ssh-copy-id 172.25.110.50 /usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub" The authenticity of host '172.25.110.50 (172.25.110.50)' can't be established. ECDSA key fingerprint is SHA256:3BVoJtcE0SnDZN3NA9tRMIoiae7d4vi0FkX6ZltAixE. ECDSA key fingerprint is MD5:e0:75:bd:aa:75:13:c7:e0:d6:2f:21:24:1a:45:42:f1. Are you sure you want to continue connecting (yes/no)? yes /usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed /usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys root@172.25.110.50's password: Number of key(s) added: 1 Now try logging into the machine, with: "ssh '172.25.110.50'" and check to make sure that only the key(s) you wanted were added.配置文件我们将nginx的配置文件实时镜像到172.25.110.50上，配置文件如下[root@DT_Node-172_25_244_4 ~]# cat /usr/local/etc/lsyncd.conf -- this file is sync from cserver settings { logfile ="/var/log/nginx_conf_lsyncd.log", statusFile ="/var/run/nginx_conf_lsyncd.status", inotifyMode = "CloseWrite", maxProcesses = 1, insist = true, } servers = { -- "主机位置" "172.25.110.50", -- server2 } for _, server in ipairs(servers) do sync { default.rsyncssh, source="/usr/local/nginx/conf", host=server, targetdir="/usr/local/nginx/conf", maxDelays=5, delay=0, delete="true", exclude={ ".*", "*.tmp" }, rsync = { binary="/usr/bin/rsync", archive = true, compress = true, verbose = true, rsh = "/usr/bin/ssh -p 22992 -o StrictHostKeyChecking=no" } } end启动[root@linuxea_node /usr/local/nginx]# lsyncd -log Exec /usr/local/etc/lsyncd.conf 03:25:20 Normal: --- Startup, daemonizing ---而后，我们清空日志，手动添加文件测试[root@linuxea_node /usr/local/nginx]# > /var/log/nginx_conf_lsyncd.log [root@linuxea_node /usr/local/nginx]# tail -f /var/log/nginx_conf_lsyncd.logtouch一个text.txtroot@linuxea_node ~]# touch /usr/local/nginx/conf/test.txt日志已经显示同步[root@linuxea_node /usr/local/nginx]# tail -f /var/log/nginx_conf_lsyncd.log Sat Mar 21 03:27:19 2020 Normal: Calling rsync with filter-list of new/modified files/dirs /test.txt / Sat Mar 21 03:27:19 2020 Exec: /usr/bin/rsync [<] [/test.txt /] [-gvzsolptD] [--rsh=/usr/bin/ssh -p 22992 -o StrictHostKeyChecking=no] [-r] [--force] [--from0] [--include-from=-] [--exclude=*] [/usr/local/nginx/conf/] [172.25.110.50:/usr/local/nginx/conf/] Sat Mar 21 03:27:19 2020 Exec: one-sweeped pipe sending incremental file list ./ test.txt sent 106 bytes received 38 bytes 288.00 bytes/sec total size is 0 speedup is 0.00 Sat Mar 21 03:27:19 2020 Normal: Finished (list): 0 可以通过远程查看[root@linuxea_node ~]# ssh 172.25.110.50 ls /usr/local/nginx/conf/te* /usr/local/nginx/conf/test.txt配置文件全局设置logfile 定义日志文件 stausFile 定义状态文件 statusInterval 将lsyncd的状态写入上面的statusFile的间隔，默认10秒 nodaemon=true 表示不启用守护模式，默认 inotifyMode 指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or Modify maxProcesses 同步进程的最大个数。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程 maxDelays 累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到定义同步参数，可以继续使用maxDelays来重写settings的全局变量。模式运行default.rsync 本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程； default.direct 本地目录间同步，使用cp、rm等命令完成差异文件备份； default.rsyncssh 同步到远程主机目录，rsync的ssh模式，需要使用key来认证目录设置source 同步的源目录，使用绝对路径。 target 定义目的地址.对应不同的模式有几种写法： /tmp/dest 本地目录同步，可用于direct和rsync模式 172.25.100.10:/tmp/dest 同步到远程服务器目录，可用于rsync和rsyncssh模式 excludeFrom 排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"，如果是简单的排除，可以使用exclude = LIST。这里的排除规则写法与原生rsync有点不同，更为简单：监控路径里的任何部分匹配到一个文本，都会被排除，例如foo可以匹配/bin/foo/bar 如果规则以斜线/开头，则从头开始要匹配全部 如果规则以/结尾，则要匹配监控路径的末尾 ?匹配单个任何字符，但不包括/ *匹配0或多个字符，但不包括/ **匹配0或多个字符，可以是/delaydelay 累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件）。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）delete 为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除。它除了false，还有startup、runningtrue Lsyncd将在目标上删除任何不在源中的内容。 在启动时和正常操作中被删除的内容。 false 在lsyncd启动后将在目标上不删除任何不在源中的内容， 在启动时和正常操作中被删除的内容。 startup 启动时将执行一次完全文件同步，保证完全一致；正常运行过程中不会删除target中的文件 running 启动前，增加的会同步，删除的不同步；正常运行过程中会删除target中的文件bwlimit 限速，单位kb/s，与rsync相同 compress 压缩传输默认为true。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false perms 默认保留文件权限。如果你打不开官方例子，配置部分可参考中文文档,或者其他

sersync2文件同步示例 10.0.1.61(分发)10.10.240.113(deam1)10.0.1.49(deam2)当10.0.1.49的/data/wwwroot目录下文件发生改变，sersync2就会同步到10.0.1.61和10.10.240.113上面，首先需要配置rsync同步配置完成，如下：deam安装分别在两台机器上部署rsync，以deam守护启动[root@linuxea ]# yum install rsync -y [root@linuxea ]# echo "rsync_backup:linuxea" >/etc/rsync.password [root@linuxea ]# chmod 600 /etc/rsync.password防火墙放行临时添加如下iptables -I INPUT 4 -p tcp -m state --state NEW,ESTABLISHED -m tcp -m multiport --dports 873 -m comment --comment "rsyncd" -j ACCEPT配置文件如下[root@linuxea ]# vim /etc/rsyncd.conf uid = root gid = root use chroot = no max connections = 2000 timeout = 600 pid file = /var/run/rsyncd.pid lock file = /var/run/rsync.lock lof file = /var/log/rsyncd.log ignore errors read only = false list = false hosts allow = 10.0.1.61,10.10.240.113,10.0.1.49 #允许的ip hosts deny = * auth users = rsync_backup #认证用户 secrets file = /etc/rsync.password \################################################### [linuxea] path=/data/wwwroot/创建目录后启动[root@linuxea ]# mkdir -p /data/wwwroot [root@linuxea ]# systecmctl start rsyncd同步机器-10.0.1.49在49机器上将本地的文件同步到两台deam中确保可以进行同步,测试安装rsync[root@linuxea ]# yum install rsync -y [root@linuxea ]# echo "rsync_backup:linuxea" >/etc/rsync.password [root@linuxea ]# chmod 600 /etc/rsync.password测试[root@linuxea ]# rsync -avz /data/wwwroot/ rsync_backup@10.10.240.113::linuxea --password-file=/etc/rsync.password sending incremental file list sent 40 bytes received 9 bytes 98.00 bytes/sec total size is 0 speedup is 0.00 [root@linuxea ]# rsync -avz /data/wwwroot/ rsync_backup@10.0.1.61::linuxea --password-file=/etc/rsync.password sending incremental file list sent 40 bytes received 9 bytes 98.00 bytes/sec total size is 0 speedup is 0.00安装sersync2在49的机器安装sersync2，如果49机器的/data/wwwroot下文件发生改变则同步到两台deam机器上我们在这里download ： http://code.google.com/p/sersync/downloads/list[root@linuxea ]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz [root@linuxea ]# mkdir /usr/local/sersync/ [root@linuxea ]# mv GNU-Linux-x86/ /usr/local/sersync/ sersyncd启动脚本:[root@linuxea ]# cat /etc/init.d/sersyncd \#!/bin/bash . /etc/rc.d/init.d/functions case "$1" in start) cd /usr/local/sersync/GNU-Linux-x86/ ./sersync2 -r -d -o /usr/local/sersync/GNU-Linux-x86/confxml.xml if [ $? -eq 0 ] then echo -e "Staring sersyncd [ OK ]" exit 0 fi ;; stop) kill `ps -ef|awk '/[s]ersync2/{print $2}'` if [ $? -eq 0 ] then echo -e "Stopping sersyncd [ OK ]" exit 0 fi ;; status) ps -ef|awk '/[s]ersync2/{print $0}' ;; esacconfxml.xml配置1,修改sersync同步的目录 <sersync> <localpath watch="/data/wwwroot"> <remote ip="10.0.1.61" name="linuxea"/> <remote ip="10.10.240.113" name="linuxea"/> </localpath> <rsync>如下： <sersync> <localpath watch="/data/wwwroot"> 本地目录，/data/wwwroot <remote ip="10.0.1.61" name="linuxea"/> 同步到rsync的ip和rsync模块名称，我这里的是linuxea，可参考上rsyncd.conf中的配置 <remote ip="10.10.240.113" name="linuxea"/> </localpath> <rsync>2,修改rsync同步配置| <rsync> | <commonParams params="-artuz"/> | <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/> | <userDefinedPort start="false" port="874"/><!-- port=874 --> | <timeout start="false" time="100"/><!-- timeout=100 --> | <ssh start="false"/> | </rsync>如下：| <rsync> | <commonParams params="-artuz"/> 同步参数 | <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/> 同步的用户名和密码，这里需要改成true才能生效 | <userDefinedPort start="false" port="874"/><!-- port=874 --> 端口默认 | <timeout start="false" time="100"/><!-- timeout=100 --> timeout设置rsync的timeout时间(-timeout=100)。 | <ssh start="false"/> 如果true时表示ssh使用rsync –e ssh的方式进行传输 | </rsync>3,rsync_fail_log位置修改<failLog path="/usr/local/sersync/GNU-Linux-x86/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->创建目录/usr/local/sersync/GNU-Linux-x86/logs/4,多实例的同步情况（针对多个模块同步的情况）sersync -r –d –o /usr/local/sersync/GNU-Linux-x86/confxml1.xml sersync -r –d –o /usr/local/sersync/GNU-Linux-x86/confxml2.xml-r :-r参数作用是在开启实时监控之前对主服务器目录与远程目标机目录进行一次整体同步，如果需要将sersync运行前，主服务器目录下已经存在的所有文件或目录全部同步到远端，则需要指定-r参数运行sersync，将本地与远程整体同步一次。说明：如果设置了过滤器，即在xml配置文件中，filter为true，则暂时不能使用-r参数进行整体同步。–o : 不指定-o参数时，sersync可执行文件目录下的默认配置文件confxml.xml，如果需要使用其他的配置文件，可以使用-o参数指定其他配置文件，通过-o参数，我们可以指定多个不同的配置文件，从而实现sersync多进行多实例的数据同步。–n : -n参数为指定默认的线程池的现充总数。-d ：后台运行-m ：不同步，只允许插件5,调试模式： <debug start="false"/> 设置为true值时，开启debug模式，会在sersync正在运行的控制台，打印inotify时间与rsync的同步命令。6,filter文件过滤： <filter start="false"> | <exclude expression="(.*)\.svn"></exclude> | <exclude expression="(.*)\.gz"></exclude> | <exclude expression="^info/*"></exclude> | <exclude expression="^static/*"></exclude> </filter>如下：系统默认提供了以*.gz和.svn以及info，static这些过滤的文件不会被监控，也就意味着不会被同步7,inotify文件监控： <inotify> <delete start="true"/> <createFolder start="true"/> <createFile start="true"/> <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="false"/> <modify start="false"/> </inotify>如下： <inotify> <delete start="true"/> 差异同步 <createFolder start="true"/> 目录监控，包括文件，目录，子目录 <createFile start="true"/> 关闭createFile为false可提供性能，减少rsync通讯，因为拷贝文件到监控目录会产生create事件与close_write事件，所以如果关闭create事件，只监控文件拷贝结束时的事件close_write,同样可以实现文件的完整同步。 <closeWrite start="true"/> <moveFrom start="true"/> <moveTo start="true"/> <attrib start="false"/> <modify start="false"/> </inotify>8,定期同步：| <crontab start="false" schedule="600"><!--600mins--> | <crontabfilter start="false"> | | <exclude expression="*.php"></exclude> | | <exclude expression="info/*"></exclude> | </crontabfilter> | </crontab>如下：默认600分钟定期同步一次，这里需要说明，如果开启了文件过滤，那么这里也需要同样的文件过滤配置9,文件系统<fileSystem xfs="true"/> <filter start="false"> <exclude expression="(.*)\.svn"></exclude> <exclude expression="(.*)\.gz"></exclude> <exclude expression="^info/*"></exclude> <exclude expression="^static/*"></exclude> </filter>如下： 对于XFS文件系统的用户，需要将这个选项开启，才能使sersync正常工作对于sersync监控的文件，会默认过滤系统的临时文件（以“.”开头，以“~”结尾），除了这些文件外，在6-11行中，我们还可以自定义其它需要过滤的文件。通过将 start 设置为 true 后可开启过滤功能，在exclude标签中可使用正则表达式。默认给出的两个例子分别是过滤以“.gz”结尾的文件与过滤监控目录下的info路径（监控路径/info/*），可以根据需求自己添加。但在开启的时候，自己一定要测试下，如果正则表达式出现错误，控制台会有相应提示。相比较使用 Rsync 的 exclude 功能，被过滤的路径，不会加入监控，大大减少 Rsync 同步的通讯量配置文件如下：