实时复制服务介绍

1.1 企业数据备份方案介绍

在网站集群架构中，数据永远是网站最重要的，一旦数据造成丢失，将会给企业造成巨大损失，因此，企业网站和应用需要有完善的数据备份方案来确保数据安全。在真实企业中，数据备份方案通常有以下几种情况：

1、利用定时方式，实现周期备份重要数据信息

需要周期性备份的数据可分为两类：一是程序猿发布的程序代码以及运维人员对服务器等的配置变更文件，一般会使用定时任务执行脚本对该类文件进行备份，然后再配合rsync工具推送到远端服务器备份。二是对于数据库等的数据会用定时执行脚本备份，然后再配合rsync工具推送到远端服务器备份。

下图为周期性数据备份示意图：

7f932584-bbb5-4558-a7a3-c9144208fa12.jpg

2、利用实时复制方式，实现实时备份重要数据信息

实时复制是企业数据备份最重要的方式，主要用于用户提交的数据的备份，对于用户提交到服务器上的普通文件（压缩包、视频、文档等），可采用sersync+rsync实时备份方式。对于数据文件还有较复杂的分布式存储工具自身可以实现讲数据同时备份成多分。，列如：Fastdfs、GlusterFS等。对于提交到数据库中的数据，可使用数据库的主从复制（列如：Mysql、Oracle）方式备份，这是软件自带的实时复制备份方式。有的企业会采用更多思路实现数据同时变为多份，列如：程序业务逻辑在数据提交时，同时提交到两个服务器。

下图为普通数据文件实时数据备份示意图：

93c3f02a-786e-4b7b-bfb6-90ffb1e45d08.jpg

1.2 Sersync同步原理：

b7451a9c-cca2-43b5-abcf-97c99e8a53ab.jpg

1、用户实时的往sersync服务器（M）上写入更新文件数据

2、此时需要在同步主服务器（M）上配置sersync服务

3、在客户端1和客户端2上开启rsync守护进程服务，以同步拉取来自sersync服务器（M）上的数据

通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件。然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器（客户端1和客户端2），如此简单

1.2.1 实时复制细节实现说明

1、实时复制软件会监控磁盘文件系统的变化，比如：指定一个/data目录，实时复制软件服务器进程会实时监控这个/data目录中数据的变化，即文件系统block与inode信息的变化

2、一旦/data目录文件发生变化，就会执行rsync命令，将变化的数据信息推送到备份服务器相应的备份目录中，从而完成数据的实时备份。

1.3 实时复制软件介绍

随着互联网技术的不断发展，数据复制软件服务也层出不穷，目前企业中较为常用的实时复制软件有如下两种：

c0f159ed-2c13-4a9f-8203-fb5c080aa821.jpg

1.4 实时复制inotify机制介绍

1.4.1 inotify机制简介

Inotify是一种异步的件系统事件监控机制，Linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加。删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施这样监控的软件。实际上inotify-tools是一个监控指定目录数据实时变化的软件程序

Inotify程序原理是一种事件驱动机制，它为应用程序监控文件系统事件提供了实时响应事件的机制，可以做到对事件处理的实时响应。

  • inotify机制优点
    1、监控文件系统事件变化，通过复制工具实现实时数据复制
    2、支持多线程实时复制
  • inotify机制缺点
    实测并发如果大于200个文件（20-100k），复制会有延迟

1.5 sersync工具简介

sersync项目利用inotify与rsync技术实现对服务器数据实时复制的解决方案，其中inot用于监控sersync所在服务器上文件系统的事件变化，rsync是目前广泛使用的本地与异地数据复制工具，其优点是只对变化的目录数据操作，甚至是一个文件不同的部分进行复制，所以其优势大大超过使用挂接文件系统或scp等方式进行镜像复制。

  • sersync优点
    1、使用c++编写，对linux系统文件产生的临时文件和重复的文件操作会进行过滤,再结合rsync复制的时候，会减少运行时消耗的本地及网络资源。因此速度更快
    2、sersync配置起来很简单
    3、使用多线程进行复制，尤其在复制较大文件时，能够保证多个服务器实时保持复制状态
    4、sersync自带出错处理机制，通过失败队列对出错的文件重新复制，如果仍旧失败，则每若干个小时对复制失败的文件再重新复制
    5、sersync自带crontab功能，只需在xml配置文件中开启，即可按预先的配置，隔一段时间整体复制一次
    6、sersync自带socket与http的协议扩展，可以满足有特殊需求的公司二次开发

1.5.1 sersync软件原理图

5be7ce13-32c3-4443-9a68-6074138016a3.jpg

1.5.2 sersync实践

  1. #1、测试一下rsync服务是否可用
  2. [root@nfs-41 ~]# rsync -avz --no-o --no-g /backup/ rsync_backup@10.0.0.31::backup --password-file=/etc/rsync.password
  5. #2、安装inotify-tools
  6. [root@nfs-41 server]# ls  #上传inotify-tools
  7. inotify-tools-3.14.tar.gz
  8. [root@nfs-41 server]# tar xf inotify-tools-3.14.tar.gz
  9. [root@nfs-41 server]# cd inotify-tools-3.14
  10. [root@nfs-41 inotify-tools-3.14]# ./configure
  11. [root@nfs-41 inotify-tools-3.14]# make && make install
  14. #3、部署sersync服务（客户端）
  15. [root@nfs-41 server]# ls  #上传sersync客户端
  16. sersync2.5.4_64bit_binary_stable_final.tar.gz
  17. [root@nfs-41 server]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
  18. [root@nfs-41 server]# mv GNU-Linux-x86/ sersync
  19. [root@nfs-41 server]# cd sersync/
  20. [root@nfs-41 sersync]# ls
  21. confxml.xml #sersync配置文件   sersync2 #sersync启动程序
  22. [root@nfs-41 sersync]# echo "123456" > /iflytek/server/sersync/user.pass  #配置下密码文件，因为这个密码是要服务端需要的密码和服务端密码必须一致（/etc/rsync.password）
  23. [root@nfs-41 sersync]# chmod 600 /iflytek/server/sersync/user.pass  #修改权限
  24. [root@nfs-41 sersync]# vim confxml.xml  #修改配置文件之前
  25. <?xml version="1.0" encoding="ISO-8859-1"?>
  26. <head version="2.5">
  27.      #设置本地ip和端口
  28. <host hostip="localhost" port="8008"></host>
  29. #开启DUBUG模式
  30. <debug start="false"/>
  31. #开启xfs文件系统
  32. <fileSystem xfs="false"/>
  33. #同步时忽略推送的文件，默认关闭
  34.     <filter start="false">
  35. <exclude expression="(.*)\.svn"></exclude>
  36. <exclude expression="(.*)\.gz"></exclude>
  37. <exclude expression="^info/*"></exclude>
  38. <exclude expression="^static/*"></exclude>
  39.     </filter>
  40. <inotify>
  41. #设置要监控的事件
  42. <delete start="true"/>
  43. <createFolder start="true"/>
  44. <createFile start="false"/>
  45. <closeWrite start="true"/>
  46. <moveFrom start="true"/>
  47. <moveTo start="true"/>
  48. <attrib start="false"/>
  49. <modify start="false"/>
  50.     </inotify>
  52. <sersync>
  53. #本地同步的目录路径
  54. <localpath watch="/opt/tongbu">
  55.         #远程IP和rsync模块名
  56.     <remote ip="127.0.0.1" name="tongbu1"/>
  57.     <!--<remote ip="192.168.8.39" name="tongbu"/>-->
  58.     <!--<remote ip="192.168.8.40" name="tongbu"/>-->
  59. </localpath>
  60. <rsync>
  61.         #rsync指令参数
  62.     <commonParams params="-artuz"/>
  63.         #rsync同步认证
  64.     <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
  65.         #设置rsync远程服务端口，远程非默认端口则需打开自定义
  66.     <userDefinedPort start="false" port="874"/><!-- port=874 -->
  67.         #设置超时时间
  68.     <timeout start="false" time="100"/><!-- timeout=100 -->
  69.         #设置rsync+ssh加密传输模式，默认关闭，开启需设置ssh加密证书
  70.     <ssh start="false"/>
  71. </rsync>
  72.     #sersync传输失败日志脚本路径，每隔60秒会重新执行该脚本，执行完毕会自动清空
  73. <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
  74.     #设置rsync+crontab定时传输，默认关闭
  75. <crontab start="false" schedule="600"><!--600mins-->
  76.     <crontabfilter start="false">
  77. <exclude expression="*.php"></exclude>
  78. <exclude expression="info/*"></exclude>
  79.     </crontabfilter>
  80. </crontab>
  81.     #设置sersync传输后调用name指定的插件脚本，默认关闭
  82. <plugin start="false" name="command"/>
  83.     </sersync>
  85.     #插件脚本范例
  86.     <plugin name="command">
  87. <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
  88. <filter start="false">
  89.     <include expression="(.*)\.php"/>
  90.     <include expression="(.*)\.sh"/>
  91. </filter>
  92.     </plugin>
  94.     #插件脚本范例
  95.     <plugin name="socket">
  96. <localpath watch="/opt/tongbu">
  97.     <deshost ip="192.168.138.20" port="8009"/>
  98. </localpath>
  99.     </plugin>
  100.     <plugin name="refreshCDN">
  101. <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
  102.     <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
  103.     <sendurl base="http://pic.xoyo.com/cms"/>
  104.     <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
  105. </localpath>
  106.     </plugin>
  107. </head>
  109. #修改后的局部脚本内容
  110.  <sersync>
  111. <localpath watch="/data">   #本地端要实时推送的目录
  112.     <remote ip="10.0.0.31" name="backup"/>   #对端ip和对端的目录名称
  113.     <!--<remote ip="192.168.8.39" name="tongbu"/>-->
  114.     <!--<remote ip="192.168.8.40" name="tongbu"/>-->
  115. </localpath>
  116. <rsync>
  117.     <commonParams params="-avz"/>
  118.     <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/> #开启rsync，rsync的模块名称和rsync的密码文件
  119.     <userDefinedPort start="false" port="874"/><!-- port=874 -->
  120.     <timeout start="true" time="100"/><!-- timeout=100 -->
  121.     <ssh start="false"/>
  122. </rsync>
  123.     #sersync传输失败日志脚本路径，每隔60秒会重新执行该脚本，执行完毕会自动清空
  124. <failLog path="/application/sersync_installdir_64bit/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--def
  127. #4、启动sersync服务
  128. [root@nfs-41 sersync]# nohup /iflytek/server/sersync/sersync2 -r -d -o /iflytek/server/sersync/confxml.xml &
  131. #5、添加开机自启动
  132. [root@nfs-41 sersync]# tail -1 /etc/rc.d/rc.local
  133. nohup /iflytek/server/sersync/sersync2 -r -d -o /iflytek/server/sersync/confxml.xml &
  136. #6、命令参数说明
  137. sersync：实时同步工具
  138. 主要选项：
  139. -d 启用守护进程模式
  140. -r 在监控前，将监控目录与远程主机用rsync命令推送一遍
  141. -n 指定开启守护进程的数量，默认为10个
  142. -o 指定配置文件，默认使用confxml.xml文件
  145. https://github.com/wsgzao/sersync 以上软件都可以在官方下载