企业级整站集群数据备份项目方案详解

基本备份要求

要求：每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送备份服务器backup上备份保留（备份思路可以是先在本地按日期打包，然后再推到备份服务器backup上），NFS存储服务器同Web服务器，实际工作中就是全部的服务器。

具体要求如下：

1)所有服务器的备份目录必须都为/backup。

2)要备份的系统配置文件包括但不限于：

a.定时任务服务的配置文件(/var/spool/cron/root)（适合web和nfs服务器）。

b.开机自启动的配置文件(/etc/rc.local)（适合web和nfs服务器）。

c.日常脚本的目录 (/server/scripts)（适合web和nfs服务器）。

d.防火墙iptables的配置文件(/etc/sysconfig/iptables)。

e.自己思考下还有什么需要备份呢？

3)Web服务器站点目录假定为(/var/html/www)。

4)Web服务器A访问日志路径假定为（/app/logs）

5)Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天，因为太多硬盘会满)

6)备份服务器上,保留每周一的所有数据副本，其它要保留6个月的数据副本。

7)备份服务器上要按照备份数据服务器的内网IP为目录保存备份，备份的文件按照时间名字保存。

8）*需要确保备份的数据尽量完整正确，在备份服务器上对备份的数据进行检查，把备份的成功及失败结果信息发给系统管理员邮箱中

规范项目文档、画逻辑图，提交审核

思路：

1.搭建backup服务器

a)rsync服务

2.搭建web01服务器

a.验证rsync服务能否推送成功

b.开发校本实现打包、备份、推送、校验、删除

c.配置定时任务每天0点准时推送

3.backup服务器：

a.校本实现校验、删除、报警

b.配置定时任务每天6点定时执行

4.同理搭建其他服务器

实施手册：

一、rsync服务端配置即backup服务器的配置:

1.配置rsync服务端

vim /etc/rsyncd.conf

#Rsync server

##rsyncd.conf

uid = rsync # 客户端具有rsync用户的权限

gid = rsync

use chroot = no #与安全相关

max connections = 20 #客户端最大连接数

timeout = 600 #超时时间

pid file = /var/run/rsyncd.pid #进程号文件

lock file = /var/run/rsync.lock #锁文件

log file = /var/log/rsyncd.log #log文件

ignore errors #忽略错误

read only = false #可读写

list = false #不可远程列表

hosts allow = 192.168.3/24 #允许的ip网段

hosts deny = 0.0.0.0/32

auth users = rsync_backup #远程连接的用户

secrets file = /etc/rsync.password #存放用户和密码的文件

[backup] #模块

comment = backup server by chinasoft 2017-04-10 #注释

path = /backup #共享的目录

注意：在配置/etc/rsyncd.conf时最好不要加注释，可能会出错

*************************************************

uid = rsync

gid = rsync

use chroot = no

max connections = 20

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[backup]

path = /backup

ignore errors

read only = false

list = false

hosts allow = 192.168.3.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

*************************************************

添加rsync用户

useradd -s /sbin/nologin -M rsync

创建目录

mkdir /backup

chown -R rsync.rsync /backup

写入密码

echo 'rsync_backup:rsyncpass' >/etc/rsync.password

#配置密码文件/etc/.rsyncd.passwd,文件格式是明文的,所以文件权限设为600

chmod 600 /etc/rsync.password

#配置服务能够启动,监听在873/tcp端口上

# rsync --daemon

# ss -tunlp|grep rsync

tcp LISTEN 0 5 :::873 :::* users:(("rsync",64141,5))

tcp LISTEN 0 5 *:873 *:* users:(("rsync",64141,3))

# chkconfig rsync on

# service xinetd start

或者写入rc.local

echo '/usr/bin/rsync --daemon' >> /etc/rc.local

二、rsync客户端配置步骤(需要备份的服务器如web/nfs/mysql等)

1、创建密码文件

echo "jack">/etc/rsync.password

chmod 600 /etc/rsync.password

mkdir /backup

添加配置文件

vim /etc/rsyncd.conf

uid = rsync

gid = rsync

use chroot = no

max connections = 20

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[backup]

path = /backup

ignore errors

read only = false

list = false

hosts allow = 192.168.3.0/24

hosts deny = 0.0.0.0/32

auth users = rsync_backup

secrets file = /etc/rsync.password

2、rsync测试

rsync -avz /backup/ rsync://rsync_backup@192.168.3.12/backup --password-file=/etc/rsync.password

报错：

# rsync -avz /backup/ rsync://rsync_backup@192.168.3.12/backup/ --password-file=/etc/rsync.password

@ERROR: auth failed on module backup

rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]

解决办法：

是因为服务端配置文件加了注释，去掉注释重启即可

md5指纹测试，对某个文件生成md5码，然后修改文件发现md5sum -c验证不通过

# md5sum /etc/hosts > zhiwen.txt

# md5sum -c zhiwen.txt

/etc/hosts: OK

# echo "#" >> /etc/hosts

# md5sum -c zhiwen.txt

/etc/hosts: FAILED

md5sum: WARNING: 1 computed checksum did NOT match

创建测试目录：

mkdir -p /var/html/www

touch /var/html/www/{1..10}

mkdir /app/logs/ -p

touch /app/logs/{a..g}

mkdir -p /server/scripts

压缩文件

# tar zcvfh /backup/sys_config_$(date +%F).tar.gz /var/spool/cron /etc/rc.local /server/scripts

客户端自动备份脚本：

vim /server/scripts/bak.sh

#!/bin/bash

export PATH=/bin:/sbin/bin:/usr/sbin:/usr/bin

IP=$(/sbin/ifconfig eth0|awk -F "[ :]+" 'NR==2{print $4}')

bakpath=/backup

/bin/mkdir $bakpath/$IP -p

if [ $(date +%w) -eq 2 ];then

date="$(date +%F -d "-1day")_week1"

else

date="$(date +%F -d "-1day")"

fi

cd / &&\

/bin/tar zcfh $bakpath/$IP/sys_config_$(date +%F).tar.gz var/spool/cron etc/rc.local server/scripts &&\

/bin/tar zcf $bakpath/$IP/web_data_$(date +%F).tar.gz var/html/www/ &&\

/bin/tar zcf $bakpath/$IP/access_log_$(date +%F).tar.gz app/logs &&\

find $bakpath -type f -name "*.tar.gz"|xargs md5sum > $bakpath/$IP/flag_$(date +%F)

# bak data to backupserer

rsync -avz $bakpath/ rsync://rsync_backup@192.168.3.12/backup --password-file=/etc/rsync.password

# del data 7 days ago

find $bakpath -type f -mtime +7|xargs rm -f

添加计划任务，每天一次备份并且向backup服务器推送

00 00 * * * /bin/bash /server/scripts/bak.sh > /dev/null 2>&1

三、在backup备份服务器上添加检测功能并且进行邮件发送报警

添加一行vim /etc/mail.rc

set from=username@163.com smtp=smtp.163.com smtp-auth-user=pass smtp-auth-password=reblue.520 smtp-auth=login

测试邮件是否能够正常发送，这个配置通过163.com向qq发送信息是ok的，需要在163邮箱配置中开启smtp发送

echo 'yunva telnolegy infomation'|mail -s 'yunva.com' 111@qq.com

添加自动发送邮件脚本：

vim /server/scripts/checkbak.sh

#!/bin/bash

if [ $(date +%w) -eq 2 ];then

date="$(date +%F -d "-1day")_week1"

else

date="$(date +%F -d "-1day")"

fi

find /backup/ -name "flag_${date}*" |xargs md5sum -c &>>/tmp/mail_$(date +%F).log

find /backup/ -type f -name "*.tar.gz" -a ! -name "*week1*" -mtime +1 | xargs rm -f

mail -s "backup `date`" 111@qq.com < /tmp/mail_$(date +%F).log

# cp命令前面一定要加 \ 表示命令隔开，如果不加shell会认为是一个命令

\cp /tmp/mail_$(date +%F).log /tmp/mail_$(date +%F).log.ori

>/tmp/mail_$(date +%F).log

添加计划任务，每天6点检查并且发送邮件提醒

00 06 * * * /bin/bash /server/scripts/checkbak.sh > /dev/null 2>&1