MySQL阶段六——MySQL备份与增量备份

MySQL备份与增量备份

01）MySQL备份常用参数

-B	1.会备份创建和删除库的语句；2.备份多个库；
--compact	去注释，适合调试
gzip	压缩：# mysqldump -uroot -pqb123 -S /data/3306/mysql.sock -F -B --master-data=2 mydb|gzip > /server/backup/bak_$(date +%F).sql.gz
-A	备份所有库
-F	刷新binlog日志
--master-data=1/2	增加binlog日志文件及对应的位置点 当为2的时候表示在dump过程中记录主库的binlog和pos点，并在dump中注释这一行；为1表示不注释 在general_log中： flush tables with read lock(分为读锁和写锁) show master status; unlock tables;(如果是不锁表备份，使用了--single-transaction，那么在开启事务之后再解锁)
-l	锁表
-d	备份表结构
-t	备份表数据
--single-transaction	适合innodb数据库引擎进行备份 设置这个参数后，整个dump过程使用的都是同一个连接id，这个连接id的作用是不影响其他连接 （set session transaction isolation level repeatable read） 这个参数的作用是，设置事务的隔离级别为可重复读，即repeatable read,这样就可以保证在一个事务中所有相同的查询读取到相同的数据，也就大概保证了在dump期间，如果其他innodb引擎的线程修改了表数据并提交，对该dump线程的数据并没有影响。 (start transaction /*with consistent snapshot*/) 这是开启了一个事务，并设置with consistent snapshot（一致的快照），如果只是可重复读，那么在开启事务的时候，还没有dump数据时，这时其他线程修改了数据，那么这时第一次查询到的结果是其他线程提交后的结果，而with consistent snapshot能保证事务开启的时候，第一次查询的结果就是事务开启时的数据。
--events	记录数据库事件

myisam引擎压根不支持事务，所以不能用--single-transaction操作；myisam实现数据一致采用参数--lock-all-tables,这样在flush tables with read lock后，知道整个dump结束，才会unlock tables;

如果myisam强制使用--single-transaction，做备份和恢复，会导致：
01）对于基于某个时间的恢复，会导致数据重复；
02）对于建库建表，会报错；
03）对应更新操作，可能会操作两次，数据会乱；

02）MySQL恢复

解压备份时压缩的文件：
gzip -d 文件名;

恢复方法：
mysql -uroot -p*** < 备份文件完整路径

不登录sql进行操作的方法：

通过echo实现（这个比较常见）
echo "show databases;" | mysql -uroot -p'qb' -S /data/3308/mysql.sock
提示：此法适合单行字符串比较少的情况。通过mysql -e参数实现
mysql -u root -p'oldboy' -S /data1/3307/mysql.sock -e "show databases;"

查看一些数据库信息总结：

Show status	查看当前状态的数据库状态信息
Show global status	查看整个数据库运行状态信息
Show processlist	查看正在执行的sql语句
Show full processlist	查看全部正在执行的完整sql语句
Show global key_buffer_size=1
Show variables;	查看 数据库的参数信息

mysql -u root -p'oldboy' -S /data1/3307/mysql.sock -e "show full processlist;"|grep -v Sleep

03）分库备份脚本实现

#!/bin/bash
BAKPATH=/opt/dbbak
MYUSER=root
MYPASS=qb123
SOCKET=/data/3306/mysql.sock
MYCMD="mysql -u$MYUSER -p$MYPASS -S $SOCKET"
MYDUMP="mysqldump -u$MYUSER -p$MYPASS -S $SOCKET -x -B -F -R"
[ ! -d $BAKPATH ] && mkdir -p $BAKPATH
DBLIST=`$MYCMD -e "show databases;"|sed 1d|egrep -v "_schema|mysql"`
for dbname in $DBLIST
do
$MYDUMP $dbname|gzip >$BAKPATH/${dbname}_$(date +%F).sql.gz
done

04）分库分表备份脚本实现

#!/bin/bash
BAKPATH=/opt/dbbak
MYUSER=root
MYPASS=qb123
SOCKET=/data/3306/mysql.sock
MYCMD="mysql -u$MYUSER -p$MYPASS -S $SOCKET"
MYDUMP="mysqldump -u$MYUSER -p$MYPASS -S $SOCKET -x -F -R"
[ ! -d $BAKPATH ] && mkdir -p $BAKPATH
DBLIST=`$MYCMD -e "show databases;"|sed 1d|egrep -v "_schema|mysql"`
for dbname in $DBLIST
do
TBLIST=`$MYCMD -e "show tables from $dbname"|sed 1d`
for tbname in $TBLIST
do
[ ! -d $BAKPATH/${dbname} ] && mkdir -p $BAKPATH/${dbname}
$MYDUMP $dbname $tbname|gzip >$BAKPATH/${dbname}/${dbname}_${tbname}_$(date +%F).sql.gz
done
done

05）当误删数据库时，恢复数据库操作（停库恢复）

通过防火墙禁止web等应用程序写数据或者锁表。让主库停止更新，然后进行恢复。

首先要做到常规全备和增量备份：

# mysqldump -uroot -pqb123 -S /data/3306/mysql.sock -F -B --master-data=2 mydb|gzip > /server/backup/bak_$(date +%F).sql.gz

发生了删除数据库的操作：
进行检查增量备份，由于全备加了-F所以之后增量备份的数据在最后一个binlog中mysql-bin.000003

[root@qbPC backup]# cd /data/3306/
[root@qbPC 3306]# ls
data    mysql             mysql-bin.000002  mysql-bin.index  mysql_qb3306.err
my.cnf  mysql-bin.000001  mysql-bin.000003  mysqld.pid       mysql.sock

然后进行恢复：

[root@qbPC backup]# gzip -d bak_2017-05-27.sql.gz
[root@qbPC 3306]# grep -i "change" /server/backup/bak_2017-05-27.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=107;

更新binlog。

[root@qbPC 3306]# mysqladmin -uroot -pqb123 -S /data/3306/mysql.sock flush-logs
[root@qbPC 3306]# cp mysql-bin.000003 /server/backup/
[root@qbPC 3306]# cd -
/server/backup
[root@qbPC backup]# ls
bak_2017-05-27.sql  bak.sql.gz  mysql-bin.000003
[root@qbPC backup]# mysqlbinlog -d mydb mysql-bin.000003 > bin.sql
[root@qbPC backup]# vim bin.sql
进去删掉错误操作的sql语句。

进行恢复

[root@qbPC backup]# mysql -uroot -pqb123 -S /data/3306/mysql.sock <bak_2017-05-27.sql
[root@qbPC backup]# mysql -uroot -pqb123 -S /data/3306/mysql.sock mydb <bin.sql
完成！

06）被误删除数据库，不停库恢复

使用主从复制延迟方法！

07）被误删除数据库，不停库恢复

l 停止一个从库，然后主库刷新binlog，把增量备份mysql-bin.000003的数据恢复成bin.sql（去掉drop语句）；l 把全备以及增量恢复到从库；l 刷新以后的binlog数据mysql-bin.000004；l 这个时候停止主库，快速把刷新以后到binlog数据恢复到从库；然后切换从库为主库提供服务。
l 问题：当不停主库，将从库快速切换到主库的时候，就可能有crud操作，这个时候将主库之前刷新的数据mysql-bin.000004恢复到现在的主库的时候，可能会有不可预知的问题；最好的方案是将现在主库停一下，快速恢复数据然后开启服务，尽可能少停止主库。
08) 解析MySQL的binlog日志
l 日志作用：用来记录mysql内部对数据库更新内容的操作记录（不会记录select语句）l Binlog拆库： mysqlbinlog -d mydb mysql-bin.000003 > bin.sql（-d指定拆的库名）l 指定时间和位置点恢复：mysqlbinlog mysql-bin.000001 --start-position=356 --stop-position=456 -r pos.sql（指定时间一般不准确）
l Mysqlbinlog不能使用：原因：my.cnf配置文件[client]下面配置了default-character-set=utf8，这是mysql的一个bug；解决：变成loose-default-character-set=utf8或者将其注释。（修改my.cnf之后不需要重启服务，因为mysqlbinlog是从磁盘上读my.cnf，不是从内存读）

09）防止人为误操作MySQL数据库
参考http://oldboy.blog.51cto.com/2561410/1321061
------------------------------------------------------------------------1、mysql帮助说明

[oldboy_c64 ~]# mysql --help|grep dummy
-U, --i-am-a-dummy Synonym for option --safe-updates, -U.
i-am-a-dummy      FALSE

在mysql命令加上选项-U后，当发出没有WHERE或LIMIT关键字的UPDATE或DELETE时，mysql程序就会拒绝执行

2、指定-U登录测试

[oldboy_c64 ~]# mysql -uroot -poldboy123 -S /data/3306/mysql.sock -U
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 14
Server version: 5.5.32-log MySQL Community Server (GPL)
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> delete from oldboy.student;
ERROR 1175 (HY000): You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column
mysql> quit
Bye

提示：不加条件无法删除，目的达到。

3、做成别名防止老大和DBA误操作

[oldboy_c64 ~]# alias mysql='mysql -U'
[oldboy_c64 ~]# mysql -uroot -poldboy123 -S /data/3306/mysql.sock
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 15
Server version: 5.5.32-log MySQL Community Server (GPL)
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> delete from oldboy.student;
ERROR 1175 (HY000): You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column
mysql> delete from oldboy.student where Sno=5;
Query OK, 1 row affected (0.02 sec)
mysql> quit
Bye
[oldboy_c64 ~]# echo "alias mysql='mysql -U'" >>/etc/profile
[oldboy_c64 ~]# . /etc/profile
[oldboy_c64 ~]# tail -1 /etc/profile
alias mysql='mysql -U'

结论：
在mysql命令加上选项-U后，当发出没有WHERE或LIMIT关键字的UPDATE或DELETE时，mysql程序拒绝执行

--------------------------------------------------------------------------------