MySQL 执行load data infile时同步原理及注意事项

1、在客户端也可以向远程MySQL服务器执行 ‘load data‘ 命令
比如，客户端IP： 192.168.204.132
服务器IP： 192.168.204.131
可以在192.168.204.132上，
执行命令： mysql -h 192.168.204.131 -utest -ptest test -e'load local data infile "/opt/xxxxx.txt" into table loadtest;'

条件：
如果使用源码编译的MySQL，在configure的时候，需要添加参数：--enable-local-infile
客户端和服务器端都需要，否则不能使用local参数

2、load data infile 和 load local data infile 在 innodb和MyISAM 同步方面的区别

对MyISAM引擎：
(1)对master服务器进行 ‘load’ 操作
(2)在master上所操作的load.txt文件，会同步传输到slave上，并在tmp_dir 目录下生成 load.txt文件
master服务器插入了多少，就传给slave多少
(3)当master上的load操作完成后，传给slave的文件也结束时
即：在slave上生成完整的 load.txt文件
此时，slave才开始从 load.txt 读取数据，并将数据插入到本地的表中

对innodb引擎：
(1)主数据库进行 ‘Load’ 操作
(2)主数据库操作完成后，才开始向slave传输 load.txt文件，
slave接受文件，并在 tmp_dir 目录下生成 load.txt 文件
接受并生成完整的load.txt 后，才开始读取该文件，并将数据插入到本地表中

异常情况处理：
1）对MyISAM引擎
当数据库执行load,此时如果中断：
Slave端将报错，例如：

1）在客户端也可以向远程MySQL服务器执行 ‘load data‘ 命令，
比如，客户端IP： 192.168.204.132
服务器IP： 192.168.204.131
可以在192.168.204.132上，
执行命令： mysql -h 192.168.204.131 -utest -ptest test -e'load local data infile "/opt/xxxxx.txt" into table loadtest;'

条件：
如果使用源码编译的MySQL，在configure的时候，需要添加参数：--enable-local-infile
客户端和服务器端都需要，否则不能使用local参数

2）load data infile 和 load local data infile 在 innodb和MyISAM 同步方面的区别
对MyISAM引擎：
(1)对master服务器进行 ‘load’ 操作，
(2)在master上所操作的load.txt文件，会同步传输到slave上，并在tmp_dir 目录下生成 load.txt文件
master服务器插入了多少，就传给slave多少
(3)当master上的load操作完成后，传给slave的文件也结束时，
即：在slave上生成完整的 load.txt文件
此时，slave才开始从 load.txt 读取数据，并将数据插入到本地的表中

对innodb引擎：
(1)主数据库进行 ‘Load’ 操作
(2)主数据库操作完成后，才开始向slave传输 load.txt文件，
slave接受文件，并在 tmp_dir 目录下生成 load.txt 文件
接受并生成完整的load.txt 后，才开始读取该文件，并将数据插入到本地表中

异常情况处理：
1）对MyISAM引擎
当数据库执行load,此时如果中断：
Slave端将报错，例如：
####################################################################
Query partially completed on the master (error on master: 1053) and was aborted.
There is a chance that your master is inconsistent at this point.
If you are sure that your master is ok,
run this query manually on the slave and then restart the slave with SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
START SLAVE; . Query: 'LOAD DATA INFILE '/tmp/SQL_LOAD-2-1-3.data' IGNORE INTO TABLE `test_1`
FIELDS TERMINATED BY ',' ENCLOSED BY '' ESCAPED BY '\\' LINES TERMINATED BY '\n' (`id`, `name`, `address`)'
###########################################################################################
按照提示，在slave服务器上：
(1) 使用提示的load命令，将主服务器传输过来的load文件，在从服务器上执行
(2)让从服务器跳过错误。set global sql_slave_skip_counter=1;
(3)开启同步
2）对Innodb引擎
由于innodb是事务型的，所以会把load文件的整个操作当作一个事务来处理，
中途中断load操作，会导致回滚。
与此相关的一些参数：
max_binlog_cache_size----能够使用的最大cache内存大小。
当执行多语句事务时，max_binlog_cache_size如果不够大，
系统可能会报出“Multi-statement
transaction required more than 'max_binlog_cache_size' bytes of storage”的错误。
备注：以load data 来说，如果load的文件大小为512M，在执行load 的过程中，
所有产生的binlog会先写入binlog_cache_size,直到load data 的操作结束后，
最后，再由binlog_cache_size 写入二进制日志，如mysql-bin.0000008等。
所以此参数的大小必须大于所要load 的文件的大小，或者当前所要进行的事务操作的大小。

max_binlog_size------------Binlog最大值，一般设置为512M或1GB，但不能超过1GB。
该设置并不能严格控制Binlog的大小，尤其是Binlog遇到一根比较大事务时，
为了保证事务的完整性，不可能做切换日志的动作，只能将该事务的所有SQL都记录进
当前日志，直到事务结束
备注：有时能看到，binlog生成的大小，超过了设定的1G。这就是因为innodb某个事务的操作比较大，
不能做切换日志操作，就全部写入当前日志，直到事务结束。

按照提示，在slave服务器上：
(1) 使用提示的load命令，将主服务器传输过来的load文件，在从服务器上执行
(2)让从服务器跳过错误。set global sql_slave_skip_counter=1;
(3)开启同步

2）对Innodb引擎
由于innodb是事务型的，所以会把load文件的整个操作当作一个事务来处理，
中途中断load操作，会导致回滚。
与此相关的一些参数：
max_binlog_cache_size----能够使用的最大cache内存大小。
当执行多语句事务时，max_binlog_cache_size如果不够大，
系统可能会报出“Multi-statement
transaction required more than 'max_binlog_cache_size' bytes of storage”的错误。
备注：以load data 来说，如果load的文件大小为512M，在执行load 的过程中，
所有产生的binlog会先写入binlog_cache_size,直到load data 的操作结束后，
最后，再由binlog_cache_size 写入二进制日志，如mysql-bin.0000008等。
所以此参数的大小必须大于所要load 的文件的大小，或者当前所要进行的事务操作的大小。

max_binlog_size------------Binlog最大值，一般设置为512M或1GB，但不能超过1GB。
该设置并不能严格控制Binlog的大小，尤其是Binlog遇到一根比较大事务时，
为了保证事务的完整性，不可能做切换日志的动作，只能将该事务的所有SQL都记录进
当前日志，直到事务结束

注：有时能看到，binlog生成的大小，超过了设定的1G。这就是因为innodb某个事务的操作比较大，
不能做切换日志操作，就全部写入当前日志，直到事务结束。欢迎点击链接加入群【MySQL大型分布式集群交流】：https://jq.qq.com/?_wv=1027&k=5Ro2Exg