大文件跨网传输技巧
2013-08-30 22:24
260 查看
运维DBA跨网传输大文件就如同上茅厕下厨房一般无二
好的方法并非显而易见,且方法的优劣差异可能非常显著
常言道:蔬菜最后一公里价格翻一翻,即便不听常言
我们用迅雷下载常常驻足在99.9%,亦可窥见文件校验的昂贵
整个传输需要综合考量的因素颇多,这里我仅拿是否压缩来写
压缩无须做文件校验,且节省网络带宽,提高传输速度
相关资源如:CPU、内存、IO,最好用vmstat -n 5看IO或者CPU是否为瓶颈
切莫教条主义导致和数据库服务器争抢资源拖垮DB Server
因为压缩必然要增加CPU开销!
以下介绍4种方法
㈠ rsync
利用rsync的二进制差异算法,只在网间同步变化的数据,这是rsync优势所在。
在知道文件中大部分的内容都不需要传输的场景下,可以优先考虑使用rsync。
[mysql@even ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak
root@192.168.1.110's password:
sending incremental file list
./
cdio_bak.sql
sent 1061815 bytes received 34 bytes 163361.38 bytes/sec
total size is 1061575 speedup is 1.00
[mysql@even ~]$ mv cdio_bak.sql.bz2 /backup
[mysql@even ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak
root@192.168.1.110's password:
sending incremental file list
./
cdio_bak.sql.bz2
sent 308 bytes received 34 bytes 76.00 bytes/sec
total size is 1061757 speedup is 3104.55
显然,这次只同步了变化的308字节大小。
㈡ scp
这大概会是最简单的方法,但速度较慢,因为每步都要读写磁盘
[mysql@even ~]$ gzip -c cdio_bak.sql > cdio_bak.sql.gz
[mysql@even ~]$ scp cdio_bak.sql.gz root@192.168.1.110:/bak
[root@odd bak]# gunzip cdio_bak.sql.gz
㈢ 管道
一步到位,极大降低IO开销。平时我也是用这种。
[mysql@even ~]$ gzip -c cdio_bak.sql | ssh root@192.168.1.110 "gunzip -c - > /bak/cdio.sql"
㈣ nc
跨网ssh并非最佳,netcat能使数据在网间"裸奔",避免加密带来的系统开销。
ODD机器[受]:
犹如饿坏了的宠物小狗,张着嘴等着小主人喂食
[root@odd ~]# nc -l -p 55555 | tar zxvf -
EVEN机器[攻]:
比如贪玩的小主人,往小狗嘴里倒东东
[root@even ~]# tar zcvf - mm | nc 192.168.1.110 55555
By DBA_WaterBin
2013-08-30
Good Luck
好的方法并非显而易见,且方法的优劣差异可能非常显著
常言道:蔬菜最后一公里价格翻一翻,即便不听常言
我们用迅雷下载常常驻足在99.9%,亦可窥见文件校验的昂贵
整个传输需要综合考量的因素颇多,这里我仅拿是否压缩来写
压缩无须做文件校验,且节省网络带宽,提高传输速度
相关资源如:CPU、内存、IO,最好用vmstat -n 5看IO或者CPU是否为瓶颈
切莫教条主义导致和数据库服务器争抢资源拖垮DB Server
因为压缩必然要增加CPU开销!
以下介绍4种方法
㈠ rsync
利用rsync的二进制差异算法,只在网间同步变化的数据,这是rsync优势所在。
在知道文件中大部分的内容都不需要传输的场景下,可以优先考虑使用rsync。
[mysql@even ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak
root@192.168.1.110's password:
sending incremental file list
./
cdio_bak.sql
sent 1061815 bytes received 34 bytes 163361.38 bytes/sec
total size is 1061575 speedup is 1.00
[mysql@even ~]$ mv cdio_bak.sql.bz2 /backup
[mysql@even ~]$ rsync -av /backup/ -e ssh root@192.168.1.110:/bak
root@192.168.1.110's password:
sending incremental file list
./
cdio_bak.sql.bz2
sent 308 bytes received 34 bytes 76.00 bytes/sec
total size is 1061757 speedup is 3104.55
显然,这次只同步了变化的308字节大小。
㈡ scp
这大概会是最简单的方法,但速度较慢,因为每步都要读写磁盘
[mysql@even ~]$ gzip -c cdio_bak.sql > cdio_bak.sql.gz
[mysql@even ~]$ scp cdio_bak.sql.gz root@192.168.1.110:/bak
[root@odd bak]# gunzip cdio_bak.sql.gz
㈢ 管道
一步到位,极大降低IO开销。平时我也是用这种。
[mysql@even ~]$ gzip -c cdio_bak.sql | ssh root@192.168.1.110 "gunzip -c - > /bak/cdio.sql"
㈣ nc
跨网ssh并非最佳,netcat能使数据在网间"裸奔",避免加密带来的系统开销。
ODD机器[受]:
犹如饿坏了的宠物小狗,张着嘴等着小主人喂食
[root@odd ~]# nc -l -p 55555 | tar zxvf -
EVEN机器[攻]:
比如贪玩的小主人,往小狗嘴里倒东东
[root@even ~]# tar zcvf - mm | nc 192.168.1.110 55555
By DBA_WaterBin
2013-08-30
Good Luck
相关文章推荐
- rsync增量传输大文件优化技巧
- 大文件跨网传输技巧
- 技巧: 压缩 XML 文件以便有效地传输
- qq传输文件技巧
- 使用Filezilla在主机和虚拟机中传输文件
- Mac技巧之显示/隐藏苹果的MacOSX系统下隐藏文件的终端命令
- C#串口通信—传输文件测试
- Qt实用技巧:使用QMediaPlayer和Windows自带组件播放swf、rmvb、mpg、mp4等视频文件
- 一起谈.NET技术,WCF使用NetTcp传输文件
- python post传输文件脚本
- OpenSSH实现Windows和Linux文件安全传输
- 在Xshell中使用sz、rz进行本机和远程主机(或虚拟机)之间文件的传输
- <车载物联网项目,视频采集传输部分,第二天> 使用ffserver输出视频文件流,并且使用使用命令行终端播放视频文件
- WSE3.0构建Web服务安全(4):MTOM消息传输优化和文件上传、下载
- Gstreamer实现摄像头的远程采集,udp传输,本地显示和保存为AVI文件 接收保存显示端
- 利用securecrt在linux与windows之间传输文件
- HTML5 文件域+FileReader 分段读取文件并上传到服务器(解决传输量小 慢)
- 不带确认机制的UDP文件传输
- ActiveMQ传输文件的几种方式原理与优劣
- 利用流式套接字传输数据文件