使用BBCP来提升跨互联网的数据传输速度
2016-03-08 11:05
567 查看
背景介绍:
目前项目在美国东西部以及欧洲都有服务器节点,跨互联网的数据传输速度很不稳定,之前我们主要是通过SCP以及Rsync等方式进行数据传输的。
无意间发现了BBCP这个软件之后,经过测试,效果非常好,速度提升效果很明显,并且传输速度一直比较稳定,同时支持日志以及失败后重试等参数,非常不错。
参考资料:
http://www.slac.stanford.edu/~abh/bbcp/
http://pcbunn.cithep.caltech.edu/bbcp/using_bbcp.htm
https://www.olcf.ornl.gov/kb_articles/transferring-data-with-bbcp/
安装配置:
结论:
在上面的测试中,传输一个大小为2G的文件,使用BBCP耗时仅5分钟,而普通的SCP则耗时16分钟,速度提升超过60%。
Windows 下 rsync 代码分发
重压下的Ubuntu Tweak服务端的解压方案
LVS-DR+Ldirectord+FreeNas实现负载均衡群集
运维85条军规
10 个你可能没用过的Linux命令
转载请注明:爱开源 » 使用BBCP来提升跨互联网的数据传输速度
目前项目在美国东西部以及欧洲都有服务器节点,跨互联网的数据传输速度很不稳定,之前我们主要是通过SCP以及Rsync等方式进行数据传输的。
无意间发现了BBCP这个软件之后,经过测试,效果非常好,速度提升效果很明显,并且传输速度一直比较稳定,同时支持日志以及失败后重试等参数,非常不错。
参考资料:
http://www.slac.stanford.edu/~abh/bbcp/
http://pcbunn.cithep.caltech.edu/bbcp/using_bbcp.htm
https://www.olcf.ornl.gov/kb_articles/transferring-data-with-bbcp/
安装配置:
[aikaiyuan@aikaiyuan~]$ sudo wget http://www.slac.stanford.edu/~abh/bbcp/bin/amd64_rhel60/bbcp -O /usr/bin/bbcp [aikaiyuan@aikaiyuan~]$ sudo chmod +x /usr/bin/bbcp [dong@west-ads1 ~]$ sudo wget http://www.slac.stanford.edu/~abh/bbcp/bin/amd64_rhel60/bbcp -O /usr/bin/bbcp [dong@west-ads1 ~]$ sudo chmod +x /usr/bin/bbcp [aikaiyuan@aikaiyuan~]$ which bbcp /usr/bin/bbcp [aikaiyuan@aikaiyuan~]$ ssh west-ads1 which bbcp /usr/bin/bbcp [aikaiyuan@aikaiyuan~]$ cd dong [aikaiyuan@aikaiyuandong]$ sudo dd if=/dev/zero of=/home/adsymp/dong/file.2g bs=1024M count=2
2+0 records in 2+0 records out 2147483648 bytes (2.1 GB) copied, 45.9129 s, 46.8 MB/s
[aikaiyuan@aikaiyuandong]$ ls -lh total 2.0G -rw-r--r-- 1 root root 2.0G Mar 4 06:40 file.2g [aikaiyuan@aikaiyuandong]$ time bbcp -r -P 2 -V -w 8m -s 16 file.2g west-ads1:/home/adsymp/dong/
bbcp: Window size reduced to 245760 bytes. bbcp: Indexing files to be copied... bbcp: Copying 0 files in 0 directories. Source sc2-admin1002.drawbrid.ge using initial send window of 18700 Target iad2-admin1002.drawbrid.ge using initial recv window of 87380 bbcp: Creating /home/adsymp/aikaiyuan/file.2g bbcp: 140304 06:46:12 0% done; 8.5 MB/s, avg 8.5 MB/s bbcp: 140304 06:46:14 1% done; 6.9 MB/s, avg 7.5 MB/s ... bbcp: 140304 06:51:46 99% done; 7.7 MB/s, avg 6.1 MB/s bbcp: 140304 06:51:48 99% done; 3.3 MB/s, avg 6.1 MB/s Source cpu=3.643 (sys=3.552 usr=0.091). File /home/adsymp/aikaiyuan/file.2g created; 2147483648 bytes at 6.0 MB/s 48 buffers used with 0 reorders; peaking at 0. Source sc2-admin1002.drawbrid.ge using a final send window of 433840 Target cpu=15.149 (sys=14.505 usr=0.644). Target iad2-admin1002.drawbrid.ge using a final recv window of 2298624 1 file copied at effectively 6.0 MB/s real 5m42.236s user 0m0.104s sys 0m3.567s
[aikaiyuan@aikaiyuandong]$ time scp file.2g west-ads1:/home/adsymp/dong/ file.2g 100% 2048MB 2.1MB/s 16:06 real 16m8.448s user 0m43.497s sys 0m7.548s
结论:
在上面的测试中,传输一个大小为2G的文件,使用BBCP耗时仅5分钟,而普通的SCP则耗时16分钟,速度提升超过60%。
相关文章
服务器批量执行工具 PSSHWindows 下 rsync 代码分发
重压下的Ubuntu Tweak服务端的解压方案
LVS-DR+Ldirectord+FreeNas实现负载均衡群集
运维85条军规
10 个你可能没用过的Linux命令
转载请注明:爱开源 » 使用BBCP来提升跨互联网的数据传输速度
相关文章推荐
- 如何正确打开“李湘加盟互联网”的传闻
- 互联网公司站点
- 小米马上要上市?雷军说:我们态度没变化
- 读懂女人心:互联网产业GDP未来靠女性撑起
- 听说这是互联网时代100本必读书单,你看过几本?
- 三部委明确能源互联网建设10重点
- 从明星扎堆转型互联网 看内容草根时代的结束
- 各大互联网公司架构演进之路汇总
- 互联网环境下服务提供的模式
- 【信息安全】第一章 密码破解
- 阿里20亿购第四家香港上市企业 这次是彩票领域
- 创业公司生存手册
- 学习互联网思维
- 当下大部分互联网创业公司为什么都愿意采用增量模型做开发?
- 沉默的中国运营商
- 当下大部分互联网创业公司为什么都愿意采用增量模型来做开发?
- 未来10年,中国最具投资价值的17个新兴产业
- 未来10年,中国最具投资价值的17个新兴产业
- 如何赚到互联网的“下一桶金”
- 小雷郑重承诺,在2017年之前,发表自己在云计算、在线招聘、电子商务、宠物经济、互联网金融、互联网旅行等至少6个行业领域的研究报告