shell快速迁移海量文件
2016-07-22 09:02
330 查看
业务需求1：需要把一个目录下的1000多万个文件迁移到远程机器
思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法。
业务需求2：需要把A目录下的1000多万个小文件分批迁移到B目录，每次1000个，30分钟一次，mv之前需确认B目录为空。思路：使用python的shutil模块，也用shell，大概思路与上文一般。
转载地址:http://strongit.blog.51cto.com/10020534/1812396
思路：用wget来把文件一个一个的迁移过去，因为文件数量比较大，如果一下在循环操作，会非常慢。所以分批操作，采用化整为零的方法。
业务需求2：需要把A目录下的1000多万个小文件分批迁移到B目录，每次1000个，30分钟一次，mv之前需确认B目录为空。思路：使用python的shutil模块，也用shell，大概思路与上文一般。
转载地址:http://strongit.blog.51cto.com/10020534/1812396
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 系列文章之四 用shell结合node.js批量转换excel工具（2）
- 系列文章之四 用shell脚本制作TexturePacker批量拼图工具（1）
- CMFCShellTreeCtrl在win7下打开家庭组断言BUG
- 利用virt-manager，xmanager, xshell启动界面来管理虚拟机
- [shell基础]——paste命令
- UVA - 10152 ShellSort
- /bin/bash^M: 坏的解释器: 没有那个文件或目录
- [shell基础]——sort命令
- [shell基础]——uniq命令
- [shell基础]——cut命令
- [shell基础]——find命令
- [shell练习]——awk练习题
- [shell基础]——sed命令
- 在任意目录下使用某个shell脚本
- UVA - 10152 ShellSort
- 巴氏（bash）威佐夫（Wythoff）尼姆（Nim）博弈之模板
- shell初步学习
- Linuxshelll脚本面试25问
- Linux登录时/etc/profile、~/.bash_profile等几个文件的加载过程
- shell脚本学习笔记