shell脚本---查找并删除重复的文件
2013-10-30 21:22
459 查看
#! /bin/bash
ls -lS | awk 'BEGIN {
getline;getline;
name1=$8;size=$5 }
{ name2=$8;
if (size==$5)
{
md5sum name1 | getline; md51=$1;
md5sum name2 | getline; md52=$1;
if ( md51==md52 )
{print name1;print name2 }
};
name1=name2;size=$5;
}' | sort -u > file1
cat file1 | xargs -I {} md5sum {} | sort | uniq -w 32 | awk ' { print $2 }' | sort -u > file2
echo Removing ... ...
comm file1 file2 -2 -3 | tee /dev/stderr |xargs rm
echo Remove completed!
运行结果：
程序来源：Linux shell脚本攻略
ls -lS | awk 'BEGIN {
getline;getline;
name1=$8;size=$5 }
{ name2=$8;
if (size==$5)
{
md5sum name1 | getline; md51=$1;
md5sum name2 | getline; md52=$1;
if ( md51==md52 )
{print name1;print name2 }
};
name1=name2;size=$5;
}' | sort -u > file1
cat file1 | xargs -I {} md5sum {} | sort | uniq -w 32 | awk ' { print $2 }' | sort -u > file2
echo Removing ... ...
comm file1 file2 -2 -3 | tee /dev/stderr |xargs rm
echo Remove completed!
运行结果：
程序来源：Linux shell脚本攻略
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- shell脚本实现查找文件夹下重复的文件,并提供删除功能
- shell脚本实现查找文件夹下重复的文件,并提供删除功能
- linux文本排序、交集、差集，查找并删除重复文件脚本、comm命令
- shell 脚本删除过期文件
- 用shell脚本实现删除一定大小的文件
- shell备份文件、重命名文件、删除指定文件的3个脚本分享
- 在指定目录查找指定后缀文件的shell脚本代码
- Shell小技巧：删除文件中重复的行
- shell 脚本攻略-find 文件查找总结
- 8.15_Linux之bash shell脚本编程入门篇(二)以及文件查找和压缩的使用
- 用shell脚本删除相同修改时间的文件
- 自动删除指定时间内的日志和文件shell脚本
- 小shell脚本---查找目录下面包含string的文件
- shell脚本删除目录下的指定文件
- 使用shell脚本删除当前目录下.c文件对应的可执行文件
- 查找目录下同名但不同后缀名文件的shell脚本代码
- linxu中删除指定时间之前的文件shell脚本
- shell脚本删除目录下的指定文件
- 根据字段状态删除指定目录文件的shell脚本
- shell备份文件、重命名文件、删除指定文件的3个脚本分享