Linux命令如何删除文件里面的重复行
2017-07-04 14:50
288 查看
文本处理时,经常要删除重复行,下面是三种方法
第一,用sort+uniq,注意,单纯uniq是不行的。
sort -n test.txt | uniq
第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。
sort -n $file | awk '{if($0!=line)print; line=$0}'
第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
Shell脚本
# !/bin/sh
file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'
相关文章推荐
- 如何恢复Eclipse或者Myeclipse里面删除的文件?
- 共享文件如何设置不能删除里面的文件
- 如何删除Mac系统里面的所有 DS_Store 文件呢?
- 如何用Python寻找重复文件并删除
- 如何快速删除Linux文件中的重复数据行
- 如何恢复Eclipse或者Myeclipse里面删除的文件?
- php 如何删除文件里面的bom
- 如何删除文件夹(文件)里面的所有数据
- 轮子-如何用python删除指定文件夹里面的所有文件
- 如何从一个文件中删除另一个文件的重复项
- 如何在命令行提示符里面删除文件夹下的所有文件
- 如何用Python寻找重复文件并删除
- 如何在Linux上找出并删除重复的文件:FSlint
- 安卓学习笔记---如何保存数据到SharePreference里面,获取所有sp文件以及删除文件
- 如何在 Linux 中找到并删除重复文件
- win7系统如何删除注册表里面的垃圾文件?
- 如何在Linux上找出并删除重复的文件:FSlint
- 如何删除Mac系统里面的所有 DS_Store 文件
- txt文件,如何删除重复行
- 如何从一个文件中删除另一个文件的重复项