怎样使用 awk 删掉文件中重复的行 | Linux 中国
学习怎样使用 awk 的
!visited[$0]++
在不重新排序或改变原排列顺序的前提下删掉重复的行。
假设你有一个文本文件,你需要删掉所有重复的行。
TL;DR
要保持原来的排列顺序删掉重复行,使用:
awk '!visited[$0]++' your_file > deduplicated_file
工作原理
这个脚本维护一个关联数组,索引(键)为文件中去重后的行,每个索引对应的值为该行出现的次数。对于文件的每一行,如果这行(之前)出现的次数为 0,则值加 1,并打印这行,否则值加 1,不打印这行。
我之前不熟悉 awk,我想弄清楚这么短小的一个脚本是怎么实现的。我调研了下,下面是调研心得:
!visited[$0]++
对输入文件的每一行都执行。visited[]
是一个关联数组(又名映射)类型的变量。awk 会在第一次执行时初始化它,因此我们不需要初始化。$0
变量的值是当前正在被处理的行的内容。visited[$0]
通过与 $0
(正在被处理的行)相等的键来访问该映射中的值,即出现次数(我们在下面设置的)。!
对表示出现次数的值取反:true
。visited[$0]
的值是一个比 0 大的数,取反后被解析成 false
。visited[$0]
的值为等于 0 的数字或空字符串,取反后被解析成 true
。++
表示变量 visited[$0]
的值加 1。0
(数字) 后加 1。总的来说,整个表达式的意思是:
true
:如果表示出现次数为 0 或空字符串false
:如果出现的次数大于 0awk 由 模式或表达式和一个与之关联的动作 组成:
<模式/表达式> { <动作> }
如果匹配到了模式,就会执行后面的动作。如果省略动作,awk 默认会打印(print
)输入。
省略动作等价于
{print $0}
。
我们的脚本由一个 awk 表达式语句组成,省略了动作。因此这样写:
awk '!visited[$0]++' your_file > deduplicated_file
等于这样写:
awk '!visited[$0]++ { print $0 }' your_file > deduplicated_file
对于文件的每一行,如果表达式匹配到了,这行内容被打印到输出。否则,不执行动作,不打印任何东西。
为什么不用 uniq 命令?
uniq 命令仅能对相邻的行去重。这是一个示例:
$ cat test.txt
A
A
A
B
B
B
A
A
C
C
C
B
B
A
$ uniq < test.txt
A
B
A
C
B
A
其他方法
使用 sort 命令
我们也可以用下面的 sort 命令来去除重复的行,但是原来的行顺序没有被保留。
sort -u your_file > sorted_deduplicated_file
使用 cat + sort + cut
上面的方法会产出一个去重的文件,各行是基于内容进行排序的。通过管道连接命令可以解决这个问题。
cat -n your_file | sort -uk2 | sort -nk1 | cut -f2-
工作原理
假设我们有下面一个文件:
abc
ghi
abc
def
xyz
def
ghi
klm
cat -n test.txt 在每行前面显示序号:
1 abc
2 ghi
3 abc
4 def
5 xyz
6 def
7 ghi
8 klm
sort -uk2 基于第二列(k2
选项)进行排序,对于第二列相同的值只保留一次(u
选项):
1 abc
4 def
2 ghi
8 klm
5 xyz
sort -nk1 基于第一列排序(k1
选项),把列的值作为数字来处理(-n
选项):
1 abc
2 ghi
4 def
5 xyz
8 klm
最后,cut -f2- 从第二列开始打印每一行,直到最后的内容(-f2-
选项:留意 -
后缀,它表示这行后面的内容都包含在内)。
abc
ghi
def
xyz
klm
参考
以上为全文。
via: https://opensource.com/article/19/10/remove-duplicate-lines-files-awk
作者:Lazarus Lazaridis 选题:lujun9972 译者:lxbwolf 校对:wxy
- 怎样使用 awk 删掉文件中重复的行
- linux使用flock文件锁解决脚本重复执行问题
- 如何使用 GNU Stow 来管理从源代码安装的程序和点文件 | Linux 中国
- 使用 ACL 设置用户访问指定文件/目录的权限 | Linux 中国
- 在 Linux 中使用 Bash 脚本删除早于 “X” 天的文件\/文件夹 | Linux 中国
- 在windows使用notepad++编写Linux文件的时候,处理换行问题(删掉CF/LF ^M)
- 如何在 Linux / Unix 上使用 awk 打印文件名 | Linux 中国
- 如何使用 Vim 编辑器编辑多个文件 | Linux 中国
- 怎样理解和识别 Linux 中的文件类型 | Linux 中国
- 命令行技巧:使用 find 和 xargs 查找和处理文件 | Linux 中国
- Linux使用AWK判断文件是否是windows格式的
- 如何使用 GNU Stow 来管理从源代码安装的程序和点文件 | Linux 中国
- Linux系统中使用fdupes来查找并删除重复文件
- 使用 AppImageLauncher 轻松运行和集成 AppImage 文件 | Linux 中国
- 如何使用 rsync 通过 SSH 恢复部分传输的文件 | Linux 中国
- 在命令行使用 Pandoc 进行文件转换 | Linux 中国
- 糖尿病患者们是怎样使用开源造出自己的医疗设备的 | Linux 中国
- 使用awk去掉文件中某列重复的行
- Linux Awk使用案例总结(nginx日志统计,文件对比合并等)
- 在 awk 中怎么使用循环 | Linux 中国