如何去掉一个文件中重复的数据行

一、去掉相邻重复的数据行

$cat data1.txt | uniq

输出：

beijing
wuhan
beijing
wuhan

二、去掉所有重复的数据行

$cat data1.txt | sort | uniq注：只有uniq命令的话，只是把相邻的重复的数据行去掉。如果先 sort 的话，就会把所有重复的数据行变成相邻的数据行，再 uniq 的话，就去掉所有重复的数据行了。

输出：

beijing
wuhan

附：data1.txt

[root@syy ~]# cat data1.txt
beijing
beijing
wuhan
wuhan
wuhan
beijing
beijing
beijing
wuhan
wuhan

注：在过滤日志中的IP地址很有用。