用uniq来处理文件重复数据--交集，差集，计数等(转)

经常有这样的需求：两个文本文件要求取重复的行或只取不重复的，简单的情况下用sort和uniq来处理是非常方便的：

利用现存两个文件，生成一个新的文件

取出两个文件的并集(重复的行只保留一份)

取出两个文件的交集(只留下同时存在于两个文件中的文件)

删除交集，留下其他的行

cat file1 file2 | sort | uniq

cat file1 file2 | sort | uniq -d

cat file1 file2 | sort | uniq -u

当然如果需要计数也有一个很好的参数uniq -c 可以将相同行数的计数放在行首

http://wangyufeng222.blog.163.com/blog/static/128222070201132101729867/