Linux下uniq命令详解

uinq是unique的简写。

一.介绍

功能说明：检查及删除文本文件中重复出现的行列

二.语法

语 法：uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]

补充说明：uniq可检查文本文件中重复出现的行列。

三.常用参数：

-c 显示输出中，在每行行首加上本行在文件中出现的次数(count)。它可取代-u加-d。

-d 只显示重复行。

-u 只显示文件中不重复的各行。

-n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开（字段从0开始编号）。

+n 前n个字符被忽略，之前的字符被跳过（字符从0开始编号）。

-f n 与-n相同，这里n是字段数。

-s n 与＋n相同，这里n是字符数。

四.实例详解

uniq.txt的原文如下：

[root@umail39 tmp]#cat uniq.txt

this is a test

this is a test

This is a test

i love you

i love you

we are good

this is a pen

i do not know

this is a pen

1.在每行前加上表示相应行目出现次数,但只会检查相邻重复的行。

[root@umail39 tmp]#uniq -c uniq.txt

2 this is a test

1 This is a test

2 i love you

1 we are good

1 this is a pen

1 i do not know

1 this is a pen

2.，-f 1 忽略了第一列，检查重复从第二字段开始的,检查的时候，不区分大小写.

[root@umail39 tmp]#uniq -f 1 -c uniq.txt

3 this is a test

2 i love you

1 we are good

1 this is a pen

1 i do not know

1 this is a pen

3.检查的时候，不考虑前4个字符

[root@umail39 tmp]#uniq -s 4 -c uniq.txt

3 this is a test

2 i love you

1 we are good

1 this is a pen

1 i do not know

1 this is a pen

4.去重复的项，然后全部显示出来

[root@umail39 tmp]#uniq -u uniq.txt

This is a test

we are good

this is a pen

i do not know

this is a pen

5.对每行第2个字符以后的内容不作检查

[root@umail39 tmp]#uniq -w 2 -c uniq.txt

2 this is a test

1 This is a test

2 i love you

1 we are good

1 this is a pen

1 i do not know

1 this is a pen