linux常用的文本处理命令

一、grep 命令

命令说明：按行处理，输出文件中包含搜索字符串的所有行。
格式：grep [options] ‘搜索字符串’ filename

参数说明：

-a：在二进制文件中，以文本文件的方式搜索数据；

-c：计算找到“搜索字符串”的次数；

-i：忽略大小写；

-n：输出行号；

-v：反向选择；

-E：扩展正则表达式

二、cut命令

命令说明：按行处理，将一行消息的某段切出来。
格式：cut -d '分割字符' -f fields
cut -c 字符范围

参数说明：

-d :后面接分隔符，与-f一起使用

-f :依据-d的分隔字符将一段信息切割成数段，用-f取出第几段的意思

-c:以字符的单位取出固定字符区间

范例：

三、sort命令

命令说明：将文本文件的内容按行排序。
格式：sort [-fbMnrtuk] [file or stdin]
参数说明：
-f：忽略大小写；
-b：忽略最前面的空格；
-u：即uniq，重复行仅出现一次；
-M：以月份的名字来排序；
-n：使用“纯数字”来排序；
-r：反向排序；
-t：分隔符，默认为tab键；
-k：按指定字段排序；

范例：

四、uniq命令

命令说明：如果排序完成了，将重复的行仅显示一次。注意，若文件未排序，该命令失效。
格式：uniq [-ic]
参数说明：
-i：忽略大小写；
-c：统计每行重复的次数；

范例：

五、wc命令

命令说明：统计文本文件中有多少字，多少行，多少字符。
格式：wc [-lwm]
参数说明：
-l：仅显示行数；
-w：仅显示字数（英文单词个数）；
-m：字符数；

范例：

六、tee命令

命令说明：双向重导向，从标准输入读取数据，输出到屏幕上，同时保存成文件。
格式：tee [-a] file
参数说明：
-a：以累加的方式，将数据加入到file中。

范例：

七、tr命令

命令说明：单个字符的处理工具，可以用于删除字符、替换字符等基本功能。更复杂的字符串处理工具通常使用sed。
格式：tr [-ds] SET1....
参数说明：
-d：删除，例如：cat file | tr -d '\r'，相当于dos2unix命令所起的作用。
-s：替换连续重复的字符，例如：cat file | tr -s [0-9]，如果某个数字连续出现，仅保留第一个。

范例：

八、col命令

命令说明：格式化显示列。
格式：col [-x]
参数说明：
-x：将tab键转换成对等的空格键；

-b : 在文字内有反斜杠（/）时，仅保留反斜杠最后接的那个字符

九、join命令

命令说明：处理两个文件中有相同数据的行，将它们加在一起。
格式：join [-ti12] file1 file2

参数说明：
-i：忽略大小写；
-t：分隔符，默认为空格符；
-1 m：指定file1用来比较的字段m，默认值为1；
-2 n：指定file2用来比较的字段n，默认值为1；

范例：



相同的字段会放在最前面，在后面不会再显示。

十、paste命令

命令说明：比较两个文件的数据关联性，直接将“两行贴在一起”，中间以tab键隔开。
格式：paste [-d] file1 file2
参数说明：
-d：后面接分隔符，默认为tab键。

- ：如果file部分写为-，表示来之标准输入的数据的意思

范例：

十一、expand命令

命令说明：将tab键转换成空格键。
格式：expand [-t] file

参数说明：
-t n：后面可以接一个数字n，一个tab键替换为n个空格键，默认值为8。

十二、split命令

命令说明：将一个大文件拆分为几个小文件。
格式：split [-bl] fle
参数说明：
-b：拆分的文件大小，可加单位，如b, k, m等；
-l：按行数进行拆分；

范例：

十三、xargs

命令说明：产生某个命令的参数。
格式：xargs [-0epn] command

参数说明：
-0：如果输入的stdin含有特殊字符，如`,\,空格键等字符时，这个参数可以将它还原成一般字符。这个参数可以用于特殊状态；
-e：这个是EOF（end of file）的意思。后面可以接一个字符串，当xargs分析到这个字符串，就会停止继续工作；
-p：在执行每个命令的参数时，都会询问用户的意思；
-n：后面接次数，每次command命令执行时，要使用几个参数的意思；

当xargs后面没有跟任何命令时，默认是以echo来进行输出。

范例：

十四、diff命令

命令说明：以“行”为单位进行文件比较，一般用在ASCII纯文本文件。
格式：diff [-bBi] file1 file2
参数：
-b：忽略一行中有多个空白的差异；
-B：忽略空白行的不同；
-i：忽略大小写；