Shell脚本学习指南(四)——文本处理工具

grep

字符串查找，默认用BRE

grep [options] ‘string’ filename

-E 使用ERE

-a 以文本文件方式搜索

-c 计算找到的符合行的次数

-i 忽略大小写

-n 顺便输出行号

-v 反向选择，即显示不包含匹配文本的所有行

-h 查询多文件时不显示文件名

-l 查询多文件时只输出包含匹配字符的文件名

-s 不显示不存在或无匹配文本的错误信息

grep -c "abc" test.txt #统计含有abc的行数
grep -i "May" test.txt #查找含有May的行，不区分大小写
grep -n "abc" test.txt #查找含有abc的行，输出时加上行号
grep -v "abc" test.txt #查找不含有May的行
grep "a\{3,\}" test.txt #查找至少重复出现3个a的行
grep "a\{3,7\}" test.txt #查找重复出现3-7个a的行

tr

字符转换

-c：取反

-d：删除

-s：把连续重复的字符以单独一个字符表示

# 将文件file中出现的"abc"替换为"xyz"
cat file | tr "abc" "xyz" > new_file

# 使用tr命令“统一”字母大小写
cat file | tr [a-z] [A-Z] > new_file
cat file | tr [A-Z] [a-z] > new_file

# 把文件中的数字0-9替换为a-j
cat file | tr [0-9] [a-j] > new_file

# 删除文件file中出现的"Snail"字符
cat file | tr -d "Snail" > new_file
【注意】这里，凡是在file文件中出现的'S','n','a','i','l'字符都会被删除！而不是紧紧删除出现的"Snail”字符串

# 删除文件file中出现的换行'\n'、制表'\t'字符,不可见字符都得用转义字符来表示
cat file | tr -d "\n\t" > new_file

# 删除“连续着的”重复字母，只保留第一个
cat file | tr -s [a-zA-Z] > new_file

# 删除空行
cat file | tr -s "\n" > new_file

# 删除Windows文件“造成”的'^M'字符
cat file | tr -d "\r" > new_file
cat file | tr -s "\r"  "\n" > new_file
【注意】这里-s后面是两个参数"\r"和"\n"，用后者替换前者

# 用空格符\040替换制表符\011
cat file | tr -s "\011" "\040" > new_file

# 把路径变量中的冒号":"，替换成换行符"\n"
echo $PATH | tr -s ":" "\n"

cut

从输入中截取选定的部分

-d 指定分隔符

-f 指定字段

-c 指定字符

cut -d: -f1,7 /etc/passwd    #以:为分隔符，打印/etc/passwd的第1、第5字段
who | cut -c 1-16,26-38      #打印/etc/passwd的第10-25字符

join

基于共同的键值，合并记录

-1 filed1 -2 filed2 指明要结合的字段

-t 指定分隔符

1.txt:
aaa 1 2 3 4
bbb 1 2 3 4
xxx 1 2 3 4
ccc 1 2 3 4
ddd 1 2 3 4
ooo 1 2 3 4

2.txt:
aaa a b c d
bbb a b c d
zzz a b c d
ccc a b c d
ddd a b c d
yyy a b c d

join 1.txt 2.txt:
aaa 1 2 3 4 a b c d
bbb 1 2 3 4 a b c d

join -o 1.1 -o 1.2 -o 2.4 1.txt 2.txt
aaa 1 c
bbb 1 c

sort

将输入的文本排序

-b：忽略开头的空白

-c：检查输入是否已经排序

-d：字典顺序，仅文字、数字和空白有意义

-g：浮点值排序

-f：忽略大小写

-i：忽略无法打印的字符

-k：定义排序键值

-m：将已排序的输入文件，合并为一个排序后的输出数据流

-n：整数排序

-o：指定输出文件

-r：逆序排序

-t：指定分隔符

-u：只保留唯一的记录

sort -t: -k2 /etc/passwd       #以:为分隔符，从第2个字段开始，到记录的结尾排序
sort -t: -k2,2 /etc/passwd     #以:为分隔符，从第2个字段开始，到第2个字段的结尾排序
sort -t: -k2,5 /etc/passwd     #以:为分隔符，从第2个字段开始，到第5个字段的结尾排序
sort -t: -k2.4,5.6 /etc/passwd #以:为分隔符，从第2个字段的第4个字符开始，到第5个字段的第6个字符排序
sort -t: -k3n,3 /etc/passwd    #以:为分隔符，以第3个字段的整数值排序
sort -t: -k3nr,3 /etc/passwd   #以:为分隔符，以第3个字段的整数值的逆序排序
sort -t: -k3n -k4n /etc/passwd #以:为分隔符，先以第3个字段的整数值的逆序排序，在结果中对第4个字段排序
sort -t: -k3n,3 -u /etc/passwd #以:为分隔符，以第3个字段的整数值排序，在结果中只保留第一条

uniq

数据过滤

-c：在每行前加上重复次数

-d：仅显示重复的行

-u：仅显示不重复的行

fmt

重新格式化段落

-s：仅切割较长的行

-w n：设置输出宽度

wc

字数统计工具

-l：行数

-c：字节数

-w：字数

head

显示行首

-n

tail

显示行尾

-n

-f：每隔1秒显示文件的行尾，看日志文件时很有用；此选项不可用于脚本

dd

od

file

strings

pr

文本处理命令

tr

grep

cut

join

sort

wc

pr

head

tail

od

dd

file

strings