Linux_note 命令grep，sed，awk

1、grep 过滤出指定的行
grep [-cinvABC] 'word' filename
--color 把匹配到的关键词用红色标识 如：# grep --color 'root' /etc/passwd

-c ：打印符合要求的行数

-i ：忽略大小写

-n ：在输出符合要求的行的同时连同行号一起输出

-v ：打印不符合要求的行# cg -v 'root' 1.txt

-A ：后跟一个数字（有无空格都可以），例如 朅2则表示打印符合要求的行以及下面两行
# cg -A 2 -n 'root' 1.txt
-B ：后跟一个数字，例如 B 2 则表示打印符合要求的行以及上面两行# cg -B 2 -n 'root' 1.txt

-C ：后跟一个数字，例如 C 2 则表示打印符合要求的行以及上下各两行# cg -C 2 -n 'root' 1.txt
-r ：将目录下所有文件全部遍历 # cg -r 'iptables' /etc/* 或# cg -rh 'iptables' /etc/*
[root@zekLinux ~]# alias cg='grep --color'
[root@zekLinux ~]# cg -n 'root' 1.txt
1:root:x:0:0:root:/root:/bin/bash
11:operator:x:11:0:operator:/root:/sbin/nologin
[root@zekLinux ~]# cg -c 'root' 1.txt
2
[root@zekLinux ~]# cg -A 2 -n 'root' 1.txt
1:root:x:0:0:root:/root:/bin/bash
grep sed 都是支持 {1,3}这样的匹配规则的，表示重复前面字符1到3次。但是awk属于一个比较复杂的脚本语

言，在它里面()和{}都是有特殊含义的，所以我们要使用这些符号时，需要给他们脱义，你可能会想到使用\脱

义，但是不管用。有一个方法就是加上--posix选项就ok ，比如
awk --posix -F ':' '$1 ~ /(ab)+|o{1,3}/' 1.txt
这样就可以把B选项匹配出来
2-bin:x:1:1:bin:/bin:/sbin/nologin
3-daemon:x:2:2:daemon:/sbin:/sbin/nologin
--
11:operator:x:11:0:operator:/root:/sbin/nologin
12-games:x:12:100:games:/usr/games:/sbin/nologin
13-gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
[root@zekLinux ~]# cg -B 2 -n 'games' 1.txt
10-uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
11-operator:x:11:0:operator:/root:/sbin/nologin
12:games:x:12:100:games:/usr/games:/sbin/nologinli

例子：
过滤出带有某个关键词的行并输出行号
# cg -n 'aming' 1.txt 或者grep -n --color 'aming' 1.txt cg= 'grep --color '
过滤出带有某个关键词的行并输出行号
# cg -v -n 'nologin' 1.txt
过滤出所有包含数字的行
#cg -n '[0-9]' 1.txt
过滤出包含某个字母的行并输出行号
# cg -n '[aN]' 1.txt
#cg -n -i '[aN]' 1.txt
过滤出不包含字母的行并输出行号
[root@zekLinux ~]# grep --color -n -v '[a-zA-Z]' 1.txt
22:$%$#%@^&&*()^%#!@#%^&*((*&^%$#@!%((*&^%$#@@***&^%
23:
33:34988385983402474023572647346348324623768329
去除以字母开头的行
[root@zekLinux ~]# cg -n -v '^[a-zA-Z]' 1.txt
22:$%$#%@^&&*()^%#!@#%^&*((*&^%$#@!%((*&^%$#@@***&^%
23:
33:34988385983402474023572647346348324623768329
过滤出不以数字开头的行
#cg -n '^[^0-9]' 1.txt
匹配出不包含数字的行
#cg -n '[^0-9]' 1.txt
去除空行
[root@zekLinux ~]# grep -v '^$' 1.txt
过滤任意一个或多个字符
#cg 'r.o' 1.txt
# cg 'r*o' 1.txt
#cg 'r*o' 1.txt 匹配出r开头o结尾的字符，中间是什么不重要，也叫贪婪匹配。
. 表示任意一个字符
* 表示零个或多个前面的字符
.* 表示零个或多个任意字符，空行也包含在内
grep 'r\?o' passwd 表示匹配零个或一个前面为“r”的字符。
grep 'r.*o' passwd 表示r开头o结尾，中间零个或多个任意字符
grep 'r*o' passwd 匹配匹配零个或多个前面的字符。这个前面的字符是“r”，可以是0个r或者多个r
grep '^[1-9][0-9]*$' 1.txt：匹配开头为1到9其中一个数字，结尾是0个或多个数字

过滤出以特殊符号开头的行
[root@zekLinux ~]# cg -n '^[^0-9a-zA-Z]' 1.txt
22:$%$#%@^&&*()^%#!@#%^&*((*&^%$#@!%((*&^%$#@@***&^%

egrep ==grep -E egrep时grep的扩展形式 egrep能用的grep全都能用
grep --color 'r\?o' 1.txt==grep --color -E 'r?o' 1.txt==egrep --color 'r?o' 1.txt
匹配1个和1个以上+前面的字符
# egrep --color 'r+o' 1.txt
总结：. 任意一个字符；* 零个或多个*前面的字符； .* 任意个任意字符； ? 0或1个？前面的字符；+ 1或多

个+前面的字符。
匹配root或nologin
#egrep --color 'root|nologin' 1.txt
匹配root和nologin
# grep --color 'root' 1.txt |grep --color 'nologin'
用括号表示一个整体
#egrep --color '(rr)' 1.txt
匹配1个或多个rr
#egrep --color '(rr)+' 1.txt
指定匹配字符次数范围
# egrep --color '(rr){1,3} 1.txt
? + () {} | 符号要用egrep。

2、sed
打印指定的行
# sed -n '10'p 1.txt
打印指定范围，如20行到末
# sed -n '20,$'p 1.txt
打印包含某个字符串的行
# sed -n '/root/'p 1.txt
可以使用^ . *　＄　＋　？　等特殊符号
# sed -n '/r.o/'p 1.txt
# sed -n '/r*o/'p 1.txt
# sed -n '/r．*o/'p 1.txt
# sed -n '/r\?o/'p 1.txt
# sed -n '/r\+o/'p 1.txt
# sed -n '/root\|nologin/'p 1.txt
# sed -n '/\(oo\)\+/'p 1.txt
－ｒ不需要脱意符号
# sed -n -r '/(oo)+/'p 1.txt
# sed -n -r '/[^0-9]/'p 1.txt
# sed -n -r '/[^a-zA-Z]/'p 1.txt
空行
# sed -n -r '/^$/'p 1.txt
删除空行
# sed '/^$/'d 1.txt
删除包含数字的行
# sed '/[0-9]/'d 1.txt
删除包含字母的行
# sed '/[a-zA-Z]/'d 1.txt
删除指定行，如删除1-19行
# sed '/1,19/'d 1.txt
上述删除并没有直接删除文件内容只是在显示器上不显示。sed -i 选项就会将文件内容删除
[root@zekLinux ~]# wc -l 2.txt
33 2.txt
[root@zekLinux ~]# sed -i '1,19'd 2.txt
[root@zekLinux ~]# wc -l 2.txt
14 2.txt

替换功能
# sed '1,10s/nologin/login/g' 1.txt
含有特殊符号需脱意\ 如：# sed '1,10s/\/sbin\/nologin/login/g' 2.txt也可以替换为
# sed'1,10s@/sbin/nologin@logi@g' 2.txt
替换一整行
# sed '1,5s#^.*$#login#g' 2.txt
在尾部加上某字符串，如login
# sed '1,5s#^.*$#& login#g' 2.txt
将每行的数字删除
# sed 's#[0-9]##g' 2.txt
将除字母数字之外的字符删除
# sed 's#[^0-9a-zA-Z]##g' 2.txt
将每一行的第一段与最后一段交换
# sed -r 's#^([a-z]+)(:.*:)(.*$)#\3\2\1#g' 2.txt
# sed -r 's/([^:]+)(:.*:)([^:]+)/\3\2\1/' /etc/passwd
理解:sed -r 's/([^:]+)(:.*:)([^:]+)/\3\2\1/' /etc/passwd // 匹配第一段除"："的任意字符 匹配第二段

"：任意字符： "第三段 也是除开"："的任意字符 \3\2\1 相当于把第一段和第三段对调
第一个字符与最后一个字符交换
sed -r 's/^(.)(.*)(.)$/\3\2\1/'
[root@zekLinux ~]# echo "abcdef"|sed -r 's/^(.)(.*)(.)$/\3\2\1/'
fbcdea

同时进行多个任务； -e
# sed -n '/root/p;/aming/'p 1.txt或者# sed -n -e '/root/p' -e '/aming/p' 1.txt
；特殊性若遇到一行既有root又有aming会打印两行，不同于|,|或只打印一行，；的意思是匹配到就打印。
[root@zekLinux ~]# sed -n -r '/root|aming/'p 1.txt
root: aming x:0:0:root:/root:/bin/bash
operatorrrrro:x:11:0:operator:/root:/sbin/nologin
aming123:x:501:513::/home/aming123:/bin/bash
[root@zekLinux ~]# sed -n '/root/p; /aming/p' 1.txt
root: aming x:0:0:root:/root:/bin/bash
root: aming x:0:0:root:/root:/bin/bash
operatorrrrro:x:11:0:operator:/root:/sbin/nologin
aming123:x:501:513::/home/aming123:/bin/bash

3、awk 命令 截取文段中的某段
-F 指定分隔符号为： 若分隔符号为特殊符号则用单引号' '
打印某段字符
# awk -F ':' '{print $3}' 1.txt
# awk -F ':' '{print $3,$4}' 1.txt
显示指定字符
# awk -F ':' 'OFS=":" {print $3,$4}' 1.txt
# awk -F ':' 'OFS="#" {print $3,$4}' 1.txt
匹配字符或字符串
# awk '/r/' 1.txt
# awk '/root|user/' 1.txt
　awk '/r*o/' 1.txt
# awk '/r?o/' 1.txt
# awk '/r+o/' 1.txt
# awk '/r.*o/' 1.txt
匹配一个整体
# awk '/(oo)/' 1.txt
# awk '/(oooo)+/' 1.txt
按段匹配
# awk -F ':' '$1~/r*o/' 1.txt
# awk -F ':' '$1~/r*o/ {print $4}' 1.txt
多次匹配
# awk -F ':' '$1~/r*o/ {print $1,$3}; $1~/user/ {print $1,$3}' 1.txt
若匹配时匹配要求同时满足时将打印两次（awk属于流式编辑器）
[root@zekLinux ~]# awk -F ':' '$1~/r*o/ {print $1,$4};$1~/nobody/ {print $1,$4}' 1.txt
rooooooooot 0
daemon 2
shutdown 0
operator 0
gopher 30
nobody 99
nobody 99
postfix 89
avahi-autoipd 170
haldaemon 68
[root@zekLinux ~]# awk -F ':' '$1~/r*o|nobody/ {print $1,$4}' 1.txt
rooooooooot 0
daemon 2
shutdown 0
operator 0
gopher 30
nobody 99
postfix 89
avahi-autoipd 170
haldaemon 68

awk 条件操作符 ==,>,<,>=,!=;<=
# awk -F ':' '$1=="nobody"' 1.txt
nobody:x:99:99:Nobody:/:/sbin/nologin
# awk -F ':' '$1=="nobody"|| $1~/nolog/' 1.txt
# awk -F ':' '$4>=500' 1.txt
# awk -F ':' '$7!="/sbin/nologin"' 1.txt
匹配
# awk -F ':' '$7~/nolog/' 1.txt
# awk -F ':' '$7!~/nolog/' 1.txt
比较
# awk -F ':' '$3<$4' 1.txt
# awk -F ':' 'OFS=":";$3=$4' 1.txt
# awk -F ':' '$3==$4' 1.txt
# awk -F ':' 'OFS=":";{if($4>5){$7=$3+$4}}' 1.txt
以空白字符为分隔符，把第一段等于'aming'并且第3段小于100的行过滤出来。（首先得有以空白字符为分隔符

的文件）
[root@zekLinux ~]# sed -i 's/:/ /g' 2.txt
[root@zekLinux ~]# awk '$1=="games" && $3<100' 2.txt
games x 12 100 games /usr/games /sbin/nologin

awk 内置变量 NF（段数） NR（行数）
# awk -F ':' 'NR==10' 1.txt 打印第十行
# awk -F ':' 'NR>10' 1.txt 打印10行以后的行
# awk -F ':' 'NR<10' 1.txt
[root@zekLinux ~]# awk -F ':' 'NR==10 {print $1,$7}' 1.txt
uucp /sbin/nologin
[root@zekLinux ~]# awk -F ':' 'OFS=":"{if (NR==10) print $1,$7}' 1.txt
uucp:/sbin/nologin
[root@zekLinux ~]# awk -F':' '{print NF}' 1.txt
[root@zekLinux ~]# awk -F':' '{if (NF==7) print $1}' 1.txt
# awk -F':' '{print $NR,$NF}'
NR是根据行在变化的，而NF就是这一行一共有多少段。
# awk -F ':' 'NR==10 {OFS="#";print $1,$7}' 1.txt
awk也可以经行数学运算
[root@zekLinux ~]# awk -F':' '$7=$3+$4' 1.txt
bin x 1 1 bin /bin 2
daemon x 2 2 daemon /sbin 4
adm x 3 4 adm /var/adm 7
lp x 4 7 lp /var/spool/lpd 11
sync x 5 0 sync /sbin 5
shutdown x 6 0 shutdown /sbin 6
halt x 7 0 halt /sbin 7
默认以空白符以分割符，若一个文本文档某一段发生了改变打印时就会默认以空白符为分隔符。需要用OFS来指

定分隔符。
[root@zekLinux ~]# awk -F':' 'OFS=":" {$7=$3+$4; print $0}' 1.txt
rooooooooot:x:0:0:root:/root:0
bin:x:1:1:bin:/bin:2
daemon:x:2:2:daemon:/sbin:4
adm:x:3:4:adm:/var/adm:7
lp:x:4:7:lp:/var/spool/lpd:11
sync:x:5:0:sync:/sbin:5
# awk -F':' 'OFS=":" {$7=$3+$4; print $1,$3}' 1.txt
计算某一段的总和，如第三段$3
[root@zekLinux ~]# awk -F':' '{sum=sum+$3};END {print sum}' 1.txt
4807
[root@zekLinux ~]# awk -F':' '{(sum=sum+$3)};END {print sum}' 1.txt
4807

{}
awk结构: awk -F ':' 'BEGIN{OFS=“:”} {if(条件){语句1;语句2;语句3}} END{语句}'
参考教程 http://www.cnblogs.com/emanlee/p/3327576.html