shell脚本工具之awk命令

awk是一种优良的文本处理工具.可以对文件中的内容一行一行提取并处理,也可将文件分列的形式提取.

awk内置变量:
$0 --输出文件所有内容
$1-$n --以分隔符输出每列的值
FILENAME --输出文件名
FS --输出字段的分隔符
NF --当前记录的字段数目
NR --当前记录的编号
OFS --输出字段的分隔符
ORS --输出记录分隔符
RS --控制记录分隔符

文件内容:
[root@tong1 opt]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@tong1 opt]#

1.awk命令格式
awk '{pattern + action}' {filenames}

2.内置变量实例
[root@tong1 opt]# awk -F: '{print "第一列值:"$1,"文件名:"FILENAME,"每列共多少字段:"NF,"输出每行编号:",NR,"输出字段分隔符:"OFS}' passwd
第一列值:root 文件名:passwd 每列共多少字段:7 输出每行编号: 1 输出字段分隔符:
第一列值:bin 文件名:passwd 每列共多少字段:7 输出每行编号: 2 输出字段分隔符:
第一列值:daemon 文件名:passwd 每列共多少字段:7 输出每行编号: 3 输出字段分隔符:
第一列值:adm 文件名:passwd 每列共多少字段:7 输出每行编号: 4 输出字段分隔符:
第一列值:lp 文件名:passwd 每列共多少字段:7 输出每行编号: 5 输出字段分隔符:
第一列值:sync 文件名:passwd 每列共多少字段:7 输出每行编号: 6 输出字段分隔符:
第一列值:shutdown 文件名:passwd 每列共多少字段:7 输出每行编号: 7 输出字段分隔符:
第一列值:halt 文件名:passwd 每列共多少字段:7 输出每行编号: 8 输出字段分隔符:
第一列值:mail 文件名:passwd 每列共多少字段:7 输出每行编号: 9 输出字段分隔符:
第一列值:uucp 文件名:passwd 每列共多少字段:7 输出每行编号: 10 输出字段分隔符:
第一列值:operator 文件名:passwd 每列共多少字段:7 输出每行编号: 11 输出字段分隔符:
第一列值:games 文件名:passwd 每列共多少字段:7 输出每行编号: 12 输出字段分隔符:
第一列值:gopher 文件名:passwd 每列共多少字段:7 输出每行编号: 13 输出字段分隔符:
第一列值:ftp 文件名:passwd 每列共多少字段:7 输出每行编号: 14 输出字段分隔符:
[root@tong1 opt]#

3.用printf输出格式
[root@tong1 opt]# awk -F: '{printf ("第一列值:%-10s,文件名:%-10s,每列共多少字段:%-3s,输出每行编号:%-3s,输出字段分隔符:%10s\n",$1,FILENAME,NF,NR,OFS)}' passwd
第一列值:root ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:1 ,输出字段分隔符:
第一列值:bin ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:2 ,输出字段分隔符:
第一列值:daemon ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:3 ,输出字段分隔符:
第一列值:adm ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:4 ,输出字段分隔符:
第一列值:lp ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:5 ,输出字段分隔符:
第一列值:sync ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:6 ,输出字段分隔符:
第一列值:shutdown ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:7 ,输出字段分隔符:
第一列值:halt ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:8 ,输出字段分隔符:
第一列值:mail ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:9 ,输出字段分隔符:
第一列值:uucp ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:10 ,输出字段分隔符:
第一列值:operator ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:11 ,输出字段分隔符:
第一列值:games ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:12 ,输出字段分隔符:
第一列值:gopher ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:13 ,输出字段分隔符:
第一列值:ftp ,文件名:passwd ,每列共多少字段:7 ,输出每行编号:14 ,输出字段分隔符:
[root@tong1 opt]#

4.打印特殊字符
[root@tong1 opt]# awk 'BEGIN {print "dsvjs"}'
dsvjs
[root@tong1 opt]# awk 'BEGIN {print "\"dsvjs\""}' --打印"号
"dsvjs"
[root@tong1 opt]#

5.动态读入内容
[root@tong1 opt]# awk '{print}'
qw er haogv 3
qw er haogv 3
3 677
3 677
^C
[root@tong1 opt]#

6.查找文件内容并输出
[root@tong1 opt]# awk '/mail/ {print $0}' passwd
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
[root@tong1 opt]# awk '/root/ {print $0};/ftp/ {print $0}' passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@tong1 opt]#

7.在文件中查找第三列的值大于10输出
[root@tong1 opt]# awk -F":" '{ if ($3 > 10) print $1}' passwd
operator
games
gopher
ftp
[root@tong1 opt]#

8.输出文件第10行以后的数据
[root@tong1 opt]# awk 'NR>10' passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[root@tong1 opt]#

正则表达式

^ --以某字符开头
~ --等于某字符

\ --转义特殊字符
$ --以某字符结尾
. --任意一个字符
[...] --匹配方括号任意字符
[^..] --不匹配方括号任意字符
| --或
* --所有字符
+ --连续字符
? --单个字符
{n} --字符出现n次
{n,} --字符出现n次以上
{n,m} --字符出现n到m次之间

9.使用正则表达式
[root@tong1 opt]# awk '$1 ~ /root/ {print}' passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
[root@tong1 opt]#

10.以r开头,中断只有两个字符的内容

[root@tong1 opt]# awk '$1 ~ /^r..t/ {print}' passwd
root:x:0:0:root:/root:/bin/bash
[root@tong1 opt]#

11.计算$3的值,符合条件输出(OFS 指定输出格式)
[root@tong1 opt]# awk -F: 'BEGIN {OFS=":"};{$3=$3-5;if($3>3) print $1,NR}' passwd
uucp:10
operator:11
games:12
gopher:13
ftp:14
[root@tong1 opt]#

12.统计文件中的内容
[root@tong1 opt]# cat 4.sh
$1 ~ /^root/
BEGIN {
FS=":";OFS=""
}

{
for (i=0;i<NF;i++) {
print "用户名:",$1
print "密码:",$2
print "UID:",$3
print "GID",$4
}
}
END{}
[root@tong1 opt]# awk -f 4.sh passwd

13.提取内容写入到新文件中
[root@tong1 opt]# awk -F: '{print $1 > "1.txt"} {print $4 > "2.txt"}' passwd
[root@tong1 opt]# cat 1.txt
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
uucp
operator
games
gopher
ftp
[root@tong1 opt]# cat 2.txt
0
1
2
4
7
0
0
0
12
14
0
100
30
50
[root@tong1 opt]#

本文出自 “一起走过的日子” 博客，请务必保留此出处http://tongcheng.blog.51cto.com/6214144/1623289