【shell】shell脚本实战-awk工作模式讲解

文章目录

• [ul]3) 显示用户信息配置文件中uid大于500的用户名及uid信息并在开头显示“用户名 UID”字样，在结尾显示“the over"
• 1) 给文件结尾 添加信息
• 2） 统计 /etc/services 文件中的空行的数量
• 1. awk 脚本拥有的形式
• 2. 正则表达式
• 3. 关系表达式
• 4. 组合的Pattern（模式）
• 5. Pattern1,Pattern2
• 6. BEGIN
• a) 给文件开头添加信息
• b) 取eth0的ip地址
• awk工作的三个步骤
• awk中的各种模式详解
• 7. END

awk工作的三个步骤

• 读：从文件、管道或标准输入中读入一行然后把它存放到内存中
• 执行：对每一行数据，根据AWK命令按顺序执行。默认情况是处理每一行数据，也可以指定模式
• 重复：一直重复上述两个过程直到文件结束

awk中的各种模式详解

1. awk 脚本拥有的形式

awk  '/pattern/ { actions }' filename

你通常会发现脚本中的模式(/pattern/)是一个正则表达式，此外，你也可以在这里用特殊模式 BEGIN 和 END。因此，我们也能按照下面的形式编写一条 awk 命令：

awk 'BEGIN { actions } /pattern/ { actions } /pattern/ { actions }...END { actions }' filenames

语法结构如下图：

其中：BEGIN END是AWK的关键字部，因此必须大写；这两个部分开始块和结束块是可选的

特殊模块：
BEGIN语句设置计数和打印头部信息，在任何动作之前进行
END 语句输出统计结果，在完成动作之后执行

awk通过Pattern（模式）来控制是否处理当前记录，如果当前记录和Pattern匹配，则执行Action（操作）。在awk中，有下列几种模式：

1、正则表达式
2、关系表达式
3、组合的Pattern
4、Pattern1,Pattern2
5、BEGIN
6、END

为了说明以上各种模式，我们这里准备一个文件score.txt，以实例的方式一一进行说明，score.txt文件内容如下：

[root@ecs-c13b awk]# cat score.txt guojing 85 92 78
zhaoyun 89 90 75
sanfeng 84 88 80
guanyu 83 78 90
liubei 86 88 79

2. 正则表达式

• 查询有一门课程成绩在90-99区间的学习的成绩。

[root@ecs-c13b awk]# awk '/9[0-9]/ {print $0}' score.txt guojing 85 92 78
zhaoyun 89 90 75
guanyu 83 78 90

以上指令查询有一门课成绩在[90-99]区间的学生的成绩信息，/9[0-9]/部分即为awk程序指令中的Pattern，这里Pattern的类型为正则表达式。

awk '$3 ~ /9[0-9]/ {print $0}' score.txt

zhaosan 85 92 78
lisheng 89 90 75

这条指令在上一条指令的基础上增加了限制，需要第二门课（数学）成绩在[90-99]区间才可与模式匹配。这里的 ~ 操作符用来表示变量是否与正则表达式匹配，如果要判断不匹配，可以使用 !~ 操作符。

3. 关系表达式

awk '$3 >= 90 {print $0}' score.txt

zhaosan 85 92 78
lisheng 89 90 75

可用来形成模式关系运算符包括： <（小于）、>（大于）、<=（小于或等于）、>=（大于或等于）、= =（等于）和 ! =（不等于）。

这条指令的作用也是查询数学成绩在90分以上的学生成绩信息，不过比正则表达式中的范围要大一点，这里100分也是符合模式的。

4. 组合的Pattern（模式）

awk '$3 >= 90 && $3 < 100 {print $0}' score.txt

zhaosan 85 92 78
lisheng 89 90 75

布尔运算符 ||（或）&&（和）以及 !（不）将模式组合，组合后如果求值为真则模式匹配，否则不匹配。这里就解决了关系表达式示例中包含了100的问题。

5. Pattern1,Pattern2

awk 'FNR == 2 , FNR == 4 {print $0}' score.txt

lisheng 89 90 75
zhaoyun 84 88 80
guanyu 83 78 90

其实这个也可以归为组合的模式中，只是这种模式比较特殊，故单独列出。以,（逗号）隔开的两个Pattern指定一个范围，对从匹配第一个Pattern的记录开始，到匹配第二个Pattern结束的所有记录执行Action

6. BEGIN

BEGIN模块在awk读取文件之前就执行，一般用来定义我们的内置变量（预定义变量，eg：FS,RS）可以输出表头（excel表格名称）

BEGIN模式之前在实例中提到，自定义变量，给内容变量赋值等，都是使用过。需要注意的是BEGIN模式后面要结合一个action操作块，包含在大括号内。

awk必须在对输入文件进行任何处理前先执行BEGIN定义的action操作块。我们可以不要任何输入文件，就可以对BEGIN模块进行测试，因为awk需要先执行完BEGIN模式，才对输入文件做处理。BEGIN模式常常被用来修改内置变量ORS，RS，FS，OFS，等的值。

a) 给文件开头添加信息

假如我们要将学生成绩表打印出来，那总得加点表头什么的吧，就可以放到BEGIN中了。

awk 'BEGIN { print "Print student score table"} {print $0}' score.txt

Print student score table
zhaosan 85 92 78
lisheng 89 90 75
zhaoyun 84 88 80
guanyu 83 78 90
liubei 86 88 79

b) 取eth0的ip地址

ifconfig eth0|awk -F '(addr:)|(Bcast:)' 'NR==2{print $2}'ifconfig eth0|awk -F '[: ]+' 'NR==2{print $4}'ifconfig eth0|awk -F '[^0-9.]+' 'NR==2{print $2}'

也可以写成

ifconfig eth0|awk  'BEGIN{FS="(addr:)|(Bcast:)"} NR==2{print $2}'ifconfig eth0|awk  'BEGIN{FS="[^0-9.]+"} NR==2{print $2}'ifconfig eth0|awk  'BEGIN{FS="[: ]+"} NR==2{print $4}'

注意：命令行 -F 本质就是修改FS的变量。

7. END

END 在awk读取完所有的文件的时候，再执行END模块，一般用来输出一个结果（累加，数组的结果）也可以是和BEGIN模块类似的结尾标识信息。

awk 'END { print "Work done"} {print $0}' score.txt

zhaosan 85 92 78
lisheng 89 90 75
zhaoyun 84 88 80
guanyu 83 78 90
liubei 86 88 79
Work done

统计数量: grep -c 或 awk

[root@mysql-master ~]# awk '/^$/{print $0}' /etc/services |wc -l16[root@mysql-master ~]# grep -c '^$' /etc/services16[root@mysql-master ~]# awk '/^$/{i++}END{print i}' /etc/services16[root@mysql-master ~]# awk '/^$/{i=i+1}END{print i}' /etc/services16

3) 显示用户信息配置文件中uid大于500的用户名及uid信息并在开头显示“用户名 UID”字样，在结尾显示“the over"

awk -F: 'BEGIN { print "用户名 UID"} END { print "the over"} $3>500{print $1,$3}' /etc/passwd

补充：awk中变量使用

直接定义，直接使用即可。

awk中字母会被认为是变量，如果真的要给一个变量赋值使用双引号

[root@mysql-master ~]# awk 'BEGIN{ a=123asdf;print a}'    #awk中字母会被认为是变量123[root@mysql-master ~]# awk 'BEGIN{ a="123asdf";print a}' #awk中给变量赋值要加双引号；使用变量直接使用即可123asdf