shell脚本之awk学习笔记

shell脚本学习笔记九——awk

#cat grade.txt
M.Tansley 05/99 48311 Green 8 40 44
J.Lulu 06/99 48317 green 9 24 26
P.Bunny 02/99 48 Yellow 12 35 28
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28

awk '{print $1,$4}' grade.txt
打印报告头
awk 'BEGIN {print "Name \t Belt\n--------------------"}{print $1"\t"$4}' grade.txt

打印信息尾
# awk 'BEGIN{print "Name \t \n------"}{print $1}END{print "--end of report--"}' grade.txt

Name
------
M.Tansley
J.Lulu
P.Bunny
J.Troll
L.Tansley
--end of report--

awk中正则表达式及其操作
1) 元字符 \ ^ $ . [] | () * + ?
2) 条件操作符 < <= == != >= ~ 匹配正则表达式 !~ 不匹配正则

表达式

匹配 使一域号匹配正则表达式，使用 ‘~’后紧跟正则表达式，也可以使用

if语句.awk中if后面的条件用()括起来
# awk '{if($4 ~/Brown/)print $0}' grade.txt
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28
# awk '$0 ~/Brown/' grade.txt
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28

精确匹配
# awk '{if($3=="48") print $0}' grade.txt 第三列有很多

48，所以要用精确匹配
P.Bunny 02/99 48 Yellow 12 35 28
# awk '$3==48' grade.txt awk默认动作是

print
P.Bunny 02/99 48 Yellow 12 35 28

awk '{ if ($6 < $7) print $1" Try better at..."}' grade.txt
M.Tansley Try better at...
J.Lulu Try better at...

设置大小写 [] 可匹配任意字符或单词
awk '{if($4 ~/[Gg]reen/) print $0}' grade.txt
M.Tansley 05/99 48311 Green 8 40 44
J.Lulu 06/99 48317 green 9 24 26
awk '/[Gg]reen/' grade.txt 结果同上

任意字符
[root@localhost awk_sed]# awk '$1 ~/^...a/' grade.txt
M.Tansley 05/99 48311 Green 8 40 44
L.Tansley 05/99 4712 Brown-2 12 30 28
awk '{if(/^...a/) print}' grade.txt 结果同上

或关系匹配 ｜ 匹配两边模式之一 使用竖线符时，语句必须用圆括号

括起来
# awk '$4 ~/([Yy]ellow|[Bb]rown)/' grade.txt 抽取级别为yellow或

brown的记录
P.Bunny 02/99 48 Yellow 12 35 28
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28

行首
# awk '/^48/' grade.txt
# awk '/^P.B/' grade.txt
P.Bunny 02/99 48 Yellow 12 35 28
所有表达式（除字符重复出现外）在awk中都是合法的。
复合模式 && || !
# awk '{if($1=="P.Bunny" && $4=="Yellow") print $0}' grade.txt
P.Bunny 02/99 48 Yellow 12 35 28
awk '{if($4=="green" || $4 ~/Brown/) print $0}' grade.txt
J.Lulu 06/99 48317 green 9 24 26
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28

awk内置变量
ARGC 命令行参数个数
ARGV 命令行参数排列 ARGV
表示每一元素，n为期望访问的

命令行参数
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名 awk可以同时处理许多文件
FNR 浏览文件的记录数
FS 设置输入域分隔符，等价于命令行-F选项。如果用逗号作域分隔符

，设置 FS=","
NF 浏览记录的域个数
NR 已读的记录数
OFS 输出域分隔符 缺省为空格。若想设置为#，写入OFS="#"
ORS 输出记录分隔符 缺省为新行（\n）
RS 控制记录分隔符 缺省为新行(\n)
下面为awk内置变量的例子
NR 快速查看记录个数，比如导出数据库文件后，要快速浏览记录个数。
# awk 'END{print NR}' grade.txt
5
# awk '{print NR}' grade.txt
1
2
3
4
5
#awk '{print NF,NR,$0}END{print FILENAME}' grade.txt 打印所有学生的

记录，并打印记录号及域个数(NF),文件名
7 1 M.Tansley 05/99 48311 Green 8 40 44
7 2 J.Lulu 06/99 48317 green 9 24 26
7 3 P.Bunny 02/99 48 Yellow 12 35 28
7 4 J.Troll 07/99 4842 Brown-3 12 26 26
7 5 L.Tansley 05/99 4712 Brown-2 12 30 28
grade.txt
在抽取信息时，最好先检查文件中是否有记录。
# awk '{if(NR>0 && $4 ~/Brown/)print $0}' grade.txt
J.Troll 07/99 4842 Brown-3 12 26 26
L.Tansley 05/99 4712 Brown-2 12 30 28
NF 的一个强大功能是将变量$PWD的返回值传入awk并显示其目录。这里需要指

定域分隔符
# echo $PWD | awk -F/ '{print $NF}'
awk_sed
echo "/usr/local/src" | awk -F/ '{print $NF}' 显示文件名
src

awk操作符
在awk中使用操作符，基本表达式分为划分数字型，字符串型，变量型，域及

数组元素
＝ +＝ *＝ 、 ＝ %＝ ^= 赋值操作符
? 条件表达操作符
|| && ! 并，与，非
- !- 匹配操作符，包括匹配和不匹配
< <= == != >> 关系操作符
+ - * / % ^ 算术操作符
++ -- 前缀和后缀
1.设置输入域到域变量名
# awk '{name=$1;belts=$4; if(belts ~/Yellow/)print name"is belt"

belts'} grade.txt
P.Bunnyis beltYellow
2域值比较操作
两种方法：1.在BEGIN中给变量名赋值 2.在关系操作中使用实际数值。
用引号将数字引起来是可选的，“27”和27是一样的！
[root@localhost awk_sed]# awk '{if($6<27)print $0}' grade.txt
J.Lulu 06/99 48317 green 9 24 26
J.Troll 07/99 4842 Brown-3 12 26 26
# awk 'BEGIN {BASELINE="27"}{if($6<27) print $0}' grade.txt
J.Lulu 06/99 48317 green 9 24 26
J.Troll 07/99 4842 Brown-3 12 26 26
3. 修改数值域取值
awk修改任何域时，重要的一点是要记住实际输入文件是不可修改的，修改的

只是保存在缓存里的awk副本。awk会在变量NR或NF变量中反映出修改痕迹0。
awk '{if ($1=="M.Tansley") $6=$6-1;print $1 "\t" $6 "\t" $7}'

grade.txt
M.Tansley 39 44
J.Lulu 24 26
P.Bunny 35 28
J.Troll 26 26
L.Tansley 30 28
4. 修改文本域
awk '{if($1=="J.Troll") $1=="J.L.Troll";print $1}' grade.txt
M.Tansley
J.Lulu
P.Bunny
J.Troll
L.Tansley
5.只显示修改记录 在模式后面使用花括号将只打印修改部分
awk '{if($1=="J.Troll") {$1=="J.L.Troll";print $1}}' grade.txt
J.Troll
6.创建新的输出域