AWK 简明教程

有一些网友看了前两天的《Linux下应该知道的技巧》希望我能教教他们用awk和sed，所以，出现了这篇文章。我估计这些80后的年轻朋友可能对awk/sed这类上古神器有点陌生了，所以需要我这个老家伙来炒炒冷饭。况且，AWK是贝尔实验室1977年搞出来的文本出现神器，今年是蛇年，是AWK的本命年，而且年纪和我相仿，所以非常有必要为他写篇文章。

之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。要学AWK，就得提一提AWK的一本相当经典的书《The AWK Programming Language》，它在豆瓣上的评分是9.4分！在亚马逊上居然卖1022.30元。

我在这里的教程并不想面面俱到，本文和我之前的Go语言简介一样，全是示例，基本无废话。

我只想达到两个目的：

1）你可以在乘坐公交地铁上下班，或是在坐马桶拉大便时读完（保证是一泡大便的工夫）。

2）我只想让这篇博文像一个火辣的脱衣舞女挑起你的兴趣，然后还要你自己去下工夫去撸。

废话少说，我们开始脱吧（注：这里只是topless）。

起步上台

我从netstat命令中提取了如下信息作为用例：

下面是最简单最常用的awk示例，其输出第1列和第4例，

其中单引号中的被大括号括着的就是awk的语句，注意，其只能被单引号包含。

其中的$1..$n表示第几例。注：$0表示整个行。

我们再来看看awk的格式化输出，和C语言的printf没什么两样：

脱掉外套

过滤记录
我们再来看看如何过滤记录（下面过滤条件为：第三列的值为0 && 第6列的值为LISTEN）

其中的“==”为比较运算符。其他比较运算符：!=, >, <, >=, <=

我们来看看各种过滤记录的方式：

如果我们需要表头的话，我们可以引入内建变量NR：

再加上格式化输出：

[b]内建变量[/b]
说到了内建变量，我们可以来看看awk的一些内建变量：

$0	当前记录（这个变量中存放着整个行的内容）
$1~$n	当前记录的第n个字段，字段间由FS分隔
FS	输入字段分隔符 默认是空格或Tab
NF	当前记录中的字段个数，就是有多少列
NR	已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中。
FNR	当前记录数，与NR不同的是，这个值会是各个文件自己的行号
RS	输入的记录分隔符， 默认为换行符
OFS	输出字段分隔符， 默认也是空格
ORS	输出的记录分隔符，默认为换行符
FILENAME	当前输入文件的名字

怎么使用呢，比如：我们如果要输出行号：

[b]指定分隔符[/b]

上面的命令也等价于：（-F的意思就是指定分隔符）

注：如果你要指定多个分隔符，你可以这样来：

再来看一个以\t作为分隔符输出的例子（下面使用了/etc/passwd文件，这个文件是以:分隔的）：

脱掉衬衫

字符串匹配
我们再来看几个字符串匹配的示例：

上面的第一个示例匹配FIN状态， 第二个示例匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。这就是一个正则表达式的匹配。

其实awk可以像grep一样的去匹配第一行，就像这样：

我们可以使用 “/FIN|TIME/” 来匹配 FIN 或者 TIME :

再来看看模式取反的例子：

或是：

折分文件

awk拆分文件很简单，使用重定向就好了。下面这个例子，是按第6例分隔文件，相当的简单（其中的NR!=1表示不处理表头）。

你也可以把指定的列输出到文件：

再复杂一点：（注意其中的if-else-if语句，可见awk其实是个脚本解释器）

统计
下面的命令计算所有的C文件，CPP文件和H文件的文件大小总和。

我们再来看一个统计各个connection状态的用法：（我们可以看到一些编程的影子了，大家都是程序员我就不解释了。注意其中的数组的用法）

再来看看统计每个用户的进程的占了多少内存（注：sum的RSS那一列）

脱掉内衣

awk脚本
在上面我们可以看到一个END关键字。END的意思是“处理完所有的行的标识”，即然说到了END就有必要介绍一下BEGIN，这两个关键字意味着执行前和执行后的意思，语法如下：

BEGIN{ 这里面放的是执行前的语句 }

END {这里面放的是处理完所有的行后要执行的语句 }

{这里面放的是处理每一行时要执行的语句}

为了说清楚这个事，我们来看看下面的示例：

假设有这么一个文件（学生成绩表）：

我们的awk脚本如下（我没有写有命令行上是因为命令行上不易读，另外也在介绍另一种用法）：

我们来看一下执行结果：（也可以这样运行 ./cal.awk score.txt）

环境变量
即然说到了脚本，我们来看看怎么和环境变量交互：（使用-v参数和ENVIRON，使用ENVIRON的环境变量需要export）

几个花活

最后，我们再来看几个小例子：

自己撸吧

关于其中的一些知识点可以参看gawk的手册：

内建变量，参看：http://www.gnu.org/software/gawk/manual/gawk.html#Built_002din-Variables

流控方面，参看：http://www.gnu.org/software/gawk/manual/gawk.html#Statements

内建函数，参看：http://www.gnu.org/software/gawk/manual/gawk.html#Built_002din

正则表达式，参看：http://www.gnu.org/software/gawk/manual/gawk.html#Regexp

（全文完）

转载自：http://coolshell.cn/articles/9070.html