awk的基本使用

1.awk简介

awk：文本处理工具

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

2.awk语法

awk ‘{pattern + action}’ {filenames}

其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。

3.使用方式

1. 命令行方式

awk [-F field-separator] ‘commands’ input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。

在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2. shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。

相当于shell脚本首行的：#!/bin/sh

可以换成：#!/bin/awk

3. 将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-script-file input-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

4.awk的具体使用（命令行方式）

shell> hostname -I |awk ‘{print $1}’

awk默认用空格、tap符来做分割，被分割的数据被称为域，0是指所有的域，1是指第一个域，依次类推，awk有自己的语法，print表示打印。

shell> awk -F ‘:’ ‘{print 1"\t"7}’ /etc/passwd

指定分隔符为’：’,打印出/etc/passwd所有的用户和shell，并用tab来分开。

shell> awk -F ‘:’ ‘BEGIN {print “name,shell”} {print 1","7} END {print “blue,/bin/nosh”}’

指定分隔符为’:’,在第一行打印”name,shell”，在接下来执行输出所有的用户和shell，并在最后一行打印”blue,/bin/nosh”。BEGIN后面的语句指定开始的第一行，END后面的语句指定最后一行。

shell> awk -F: ‘/\/root/’ /etc/passwd

检索/etc/passwd中所有和”/root”有关的字符，这个在使用的时候前后都要加上’/’，里面支持正则表达式,-F后面可以直接跟’:’来实现指定分隔符。

awk -F ':' '/ro*t/' /etc/passwd #匹配rt、rot、root...的字符串

shell> awk -F ‘:’ ‘/root/ {print 1"\t"7}’ /etc/passwd

先检索含有root的行，再打印出对应的应户名和shell，这个格式就符合了awk的标准语法格式。

shell> ls -l |awk ‘BEGIN {size=0;} {size=size+$5;} END{print “[end]size is “, size/1024/1024,”M”}’

查看当前目录文件的大小，不包括子目录的文件；awk支持自己的变量，拥有完整的流程控制语句（if..else if..else;for(;;)等）

5.awk的内置变量

ARGC               命令行参数个数
ARGV               命令行参数排列，使用时ARGV[1]...
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数,可以认为是行数。
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数，比如打印$7时，NF就是7
NR                 已读的记录数，也是行数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符

这些变量都可以直接用print 输出查看对应的值，打印活保存日志时很有帮助。

awk详解