awk使用

1，基础语法
$ gawk 'BEGIN {print "Hello World!"} {print $0} END {print "byebye"}' passwd
内建变量
$0 整条记录
$1 记录中的第1个数据字段
$2 记录中的第2个数据字段
$n 记录中的第n个数据字段
FIELDWIDTHS 一列由空格分隔的数字，定义了每个字段具体宽度
FS 输入字段分隔符
RS 输入记录分隔符
OFS 输出字段分隔符
ORS 输出字段分隔符

ARGC 当前命令行参数个数
ARGIND 当前文件在ARGV中的索引
ARGV 包含命令行参数的数组
CONVFMT 数字的转换格式（参见printf语句），默认值为%.6g
ENVIRON 由当前shell环境变量及其值组成的关联数组
ERRNO 当读取或关闭输入文件发生错误时的系统错误号
FILENAME 用作gawk输入的数据文件的文件名
FNR 当前数据文件中的记录数
IGNORECASE 设成非零时，忽略gawk命令中出现的字符串的字符大小写
NF 数据文件中的字段总数
NR 已处理的输入记录数
FNR  文件记录数
OFMT 数字的输出格式，默认值为%.6g
RLENGTH 由match函数所匹配的子串的长度
RSTART 由match函数所匹配的子串的起始位置
next:
提前结束对本行处理而直接进入下一行处理（awk自身的循环）
基本使用：
Awk –Fs  ‘/pattern/ {action}’ input-file
(或者)
Awk –Fs ‘{action}’ input-file

-F 为字段分界符。如果不指定，默认会使用空格作为分界符。
/pattern/和{action}需要用单引号引起来。
/pattern/是可选的。如果不指定，awk 将处理输入文件中的所有记录。如果指定一个模式，awk 则只处理匹配指定的模式的记录。

awk ‘BEGIN {FS=”,”} {print $2,$3}’ employee.txt
awk  'BEGIN {print "test1","test2"}'   不使用逗号分隔test1与test2时，awk 将不会使用 OFS，其输出变量之间没有任何空格

2，变量
Awk 变量以字母开头，后续字符可以是数字、字母、或下划线。关键字不能用作 awk 变量，可以直接使用而不需事先声明。如果要初始化变量，最好在BEGIN 区域内作，它只会执行一次。 使用-v 声明或直接使用。

数组：
array[index-expression]
index-expression:
(1) 可使用任意字符串；字符串要使用双引号括起来
(2) 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”
(3) 若要判断数组中是否存在某元素，要使用“index in array”格式进行遍历

printf 输出格式

格式化输出：printf “FORMAT”, item1, item2, .
(1) 必须指定FORMAT
(2) 不会自动换行，需要显式给出换行控制符，\n
(3) FORMAT中需要分别为后面每个item指定格式符

4 正则表达式的匹配

操作符             描述
~                       匹配
！~                     不
例如 ：
awk  -F:  ' $1 ~ "ro" '  passwd        第一个字段包含ro

5，行范围的限定
awk -F: ‘/^root\>/,/^nobody\>/ {print $1}' /etc/passwd
awk -F: ‘(NR>=10&<=20){print NR,$1}' /etc/passwd （小括号加不加都行）

6 ，结构化命令
if
单条语句
if(conditional-expression ) {statements ;.......}

多条
if (conditional-expression)
{
action1;  #依次执行
action2;
}

if   else
if (conditional-expression)
action1
else
action2

if(condition) {statements;…} else {statements;…}

三元操作符
codintional-expression ? action1 : action2 ;

while
while (codition)
{

Actions

}

while(conditon) {statments;…}

do-while

do
{
action
}
while(condition)

for

for(initialization;condition;increment/decrement)
for(expr1;expr2;expr3) {statements;…}

if-then-else语句：
if (condition) statement1; else statement2
while语句：
while (condition)
{
statements
}
do-while语句：
do {
statements
} while (condition)
for语句：
for(variable assignment; condition; iteration process)

常用示例：

seq  10 | awk  'i=0{print  $0}'     i=0不打印
seq  10 | awk  'i=1{print  $0}'     =1  打印  与大括号无关
seq  10 | awk  'i=!i{print i, $0}'   开始i未赋值,!i 为真（即1），打印，之后为假（0），不打印，只打印奇数行
seq  10 | awk  '!(i=!i){print i, $0}'  同上，打印偶数行

磁盘利用率大于10%并显示
df  -h  | awk  -F "[[:space:]]+|%"  '/^\/dev\/sd/{  if ($5>10)  print  $1, $5}'

awk  '/^[[:space:]]*linux16/  {i=1;while (i<= NF) {print $i,length($i);i++} }'  /boot/grub2/grub.cfg

100累加
awk  'BEGIN{sum=0; for (i=1;i<=100;i++){ sum+=i}  print sum  }'

查看本机tcp 连接的状态数

netstat -tan | awk '/^tcp/  {state[$NF]++}  END{for(i in state) { print i,state[i]  }} '
awk '{split($5,ip,":");count[ip[1]]++;print ip[1],"链接数" , count[ip[1]]}'  ss.log |  sort  -nr  -k 3 | head
awk   -F "[[:space:]]+|:"  '{ ip[$6]++}END{for(i in ip) { print "summery", i,"links ",  ip[i] } }   '  ss.log  | sort  -nr  -k4

access.log  取前十ip
awk  '{ip[$1]++} END{for (i in  ip ){print  i, "连接数 " ip[i]}} '  access_log   | sort  -nr  -k 3   | head

取随机数

awk 'BEGIN{srand(); for(i=1;i<=10;i++){print rand()} }'
awk 'BEGIN{srand(); for (i=1;i<=200;i++) { if (i==200 ) {printf "%d", int(rand()100) ;}else {printf "%d,", int(rand()100) }} }' >> soho.txt

取随机数并找到最大最小数
awk  -F ","    ' { MAX=$1;MIN=$1;  for (i=1;i<=NF;i++) {if  ( $i>= MAX  ) { MAX=$i } ;  if ( $i <= MIN) {  MIN=$i }  }  }  END{ print  "MAX=",MAX, "MIN=" ,MIN } '  soho.txt

字符串操作
• length([s])：返回指定字符串的长度
• sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容，并将第一个匹配内容替换为s
echo "2008:08:08 08:08:08" | awk 'gsub(/:/,"-",$0)'

用awk命令，计算当前目录下文件大小的总和
find  .     -maxdepth 1   -type  f -ls   | awk  '{sum+=$7}  END {print  sum} '

统计链接到本地数最大的IP10个

netstat  -an  | head   | awk  -F "[[:space:]]+|:"   ' NR> 2 {print $6}'

netstat  -an  | head   | awk  -F "[[:space:]]+|:"   ' NR> 2 {ip[$6]++}  END{for (i in ip ) print i,ip[i] }' | sort -nr -k 2|head