shell awk实战
2017-02-05 11:20
288 查看
一、文本处理
1、按行提取关键字频次(如取第5列)
awk 'BEGIN{FS="|"} {a[$5]+=1;} END {for(i in a) print i ":" a[i];}' OPT.ForumLogicNewServer_action_20161107.log | sort -nrk 2 -t ':'
2、日志用户每分钟访问量统计
这里我们统计日志中“getThreadList”接口的流量每分钟到达率。
awk 'BEGIN{FS="|"} $5=="getThreadList" {a[substr($1,0,16)]+=1;} END{for(i in a) print i "\t" a[i]}' OPT.ForumLogicNewServer_action_20161107.log | sort > getThreadList.txt
3、找一个目录下所有的二进制文件
ls -lrt | awk '{print $9}' | xargs file | grep ELF | awk '{print $1}' | tr -d ':'
4、 grep '2016-11-21 22:05' MTT.IDCenterServer_IDCenterServer_20161121.log | grep 'UserInfo' | awk 'BEGIN{FS="|"} {print $6}' | uniq | wc -l
1、按行提取关键字频次(如取第5列)
awk 'BEGIN{FS="|"} {a[$5]+=1;} END {for(i in a) print i ":" a[i];}' OPT.ForumLogicNewServer_action_20161107.log | sort -nrk 2 -t ':'
2、日志用户每分钟访问量统计
这里我们统计日志中“getThreadList”接口的流量每分钟到达率。
awk 'BEGIN{FS="|"} $5=="getThreadList" {a[substr($1,0,16)]+=1;} END{for(i in a) print i "\t" a[i]}' OPT.ForumLogicNewServer_action_20161107.log | sort > getThreadList.txt
3、找一个目录下所有的二进制文件
ls -lrt | awk '{print $9}' | xargs file | grep ELF | awk '{print $1}' | tr -d ':'
4、 grep '2016-11-21 22:05' MTT.IDCenterServer_IDCenterServer_20161121.log | grep 'UserInfo' | awk 'BEGIN{FS="|"} {print $6}' | uniq | wc -l
相关文章推荐
- SHELL:awk,sed,常用文本处理命令
- shell脚本--使用for if date awk
- linux实战(一)----日志的截取-----文本过滤器grep、文本流式编辑器sed、报表生成器awk的运用
- shell+sed+awk和perl和python的区别
- shell脚本中的awk脚本语法
- shell基础九:awk
- awk引用shell中变量的几种方法
- shell脚本编辑6:awk过滤
- 【译】 AWK教程指南 6在AWK程序中使用Shell命令
- Shell 中grep awk 和 sed常用命令和语法
- awk 中使用shell 变量
- linux-shell脚本命令之awk
- Shell脚本之awk基础语法
- awk之shell快速修改文件名
- shell脚本之awk的简单使用
- shell向awk传值
- awk中如何使用shell的环境变量
- awk与shell
- 转――[Shell学习笔记] Shell正则表达式与grep、sed、awk的特点
- shell脚本学习笔记(三)—— if、xargs、awk