rocketmq stats.Log 的统计 cmd awk

理论上应该接入小米监控平台. 数据导入,清洗后展示,监控. 目前没有这么一个好的平台.

日志要专项专打. 通过 log logAppender 自动分流到不同的文件中去. 不要手动静态配置了.

日志:

2017-07-14 22:29:00 INFO - [GROUP_GET_SIZE] [DJ_ORDER_DRIVER_END_SERVICE_TOPIC@crm_realtime_msg] Stats In One Minute, SUM: 231409 TPS: 3856.82 AVGPT: 1822.12

[loufei@daijia-rocketmq-00 otherdays]$less stats-2017-07-14.0.log| grep 2017 -m4 | awk -F' - |\\[|\\]|SUM:|TPS:|AVGPT:' '{print "2="$2 "3="$3 "4="$4 "5="$5 "6="$6 "7="$7 "8="$8 "9="$9 "10="$10 "11="$11 }'

2=3=GROUP_GET_SIZE4= 5=REFUND_KUAIPAY_CALLBACK_SUCCESS_TOPIC@djtradegroup6= Stats In One Minute, 7= 0 8= 0.00 9= 0.0010=11=

2=3=GROUP_GET_SIZE4= 5=BLAME_CANCEL_ORDER_BLAME_TOPIC@didicx_blameGroup6= Stats In One Minute, 7= 0 8= 0.00 9= 0.0010=11=
2=3=GROUP_GET_SIZE4= 5=DJ_ORDER_PASSENGER_CANCEL_TOPIC@dj_marketing_mall_group6= Stats In One Minute, 7= 2386 8= 39.77 9= 397.6710=11=

统计某个时间段,按小时统计:

  less stats-2017-07-14.0.log| grep '2017-07-14 22:' | awk -F' - |\\[|\\]|SUM:|TPS:|AVGPT:' '{ minute=substr($1,12,5); tps[$5"__"minute]+=$8} END { for ( i in tps) print i,tps[i]}'

排序: