[svc][op]从历险压缩日志里网站pv uv统计
2017-02-06 18:02
330 查看
http://myhoop.blog.51cto.com/5556534/1367523
tomcat日志格式: http://www.cnblogs.com/anic/archive/2012/12/13/2817126.html
tomcat日志格式: http://www.cnblogs.com/anic/archive/2012/12/13/2817126.html
一,统计1.27日到2.2日的日志
蛋疼点:1,天数多,机器多
先想办法列出所有要统计的压缩包2,日志都已压缩
bzcat可以在不解压情况下查压缩内容pv统计:
bzcat node{1,2,3,4}/ access_log.2017-02-0{1,2}*.bz2 node{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep "your keywords"|wc -l bzcat node{1,2,3,4}/ access_log.2017-02-0{1,2}*.bz2 node{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep " your keywords"|wc -l
uv统计:
蛋疼点: X-Forwarded-For对应用户真实ip,日志|分割,从日志看,有些|分割第一项有2个ip,有些日志条目有1个ip. 解决:先按|awk过滤,再按,过滤,过滤出第一列,之后去重,然后后统计.bzcat node{1,2,3,4}/access_log.2017-02-0{1,2}*.bz2 java{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep " your keywords "|awk -F '|' '{print$1}'|awk -F ',' '{print $1}'|sort|uniq -c|sort -rn|wc -l bzcat node{1,2,3,4}/access_log.2017-02-0{1,2}*.bz2 java{1,2,3,4}/access_log.2017-01-{27,28,29,30,31}.txt.bz2|grep " your keywords "|awk -F '|' '{print$1}'|awk -F ',' '{print $1}'|sort|uniq -c|sort -rn|wc –l
相关文章推荐
- hive 的日志处理统计网站的 PV 、UV案例 与 给合 python的数据清洗数据案例
- 网站流量统计之PV和UV
- 统计网站的PV(页面访问量)UV(访问某个站点或点击某条新闻的不同IP地址的人数)
- 从Nginx的access日志统计PV、UV和热点资源
- 网站流量统计之PV和UV
- 使用shell脚本分析网站日志统计PV、404、500等数据
- 你应该知道的算法2-网站pv,uv统计
- 网站统计中的PV(访问量):UV(独立访客):IP(独立IP)的定义与区别
- PHP网站流量统计--[pv,uv,ip及$_SERVER]说明
- 使用shell脚本分析网站日志统计PV、404、500等数据
- 网站流量统计之PV和UV
- 网站统计IP PV UV实现原理
- 网站统计中的PV-UV-IP的定义与区别
- 网站访问量统计之UV/PV/IP浅析
- 日志文件 统计 网站PV IP
- 网站流量统计之PV和UV
- Shell之网站日志的PV,UV计算
- Java学习之道:网站流量统计的:pv,uv,ip说明
- NGINX: 统计网站的PV、UV、独立IP
- 网站的PV、UV、的统计 (awk 统计命令)