Python开发【项目】：生产环境下实时统计网站访问日志信息

日志实时分析系统

生产环境下有需求：要每搁五分钟统计下这段时间内的网站访问量、UV、独立IP等信息，用直观的数据表格表现出来

环境描述：

网站为Nginx服务，系统每日凌晨会对日志进行分割，拷贝到其他位置，当前日志清空

NGINX日志配置信息:

http {
log_format  main  '$remote_addr - [$time_local]  "$request" '
' - $status "User_Cookie:$guid" ';
}

server {
if ($http_cookie ~* "(.*)$"){
#if ($http_cookie ~* "JCRB_VOTE=([A-Z0-9]*)"){
set $guid $1;
}
}

日志只统计：客户IP、访问时间、请求路径、状态码、客户端缓存

日志access.log示例

<table border="1">
<thead>
<tr>
<td class="table_top" colspan="6" >日期</td>
</tr>
<tr>
<td style="width: 25%">时间</td>
<td style="width: 15%">页面浏览量</td>
<td style="width: 15%">200状态码</td>
<td style="width: 15%">503状态码</td>
<td style="width: 15%">独立IP数</td>
<td style="width: 15%">独立访客数</td>
</tr>
</thead>
<tbody>
</tbody>
</table>

table_tmp
注：table_tmp最后一行一定要一换行符

最终效果图：





总结：

整个程序可以针对不同的日志类型进行增加删减，程序也可以作为以后开发监控系统其中网站监测的一个模块

完整程序代码-》》https://coding.net/u/James_Lian/p/LogAnalysis/git/tree/master/