您的位置：首页 > 运维架构 > Nginx

使用 awstats 分析 Nginx 的访问日志

2009-06-12 17:14 1256 查看

使用awstats分析Nginx的访问日志

文章来源:http://www.ibm.com/developerworks/cn/linux/l-cn-awstats-nginx/index.html
本文主要介绍如何通过awstats来分析nginx的访问日志，并通过Nginx输出分析结果到浏览器。
前言
在我的上一篇文章《使用Nginx提升网站访问速度》中介绍了Nginx这个HTTP服务器以及如何通过它来加速网站的访问速度。在实际的网站运营中，我们经常需要了解到网站的访问情况，例如每天有多少IP在访问、PV数是多少、哪个URL访问量最大、用户使用最多的浏览器是哪个、都是通过什么方式知道这个网站的以及有多少用户访问出错等等，通过掌握这些信息来提高用户的体验，从而改善网站的质量。一般我们可以通过一些免费的访问统计网站例如GoogleAnalytics来或者这些信息。但不足之处是这类网站只能对页面进行分析，不包括静态文件；另外可能有很多的站长不愿意使用这类工具来暴露自己的数据，种种的这些因素使站长希望自己来分析访问日志。而awstats就可以满足所有的这些需求。
Awstats是在SourceForge上发展很快的一个基于Perl的WEB日志分析工具，一个充分的日志分析让Awstats显示您下列资料:

访问次数、独特访客人数,
访问时间和上次访问,
使用者认证、最近认证的访问,
每周的高峰时间(页数,点击率,每小时和一周的千字节),
域名/国家的主机访客(页数,点击率,字节,269域名/国家检测,geoip检测),
主机名单,最近访问和未解析的IP地址名单
大多数看过的进出页面,
档案类型,
网站压缩统计表(mod_gzip或者mod_deflate),
使用的操作系统(每个操作系统的页数,点击率,字节,35OSdetected),
使用的浏览器,
机器人访问(检测319个机器人),
蠕虫攻击(5个蠕虫家族),
搜索引擎，利用关键词检索找到你的地址,
HTTP协议错误(最近查阅没有找到的页面),
其他基于URL的个性报导,链接参数,涉及综合行销领域目的.
贵网站被加入"最喜爱的书签".次数.
屏幕大小(需要在索引页补充一些HTML标签).
浏览器的支持比例:Java,Flash,RealG2reader,Quicktimereader,WMAreader,PDFreader.
负载平衡服务器比率集群报告.

Awstats的运行是需要PERL环境的支持，从awstats的文档来看，它对ApacheHTTPServer的支持是非常完美的，而当我们把Web服务器换成Nginx后，要运行awstats变得很麻烦。首先Nginx本身对Perl的支持是比较弱的，甚至官方也不建议使用；另外在日志格式上有需要修改后才能运行。
本文主要介绍通过让awstats对日志统计的结果生成静态页面，然后通过Nginx输出以达到统计Nginx访问日志的效果，其中还包括如何让Nginx自动切割日志文件。

回页首

配置Nginx自动切割日志
跟ApacheHTTPServer（以下称Apache）不同的是，Apache可以将日志输出通过管道的方式进行重新定向，依此来进行自动的日志切割。Nginx在现今版本上还没能跟Apache一样，通过%YY等参数按日期分批创建日志，但是通过给nginx进程发送一个特定的信号，可以使nginx重新生成日志文件。我们可以定期执行一个Shell脚本来切换日志，重新命名或转移，具体的脚本如下：

#mv/opt/nginx/logs/access.log/opt/nginx/logs/access_`date+%Y%m%d`.log
#killall–sUSR1nginx	#使用USR1参数通知Nginx进程切换日志文件

将以上脚本内容保存为文件名为logcron.sh存到自定的目录中，例如/opt/nginx/sbin/logcron.sh
使用Crontab让该脚本程序在每天晚上11点59分自动执行，即可做到按天创建日志。

回页首

安装和配置Awstats
安装之前，必须确认你的服务器上Perl的环境已经就绪。
查看当前环境Perl版本的命令是perl–version
我们还需要对Nginx的日志格式做个小修改，不然awstats将无法进行统计。
例子如下(加粗部分)：

#vi/opt/nginx/conf/nginx.conf
server{
listen80;
server_namelocalhost;
location~^/web/{
root/data/web;
indexindex.html;
error_logoff;
charsetgb2312;
}
log_formatnew_log	#格式代称(注意，如果有多个虚拟主机，代称不能一样)
'$remote_addr-[$time_local]$request'
'"$status"$body_bytes_sent"$http_referer"'
'"$http_user_agent""$http_x_forwarded_for"';
access_loglogs/access.lognew_log;	#日志生成路径
}

Nginx中配置好Log格式：
log_formatmain'$remote_addr-[$time_local]"$request"'
'$status$body_bytes_sent"$http_referer"'
'"$http_user_agent"$http_x_forwarded_for';
相对应的Awstats中Log格式为：
LogFormat="%host-%time1%methodurl%code%bytesd%refererquot%uaquot"

下载最新版本的awstats包，下载地址请见文章最后的参考资料。把下载后的tar包解压到任意目录中，例:/usr/local/awstats。然后执行tools目录中的awstats_configure.pl配置向导，创建一个新的统计。

----->Checkforwebserverinstall
EnterfullconfigfilepathofyourWebserver.
Example:/etc/httpd/httpd.conf
Example:/usr/local/apache2/conf/httpd.conf
Example:c:\Programfiles\apachegroup\apache\conf\httpd.conf
Configfilepath('none'toskipwebserversetup):
#>none#因为我们这里用的是Nginx，所以写none，跳过。

回车

Yourwebserverconfigfile(s)couldnotbefound.
YouwillneedtosetupyourwebservermanuallytodeclareAWStats
scriptasaCGI,ifyouwanttobuildreportsdynamically.
SeeAWStatssetupdocumentation(filedocs/index.html)
----->Updatemodelconfigfile'/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
Fileawstats.model.confupdated.
----->Needtocreateanewconfigfile?
DoyouwantmetobuildanewAWStatsconfig/profile
file(requirediffirstinstall)[y/N]?
#>y	#y创建一个新的统计配置

回车

----->Defineconfigfilenametocreate
Whatisthenameofyourwebsiteorprofileanalysis?
Example:www.mysite.com
Example:demo
Yourwebsite,virtualserverorprofilename:
#>www.moabc.net		#统计网站的域名例：
[code]www.moabc.net

[/code]

回车

----->Defineconfigfilepath
Inwhichdirectorydoyouplantostoreyourconfigfile(s)?
Default:/etc/awstats
Directorypathtostoreconfigfile(s)(Enterfordefault):
#>

使用默认直接回车，接下来便会出现以下的提示

---->Addupdateprocessinsideascheduler
Sorry,configure.pldoesnotsupportautomaticaddtocronyet.
Youcandoitmanuallybyaddingthefollowingcommandtoyourcron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl-update-config=www.moabc.net
#回头把该命令填入crontab按指定时间执行
Orifyouhaveseveralconfigfilesandpreferhavingonlyonecommand:
/usr/local/awstats/tools/awstats_updateall.plnow
PressENTERtocontinue...		回车继续
ASIMPLEconfigfilehasbeencreated:/etc/awstats/awstats.www.moabc.net.conf
#新配置文件所在的路径
Youshouldhavealookinsidetocheckandchangemanuallymainparameters.
Youcanthenmanuallyupdateyourstatisticsfor'www.moabc.net'withcommand:
>perlawstats.pl-update-config=www.moabc.net
Youcanalsobuildstaticreportpagesfor'www.moabc.net'withcommand:
>perlawstats.pl-output=pagetype-config=www.moabc.net
PressENTERtofinish...

回车完成向导，接下来修改www.moabc.net的统计配置
#vi/etc/awstats/awstats.www.moabc.net.conf
找到统计的日志文件的路径
LogFile="/var/log/httpd/mylog.log"
改为
LogFile="/opt/nginx/logs/access_%YYYY-0%MM-0%DD-0.log
对应上边Nginx日志切割程序的所生成的目录存放结构，要注意Awstats的年月日格式的跟Nginx的写法有所不同。我们现在执行统计的顺序是：
Nginx产生日志–>日志切割–>Nginx继续产生日志–>另存切割日志–>交由Awstats统计–>生成结果
在本文中Awstats所统计的日志，是已切下来的那部分。也能调转顺序，先统计完了再切。不过这比较容易造成统计的遗漏。配置修改完成后，保存退出。然后我们可以开始试一下手动执行。

先执行日志切割脚本logcron.sh把Nginx的日志切下来。
然后执行Awstats日志更新程序开始统计分析。

#/opt/nginx/sbin/logcron.sh
#/usr/local/awstats/wwwroot/cgi-bin/awstats.pl-update-config=www.moabc.net
Create/Updatedatabaseforconfig"/etc/awstats/awstats.www.moabc.net.conf"
byAWStatsversion6.7(build1.892)
Fromdatainlogfile"/opt/nginx/logs/access_20080804.log"...
Phase1:Firstbypassoldrecords,searchingnewrecord...
Directaccessafterlastparsedrecord(afterline450421)
Jumpedlinesinfile:450421
Found450421alreadyparsedrecords.
Parsedlinesinfile:120
Found0droppedrecords,
Found0corruptedrecords,
Found0oldrecords,
Found120newqualifiedrecords.

看到以上显示，证明日志切割和Awstats都已经运行无误了。统计分析完成后，结果还在Awstats的数据库中。在Apache上，可以直接打开Perl程序的网页查看统计。但本文开始时已经提到，Nginx对Perl支持并不好，所以我们要换个方法，利用awstats的工具将统计的结果生成静态文件，具体的步骤如下：

首先在webroot目录下创建一个文件夹。例：/data/webroot/awstats
然后让Awstats把静态页面生成到该目录中

#mkdir/data/webroot/awstats
#/usr/local/awstats/tools/awstats_buildstaticpages.pl-update\
-config=www.moabc.net-lang=cn-dir=/data/admin_web/awstats\
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

上述命令的具体意思如下：

/usr/local/awstats/tools/awstats_buildstaticpages.plAwstats静态页面生成工具
-update-config=www.moabc.net更新配置项
-lang=cn语言为中文
-dir=/data/admin_web/awstats统计结果输出目录
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.plAwstats日志更新程序路径。

接下来，只需在nginx.conf中，把该目录配置上去即可。例子如下:(加粗部分):

server{
listen80;
server_namelocalhost;
location~^/web/{
root/data/web;
indexindex.html;
error_logoff;
charsetgb2312;
}
location~^/awstats/{	#html静态页面目录
root/data/webroot/awstats;
indexindex.html;
access_logoff;
error_logoff;
charsetgb2312;#最好把默认编码改成gb2312避免浏览器因自动编码出现乱码的情况
}
location~^/icon/{#图标目录
root/usr/local/awstats/wwwroot;
indexindex.html;
access_logoff;
error_logoff;
charsetgb2312;
}
}

用浏览器查看到统计的详细结果http://youhostname/awstats/awstats.www.moabc.net.html至此，使用awstats已能完全支持Nginx的日志统计。

回页首

配置Awstats自动运行
为了让整个日志的统计过程自动完成，我们需要设置crontab计划任务，让Nginx日志切割以及Awstats自动运行，定时生成结果页面。

#vi/etc/crontab
1159***/opt/nginx/sbin/logcron.sh			#半夜11:59进行日志切割
001***/usr/local/awstats/tools/awstats_buildstaticpages.pl\
-update-config=www.moabc.net-lang=cn-dir=/data/admin_web/awstats\
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl
#凌晨00:01Awstats进行日志分析
:wq保存退出
#crontab/etc/crontab	指定cron所执行的配置档路径

回页首

保护日志统计结果页面
一般站长都不愿随便让人知道自己站的真实流量，所以要把Awstats统计结果页面进行密码保护。Nginx使用的是跟Apache一样的密码加密格式，这里需要用到apache自带的工具htpasswd。
如果你在本机上默认装有Apache，这你就只需在它的程序目录下运行
例:

#/usr/local/apache2/bin/htpasswd-cadmin.passadmin#用户名为admin
Newpassword:			输入密码
Re-typenewpassword:		重复输入
Addingpasswordforuseradmin	创建成功
然后把admin.pass这个密码包找个的地方藏起来.
修改nginx.conf在location中加入(加粗部分)：
server{
listen80;
server_namelocalhost;
location~^/web/{
root/data/web;
indexindex.html;
error_logoff;
charsetgb2312;
}
location~^/awstats/{	#html静态页面目录
root/data/admin_web;
indexindex.html;
access_logoff;
error_logoff;
charsetgb2312;
auth_basic"admin";#用户名
/opt/ngx/conf/admin.pass;#密码包路径
}
location~^/icon/{#图标目录
root/usr/local/awstats/wwwroot;
indexindex.html;
access_logoff;
error_logoff;
charsetgb2312;
}
}
修改Nginx配置完毕后，执行命令killall–sHUPnginx让Nginx重新加载配置即可。

回页首

总结
尽管跟ApacheHTTPServer相比较而言，Nginx的功能是比较弱的，但是我们依然可以利用一些技巧来规避这些弱点，Nginx的设计者肯定也是充分考虑到这个问题。现在也越来越多的第三方开发的模块在逐渐的扩展Nginx的功能。但是从应用本身的角度而言，Nginx更倾向于卓越的性能，而非大而全的功能，因而在一些附加方面的功能，我们也不能对之要求过高。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航