将Apache的访问日志实时写入mysql数据库
2015-08-14 16:53
477 查看
在apache配置文件或是虚拟主机配置文件中(也就是配置LogFormat以及CustomLog部分)增加如下内容:
LogFormat "INSERT INTO apachelog (ID, dateTime, IP, URL, code, referer, userAgent, size, request) VALUES ( NULL , \"%{%Y-%m-%d %H:%M:%S}t\", \"%a\", \"%U\", \"%>s\", \" %{Referer}i\", \"%{User-Agent}i\", %b, %T);" sqlcomm
CustomLog "| /usr/bin/mysql --user=root --password='' --database=apachealog" sqlcomm
在Mysql数据库中创建数据库及数据表:
mysql> create database apachealog;
mysql> show create table apachealog;
CREATE TABLE `apachelog` (
`ID` int(11) NOT NULL AUTO_INCREMENT,
`dateTime` datetime NOT NULL,
`IP` varchar(15) NOT NULL,
`URL` varchar(256) NOT NULL,
`code` varchar(3) NOT NULL,
`referer` varchar(256) NOT NULL,
`userAgent` varchar(256) NOT NULL,
`size` int(11) NOT NULL,
`request` float NOT NULL,
PRIMARY KEY (`ID`),
KEY `dateTime` (`dateTime`)
) ENGINE=MyISAM AUTO_INCREMENT=40 DEFAULT CHARSET=latin1;
实现思路:
先是利用LogFormat设置将日志转换为接近sql的格式,再通过CustomLog 调用pipe实现mysql写入。
注:Apache的日志格式可以参照官方文档:http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats,也可以使用SetEnvIf配合正则表达式过滤掉诸如图片、CSS、JS之类相对不重要的信息。
LogFormat "INSERT INTO apachelog (ID, dateTime, IP, URL, code, referer, userAgent, size, request) VALUES ( NULL , \"%{%Y-%m-%d %H:%M:%S}t\", \"%a\", \"%U\", \"%>s\", \" %{Referer}i\", \"%{User-Agent}i\", %b, %T);" sqlcomm
CustomLog "| /usr/bin/mysql --user=root --password='' --database=apachealog" sqlcomm
在Mysql数据库中创建数据库及数据表:
mysql> create database apachealog;
mysql> show create table apachealog;
CREATE TABLE `apachelog` (
`ID` int(11) NOT NULL AUTO_INCREMENT,
`dateTime` datetime NOT NULL,
`IP` varchar(15) NOT NULL,
`URL` varchar(256) NOT NULL,
`code` varchar(3) NOT NULL,
`referer` varchar(256) NOT NULL,
`userAgent` varchar(256) NOT NULL,
`size` int(11) NOT NULL,
`request` float NOT NULL,
PRIMARY KEY (`ID`),
KEY `dateTime` (`dateTime`)
) ENGINE=MyISAM AUTO_INCREMENT=40 DEFAULT CHARSET=latin1;
实现思路:
先是利用LogFormat设置将日志转换为接近sql的格式,再通过CustomLog 调用pipe实现mysql写入。
注:Apache的日志格式可以参照官方文档:http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats,也可以使用SetEnvIf配合正则表达式过滤掉诸如图片、CSS、JS之类相对不重要的信息。
相关文章推荐
- Apache Shiro 使用手册(一)Shiro架构介绍 - kdboy - ITeye技术网站
- 关于Apache的日志
- CentOS-6.3安装配置Apache2.2.6
- 在Linux下编译安装Apache2(3)
- 基于mac系统的apache服务器的使用流程
- GET方式获取服务器数据---利用apache的jar包
- post模拟表单数据提交--利用apache的jar包
- 利用apache来做集群,实现负载均衡
- [转载] Apache Lucene初探
- Apache端口复用-模块rootme
- Apache的压力测试工具ab
- Python开发入门与实战16-APACHE部署
- 如何编译Apache Hadoop2.6.0源代码
- apache activemq 学习笔记
- org.apache.commons.lang3功能示例
- 优化Apache,提高并发
- Apache2 Axis2/C 搭建 hello world
- Apache配置文件详解
- Amazon Linux 编译安装 Apache 2.4 + PHP 5.5
- org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in BPOfferService for Block pool