关于日志切割（以nginx为例）

引用 ：http://blog.csdn.net/lz710/article/details/7386091

前段时间，李小峰跟我说他哥们的一台web服务器受到DDos攻击，由于没有禁用错误日志，导致日志文件过大，有的达到TB级，导致错误日志暴涨，最后/分区暴满。

根分区满一般会产生什么异常情况呢？

1. 数据无法写入

2. 开机启动系统引导失败

3. 服务自动停止

4.....欢迎添加....

于是，那么，我们该怎样来防止这些情况的发生呢？

首先，我想了几个基本方案

1. 划分一个数据区或日志区，将所有应用的日志指定到这个位置

2. 搭建日志服务器，用专门的机器用来存储日志 //这里是错的，只能做系统日志服务器，与这里无关。

3.过滤掉一些不需要的日志（如ico找不到，js找不到，img找不到之类的）

4.看能否定制同样的错误连续出现次1000次则不再记录

5.利用logrotate日志管理工具，进行日志切割

5......欢迎提供好的方案....

在这里，主要介绍一个logrotate日志管理工具。在UBUNTU下使用apt安装nginx后，在/etc/logrotate.d/下会自动生成一下nginx的文件，里面写有一些枝叶，可以使得nginx日志会被自动管理。

什么是logrotate?

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行。logrotate 程序还可以用于压缩日志文件，以及发送日志到指定的E-mail 。

PS.最开始，我以为logrotate是一个deamo，可以通过监控日志的大小对文件进行转储，实际上，logrotate利用了cron才实现了定期对日志进行切割

cron执行的脚本的路径：/etc/cron.daily/logrotate

主配置文件：/etc/logrotate.conf

各个应用的配置文件：/etc/logrotate.d/*

定期执行(计划任务)：/etc/cron.daily/logrotate

logrotate 的配置文件是 /etc/logrotate.conf。主要参数如下表：

compress 通过gzip 压缩转储以后的日志

nocompress 不需要压缩时，用这个参数

copytruncate 用于还在打开中的日志文件，把当前日志备份并截断

nocopytruncate 备份日志文件但是不截断

create mode owner group 转储文件，使用指定的文件模式创建新的日志文件

nocreate 不建立新的日志文件

delaycompress 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩

nodelaycompress 覆盖 delaycompress 选项，转储同时压缩。

errors address 专储时的错误信息发送到指定的Email 地址

ifempty 即使是空文件也转储，这个是 logrotate 的缺省选项。

Notifempty 如果是空文件的话，不转储

mail address 把转储的日志文件发送到指定的E-mail 地址

nomail 转储时不发送日志文件

olddir directory 转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统

noolddir 转储后的日志文件和当前日志文件放在同一个目录下

prerotate/endscript 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行

postrotate/endscript 在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行

daily 指定转储周期为每天

weekly 指定转储周期为每周

monthly 指定转储周期为每月

rotate count 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份

tabootext [+] list 让logrotate 不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, v, 和 ~

size size 当日志文件到达指定的大小时才转储，Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).

更多详细配置，可查看手册：man logrotate

以管理Nginx日志为例，如果日志大小大于100M时，就转储。最多保存10个文件。

1、添加文件/etc/logrotate.d/nginx，内容如下:

/home/wwwlogs/*.log {

rotate 10

size

compress

monthly

missingok

notifempty

sharedscripts

postrotate

/usr/local/nginx/sbin/nginx -s reload > /dev/null 2>/dev/null || true

endscript

}

2、测试是否成功

sudo /usr/sbin/logrotate -f /etc/logrotate.conf

检查一下nginx日志目录，应该生成了压缩文件，如果没有生成，可能是因为日志文件是空的，先访问一下网站，只要日志文件不为空就可以了。其他的功能，如按天、周、月进行转储，可以通过添加计划任务来完成。

logrotate命令

logrotate [-vf] logfile

-v 显示模式

-f 强制执行rotate（强制的情况下，大小不满足要求，也会生成）

3、logrotate.conf文件解析（/etc/logrotate.conf）

# see "man logrotate" for details

# rotate log files weekly

weekly

# keep 4 weeks worth of backlogs

rotate 4

# send errors to root

errors root

# create new (empty) log files after rotating old ones

create

# uncomment this if you want your log files compressed

#compress

1

# rpm packages drop log rotation information into this directory

include /etc/logrotate.d #include 选项十分重要，一些应用把日志转储参数存放在 /etc/logrotate.d (如apache,linuxconf,samba,cron,syslog)

# no packages own lastlog or wtmp --we'll rotate them here

/var/log/wtmp {

monthly

create 0664 root utmp

rotate 1

}

/var/log/lastlog {

monthly

rotate 1

}

# system-specific logs may be configured here

上面的信息放在文件logrotate中，它位于目录/etc/cron.daily中，由/etc/crontab配置起来由cron程序执行。

4、logrotate 的执行

logrotate 的运行分为三步：

判断系统的日志文件，建立转储计划以及参数，通过cron daemon 运行

下面的代码是 red hat linux 缺省的crontab 来每天运行logrotate。

#vim /etc/cron.daily/logrotate

#! /bin/sh

/usr/sbin/logrotate /etc/logrotate.conf

上面的信息保存在文件logrotate中，它其实是一个脚本文件，位于/etc/cron.daily目录里。

/etc/cron.daily中的所有配置文件是每天都要由cron执行的程序的配置文件。它们都由系统管理员维护的/etc/crontab设置并执行。

5、其他需要注意的问题

a. 尽管花括号的开头可以和其他文本放在同一行上，但是结尾的花括号必须单独成行。

b. 当 /etc/logrotate.conf 读入文件时，include 指定的文件中的转储参数将覆盖缺省的参数。

c. 使用 prerotate 和 postrotate 选项

下面的例子是典型的脚本 /etc/logrotate.d/syslog，这个脚本只是对 /var/log/messages 有效。

d. /var/log/messages 不能产生的原因：

这种情况很少见，但是如果你把/etc/services 中的 514/UDP 端口关掉的话，这个文件就不能产生了

e. 如果产生文件依旧入重命名后的文件里面写的问题，那就考虑有没有重启程序，程序在运行期间是根据inode号往文件中写数据的。

/var/log/messages

{

prerotate #转储前要做的工作

/usr/bin/chattr -a /var/log/messages

endscript

postrotate # 转储后做的工作

/usr/bin/kill -HUP syslogd

/usr/bin/chattr +a /var/log/messages

endscript

}

后续

nginx日志格式

cron的使用

系统日志服务器部署