日志管理- Logrotate 日志切割和转存
2015-12-17 00:00
295 查看
摘要: 服务端日志管理,使用 Linux 自带 logrotate 做日志切割和转存,方便快捷稳定可靠
logrotate 就是为管理会生成大量日志的系统而设计诞生的。它具备 自动轮转、压缩、搬迁 和 邮件通知到日志系统的多想功能。每一个日志文件都可以按照 每天、每周、每月周期性处理,亦或是 增长到多大而触发处理。
当我们需要跟踪应用的使用过程或是解决应用的异常,日志便是最理想的工具。不幸的是日志记录越多的信息,就意味着需要越多的硬盘空间,随着时间推移,硬盘总有一天被耗光。日志如果不做轮转,就会无收敛地疯涨下去,长此下去,必然会导致多方面拖累系统运行。
如果您需要调整 logrotate 执行的频率,可以到 cron 配置中调整。如果有需要也可以看看 我关于 cron 的一篇文章。
应该会发现
基本上,在这个目录都会看到一个 syslog 服务的配置文件,它是用于 logrotate 轮转系统日志的配置。
nginx 安装在
nginx 配置了 access_log 到
轮转需要求:按小时轮转 access 日志。
我们为这个需求创建一个配置文件:
紧接着,在cron服务中配置为每小时执行就实现了,如此简单,若有cron配置不清楚的地方,可以查看笔者关于 cron 的另一篇分享。
crontab -e
01 * * * * logrotate -f /etc/logrotate.d/nginx-access.conf
crond restart
至此,您就已经可以利用logrotate 来便捷的管理nginx服务器的日志了。在此基础上,您可以根据自己的具体需要,管理任何日志文件。更具体和详细的帮助可以使用:
命令查看。
欢迎来到我github上的空间:https://jiafan.github.io
开笔
背景(废话)
最近在做与数据相关的东西,需要处理大量日志文件。服务器日志的重要性,这里不需要赘述,nginx日志就是其中一种必须处理的。nginx的日志文件理论上是成线性持续增长的,那我们要处理这写数据,又该如何做,经过调研,笔者找到了 Linux 系统提供的服务 logrotate 。logrotate 就是为管理会生成大量日志的系统而设计诞生的。它具备 自动轮转、压缩、搬迁 和 邮件通知到日志系统的多想功能。每一个日志文件都可以按照 每天、每周、每月周期性处理,亦或是 增长到多大而触发处理。
基础知识
日志轮转指的是实现对当前日志归档,开始新的日志,删除早期的日志。而日志,通常是应用程序记录的一些对系统管理员或者程序开发者有用的信息的文件,诸如正在执行什么、发生了什么错误等一系列信息。当我们需要跟踪应用的使用过程或是解决应用的异常,日志便是最理想的工具。不幸的是日志记录越多的信息,就意味着需要越多的硬盘空间,随着时间推移,硬盘总有一天被耗光。日志如果不做轮转,就会无收敛地疯涨下去,长此下去,必然会导致多方面拖累系统运行。
logrotate 是如何工作的
通常,logrotate 是作为 corn 的一个每日任务,周期性执行的.在大部分的 Linux 发布版本系统里 (Centos 、Ubuntu、Fedora),我们都能找到/etc/cron.daily/logrotate
如果您需要调整 logrotate 执行的频率,可以到 cron 配置中调整。如果有需要也可以看看 我关于 cron 的一篇文章。
配置
系统配置
在目录 /etc 中可以看到关于 logrotate 的配置文件和对应目录,你也可以自己查看一些:ls -al|grep logrotate
应该会发现
/etc/logrotate.conf这个主配置文件,还有
/etc/lograte.d这个目录。在这个目录里也许可以找到针对一个应用级别的logrotate配置,这取决于你安装了那些服务和安装方式。一般,通过包管理工具安装的应用服务,会同时创建配置文件到
/etc/logrotate.d目录。
基本上,在这个目录都会看到一个 syslog 服务的配置文件,它是用于 logrotate 轮转系统日志的配置。
应用配置
针对每一个应用服务,都可以有自己的日志轮转配置.笔者以一个web服务器的access日志作为例子:nginx 安装在
/usr/local/nginx目录
nginx 配置了 access_log 到
/var/log/nginx/access.log
轮转需要求:按小时轮转 access 日志。
我们为这个需求创建一个配置文件:
/etc/logrotate.d/nginx-access.conf文件内容如下:
/var/log/nginx/access.log { size 2M create 777 www web rotate 65535 copytruncate compress nomail olddir /var/log/nginx/old-logs/ }
紧接着,在cron服务中配置为每小时执行就实现了,如此简单,若有cron配置不清楚的地方,可以查看笔者关于 cron 的另一篇分享。
crontab -e
01 * * * * logrotate -f /etc/logrotate.d/nginx-access.conf
crond restart
至此,您就已经可以利用logrotate 来便捷的管理nginx服务器的日志了。在此基础上,您可以根据自己的具体需要,管理任何日志文件。更具体和详细的帮助可以使用:
man logrotate
命令查看。
参考文档
centos-logroate-cronps
偶然发现 logrotate-github(点这里) 居然被放到github上了欢迎来到我github上的空间:https://jiafan.github.io
相关文章推荐
- Awstats处理多apache日志
- 典型入侵日志分析
- MS SQL Server数据库清理错误日志的方法
- 对MySQL日志操作的一些基本命令总结
- 简介操作MySQL日志的一些方法
- MySQL的日志基础知识及基本操作学习教程
- MSSQL 2005/2008 日志压缩清理方法小结
- SQL Server误区30日谈 第19天 Truncate表的操作不会被记录到日志
- C#3.0使用EventLog类写Windows事件日志的方法
- mysql binlog二进制日志详解
- C#实现线程安全的简易日志记录方法
- C#实现将程序运行信息写入日志的方法
- ORACLE DATAGUARD中手工处理日志v$archive_GAP的方法
- 某个aspx页面突然死了连日志也没有的解决方法
- 如何查看数据库alert日志文件
- 解析php如何将日志写进syslog
- 日志中的秘密 Windows登录类型知多少?
- IIS6.0 日志不实时解释
- Python脚本实现下载合并SAE日志
- C#实现写系统日志的方法