小试python - 日志文件归并处理
2012-03-09 00:00
387 查看
应用前提:N台Web机,每天产生大量的日志,先用python脚本从服务器取出,并按xxx_ip_yyyyMMdd_hhmmss.log格式收集,tar.gz后传到本机,用python将主要的Cause by Error等重要错误信息提取到csv文件,供专人跟踪日志。
$(document).ready(function(){dp.SyntaxHighlighter.HighlightAll('code');});
原文链接:
http://blog.csdn.net/kimsoft/article/details/5817828
#! /usr/bin/env python # -*- coding: utf-8 -*- #@author jinqinghua@gmail.com #@version 2010-08-17 02:21 import os import string import fileinput #日志的位置 dir_log = r"D:/python/logs" #日志合并后的文件位置 file_csv = os.path.join(r"F:", "log.csv" ) if os.path.exists(file_csv): os.remove(file_csv) output = open(file_csv, 'w+') output.write("ip,line number,error type, error cause/n") for file in os.listdir(dir_log): if not file.endswith(".log"): print "WARN:%s is not a log file" %(file) continue print "INFO:process file %s" %(file) for line in fileinput.input(os.path.join(dir_log, file)): for type in ('Caused ', ): #'ERROR ', 'WARN '): if line.find(type) != -1 : output.write("%s,%s,%s,%s" %(file[4:16], fileinput.filelineno(), type, string.replace(line, ",", "|"))) fileinput.close() output.close print "done, python is great!"
$(document).ready(function(){dp.SyntaxHighlighter.HighlightAll('code');});
原文链接:
http://blog.csdn.net/kimsoft/article/details/5817828
相关文章推荐
- 小试python - 日志文件归并处理
- 使用python递归子目录处理日志文件
- Python处理日志之取得文件列表(更新)
- Python处理日志之取得文件列表(更新)
- Python处理日志之取得文件列表
- Python处理日志之取得文件列表(更新)
- python 处理日志文件
- python输出日志到文件(每天一个日志)
- c# 文件日志处理 需要log4net配置
- Python文件处理
- python 中用pandas处理Excel文件
- python数据分析-处理CSV/EXCEL表格文件
- 5、Python 处理 yaml 文件
- python 简单日志文件
- sqlserver 日志文件太大的处理
- Oracle联机日志文件丢失或损坏的处理方法
- sql server日志文件总结及日志满的处理办法[转]
- Ext文件系统中的日志处理
- python django - static文件处理与线上部署测试
- Python文件处理