用70行代码实现日志分析程序-python
2016-01-28 00:00
841 查看
摘要: python又一力作,感受python的强大。用70行代码实现日志分析程序
功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。
python又一力作,感受python的强大。用70行代码实现日志分析程序
功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。
原创在这里:http://www.pythontab.com/html/2013/pythonhexinbiancheng_0111/119.html
知识点:
这个库是用来解析python的路径描述符的。
用法:
可以按照每行中符合的ip地址,打印出来。
功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。
python又一力作,感受python的强大。用70行代码实现日志分析程序
功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。
原创在这里:http://www.pythontab.com/html/2013/pythonhexinbiancheng_0111/119.html
#encoding=utf-8 from optparse import OptionParser import re def get_args(): def get_parser(): usage = u"""%prog -f filename -r rule [-d] [-c] 用途:对文本文件按照指定模式进行分组并排序,主要分析文本日志用 注意:如果正则表达式里有分组,则提取第一分组, 如果不希望这样,请使用正则的无捕获分组(?:) 示例:统计日志里每分钟的日志量,默认按时间正序排列 python group.py -f log.txt -r "\d\d\d\d\-\d\d\-\d\d \d\d:\d\d" 统计日志里每个ip出现的次数,并按出现次数倒序排列 python group.py -f input.txt -r "\d+\.\d+.\d+.\d+" -c -d""" return OptionParser(usage) def add_option(parser): parser.add_option("-f", "--file", dest="filename", help=u"需要分组的文本文件", metavar="FILE") parser.add_option("-r", "--rule", dest="rule", help=u"分组的正则表达式", metavar="REGEX") parser.add_option("-d", action="store_true", dest="reverse", default=False, help=u"反序排列") parser.add_option("-c", action="store_true", dest="orderbycount", default=False, help=u"按数量排序,默认按匹配字符串排序") def get_options(parser): op 3ff0 tions, args = parser.parse_args() if not options.filename: parser.error('没有指定文件名') if not options.rule: parser.error('没有指定分组规则') return options parser = get_parser() add_option(parser) return get_options(parser) options = get_args() filename = options.filename rule = options.rule reverse = options.reverse orderbycount = options.orderbycount regex = re.compile(rule, re.IGNORECASE) keys = {} def counter_key(key): keys.setdefault(key, 0) keys[key] += 1 def print_keys(): sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0]) temp_items = sorted(keys.items(), key=sort_key, reverse=reverse) for item in temp_items: key = item[0] print key, keys[key] def get_key(line): m = regex.search(line) if m: return m.group() if regex.groups == 0 else m.group(1) return '!NotMatch!' #这是程序的入口 with open(filename) as f: for line in f: #一行一行处理日志信息 key = get_key(line) counter_key(key) print_keys()
知识点:
OptionParser
这个库是用来解析python的路径描述符的。
用法:
python logAnalyse.py -f /app/flume/logs/1453801816230-45 -r "\d+\.\d+.\d+.\d+" -c -d
可以按照每行中符合的ip地址,打印出来。
相关文章推荐
- Python tutorial: python中文快速学习笔记 - 数字与字符串
- 用python+selenium+firefox爬取动态网页
- Python批量更改文件名
- Python爬虫学习稿(四)
- Python 字典(Dictionary) setdefault()方法
- 《笨办法学Python》 第25课手记
- 转: Python集合(set)类型的操作
- python 的ini操作
- Python常见错误
- python中tuple/list/dict/set常用方法
- 安装python
- 【Python学习笔记】输出现在的时间
- Python入门学习笔记
- Coursera课程《大家的编程》(Python入门)中课程目录
- python学习笔记 day1
- 5.python(迭代器,装饰器,生成器,基本算法,正则)
- python实现一个控制台下的进度条
- 条形码识别(1)——基础知识
- PyProjects:Python项目大集合
- Python异常处理