Python模块学习 ---- logging 日志记录（一） - 成长的点滴，记录与分享 - 博客频道 - CSDN.NET

StreamHandler

python的logging模块【zz】

分类： 学术交流 2011-02-12 13:33 如果使用Python写一个比较大型的程序，你一定会用上日志系统。特别是Python这样的动态语言，很多错误都只能在运行的时候才能发现，一个好的日志系统对于Python程序相当重要。最简单的解决方案当然是直接使用print输出运行信息。但是这样太简单了，没有分级功能，如果在发布的时候想去掉调试用的运行信息还得找出所有的print语句进行修改。再者，print只能输出到控制台，想要输出到文件或者通过电子邮件发送到其他地方，一个print语句就没办法解决了。

通过使用Python的日志系统，就可以解决以上问题。
首先看一下这个示例：
import logging
LOG=logging.getLogger(’应用程序名’)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
LOG.addHandler(console)
LOG.debug(’调试信息’)
LOG.info(’有用的信息’)
LOG.warning(’警告信息’)
LOG.error(’错误信息’)
LOG.critical(’严重错误信息’)
上面的代码想控制台输出了五种错误信息。分为五个从低到高的级别，从DEBUG到CRITICAL。此外，我们还指定了程序输出的级别，只有INFO级别以上的信息才会被输出。
这就是日志系统最常用的使用方法。这段代码中有两个概念可以帮助我们更进一步使用Python的日志系统：
1. “Logger”。每个程序在输出信息之前都要获得一个Logger。Logger通常对应了程序的模块名，比如聊天工具的图形界面模块可以这样获得它的Logger：
LOG=logging.getLogger(”chat.gui”)
而核心模块可以这样：
LOG=logging.getLogger(”chat.kernel”)
我们接下来可以看到使用这种命名方法的用途。
2. “Handler”。用于处理程序的输出。Python的日志系统有多种Handler可以使用。有些Handler可以把信息输出到控制台，有些Logger可以把信息输出到文件，还有些Handler可以把信息发送到网络上。如果觉得不够用，还可以编写自己的Handler。
所有的Handler可以支持三个操作：
1. 设置输出格式。比如设置输出的信息中包含时间和级别信息：
LOG=logging.getLogger(”chat.gui”)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter(’%(asctime)s %(levelname)s %(message)s’)
console.setFormatter(formatter)
LOG.addHandler(console)
熟悉Python的朋友应该会发现，logging.Formatter的参数实际上只是Python常用的“%”字符串格式化。它使用“%(name)s”表示占位符。下面是一个完整的表格，展示了日志系统可以输出的各种信息：

%(name)s

Logger的名字

%(levelno)s

数字形式的日志级别

%(levelname)s

文本形式的日志级别

%(pathname)s

调用日志输出函数的模块的完整路径名，可能没有

%(filename)s

调用日志输出函数的模块的文件名

%(module)s

调用日志输出函数的模块名

%(funcName)s

调用日志输出函数的函数名

%(lineno)d

调用日志输出函数的语句所在的代码行

%(created)f

当前时间，用UNIX标准的表示时间的浮点数表示

%(relativeCreated)d

输出日志信息时的，自Logger创建以来的毫秒数

%(asctime)s

字符串形式的当前时间。默认格式是“2003-07-08 16:49:45,896”。逗号后面的是毫秒

%(thread)d

线程ID。可能没有

%(threadName)s

线程名。可能没有

%(process)d

进程ID。可能没有

%(message)s

用户输出的消息

2. 设置输出级别
在上面我们已经演示了如何设置输出级别了。除了Python内置的五种级别，我们还可以自定义输出级别。
TODO 子定义输出级别
3. 设置过滤器
细心的朋友一定会发现前文调用logging.getLogger()时参数的格式类似于“A.B.C”。采取这样的格式其实就是为了可以配置过滤器。看一下这段代码：
LOG=logging.getLogger(”chat.gui.statistic”)
console = logging.StreamHandler()
console.setLevel(logging.INFO)
formatter = logging.Formatter(’%(asctime)s %(levelname)s %(message)s’)
console.setFormatter(formatter)
filter=logging.Filter(”chat.gui”)
console.addFilter(filter)
LOG.addHandler(console)
和前面不同的是我们在Handler上添加了一个过滤器。现在我们输出日志信息的时候就会经过过滤器的处理。名为“A.B”的过滤器只让名字带有“A.B”前缀的Logger输出信息。可以添加多个过滤器，只要有一个过滤器拒绝，日志信息就不会被输出。另外，在Logger中也可以添加过滤器。
每个Logger可以附加多个Handler。接下来我们就来介绍一些常用的Handler：
1) logging.StreamHandler
使用这个Handler可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息。它的构造函数是：
StreamHandler([strm])
其中strm参数是一个文件对象。默认是sys.stderr
2) 2.logging.FileHandler
和StreamHandler类似，用于向一个文件输出日志信息。不过FileHandler会帮你打开这个文件。它的构造函数是：
FileHandler(filename[,mode])
filename是文件名，必须指定一个文件名。
mode是文件的打开方式。参见Python内置函数open()的用法。默认是’a’，即添加到文件末尾。
3) 3.logging.handlers.RotatingFileHandler
这个Handler类似于上面的FileHandler，但是它可以管理文件大小。当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建一个新的同名日志文件继续输出。比如日志文件是chat.log。当chat.log达到指定的大小之后，RotatingFileHandler自动把文件改名为chat.log.1。不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。最后重新创建chat.log，继续输出日志信息。它的构造函数是：
RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])
其中filename和mode两个参数和FileHandler一样。
maxBytes用于指定日志文件的最大文件大小。如果maxBytes为0，意味着日志文件可以无限大，这时上面描述的重命名过程就不会发生。
backupCount用于指定保留的备份文件的个数。比如，如果指定为2，当上面描述的重命名过程发生时，原有的chat.log.2并不会被更名，而是被删除。
4) 4.logging.handlers.TimedRotatingFileHandler
这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件，而是间隔一定时间就自动创建新的日志文件。重命名的过程与RotatingFileHandler类似，不过新的文件不是附加数字，而是当前时间。它的构造函数是：
TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])
其中filename参数和backupCount参数和RotatingFileHandler具有相同的意义。
interval是时间间隔。
when参数是一个字符串。表示时间间隔的单位，不区分大小写。它有以下取值：
S 秒
M 分
H 小时
D 天
W 每星期（interval==0时代表星期一）
midnight 每天凌晨
5) 5.logging.handlers.SocketHandler
6) […]

6:00 PM | Read comments (1) | Permalink | python

python 日志打印[zz]

python 日志打印

发现python里面扩展了日志打印功能。感觉比java自带的还好，和log4j很类似。
下面总结下其用法。先说一种不用配置文件的：
<log.py>

1# -*- coding: gb2312 -*-
2import logging
3
4logging.basicConfig(level=logging.INFO,
5 format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',
6 datefmt='%m-%d %H:%M',
7 filename='./AutoUpdate.log',
8 filemode='w')
9
10console = logging.StreamHandler()
11console.setLevel(logging.INFO)
12formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
13console.setFormatter(formatter)
14logging.getLogger('').addHandler(console)
15
16
17##
18# console = logging.StreamHandler()
19# console = setLevel(logging.DEBUG)
20# formatter = logging.Formatter('%(name)-12s: %(levelname)-8s %(message)s')
21# console.setFormatter(formatter)
22# logging.getLogger('').addHandler(console)
23
24
25def getLogging(name):
26 return logging.getLogger(name)

<test.py>

import log

testlog = log.getLogging('test')
testlog.error( "~~~~~~~~~~~~~~test1.")
testlog.info( "~~~~~~~~~~~~~~test2." )
testlog.exception( "~~~~~~~~~~~~~~~~~~~~~~~~~test3.")

用过log4j的人不会陌生这种用法。如果你对log4j有疑惑，或者想了解请在本人blog内查找关于log4j的文章。有详细介绍。这里不再赘述。
第二种使用配置文件的：

# logging.conf

[loggers]
keys=root,example

[handlers]
keys=consoleHandler,rotateFileHandler

[formatters]
keys=simpleFormatter

[formatter_simpleFormatter]
format=[%(asctime)s](%(levelname)s)%(name)s : %(message)s

[logger_root]
level=DEBUG
handlers=consoleHandler,rotateFileHandler

[logger_example]
level=DEBUG
handlers=consoleHandler,rotateFileHandler
qualname=example
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)

[handler_rotateFileHandler]
class=handlers.RotatingFileHandler
level=DEBUG
formatter=simpleFormatter
args=('test.log', 'a', 10000, 9)

<test2.py>

import logging
import logging.config

logging.config.fileConfig("logger.conf")

#create logger
logger = logging.getLogger("example")

#"application" code
logger.debug("debug message")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
logger.critical("critical message")

logHello = logging.getLogger("hello")
logHello.info("Hello world!")

其中值得注意的是args的含义。

5:59 PM | Read comments (3) | Permalink | python

使用Python的logging.config[zz]

使用Python的logging.config
Python的logging模块接口仿log4j，概念上一致，使用上相当方便。
利用logging.config.fileConfig()，可以将日志的配置用文件来描述，简化了日志的初始化。
例程：

# test.py
import logging
import logging.config
logging.config.fileConfig("logging.conf")
#create logger
logger = logging.getLogger("example")
#"application" code
logger.debug("debug message")
logger.info("info message")
logger.warn("warn message")
logger.error("error message")
logger.critical("critical message")
logHello = logging.getLogger("hello")
logHello.info("Hello world!")

配置文件示例如下：

# logging.conf
[loggers]
keys=root,example
[handlers]
keys=consoleHandler,rotateFileHandler
[formatters]
keys=simpleFormatter
[formatter_simpleFormatter]
format=[%(asctime)s](%(levelname)s)%(name)s : %(message)s
[logger_root]
level=DEBUG
handlers=consoleHandler,rotateFileHandler
[logger_example]
level=DEBUG
handlers=consoleHandler,rotateFileHandler
qualname=example
propagate=0
[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)
[handler_rotateFileHandler]
class=handlers.RotatingFileHandler
level=DEBUG
formatter=simpleFormatter
args=('test.log', 'a', 200000, 9)

注意，RotatingFileHandler中doRollover()会因为rename()出错而中途退出，造成日志文件没有打开，并且后继的日志消息都因为日志文件没有打开而失败。可以自己在rename()处加上try，或者不用RotatingFileHandler。估计隔一段时间就fileConfig()一次也是可以恢复正常。
详见：Python logging RotatingFileHandler bug
该错误仅当日志文件满时切换文件时才可能发生，当文件被锁定时才会出错。正常使用不会有问题，并且日志出错不会影响主程序的运行。所以可以放心使用，想再可靠点就直接在源码中加个try.
（转载请注明来源于金庆的专栏）