Python logging RotatingFileHandler bug
2007-07-23 11:12
791 查看
Python logging RotatingFileHandler bug
doRollover()会因为rename()出错而中途退出,造成日志文件没有打开,并且后继的日志消息都因为日志文件没有打开而失败。
rename()失败是正常的,因为常常有其它应用锁定了文件,如tail -f。但是因此造成后继的日志全部丢失,应该是个错误。
看Python Bug列表中的修正方法需要自定一个错误处理,重新初始化日志。
看其它语言的日志实现中,rename()只是返回错误,而不是异常,所以不会丢失后继日志。
log4j, log4cxx, log4cpp, 都是忽略raname()错误,但也会造成清空当前日志文件。
相比较,log4j的处理最严谨,如打开日志文件时会创建目录。打开日志文件只在初始化与日志切换时执行,如果失败则会丢失随后的所有日志,所以必须严密些。
我认为正确的处理是丢弃当前一条日志,或者超出日志文件大小限进行附加。如果日志文件打开失败,应该转向标准错误输出,并能在一定时间后重新尝试打开日志文件。
简单点可以按log4j的行为进行如下更改:
def doRollover(self):
"""
Do a rollover, as described in __init__().
"""
self.stream.close()
+ try:
if self.backupCount > 0:
for i in range(self.backupCount - 1, 0, -1):
sfn = "%s.%d" % (self.baseFilename, i)
dfn = "%s.%d" % (self.baseFilename, i + 1)
if os.path.exists(sfn):
# print "%s -> %s" % (sfn, dfn)
if os.path.exists(dfn):
os.remove(dfn)
os.rename(sfn, dfn)
dfn = self.baseFilename + ".1"
if os.path.exists(dfn):
os.remove(dfn)
os.rename(self.baseFilename, dfn)
# print "%s -> %s" % (self.baseFilename, dfn)
+ finally:
if self.encoding:
self.stream = codecs.open(self.baseFilename, 'w', self.encoding)
else:
self.stream = open(self.baseFilename, 'w')
不知为什么,本来简单返回值的rename()到Python的os模块中成了一个抛异常的函数。Python添了个异常,结果用户现在不得不用个异常处理。看来所有函数最好都有两个版本,一个异常版,一个返回值。
我提交的错误报告:
[ 1752539 ] RotatingFileHandler.doRollover behave wrong vs. log4j's
(转载请注明来源于金庆的专栏)
doRollover()会因为rename()出错而中途退出,造成日志文件没有打开,并且后继的日志消息都因为日志文件没有打开而失败。
rename()失败是正常的,因为常常有其它应用锁定了文件,如tail -f。但是因此造成后继的日志全部丢失,应该是个错误。
看Python Bug列表中的修正方法需要自定一个错误处理,重新初始化日志。
看其它语言的日志实现中,rename()只是返回错误,而不是异常,所以不会丢失后继日志。
log4j, log4cxx, log4cpp, 都是忽略raname()错误,但也会造成清空当前日志文件。
相比较,log4j的处理最严谨,如打开日志文件时会创建目录。打开日志文件只在初始化与日志切换时执行,如果失败则会丢失随后的所有日志,所以必须严密些。
我认为正确的处理是丢弃当前一条日志,或者超出日志文件大小限进行附加。如果日志文件打开失败,应该转向标准错误输出,并能在一定时间后重新尝试打开日志文件。
简单点可以按log4j的行为进行如下更改:
def doRollover(self):
"""
Do a rollover, as described in __init__().
"""
self.stream.close()
+ try:
if self.backupCount > 0:
for i in range(self.backupCount - 1, 0, -1):
sfn = "%s.%d" % (self.baseFilename, i)
dfn = "%s.%d" % (self.baseFilename, i + 1)
if os.path.exists(sfn):
# print "%s -> %s" % (sfn, dfn)
if os.path.exists(dfn):
os.remove(dfn)
os.rename(sfn, dfn)
dfn = self.baseFilename + ".1"
if os.path.exists(dfn):
os.remove(dfn)
os.rename(self.baseFilename, dfn)
# print "%s -> %s" % (self.baseFilename, dfn)
+ finally:
if self.encoding:
self.stream = codecs.open(self.baseFilename, 'w', self.encoding)
else:
self.stream = open(self.baseFilename, 'w')
不知为什么,本来简单返回值的rename()到Python的os模块中成了一个抛异常的函数。Python添了个异常,结果用户现在不得不用个异常处理。看来所有函数最好都有两个版本,一个异常版,一个返回值。
我提交的错误报告:
[ 1752539 ] RotatingFileHandler.doRollover behave wrong vs. log4j's
(转载请注明来源于金庆的专栏)
相关文章推荐
- Python logging RotatingFileHandler bug
- python logging类库中RotatingFileHandler的使用
- Python的RotatingFileHandler的Bug
- python logging 模块之TimedRotatingFileHandler 实现每天一个日志文件
- python logging现学现用 – TimedRotatingFileHandler使用方法
- [bigdata-078] python3 logging 的示例 TimedRotatingFileHandler和RotatingFileHandler 基于时间切分和基于文件大小切分
- Python多进程不要使用TimedRotatingFileHandler
- python日志按时间切分-----TimedRotatingFileHandler
- logging TimedRotatingFileHandler不支持多进程
- python找寻合适的日志库logging Handler——Handler自定义实现
- Python Logging模块-Logger,Handler,Formatter
- python-Logging之进程安全的ConcurrentLogHandler
- Python logging.handlers.SMTPHandler的参数配置
- SysLogHandler not writing to syslog with Python logging
- python 多进程 logging:ConcurrentLogHandler
- python tornado下logging.handlers.HTTPHandler多打印一个None的解决方案
- TimedRotatingFileHandler
- python自身bug:file.tell()在Linux和window平台下返回不同的值
- python的BaseHTTPRequestHandler的bug
- 实际应用中遇到TimedRotatingFileHandler不滚动的问题