如何正确理解关键字"with"与上下文管理器(转载)
2017-05-22 10:12
543 查看
如果你有阅读源码的习惯,可能会看到一些优秀的代码经常出现带有 “with” 关键字的语句,它通常用在什么场景呢?今天就来说说 with 和 上下文管理器。
对于系统资源如文件、数据库连接、socket 而言,应用程序打开这些资源并执行完业务逻辑之后,必须做的一件事就是要关闭(断开)该资源。
比如 Python 程序打开一个文件,往文件中写内容,写完之后,就要关闭该文件,否则会出现什么情况呢?极端情况下会出现 “Too many open files” 的错误,因为系统允许你打开的最大文件数量是有限的。
同样,对于数据库,如果连接数过多而没有及时关闭的话,就可能会出现 “Can not connect to MySQL server Too many connections”,因为数据库连接是一种非常昂贵的资源,不可能无限制的被创建。
来看看如何正确关闭一个文件。
这样写有一个潜在的问题,如果在调用 write 的过程中,出现了异常进而导致后续代码无法继续执行,close 方法无法被正常调用,因此资源就会一直被该程序占用者释放。那么该如何改进代码呢?
改良版本的程序是对可能发生异常的代码处进行捕获,使用 try/finally 语句,该语句表示如果在 try 代码块中程序出现了异常,那么后续代码不再执行,而直接跳转到 except 代码块。不过,最终不管有没有异常发生, finally 块的代码最终都会被执行。因此,即使在 write过程中报错了,那么最终还是执行到 finally 中去 close 文件。
一种更加简洁、优雅的方式就是用 with 关键字。open 的返回值赋值给变量 f,当离开 with 代码块的时候,系统会自动调用 f.close() 方法, with 的作用和使用 try/finally 语句是一样的。那么它的实现原理是什么?在讲 with 的原理前要涉及到另外一个概念,就是上下文管理器(Context Manager)。
那么文件对象是如何实现这两个方法的呢?我们可以模拟实现一个自己的文件类,让该类实现 __enter__() 和 __exit__() 方法。
__enter__() 方法返回资源对象,这里就是你将要打开的那个文件对象,__exit__() 方法处理一些清除工作。
因为 File 类实现了上下文管理器,现在就可以使用 with 语句了。
这样,你就无需在显示地调用 close 方法了。这些有系统去调用。哪怕中间遇到异常 close 方法也会被调用。
调用
对于系统资源如文件、数据库连接、socket 而言,应用程序打开这些资源并执行完业务逻辑之后,必须做的一件事就是要关闭(断开)该资源。
比如 Python 程序打开一个文件,往文件中写内容,写完之后,就要关闭该文件,否则会出现什么情况呢?极端情况下会出现 “Too many open files” 的错误,因为系统允许你打开的最大文件数量是有限的。
同样,对于数据库,如果连接数过多而没有及时关闭的话,就可能会出现 “Can not connect to MySQL server Too many connections”,因为数据库连接是一种非常昂贵的资源,不可能无限制的被创建。
来看看如何正确关闭一个文件。
普通版:
def m1(): f = open("output.txt", "w") f.write("python之禅") f.close()
这样写有一个潜在的问题,如果在调用 write 的过程中,出现了异常进而导致后续代码无法继续执行,close 方法无法被正常调用,因此资源就会一直被该程序占用者释放。那么该如何改进代码呢?
进阶版:
def m2(): f = open("output.txt", "w") try: f.write("python之禅") except IOError: print("oops error") finally: f.close()
改良版本的程序是对可能发生异常的代码处进行捕获,使用 try/finally 语句,该语句表示如果在 try 代码块中程序出现了异常,那么后续代码不再执行,而直接跳转到 except 代码块。不过,最终不管有没有异常发生, finally 块的代码最终都会被执行。因此,即使在 write过程中报错了,那么最终还是执行到 finally 中去 close 文件。
高级版:
def m3(): with open("output.txt", "r") as f: f.write("Python之禅")
一种更加简洁、优雅的方式就是用 with 关键字。open 的返回值赋值给变量 f,当离开 with 代码块的时候,系统会自动调用 f.close() 方法, with 的作用和使用 try/finally 语句是一样的。那么它的实现原理是什么?在讲 with 的原理前要涉及到另外一个概念,就是上下文管理器(Context Manager)。
上下文管理器
实现了 __enter__() 和 __exit__() 方法的对象都可称之为上下文管理器,任何实现了上下文管理器的对象都可以使用 with 关键字。显然,文件(file)对象也实现了上下文管理器。那么文件对象是如何实现这两个方法的呢?我们可以模拟实现一个自己的文件类,让该类实现 __enter__() 和 __exit__() 方法。
class File(): def __init__(self, filename, mode): self.filename = filename self.mode = mode def __enter__(self): print("entering") self.f = open(self.filename, self.mode) return self.f def __exit__(self, *args): print("will exit") self.f.close()
__enter__() 方法返回资源对象,这里就是你将要打开的那个文件对象,__exit__() 方法处理一些清除工作。
因为 File 类实现了上下文管理器,现在就可以使用 with 语句了。
with File('out.txt', 'w') as f: print("writing") f.write('hello, python')
这样,你就无需在显示地调用 close 方法了。这些有系统去调用。哪怕中间遇到异常 close 方法也会被调用。
contextlib
Python 还提供了一个 contextmanager 的装饰器,更进一步简化了上下文管理器的实现方式。通过 yield 将函数分割成两部分,yield 之前的语句在 __enter__ 方法中执行,yield 之后的语句在 __exit__ 方法中执行。紧跟在 yield 后面的值是函数的返回值。例如:from contextlib import contextmanager @contextmanager def my_open(path, mode): f = open(path, mode) yield f f.close()
调用
with my_open('out.txt', 'w') as f: f.write("hello , the simplest context manager")
总结
Python 提供了 with 语法用于简化资源操作的后续清除操作,是 try/finally 的替代方法,实现原理建立在上下文管理器之上。此外,Python 还提供了一个 contextmanager 装饰器,更进一步简化上下管理器的实现方式。相关文章推荐
- 正确理解python中的关键字“with”与上下文管理器
- 完全理解Python关键字"with"与上下文管理器
- [转载+实践理解]Android动画---如何正确使用平移动画(关于fillBefore和fillAfter的一点说明)(转载)
- 如何正确理解和使用ES6 Promise?(We have a problem with promises)
- 如何解决"应用程序无法启动,因为应用程序的并行配置不正确"问题(转载)
- 转载:如何理解jsp页面中的“<base href="<%=basePath%>">”?
- 如何正确理解自动化测试?(转载)
- (转载)新手如何正确理解GitHub中“PR(pull request)”中的意思
- 转载:如何理解jsp页面中的“<base href="<%=basePath%>">”?
- 正则表达式问题:如何理解/href\s*=\s*(?:"(?<1>[^"]*)"|(?<1>\S+))/(转载)
- 理解python "with"关键字
- 转载:如何正确理解自动化测试技术
- (转载)如何写出正确的二分查找?——利用循环不变式理解二分查找及其变体的正确性以及构造方式
- 如何正确的理解使用posix1提供的信号量
- 正确理解 C# 中的 ref 关键字 (续)
- 正确理解C#中的ref关键字
- 正确理解 C# 中的 ref 关键字
- 正确理解C#中的ref关键字
- 如何用正确方法来写出质量好的软件的75条体会(转载)
- 如何用正确的方法来写出质量好的软件的75条体会 (转载)