Python 闭包及陷阱

Python语言是支持函数式编程的,我们可以在一个函数的函数体中定义另一个完整的函数,甚至返回这个函数.在函数内部定义的函数和外部定义的函数是相同的,唯一的区别就是在函数内部定义的函数是不能被外部访问的.

1. 闭包的概念

首先还得从基本概念说起，什么是闭包呢？来看下维基上的解释:

在计算机科学中，闭包（Closure）是词法闭包（Lexical Closure）的简称，是引用了自由变量的函数。
这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。
所以，有另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。
闭包在运行时可以有多个实例，不同的引用环境和相同的函数组合可以产生不同的实例。

….

上面提到了两个关键的地方： 自由变量 和 函数, 这两个关键稍后再说。还是得在赘述下“闭包”的意思，望文知意，可以形象的把它理解为一个封闭的包裹，这个包裹就是一个函数，当然还有函数内部对应的逻辑，包裹里面的东西就是自由变量，自由变量可以在随着包裹到处游荡。当然还得有个前提，这个包裹是被创建出来的。

闭包(Closure):内层函数引用了外层函数的变量(包括它的参数),然后返回内层函数的情况,这就是闭包.

在通过Python的语言介绍一下，一个闭包就是你调用了一个函数A，这个函数A返回了一个函数B给你。这个返回的函数B就叫做闭包。你在调用函数A的时候传递的参数就是自由变量。

def func(name):
def inner_func(age):
print 'name:', name, 'age:', age
return inner_func

bb = func('the5fire')
bb(26)  # >>> name: the5fire age: 26

这里面调用func的时候就产生了一个闭包——inner_func,并且该闭包持有自由变量——name，因此这也意味着，当函数func的生命周期结束之后，name这个变量依然存在，因为它被闭包引用了，所以不会被回收。

另外再说一点，闭包并不是Python中特有的概念，所有把函数做为一等公民的语言均有闭包的概念。不过像Java这样以class为一等公民的语言中也可以使用闭包，只是它得用类或接口来实现。

更多概念上的东西可以参考最后的参考链接。

2. 为什么使用闭包

基于上面的介绍，不知道读者有没有感觉这个东西和类有点相似，相似点在于他们都提供了对数据的封装。不同的是闭包本身就是个方法。和类一样，我们在编程时经常会把通用的东西抽象成类，（当然，还有对现实世界——业务的建模），以复用通用的功能。闭包也是一样，当我们需要函数粒度的抽象时，闭包就是一个很好的选择。

在这点上闭包可以被理解为一个只读的对象，你可以给他传递一个属性，但它只能提供给你一个执行的接口。因此在程序中我们经常需要这样的一个函数对象——闭包，来帮我们完成一个通用的功能，比如后面会提到的——装饰器。

3. 使用闭包

第一种场景 ，在python中很重要也很常见的一个使用场景就是装饰器，Python为装饰器提供了一个很友好的“语法糖”——@，让我们可以很方便的使用装饰器，装饰的原理不做过多阐述，简言之你在一个函数func上加上@decorator_func, 就相当于decorator_func(func):

def decorator_func(func):
def wrapper(*args, **kwargs):
return func(*args, **kwargs)
return wrapper

@decorator_func
def func(name):
print 'my name is', name

# 等价于
decorator_func(func)

在装饰器的这个例子中，闭包（wrapper）持有了外部的func这个参数，并且能够接受外部传过来的参数，接受过来的参数在原封不动的传给func，并返回执行结果。

这是个简单的例子，稍微复杂点可以有多个闭包，比如经常使用的那个LRUCache的装饰器，装饰器上可以接受参数@lru_cache(expire=500)这样。实现起来就是两个闭包的嵌套:

def lru_cache(expire=5):
# 默认5s超时
def func_wrapper(func):
def inner(*args, **kwargs):
# cache 处理 bala bala bala
return func(*args, **kwargs)
return inner
return func_wrapper

@lru_cache(expire=10*60)
def get(request, pk)
# 省略具体代码
return response()

不太懂闭包的同学一定得能够理解上述代码，这是我们之前面试经常会问到的面试题。

第二个场景 ，就是基于闭包的一个特性——“惰性求值”。这个应用比较常见的是在数据库访问的时候，比如说：

# 伪代码示意
class QuerySet(object):
def __init__(self, sql):
self.sql = sql
self.db = Mysql.connect().corsor()  # 伪代码

def __call__(self):
return db.execute(self.sql)

def query(sql):
return QuerySet(sql)

result = query("select name from user_app")
if time > now:
print result  # 这时才执行数据库访问

上面这个不太恰当的例子展示了通过闭包完成惰性求值的功能，但是上面query返回的结果并不是函数，而是具有函数功能的类。有兴趣的可以去看看Django的queryset的实现，原理类似。

第三种场景 ， 需要对某个函数的参数提前赋值的情况，当然在Python中已经有了很好的解决访问 functools.parial,但是用闭包也能实现。

def partial(**outer_kwargs):
def wrapper(func):
def inner(*args, **kwargs):
for k, v in outer_kwargs.items():
kwargs[k] = v
return func(*args, **kwargs)
return inner
return wrapper

@partial(age=15)
def say(name=None, age=None):
print name, age

say(name="the5fire")
# 当然用functools比这个简单多了
# 只需要： functools.partial(say, age=15)(name='the5fire')

看起来这又是一个牵强的例子，不过也算是实践了闭包的应用。

闭包的陷阱

先看代码

# 希望一次返回3个函数，分别计算1x1,2x2,3x3:
def count():
fs = []
for i in range(1, 4):
def f():
return i*i
fs.append(f)
return fs

f1, f2, f3 = count()

print f1(), f2(), f3()

这里的count()函数是通过函数的闭包来返回一个包含三个函数的列表,分别是计算1x1的函数, 计算2x2的函数, 计算3x3的函数,那么我们分别调用执行f1()函数, f2()函数, f3()函数的执行结果是多少呢?会不会是我们期望的1 4 9 呢?

竟然是三个9!!! 第一次遇到这个问题其实我是拒绝滴,难道是加了特效么,我duang的一下就迷惑了疑问疑问疑问

翻了翻书才知道这是Python语言的特性所致.当count()函数返回三个函数时,这三个变量所引用的变量i的值已经变成了3,因为在返回的时候三个函数并没有被调用,所以此时它们并没有及时计算它们对应的i乘以i的值,等到三个函数都返回时,然后调用三个函数,此时i的值已经为3,计算i乘以i的值自然就都是9了.

所以在返回闭包的情况下,我们一定要注意的一点就是:

返回函数千万不要引用任何一个循环变量,或者在之后会发生改变的变量.

当然对于这种情况我们还是有解决方法的.我们在内层函数f()内再定义一个内层函数g(),用这个函数的参数绑定循环变量的当前值,这样的话,无论循环变量之后如何改变,每一次循环中的循环变量i的值就都保存在了第三层函数g()中,如此得到了我们期望的输出结果.

#coding:utf-8
__author__ = 'chad'
# 希望一次返回3个函数，分别计算1x1,2x2,3x3:
def count():
fs = []
for i in range(1, 4):
def f(j):
def g():
return j*j
return g
fs.append(f(i))
return fs

f1, f2, f3 = count()

print f1(), f2(), f3()

程序的执行结果：1 4 9

如果嫌这段代码过于臃肿,可以考虑使用lambda表达式进行缩减.