django 数据库连接模块解析及简单长连接改造方法
工作中纯服务端的项目用到了线程池和django的ORM部分。django 的数据库连接在每一个线程中开启一份,并在查询完毕后自动关闭连接。
线程池处理任务时,正常使用的连接中不会被关闭,但由于数据库端有最长连接时间的限制(默认为8小时),在超时后会发生InterfaceError: (0, '')(连接关闭后使用连接/游标)或Error(2006, 'MySQL server has gone away')(mysql 服务器主动关闭连接)这类错误,所以一般会在每个任务线程中调用django.db.connection.close()进行关闭操作。
但对于频繁进行数据库连接并操作数据库的业务,反复创建连接并不是好的选择,这种场景下可以考虑将连接改造为长连接。
1. django 代码的阅读笔记
django.db.__init__.py #对象: connections = ConnectionHandler() connection = DefaultConnectionProxy() # 函数 # 重置查询记录缓存 def reset_queries(**kwargs): pass # 关闭不可用或超时(如果有设置 CONN_MAX_AGE)连接 def close_old_connections(**kwargs): pass # 信号 # 在请求开始或完成时自动调用相应处理函数 signals.request_started.connect(reset_queries) signals.request_started.connect(close_old_connections) signals.request_finished.connect(close_old_connections)
重点是connections和connection两个实例
connections 是 ConnectionHandler类
connections.all()会给出一个列表,里面的元素为DatabaseWrapper类
ConnectionHandler内置对象及连接管理:
def __init__(): self._connections = local() # 连接包装类里的连接是根据配置情况使用相应的连接 def __getitem__(self, alias): '''略''' db = self.databases[alias] backend = load_backend(db['ENGINE']) conn = backend.DatabaseWrapper(db, alias) setattr(self._connections, alias, conn) # 返回所管理的数据库连接 # 管理方式:分数据库,线程管理连接 def all(self): return [self[alias] for alias in self] # 关闭所有数据库连接 def close_all(self): for alias in self: try: connection = getattr(self._connections, alias) except AttributeError: continue connection.close()
threading.local 是一个全局变量,local的属性是非线程共享的,也就是在每一个线程中都会有单独一个数据库连接实例创建,因为代理及包装的原因,该连接实例为对应backend里的连接(比如,pymysql.connections.Connection)。
在线程池的情况下,close_old_connections方法是不能将线程中的数据库连接关闭的。
connection是DefaultConnectionProxy类的实例,实际是DatabaseWrapper的实例 (使用了pymysql库:import pymysql; pymysql.install_as_MySQLdb) DefaultConnectionProxy–>DatabaseWrapper–>pymysql.connections.Connection(根据connections的处理调用相应的数据库连接包) connection有几个关键方法和属性 connection.connection = '被包装的pymysql.connections.Connection实例` connection.close_at = None if max_age is None else time.time() + max_age # 设置的连接关闭时间 connection.connect()# 获取连接 connection.cursor() # 获取游标 connection.close()# 关闭连接
2. 将数据库连接改造为长连接
max_age(CONN_MAX_AGE) 是可以在settings里面配置的。
由于多个服务共用一套配置, 所以考虑直接在程序里修改
全局变量
max_age = 7 * 3600
在线程内开始时做下判断:
if not db.connection.connection or db.connection.close_at < time.time(): db.connection.close() db.connection.connect() db.connection.close_at = time.time() + max_age print "A new conn creates !" else: print "Still old conn!"
这样每个线程池中的线程会循环执行任务并只使用同一个连接,并可以控制在自己需要的连接时长后更换连接。
针对线程池的情况,close_old_connections基本没啥用处, 可以跳过该处理
django.db.close_old_connections = lambda **kwargs : None
以上这篇django 数据库连接模块解析及简单长连接改造方法就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
- django 数据库连接模块解析及简单长连接改造
- JDBC连接数据库的几种方法与简单解析
- win7 iis7.5 乱码 和 解析不了ASP的ADO连接数据库 的解决方法
- 详解Node.js模块间共享数据库连接的方法
- asp.net的几种简单连接数据库方法
- JDBC——(从复杂到简单)连接使用数据库的多种实现方法
- 【转载】C#连接数据库及读取数据库中字段的简单方法总结
- python数据导入(连接)数据库数据的简单方法
- django配置连接数据库及原生sql语句的使用方法
- 获取ASP.NET连接数据库字符串最简单方法
- Oracle 数据库PL/SQL ORA -12154 TNS:无法解析指定的连接标识符解决方法
- win7下的iis7.5 乱码 和 解析不了ASP的ADO连接数据库 的解决方法
- JavaEE 简单连接数据库的那些方法(1)
- thinkphp3.2同时连接两个数据库的简单方法
- 使用ADO连接数据库的最简单的方法
- win7 iis7.5 乱码 和 解析不了ASP的ADO连接数据库 的解决方法
- VC++ 用ADO连接数据库的简单方法
- 连接数据库及数据查询的简单实现方法
- C#程序连接数据库及读取数据库中字段的简单方法总结
- ASP.NET通过配置Web.config文件提高手动绑定数据库效率的一个简单方法,不用每次手动连接数据库地址,或者数据库地址变更时只改一处即可。