django 数据库连接模块解析及简单长连接改造
2019-03-22 11:17
281 查看
django 数据库连接模块解析及简单长连接改造
django 数据库连接模块解析及简单长连接改造
工作中纯服务端的项目用到了线程池和django的ORM部分。django 的数据库连接在每一个线程中开启一份,并在查询完毕后自动关闭连接。
线程池处理任务时,正常使用的连接中不会被关闭,但由于数据库端有最长连接时间的限制(默认为8小时),在超时后会发生
InterfaceError: (0, '')(连接关闭后使用连接/游标)或
Error(2006, 'MySQL server has gone away')(mysql 服务器主动关闭连接)这类错误,所以一般会在每个任务线程中调用django.db.connection.close()进行关闭操作。
但对于频繁进行数据库连接并操作数据库的业务,反复创建连接并不是好的选择,这种场景下可以考虑将连接改造为长连接。
1. django 代码的阅读笔记
[code]django.db.__init__.py #对象: connections = ConnectionHandler() connection = DefaultConnectionProxy() # 函数 # 重置查询记录缓存 def reset_queries(**kwargs): pass # 关闭不可用或超时(如果有设置 CONN_MAX_AGE)连接 def close_old_connections(**kwargs): pass # 信号 # 在请求开始或完成时自动调用相应处理函数 signals.request_started.connect(reset_queries) signals.request_started.connect(close_old_connections) signals.request_finished.connect(close_old_connections)
重点是connections和connection两个实例
connections 是 ConnectionHandler类
connections.all()会给出一个列表,里面的元素为DatabaseWrapper类
ConnectionHandler内置对象及连接管理:
[code]def __init__(): self._connections = local() # 连接包装类里的连接是根据配置情况使用相应的连接 def __getitem__(self, alias): '''略''' db = self.databases[alias] backend = load_backend(db['ENGINE']) conn = backend.DatabaseWrapper(db, alias) setattr(self._connections, alias, conn) # 返回所管理的数据库连接 # 管理方式:分数据库,线程管理连接 def all(self): return [self[alias] for alias in self] # 关闭所有数据库连接 def close_all(self): for alias in self: try: connection = getattr(self._connections, alias) except AttributeError: continue connection.close()
[code]connection.connection = '被包装的pymysql.connections.Connection实例` connection.close_at = None if max_age is None else time.time() + max_age # 设置的连接关闭时间 connection.connect()# 获取连接 connection.cursor() # 获取游标 connection.close()# 关闭连接
[code]if not db.connection.connection or db.connection.close_at < time.time(): db.connection.close() db.connection.connect() db.connection.close_at = time.time() + max_age print "A new conn creates !" else: print "Still old conn!"
这样每个线程池中的线程会循环执行任务并只使用同一个连接,并可以控制在自己需要的连接时长后更换连接。
针对线程池的情况,close_old_connections基本没啥用处, 可以跳过该处理
django.db.close_old_connections = lambda **kwargs : None
相关文章推荐
- nodejs连接redis数据库简单封装-redis模块
- nodejs连接redis数据库简单封装-redis模块
- JDBC连接数据库的几种方法与简单解析
- 让Django支持数据库长连接(可以提高不少性能哦)
- javaWeb 简单注册登录(含数据库连接) -- (二) MySQL数据库配置和连接
- .net中简单连接数据库
- mysql 简单教程(一) ----数据库连接和简单查询
- MFC连接SQL(ADO数据库访问技术)——绝对简单
- JDBC-数据库的连接和简单操作
- 自学Zabbix之路15.5 Zabbix数据库表结构简单解析-其他 表
- 各种数据库简单连接[转]
- 建立JDBC数据库连接实例解析
- Ruby on Rails,一个简单的CMS系统,创建应用骨架并与数据库连接
- dom4j解析xml文件实现数据库连接
- eclipse maven整合SSH项目(实现简单的连接数据库实现登录小例子)
- 【all】 如何测试本机是否能连接到数据库的最简单的方法
- asp.net的几种简单连接数据库方法
- JDBC(1)简单介绍/数据库的连接
- ibatis连接数据库的配置文件SqlMapConfig.xml---解析
- JAVA用JDBC模式简单的连接数据库