减轻内存负担,在 pymysql 中使用 SSCursor 查询结果集较大的 SQL
前言
默认情况下,使用 pymysql 查询数据使用的游标类是 Cursor,比如:
import pymysql.cursors # 连接数据库 connection = pymysql.connect(host='localhost', user='user', password='passwd', db='db', charset='utf8mb4') try: with connection.cursor() as cursor: # 读取所有数据 sql = "SELECT `id`, `password` FROM `users` WHERE `email`=%s" cursor.execute(sql, ('webmaster@python.org',)) result = cursor.fetchall() print(result) finally: connection.close()
这种写法会将查询到的所有数据写入内存中,若在结果较大的情况下,会对内存造成很大的压力,所幸 pymysql 实现了一种 SSCursor 游标类,它允许将查询结果按需返回,而不是一次性全部返回导致内存使用量飙升。
SSCursor
官方文档的解释为:
Unbuffered Cursor, mainly useful for queries that return a lot of data, or for connections to remote servers over a slow network.
Instead of copying every row of data into a buffer, this will fetch rows as needed. The upside of this is the client uses much less memory, and rows are returned much faster when traveling over a slow network or if the result set is very big.
There are limitations, though. The MySQL protocol doesn't support returning the total number of rows, so the only way to tell how many rows there are is to iterate over every row returned. Also, it currently isn't possible to scroll backwards, as only the current row is held in memory.
大致翻译为:无缓存的游标,主要用于查询大量结果集或网络连接较慢的情况。不同于普通的游标类将每一行数据写入缓存的操作,该游标类会按需读取数据,这样的好处是客户端消耗的内存较小,而在网络连接较慢或结果集较大的情况下,数据的返回也会更快。当然,缺点就是它不支持返回结果的行数(也就是调用
rowcount属性将不会得到正确的结果,一共有多少行数据则需要全部迭代完成才能知道),当然它也不支持往回读取数据(这也很好理解,毕竟是生成器嘛)。
它的写法如下:
from pymysql.cursors import SSCursor connection = pymysql.connect(host='localhost', user='user', password='passwd', db='db', charset='utf8mb4') # 创建游标 cur = connection.cursor(SScursor) cur.execute('SELECT * FROM test_table') # 读取数据 # 此时的 cur 对内存消耗相对 Cursor 类来说简直微不足道 for data in cur: print(data)
本质上对所有游标类的迭代都是在不断的调用
fetchone方法,不同的是 SSCursor 对
fetchone方法的实现不同罢了。这一点查看源码即可发现: Cursor 类
fetchone方法源码(可见它是在根据下标获取列表中的某条数据):
SSCursor 类
fetchone方法源码(读取数据并不做缓存):
跳坑
当然,如果没有坑就没必要为此写一篇文章了,开开心心的用着不香吗。经过多次使用,发现在使用 SSCursor 游标类(以及其子类 SSDictCursor)时,需要特别注意以下两个问题:
1. 读取数据间隔问题
每条数据间的读取间隔若超过 60s,可能会造成异常,这是由于 MySQL 的
NET_WRITE_TIMEOUT设置引起的错误(该设置值默认为 60),如果读取的数据有处理时间较长的情况,那么则需要考虑更改 MySQL 的相关设置了。(tips: 使用 sql
SET NET_WRITE_TIMEOUT = xx更改该设置或修改 MySQL配置文件)
2. 读取数据时对数据库的其它操作行为
因为 SSCursor 是没有缓存的,只要结果集没有被读取完成,就不能使用该游标绑定的连接进行其它数据库操作(包括生成新的游标对象),如果需要做其它操作,应该使用新的连接。比如:
from pymysql.cursors import SSCursor def connect(): connection = pymysql.connect(host='localhost', user='user', password='passwd', db='db', charset='utf8mb4') return connection conn1 = connect() conn2 = connect() cur1 = conn1.cursor(SScursor) cur2 = conn1.cursor() with conn1.cursor(SSCursor) as ss_cur, conn2.cursor() as cur: try: ss_cur.execute('SELECT id, name FROM test_table') for data in ss_cur: # 使用 conn2 的游标更新数据 if data[0] == 15: cur.execute('UPDATE tset_table SET name="kingron" WHERE id=%s', args=[data[0]) print(data) finally: conn1.close() conn2.close()
参考
- hibernate中使用sql语句进行表链接查询,对结果集的遍历方法
- hibernate使用原生SQL查询返回结果集的处理
- 关于hibernate使用SQL查询,结果集无法映射到实体类上
- 使用HIBERNATE的SQL查询并将结果集自动转换成POJO
- mysql存储过程 不使用游标来进行查询sql 循环输出结果集
- 使用HIBERNATE的SQL查询并将结果集自动转换成POJO
- 使用HIBERNATE的SQL查询并将结果集自动转换成POJO
- 使用HIBERNATE的SQL查询并将结果集自动转换成POJO
- Oracle 性能调优之:使用 V$SQL_PLAN 视图查询内存中的执行计划
- SQL语句实现查询SQL Server内存使用状况
- SQL语句实现查询SQL Server内存使用状况
- 如何解决PHP使用mysql_query查询超大结果集超内存问题
- 如何解决PHP使用mysql_query查询超大结果集超内存问题
- hibernate使用原生的sql,解决管理查询、结果集封装等问题
- php使用mysql_query查询超大结果集超内存的解决方法
- 使用HIBERNATE的SQL查询并将结果集自动转换成POJO
- hibernate使用原生SQL查询返回结果集的处理
- 使用SQL查询DB2 9中的XML数据
- SQL查询语句精华使用简要
- SQL查询语句使用