推荐一个优化分页查询的办法(分页数很大的情况)
2010-11-25 19:54
225 查看
通常情况下我们都这样这样取分页数据
SELECT * FROM ol_answerlog ORDER BY AnswerLogId LIMIT 10000,10
一般情况下,ORM生成的就是这种语句。
无论排序字段有没有索引都有严重的性能问题,因为高偏移量会让服务器花费更多的时间来扫描被丢掉的数据。
非规范化、预先计算、或缓存可能是解决这类查询的唯一办法,一个更好的策略是限制让用户查看的页数,这样并影响用户的体验,因为没有人会真正在意搜索结果的第10000页,另外一个优化这种查询的好策略就是只提取最终需要的主键列,然后把它再连接回去以取得所有需要的列,这有助于优化mysql必须进行的收集最终会丢掉的数据工作。
这样会让服务器扫描很多需要丢掉的数据。
可以这样:
先取出主键数据,再取出需要列的数据
SELECT * FROM ol_answerlog g INNER JOIN (
SELECT AnswerLogId FROM ol_answerlog ORDER BY AnswerLogId LIMIT 100000,10)
AS tt
ON g.AnswerLogId = tt.AnswerLogId
实例测试
ol_answerlog 表 2000万数据
一、通常做法
SELECT SQL_NO_CACHE * FROM ol_answerlog ORDER BY AnswerLogId LIMIT 100000,10
需要约400ms
二、优化分页
SELECT SQL_NO_CACHE
* FROM ol_answerlog g INNER JOIN (
SELECT AnswerLogId FROM ol_answerlog ORDER BY AnswerLogId LIMIT 100000,10)
AS tt
ON g.AnswerLogId = tt.AnswerLogId
用时40ms
SELECT * FROM ol_answerlog ORDER BY AnswerLogId LIMIT 10000,10
一般情况下,ORM生成的就是这种语句。
无论排序字段有没有索引都有严重的性能问题,因为高偏移量会让服务器花费更多的时间来扫描被丢掉的数据。
非规范化、预先计算、或缓存可能是解决这类查询的唯一办法,一个更好的策略是限制让用户查看的页数,这样并影响用户的体验,因为没有人会真正在意搜索结果的第10000页,另外一个优化这种查询的好策略就是只提取最终需要的主键列,然后把它再连接回去以取得所有需要的列,这有助于优化mysql必须进行的收集最终会丢掉的数据工作。
这样会让服务器扫描很多需要丢掉的数据。
可以这样:
先取出主键数据,再取出需要列的数据
SELECT * FROM ol_answerlog g INNER JOIN (
SELECT AnswerLogId FROM ol_answerlog ORDER BY AnswerLogId LIMIT 100000,10)
AS tt
ON g.AnswerLogId = tt.AnswerLogId
实例测试
ol_answerlog 表 2000万数据
一、通常做法
SELECT SQL_NO_CACHE * FROM ol_answerlog ORDER BY AnswerLogId LIMIT 100000,10
需要约400ms
二、优化分页
SELECT SQL_NO_CACHE
* FROM ol_answerlog g INNER JOIN (
SELECT AnswerLogId FROM ol_answerlog ORDER BY AnswerLogId LIMIT 100000,10)
AS tt
ON g.AnswerLogId = tt.AnswerLogId
用时40ms
通常做法 SELECT SQL_NO_CACHE * FROM ol_answerlog ORDER BY AnswerLogId LIMIT m,10 | 优化分页 SELECT SQL_NO_CACHE * FROM ol_answerlog g INNER JOIN ( SELECT AnswerLogId FROM ol_answerlog ORDER BY AnswerLogId LIMIT m,10) AS tt ON g.AnswerLogId = tt.AnswerLogId | |
10000 | 40ms | <10ms |
100000 | 400ms | 40ms |
1000000 | 4s | 400ms |
10000000 | 46s | <4s |
相关文章推荐
- 推荐一个优化分页查询的办法(分页数很大的情况)
- (推荐)海量数据库的查询优化及分页算法方案
- mysql通过“延迟关联”进行limit分页查询优化的一个实例
- MySQL limit 分页查询优化(数据量非常大的情况)
- MYSQL的大数据量情况下的分页查询优化
- [置顶] mongos 分页查询优化
- 关于分页存储过程的优化【让数据库按我们的意思执行查询计划】
- 忘记在哪里看到的一个分页存储过程,支持多表,多条件查询
- Mysql数据库百万级记录查询分页优化
- 海量数据库的查询优化及分页算法方案
- SQLServer海量数据库的查询优化及分页算法方案
- Mysql分页查询获取totalCount大幅提升性能的办法总结
- 一个分页查询的存储过程
- 海量数据库的查询优化及分页算法方案[转]
- [Microsoft][ODBC Microsoft Access Driver] 操作必须使用一个可更新的查询(解决办法)
- 一个优化MySQL查询操作的具体案例分析
- 海量数据库的查询优化及分页算法方案
- 一个完整的Ajax查询及对查询结果实现分页的范例
- SQL server 海量数据库的查询优化及分页算法(收藏)
- 分页查询的一个帮助类