在大数据情况下MySQL的一种简单分页优化方法
2015-05-08 10:13
609 查看
通常应用需要对表中的数据进行翻页,如果数据量很大,往往会带来性能上的问题:
root@sns 07:16:25>select count(*) from reply_0004 where thread_id = 5616385 and deleted = 0; +———-+ | count(*) | +———-+ | 1236795 | +———-+ 1 row in set (0.44 sec) root@sns 07:16:30>select id from reply_0004 where thread_id = 5616385 and deleted = 0 order by id asc limit 1236785, 10 ; +———–+ | id | +———–+ | 162436798 | | 162438180 | | 162440102 | | 162442044 | | 162479222 | | 162479598 | | 162514705 | | 162832588 | | 162863394 | | 162899685 | +———–+ 10 rows in set (1.32 sec)
索引:threa_id+deleted+id(gmt_Create)
10 rows in set (1.32 sec)
这两条sql是为查询最后一页的翻页sql查询用的。由于一次翻页往往只需要查询较小的数据,如10条,但需要向后扫描大量的数据,也就是越往后的翻页查询,扫描的数据量会越多,查询的速度也就越来越慢。
由于查询的数据量大小是固定的,如果查询速度不受翻页的页数影响,或者影响最低,那么这样是最佳的效果了(查询最后最几页的速度和开始几页的速度一致)。
在翻页的时候,往往需要对其中的某个字段做排序(这个字段在索引中),升序排序。那么可不可以利用索引的有序性来解决上面遇到的问题喃,答案是肯定的。比如有10000条数据需要做分页,那么前5000条做asc排序,后5000条desc排序,在limit startnum,pagesize参数中作出相应的调整。
但是这无疑给应用程序带来复杂,这条sql是用于论坛回复帖子的sql,往往用户在看帖子的时候,一般都是查看前几页和最后几页,那么在翻页的时候最后几页的翻页查询采用desc的方式来实现翻页,这样就可以较好的提高性能:
root@snsgroup 07:16:49>select * from (select id -> from group_thread_reply_0004 where thread_id = 5616385 and deleted = 0 -> order by id desc limit 0, 10)t order by t.id asc; +———–+ | id | +———–+ | 162436798 | | 162438180 | | 162440102 | | 162442044 | | 162479222 | | 162479598 | | 162514705 | | 162832588 | | 162863394 | | 162899685 | +———–+ 10 rows in set (0.87 sec)
可以看到性能提升了50%以上。
您可能感兴趣的文章:
相关文章推荐
- 在大数据情况下MySQL的一种简单分页优化方法
- 导入数据到mysql的一种简单的方法
- 关于MySQL数据量增加变化不大时,一种分页的优化方案
- 导入数据到mysql的一种简单的方法
- mysql快速生成测试数据的方法,以及分页limit语句优化
- MySQL limit 分页查询优化(数据量非常大的情况)
- MySQL分页优化中的“INNER JOIN方式优化分页算法”到底在什么情况下会生效?
- 一种sqlite DB文件数据转存入Mysql的方法
- MySQL在右表数据不唯一的情况下使用left join的方法
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!(zz)
- MySQL单表百万数据记录分页性能优化
- mysql left join 右表数据不唯一的情况解决方法
- 无数据接口及api的情况下,自行进行系统对接的一种方法
- mysql分页大数据性能优化
- MYSQL开发性能研究之批量插入数据的优化方法
- MySQL单表百万数据记录分页性能优化
- mysql 大数据 分页 优化
- MySQL单表百万数据记录分页性能优化
- mysql单表百万数据记录分页性能优化
- 数据查询分页显示的优化方法