mysql 大数据量分页优化
2017-11-12 20:35
148 查看
mysql 大数据量分页优化
假设有一个千万量级的表,取1到10条数据;select * from table limit 0,10; select * from table limit 1000,10;
这两条语句查询时间应该在毫秒级完成;
select * from table limit 3000000,10;
你可能没想到,这条语句执行之间在5s左右;
为什么相差这么大?
可能mysql并没有你想的那么智能,比如你要查询 300w开始后面10条数据;mysql会读取300w加10条这么多的数据,只不过 过滤后返回最后10条而已!!!
那么如果解决这个问题呢;这里总结三种常用方法;
第一种简单粗暴,就是不允许查看这么靠后的数据,比如百度就是这样的
最多翻到76页就不让你翻了,这种方式就是从业务上解决;
第二种方法,在查询下一页时把上一页的行id作为参数传递给客户端程序,然后sql就改成了
select * from table where id>3000000 limit 10;
这条语句执行也是在毫秒级完成的,id>300w其实就是让mysql直接跳到这里了,不用依次在扫描全面所有的行
如果你的table的主键id是自增的,并且中间没有删除和断点,那么还有一种方式,比如100页的10条数据
select * from table where id>100*10 limit 10;
最后第三种方法:延迟关联
我们在来分析一下这条语句为什么慢,慢在哪里。
select * from table limit 3000000,10;
玄机就处在这个 * 里面,这个表除了id主键肯定还有其他字段 比如 name age 之类的,因为select * 所以mysql在沿着id主键走的时候要回行拿数据,走一下拿一下数据;
如果把语句改成
select id from table limit 3000000,10;
你会发现时间缩短了一半;然后我们在拿id分别去取10条数据就行了;
语句就改成这样了:
select table.* from table inner join ( select id from table limit 3000000,10 ) as tmp on tmp.id=table.id;
这三种方法最先考虑第一种 其次第二种,第三种是别无选择
相关文章推荐
- mysql limit大数据量分页优化方法
- MySQL大数据量分页性能优化
- MySQL大数据量分页查询方法及其优化
- Mysql优化-大数据量下的分页策略
- MySQL大数据量分页查询方法及其优化
- MySQL大数据量分页查询方法及其优化
- mysql 大数据量分页优化
- MYSQL的大数据量情况下的分页查询优化
- MySql 分页SQL 大数据量limit替代和优化(试验)
- mysql大数据量分页查询方法及其优化
- MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句 ---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N ---适
- mysql 大数据量分页优化
- MySQL 百万级分页优化(Mysql千万级快速分页)
- MYSQL分页limit速度太慢优化方法
- MySQL分页查询及优化
- 百万级数据库记录下的Mysql快速分页优化实例
- mysql limit分页查询优化写法
- 大数据量分页优化--延迟查询
- 大数据量下,分页查询优化方法解释
- mysql limit分页的坑 数据库分页优化