mysql 200万数据查询优化
2017-04-11 11:58
134 查看
mysql 200万数据查询优化
最近在做java爬虫项目,用的mysql数据库,数据量少的时候没啥问题,但数据以上百万级别,某些查询巨慢。
比如
1.查询数据总数
select count(*) from tableName ; 我测试的极限是15万数据,一过15万数据,基本是上十几秒才能出结果 。
优化1: SELECT COUNT(id) FROM tableName 注:id为主键 int类型,自增的,自测- 没啥卵用!
优化2:SELECT COUNT(1) FROM tableName 自测- 没啥卵用!
优化3:SELECT MAX(id) FROM tableName 由于id是自增的int类型,基本上最大id也可以代表数据总量了,虽然有可能中间会删除某些数据造成Id不连续,但要求不是那么严格,算是解决!
2. 查询某个用户的相关内容
tableName 表名
id 自增int主键 已创建序列
articleid 文章id(唯一) 已创建序列
userid (用户id 可重复) 已创建序列
1. SELECT articleid FROM tableName WHERE userid='1' ORDER BY id (百万级别数据 根本查询不出来)
2.SELECT * FROM tableName WHERE articleid IN (SELECT articleid FROM tableName WHERE userid='1'); (200万数据 查询需要10-15秒左右)
3.SELECT t1.* FROM tableName AS t1 JOIN (SELECT articleid FROM tableName WHERE userid='1' ) AS t2
WHERE t1.articleid = t2.articleid (200万数据 查询需要10-15秒左右)
4.暂时没有想到更好的优化方法!!!
最近在做java爬虫项目,用的mysql数据库,数据量少的时候没啥问题,但数据以上百万级别,某些查询巨慢。
比如
1.查询数据总数
select count(*) from tableName ; 我测试的极限是15万数据,一过15万数据,基本是上十几秒才能出结果 。
优化1: SELECT COUNT(id) FROM tableName 注:id为主键 int类型,自增的,自测- 没啥卵用!
优化2:SELECT COUNT(1) FROM tableName 自测- 没啥卵用!
优化3:SELECT MAX(id) FROM tableName 由于id是自增的int类型,基本上最大id也可以代表数据总量了,虽然有可能中间会删除某些数据造成Id不连续,但要求不是那么严格,算是解决!
2. 查询某个用户的相关内容
tableName 表名
id 自增int主键 已创建序列
articleid 文章id(唯一) 已创建序列
userid (用户id 可重复) 已创建序列
1. SELECT articleid FROM tableName WHERE userid='1' ORDER BY id (百万级别数据 根本查询不出来)
2.SELECT * FROM tableName WHERE articleid IN (SELECT articleid FROM tableName WHERE userid='1'); (200万数据 查询需要10-15秒左右)
3.SELECT t1.* FROM tableName AS t1 JOIN (SELECT articleid FROM tableName WHERE userid='1' ) AS t2
WHERE t1.articleid = t2.articleid (200万数据 查询需要10-15秒左右)
4.暂时没有想到更好的优化方法!!!
相关文章推荐
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!(zz)
- mysql 百万数据存储过程 查询优化技巧
- MYSQL查询优化:数据类型与效率
- 提高mysql千万级大数据SQL查询优化30条经验(Mysql索引优化注意)
- MySQL查询优化--数据类型与效率
- MySQL在插入90万条数据消耗的时间以及查询90万条数据时的性能优化
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!
- 针对MySQL提高百万条数据的查询速度优化
- 提高mysql千万级大数据SQL查询优化30条经验(Mysql索引优化注意)
- MySQL大数据高并发处理之-查询的优化
- 提高mysql千万级大数据SQL查询优化30条经验(Mysql索引优化注意)
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!(zz)
- mysql 查询重复的(不区分大小写)数据的SQL优化
- mysql 百万数据存储过程 查询优化技巧
- mysql limit查询优化(数据量大的时候很优)
- MYSQL查询优化:数据类型与效率
- MySQL大数据高并发处理之-查询的优化
- 提高百万条数据的查询速度-mysql优化
- MySQL大数据高并发处理之-查询的优化
- mysql 查询重复的数据的SQL优化方案