mysql 性能问题的解决
2015-06-27 20:50
399 查看
场景:
模拟一天的数据,每个10秒,遍历1000个设备,每个设备模拟一个实时数据,总的数据量为:24*60*60/10*1000 = 864万条记录。
---------------------------------------------------------------------------------------------------------------------
策略:对时间分段,拼接sql语句查询。
1、对一个设备,求一天每小时的平均值,时间开销3分钟。
2、对domainid+devicecode+eventtime建立索引,时间开销10秒。
---------------------------------------------------------------------------------------------------------------------
上述策略,效率太差。修改为每小时对所有设备的数据求平均值,写入数据库。
1、每小时,根据domainid+devicecode分组,求出每个设备的平均值,使用group 分组,发现效率也太差。
2、搜索出所有的distinct domainid, devicecode,遍历游标逐个去求平均值效率就很高了。写入数据库的时候,使用事务批量写入。
模拟一天的数据,每个10秒,遍历1000个设备,每个设备模拟一个实时数据,总的数据量为:24*60*60/10*1000 = 864万条记录。
---------------------------------------------------------------------------------------------------------------------
策略:对时间分段,拼接sql语句查询。
1、对一个设备,求一天每小时的平均值,时间开销3分钟。
2、对domainid+devicecode+eventtime建立索引,时间开销10秒。
---------------------------------------------------------------------------------------------------------------------
上述策略,效率太差。修改为每小时对所有设备的数据求平均值,写入数据库。
1、每小时,根据domainid+devicecode分组,求出每个设备的平均值,使用group 分组,发现效率也太差。
2、搜索出所有的distinct domainid, devicecode,遍历游标逐个去求平均值效率就很高了。写入数据库的时候,使用事务批量写入。
相关文章推荐
- mysql 性能问题
- mysql 查询开销 sending data
- mysql 索引的原理
- mysql 理解 int(11)
- mysql 特殊字符
- mysql 聚集函数需要注意的问题
- mysql编程语法
- mysql 查询开销
- mysql 循环控制
- mysql主从搭建
- 小贝_mysql学习准备
- MySQL_5.5安装步骤图解
- 如果mysql的root密码忘了怎么办
- navicat premium 的使用——navicat 连接MySQL数据库
- navicat premium 的使用——navicat 连接MySQL数据库
- MySQL 内存溢出
- mysql主从同步错误解决和Slave_IO_Running: NO
- mysql 获取自增主键
- MySQL基础笔记(一) SQL简介+数据类型
- MySQL基础笔记(一) SQL简介+数据类型