论文《固态硬盘混合存储数据库的数据分布优化算法 》总结
2015-07-23 19:04
316 查看
本文目标:数据分布的自适应优化算法以及具体的优化策略。该算法能够自动适应应用的特征,通过观测判断各个数据元素的性能提升效率,从而在SSD和磁盘之间自动形成理想的数据分布。
基于SSD一磁盘混合存储来构造OLTP数据库系统是一种提升数据库性能的有效方法。
最理想的情况就是在运行时能够自适应,根据应用特征自动调节数据分布。本文提出一种面向混合存储的OLTP数据库数据分布自适应优化算法,可自动适应应用的特征,并通过观测判断各个数据元素的性能,从而在SSD和磁盘之间自动形成理想的数据分布。
SSD特点:随机读写性能比磁盘好1-3个数量级。读写不平衡。
不支持写覆盖。(写前需要擦除非空块)(擦除次数有限)
测试环境:数据库产品可分为OLTP和OLAP。
OLTP(联机分析处理)数据库对性能要求很高,实时,存在I/O瓶颈。OLTP数据库可用TPC-C模拟环境来测试。
数据分布自适应优化算法的流程
如下,算法周期性执行,每个周期中分为观测、决策、数据、迁移几个主要步骤。
观测很长一段时间后算法记录每个表和索引的访问特征。
在决策时,根据SSD的空间和各个表和索引的访问特征根据决策策略来对各个表和索引排序。
决策后判断是否进行数据迁移,IF(SSD==NULL OR 决策方案和SSD中数据情况差异大) 迁移。
迁移:对决策中排序前面的若干表和索引放入SSD。
自适应数据分布优化算法框架中,数据分布决策部分是整个算法的核心。
数据分本的优化依据可以根据不同的环境选择:
1.I/O吞吐量优先(SSD承担更多的I/O访问),根据RW/SPACE因子排序。
2.I/O次数优先(随机读写请求多的数据放在SSD)连续读写放在HDD,随机读写放在SSD,按照io/space因子排序.
数据分布自适应优化算法的测试,OLTP+TPC-C,指标:TPMC。
结果:随着SSD所占空间比重的提升,数据库性能线性增长。
基于SSD一磁盘混合存储来构造OLTP数据库系统是一种提升数据库性能的有效方法。
最理想的情况就是在运行时能够自适应,根据应用特征自动调节数据分布。本文提出一种面向混合存储的OLTP数据库数据分布自适应优化算法,可自动适应应用的特征,并通过观测判断各个数据元素的性能,从而在SSD和磁盘之间自动形成理想的数据分布。
SSD特点:随机读写性能比磁盘好1-3个数量级。读写不平衡。
不支持写覆盖。(写前需要擦除非空块)(擦除次数有限)
测试环境:数据库产品可分为OLTP和OLAP。
OLTP(联机分析处理)数据库对性能要求很高,实时,存在I/O瓶颈。OLTP数据库可用TPC-C模拟环境来测试。
数据分布自适应优化算法的流程
如下,算法周期性执行,每个周期中分为观测、决策、数据、迁移几个主要步骤。
观测很长一段时间后算法记录每个表和索引的访问特征。
在决策时,根据SSD的空间和各个表和索引的访问特征根据决策策略来对各个表和索引排序。
决策后判断是否进行数据迁移,IF(SSD==NULL OR 决策方案和SSD中数据情况差异大) 迁移。
迁移:对决策中排序前面的若干表和索引放入SSD。
自适应数据分布优化算法框架中,数据分布决策部分是整个算法的核心。
数据分本的优化依据可以根据不同的环境选择:
1.I/O吞吐量优先(SSD承担更多的I/O访问),根据RW/SPACE因子排序。
2.I/O次数优先(随机读写请求多的数据放在SSD)连续读写放在HDD,随机读写放在SSD,按照io/space因子排序.
数据分布自适应优化算法的测试,OLTP+TPC-C,指标:TPMC。
结果:随着SSD所占空间比重的提升,数据库性能线性增长。
相关文章推荐
- 【数据库】表操作的一些要点
- spring mongodb 模糊查询
- mysql 8小时空闲后连接失效的解决
- Redis的高级应用
- 【mongodb系统学习之九】mongodb保存数据
- 数据库获取系统时间与使用
- Redis系统管理
- 【mongodb系统学习之八】mongodb shell常用操作
- redis数据类型
- 深入解析MySQL分区(Partition)功能
- redis与mysql数据同步
- MySQL 5.6对已有Mysql单实例的机器,再添加mysql数据库,实现单机多实例
- 表分区MySQL版本:5.5.11比5.1查询速度明显提高(4倍左右)
- SQL server 学习笔记1
- Redis HA实践配置
- ORACLE PGA(程序全局区)
- mysql5.6基本配置-启动服务、初始化密码、字符集
- "Reporting Services Catalog Database File Existence" error during installing SQL Server 2008 R2
- mysql 远程登陆不上
- Redis单台的安装部署及集群部署