AliSQL 20170716版本发布 Invisible Indexes 功能和 SELECT FROM UPDATE 语法
2017-09-10 00:00
429 查看
摘要: 在传统的关系数据库中,想要在堆表或者索引组织表中快速的检索到目标数据,添加索引是一个常用的手段,但过多的索引不但增加空间的开销, 还会带来写入性能的衰减,如何降低在线删除索引的风险,Invisible Indexes 提供了一个风险可控的方法。
还会带来写入性能的衰减,如何降低在线删除索引的风险,Invisible Indexes 提供了一个风险可控的方法。
在面临一个常见的业务场景,比如更新某行记录,然后查询变更后的记录内容的时候,通常都是UPDATE + SELECT 两条语句来完成,
AliSQL 扩展了语法,提供SELECT...FROM UPDATE语句,在完成update变更的同时,返回整行记录内容,减少一次网络调用。
AliSQL REPO:https://github.com/alibaba/AliSQL
AliSQL Release Notes:https://github.com/alibaba/AliSQL/wiki/Changes-in-AliSQL-5.6.32-(2017-07-16)
AliSQL 为 index 增加了两个新的属性,visible/invisible,保存在FRM文件中,这两个属性决定了这个索引是否能够被优化器使用,索引默认是visible,当变更为invisible的时候,无论是否使用了force index hint,这个索引不再会被优化器使用。
在引擎层面,这个索引属性是透明的,即引擎会继续维护索引记录变更。
注意区分disabled index属性。
语法和使用方法
新增的语法例如:
场景使用
在DBA的日常运维中,为了加速SQL查询响应,随着业务的发展在表中积累了比较多的索引,而随着业务的变更,有部分索引可能已经不再需要,需要做删除处理。
在线删除索引,变成了一个风险极高的操作,如何降低删除索引的风险,主要评估两点:
需要统计信息展示索引的使用情况
当删除索引后,出现异常,如何快速的回滚
针对这两个点,AliSQL提供了较完善的方法进行评估:
1. 统计信息
AliSQL提供了一个内存统计表index_statistics,来统计每张表的索引使用统计信息,如下:
这表明 t 表中的 b_visible 索引被拿来检索了3条记录, 而t表中的其他index没有被使用过,基于这样的统计信息,DBA可以评估一段时间,某些索引没有被使用过,就可以相对安全的进行删除。
2. 回滚
当对index进行删除的时候, 可以分两步操作:
先invisible这个索引:
完成后,这个索引就不会再被optimizer使用,观察一段使用,确认没有影响后,再进行安全删除:
在真正的删除之前,如果出现异常,可以快速的回滚:
所以,通过index statistic 和 index invisible 功能,可以安全对索引进行在线删除。
为了优化在业务中使用 UPDATE + SELECT 两次调用的开销,AliSQL提供了 SELECT...FROM UPDATE 语法,在一次SQL请求中,完成UPDATE变更和行记录返回。
语法和使用
通过 SELECT...FROM UPDATE 语法,减少一次网络调用,在核心业务集群上,收益是非常可观的。
InnoDB在进行表结构变更的时候,如果是online操作,并且变更过程中失败,那么对于数据字典的dirty清理会延迟清理,但master thread在淘汰长时间未使用的Dictionary Object 的时候,因为对象未清理干净,导致实例crash。
详细的bug复现过程和修复方法,可以参考:http://mysql.taobao.org/monthly/2017/06/05/
MySQL官方的BUG跟踪:https://bugs.mysql.com/bug.php?id=86607
MariaDB的BUG跟踪:https://jira.mariadb.org/browse/MDEV-13051
Semisync的 ACK receiver 线程使用了 select() 系统库调用来监听slave线程,但由于 select() 方法存在多种限制,所以,使用 poll() 替换原来的监听方法。
其他
除了AliSQL外,你还可以看看云数据库 MySQL 版
更多技术干货敬请关注阿里云云栖社区:阿里云云栖社区
Abstract
在传统的关系数据库中,想要在堆表或者索引组织表中快速的检索到目标数据,添加索引是一个常用的手段,但过多的索引不但增加空间的开销,还会带来写入性能的衰减,如何降低在线删除索引的风险,Invisible Indexes 提供了一个风险可控的方法。
在面临一个常见的业务场景,比如更新某行记录,然后查询变更后的记录内容的时候,通常都是UPDATE + SELECT 两条语句来完成,
AliSQL 扩展了语法,提供SELECT...FROM UPDATE语句,在完成update变更的同时,返回整行记录内容,减少一次网络调用。
AliSQL REPO:https://github.com/alibaba/AliSQL
AliSQL Release Notes:https://github.com/alibaba/AliSQL/wiki/Changes-in-AliSQL-5.6.32-(2017-07-16)
1. Invisible Indexes
概要AliSQL 为 index 增加了两个新的属性,visible/invisible,保存在FRM文件中,这两个属性决定了这个索引是否能够被优化器使用,索引默认是visible,当变更为invisible的时候,无论是否使用了force index hint,这个索引不再会被优化器使用。
在引擎层面,这个索引属性是透明的,即引擎会继续维护索引记录变更。
注意区分disabled index属性。
语法和使用方法
新增的语法例如:
场景使用
在DBA的日常运维中,为了加速SQL查询响应,随着业务的发展在表中积累了比较多的索引,而随着业务的变更,有部分索引可能已经不再需要,需要做删除处理。
在线删除索引,变成了一个风险极高的操作,如何降低删除索引的风险,主要评估两点:
需要统计信息展示索引的使用情况
当删除索引后,出现异常,如何快速的回滚
针对这两个点,AliSQL提供了较完善的方法进行评估:
1. 统计信息
AliSQL提供了一个内存统计表index_statistics,来统计每张表的索引使用统计信息,如下:
这表明 t 表中的 b_visible 索引被拿来检索了3条记录, 而t表中的其他index没有被使用过,基于这样的统计信息,DBA可以评估一段时间,某些索引没有被使用过,就可以相对安全的进行删除。
2. 回滚
当对index进行删除的时候, 可以分两步操作:
先invisible这个索引:
完成后,这个索引就不会再被optimizer使用,观察一段使用,确认没有影响后,再进行安全删除:
在真正的删除之前,如果出现异常,可以快速的回滚:
所以,通过index statistic 和 index invisible 功能,可以安全对索引进行在线删除。
2. SELECT FROM UPDATE
概要为了优化在业务中使用 UPDATE + SELECT 两次调用的开销,AliSQL提供了 SELECT...FROM UPDATE 语法,在一次SQL请求中,完成UPDATE变更和行记录返回。
语法和使用
通过 SELECT...FROM UPDATE 语法,减少一次网络调用,在核心业务集群上,收益是非常可观的。
3. InnoDB Crash
概要InnoDB在进行表结构变更的时候,如果是online操作,并且变更过程中失败,那么对于数据字典的dirty清理会延迟清理,但master thread在淘汰长时间未使用的Dictionary Object 的时候,因为对象未清理干净,导致实例crash。
详细的bug复现过程和修复方法,可以参考:http://mysql.taobao.org/monthly/2017/06/05/
MySQL官方的BUG跟踪:https://bugs.mysql.com/bug.php?id=86607
MariaDB的BUG跟踪:https://jira.mariadb.org/browse/MDEV-13051
4. Semisync优化
概要Semisync的 ACK receiver 线程使用了 select() 系统库调用来监听slave线程,但由于 select() 方法存在多种限制,所以,使用 poll() 替换原来的监听方法。
其他
除了AliSQL外,你还可以看看云数据库 MySQL 版
更多技术干货敬请关注阿里云云栖社区:阿里云云栖社区
相关文章推荐
- Mysql下SELECT的结果集作为UPDATE的WHERE条件时的SQL语法
- mysql中的update set select的sql语法
- SQL: Update from a Select
- How do I UPDATE from a SELECT in SQL Server?
- sql基本语法select、insert、update、delete、distinct等
- sql基本语法select、insert、update、delete、distinct等 .
- Oracle关联更新语法(T-SQL中的update...from)
- SQL UPDATE from SELECT
- Mysql下SELECT的结果集作为UPDATE的WHERE条件时的SQL语法
- spark sql 功能测试及总结 (1.4.1版本)
- Insert Into ...Select 加 Update From 同步表数据
- 14、SQL Server:sql update set from 的用法 (转)
- SQL to select a random row from a database table
- SQL 指令:SELECT "栏位名" FROM "表格名" WHERE "条件"
- 关于Sql关键字SELECT FROM GROUP ORDER 等的执行顺序问题的解释
- SQL2005之后MS SQL版本 T-SQL 新增语法、函数(一)
- SQL update select结合语句详解及应用
- MySql update inner join!MySql跨表更新 多表update sql语句?如何将select出来的部分数据update到另一个表里面?
- Bentley GeoSpatial平台下一版本要发布的功能
- eclipse中,项目有红叉之-Project configuration is not up-to-date with pom.xml. Select: Maven->Update Project... from the project context menu or use Quick Fix