ORACLE使用WITH AS和HINT MATERIALIZE优化SQL解决FILTER效率低下
2016-03-28 10:41
671 查看
原文:http://blog.csdn.net/liangweiwei130/article/details/37882503
-------------------------------------------------
在做项目的过程中,一个页面使用类似如下的SQL查询数据,为了保密和使用方便,我把项目中有关的表名和字段替换使用ORACLE数据库中的系统表和字段。
在我所做的项目中,类似ALL_TABLES的表中大概有8W多条数据,下面这个查询SQL很慢。
[sql] view
plain copy
print?
WITH PARAMS AS
(SELECT '' USER_ID, '' SDATE, '%' || '' || '%' SNAME FROM DUAL)
SELECT AU.USERNAME, AU.USER_ID
FROM ALL_USERS AU
INNER JOIN PARAMS PA
ON 1 = 1
INNER JOIN DBA_USERS DU
ON AU.USERNAME = DU.USERNAME
WHERE ((PA.SDATE IS NULL AND PA.USER_ID IS NOT NULL AND
AU.USER_ID = PA.USER_ID) OR
(PA.SDATE IS NULL AND PA.USER_ID IS NULL AND
AU.USERNAME NOT IN
(SELECT AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS DEV
ON AU.USERNAME = DEV.USERNAME
INNER JOIN (SELECT OWNER AS USERNAME
FROM ALL_TABLES T
WHERE T.LAST_ANALYZED = TRUNC(SYSDATE)) ATA
ON AU.USERNAME = ATA.USERNAME)) OR
(PA.SDATE IS NOT NULL AND
AU.USERNAME IN
(SELECT AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS PA
ON AU.USERNAME = PA.USERNAME
INNER JOIN ALL_TABLES ATA
ON PA.USERNAME = ATA.OWNER
WHERE TO_CHAR(ATA.LAST_ANALYZED, 'YYYY-MM-DD') = PA.SDATE) AND
AU.USER_ID = PA.USER_ID))
AND DU.PROFILE LIKE 'D%'
AND AU.USERNAME LIKE PA.SNAME
针对上面的SQL语句执行慢的问题,我做了如下的分析:
第一步,把语句的WHERE条件后的三个OR都分别和主查询一块执行,执行速度都很快,放到一块就很慢。
第二步,对比上面SQL和三个OR拆分出来的三个SQL的执行计划,如下图所示。发现上面SQL的执行中有一个FILTER,过滤器谓词中用到了NOT
EXISTS,是导致这条SQL跑的慢的原因。
原因找到了,就得想办法把执行计划的FILTER去掉。开始想加HINT,但是实验了很多HINT,都不起作用。最后的结果还一样,后来想到WITH
AS 能提高SQL的查询速度,就把影响SQL执行的那段SQL放到WITH
AS里面,结果还是一样。后来尝试把HINT MATERIALIZE和WITH
AS 结合使用,修改成如下的SQL,查询速度立即提升了很多。如下图所示,执行计划中FILTER的NOT
EXISTS不存在了。
[sql] view
plain copy
print?
WITH PARAMS AS
(SELECT '' USER_ID, '' SDATE, '%' || '' || '%' SNAME FROM DUAL),
USERNAMEDATA AS
(SELECT /*+ materialize */
AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS DEV
ON AU.USERNAME = DEV.USERNAME
INNER JOIN (SELECT OWNER AS USERNAME
FROM ALL_TABLES T
WHERE T.LAST_ANALYZED = TRUNC(SYSDATE)) ATA
ON AU.USERNAME = ATA.USERNAME)
SELECT AU.USERNAME, AU.USER_ID
FROM ALL_USERS AU
INNER JOIN PARAMS PA
ON 1 = 1
INNER JOIN DBA_USERS DU
ON AU.USERNAME = DU.USERNAME
WHERE ((PA.SDATE IS NULL AND PA.USER_ID IS NOT NULL AND
AU.USER_ID = PA.USER_ID) OR
(PA.SDATE IS NULL AND PA.USER_ID IS NULL AND
AU.USERNAME NOT IN (SELECT USERNAME FROM USERNAMEDATA)) OR
(PA.SDATE IS NOT NULL AND
AU.USERNAME IN
(SELECT AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS PA
ON AU.USERNAME = PA.USERNAME
INNER JOIN ALL_TABLES ATA
ON PA.USERNAME = ATA.OWNER
WHERE TO_CHAR(ATA.LAST_ANALYZED, 'YYYY-MM-DD') = PA.SDATE) AND
AU.USER_ID = PA.USER_ID))
AND DU.PROFILE LIKE 'D%'
AND AU.USERNAME LIKE PA.SNAME
总结:
在FILTER中,NOT EXISTS后的SQL语句多次执行,本来数据量就很大,每次都要执行一遍,结果可想而知。但是使用HINT MATERIALIZE和WITH
AS 结合使用,把内联视图实体化,执行过程中会创建基于视图的临时表。这样就不会每次NOT EXISTS都去执行一遍大数据表的扫描,只需要扫描一次即可。
但是是不是可以在WITHAS中的每个语句都实体化那?如果WITH AS中的语句只被调用一次的话,最好还是不要使用HINT MATERIALIZE,因为使用HINT MATERIALIZE第一次查询会创建基于视图结果的临时表,这也耗费一些时间。多次使用的话可以使用HINT MATERIALIZE。
-------------------------------------------------
在做项目的过程中,一个页面使用类似如下的SQL查询数据,为了保密和使用方便,我把项目中有关的表名和字段替换使用ORACLE数据库中的系统表和字段。
在我所做的项目中,类似ALL_TABLES的表中大概有8W多条数据,下面这个查询SQL很慢。
[sql] view
plain copy
print?
WITH PARAMS AS
(SELECT '' USER_ID, '' SDATE, '%' || '' || '%' SNAME FROM DUAL)
SELECT AU.USERNAME, AU.USER_ID
FROM ALL_USERS AU
INNER JOIN PARAMS PA
ON 1 = 1
INNER JOIN DBA_USERS DU
ON AU.USERNAME = DU.USERNAME
WHERE ((PA.SDATE IS NULL AND PA.USER_ID IS NOT NULL AND
AU.USER_ID = PA.USER_ID) OR
(PA.SDATE IS NULL AND PA.USER_ID IS NULL AND
AU.USERNAME NOT IN
(SELECT AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS DEV
ON AU.USERNAME = DEV.USERNAME
INNER JOIN (SELECT OWNER AS USERNAME
FROM ALL_TABLES T
WHERE T.LAST_ANALYZED = TRUNC(SYSDATE)) ATA
ON AU.USERNAME = ATA.USERNAME)) OR
(PA.SDATE IS NOT NULL AND
AU.USERNAME IN
(SELECT AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS PA
ON AU.USERNAME = PA.USERNAME
INNER JOIN ALL_TABLES ATA
ON PA.USERNAME = ATA.OWNER
WHERE TO_CHAR(ATA.LAST_ANALYZED, 'YYYY-MM-DD') = PA.SDATE) AND
AU.USER_ID = PA.USER_ID))
AND DU.PROFILE LIKE 'D%'
AND AU.USERNAME LIKE PA.SNAME
针对上面的SQL语句执行慢的问题,我做了如下的分析:
第一步,把语句的WHERE条件后的三个OR都分别和主查询一块执行,执行速度都很快,放到一块就很慢。
第二步,对比上面SQL和三个OR拆分出来的三个SQL的执行计划,如下图所示。发现上面SQL的执行中有一个FILTER,过滤器谓词中用到了NOT
EXISTS,是导致这条SQL跑的慢的原因。
原因找到了,就得想办法把执行计划的FILTER去掉。开始想加HINT,但是实验了很多HINT,都不起作用。最后的结果还一样,后来想到WITH
AS 能提高SQL的查询速度,就把影响SQL执行的那段SQL放到WITH
AS里面,结果还是一样。后来尝试把HINT MATERIALIZE和WITH
AS 结合使用,修改成如下的SQL,查询速度立即提升了很多。如下图所示,执行计划中FILTER的NOT
EXISTS不存在了。
[sql] view
plain copy
print?
WITH PARAMS AS
(SELECT '' USER_ID, '' SDATE, '%' || '' || '%' SNAME FROM DUAL),
USERNAMEDATA AS
(SELECT /*+ materialize */
AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS DEV
ON AU.USERNAME = DEV.USERNAME
INNER JOIN (SELECT OWNER AS USERNAME
FROM ALL_TABLES T
WHERE T.LAST_ANALYZED = TRUNC(SYSDATE)) ATA
ON AU.USERNAME = ATA.USERNAME)
SELECT AU.USERNAME, AU.USER_ID
FROM ALL_USERS AU
INNER JOIN PARAMS PA
ON 1 = 1
INNER JOIN DBA_USERS DU
ON AU.USERNAME = DU.USERNAME
WHERE ((PA.SDATE IS NULL AND PA.USER_ID IS NOT NULL AND
AU.USER_ID = PA.USER_ID) OR
(PA.SDATE IS NULL AND PA.USER_ID IS NULL AND
AU.USERNAME NOT IN (SELECT USERNAME FROM USERNAMEDATA)) OR
(PA.SDATE IS NOT NULL AND
AU.USERNAME IN
(SELECT AU.USERNAME
FROM ALL_USERS AU
INNER JOIN DBA_USERS PA
ON AU.USERNAME = PA.USERNAME
INNER JOIN ALL_TABLES ATA
ON PA.USERNAME = ATA.OWNER
WHERE TO_CHAR(ATA.LAST_ANALYZED, 'YYYY-MM-DD') = PA.SDATE) AND
AU.USER_ID = PA.USER_ID))
AND DU.PROFILE LIKE 'D%'
AND AU.USERNAME LIKE PA.SNAME
总结:
在FILTER中,NOT EXISTS后的SQL语句多次执行,本来数据量就很大,每次都要执行一遍,结果可想而知。但是使用HINT MATERIALIZE和WITH
AS 结合使用,把内联视图实体化,执行过程中会创建基于视图的临时表。这样就不会每次NOT EXISTS都去执行一遍大数据表的扫描,只需要扫描一次即可。
但是是不是可以在WITHAS中的每个语句都实体化那?如果WITH AS中的语句只被调用一次的话,最好还是不要使用HINT MATERIALIZE,因为使用HINT MATERIALIZE第一次查询会创建基于视图结果的临时表,这也耗费一些时间。多次使用的话可以使用HINT MATERIALIZE。
相关文章推荐
- oracle新增修改表字段+注释
- oracle数据库导入导出命令
- ORACLE自动生成8位带数字和字母的随机密码
- Oracle 11g 学习3——表空间操作
- Oracle 迁移到 Mycat 简单测试
- Oracle安装错误ora-00922(缺少或无效选项)
- mycat 平台上实现将数据从oracle迁移到mysql
- Linux下安装cx-Oracle小记
- 如何解决w8.1系统安装oracle 11g出现未找到文件的问题
- Oracle视图
- Oracle的一些简单语句
- Oracle存储过程基本语法介绍
- oracle_触发器监控修改字段的客户端IP、用户名、新旧值
- 个人常用Oracle SQL优化工具(脚本)介绍(未完成)
- Oracle VM + centos7.1+openstack kilo 多结点安装教程---基础环境配置(1)
- Oracle 索引维护
- Oracle Data Integrator 12c 安装(ODI安装)
- Oracle Data Integrator 12c 安装(ODI安装)
- oracle 找不到监听
- instantClient sqlPlus 连接oracle