oracle: 执行计划 1 ---预备知识和概念

 

本篇文章主要总结了，在我们解读oracle执行计划之前，需要的一些预备知识和概念

1       相关概念

1.1      Rowid

 

Rowid是一个伪列，不是用户定义的，是系统自动加上的。

对每个表都有一个rowid的伪列，但是表中并不物理存储Rowid列的值。不过你可以像是要其它列一样使用它，但是不能删除该列，也不能对该列的值进行插入、修改。一旦一行数据插入数据库，则rowid在该行的生命周期内是唯一的，即时该行产生行迁移，行的rowid也不会改变。

 

1.2      Recursive sql

 

有时为了执行用户发出的一个sql语句，oracle必须执行一些额外的语句，我们将这些额外的语句称为“recursive calls”或“recursive SQL statements”。

如当一个DDL语句发出后，oracle总是隐含的发出一些recursive sql语句，来修改数据字典，以便用户可以成功的执行该DDL语句。当需要的数据字典信息没有在共享内存中时，经常会发生recursive calls，这些recursive calls会将数据字典信息从硬盘读入内存中。用户不关心这些recursive
sql语句的执行情况，在需要的时候，oracle会自动的在内部执行这些语句。当然DML语句与select都可能引起recursive sql。简单的说，我们可以将触发器视为recursive sql。

 

1.3      Row source（行源）

 

用在查询中，由上一操作返回的符合条件的行的集合，既可以是表的全部行数据的集合，也可以是表的部分行数据的集合；也可以为对上2个row source进行连接操作后得到的行数据集合。

 

1.4      Predicate （谓词）

 

一个查询中的where限制条件

 

1.5      Driving table（驱动表）

 

该表又称为外层表。

这个概念用于嵌套与hash连接中。如果该row source返回较多的行数据，则对所有的后续操作有负面影响。此处虽翻译为驱动表，但实际上翻译为驱动行源（driving row source）更为确切。一般来说，是应用查询的限制条件后，返回较少行源的表做为驱动表，所以如果一个大表在where条件有限制条件（如等值限制）。则该大表作为驱动表也是合适的。所以并不是只有较小的表可以做为驱动表，更进一步说，应用查询的限制条件后，返回较少行源的表做为驱动表。在执行计划中，应该为靠上的那个row
source，后面会给出具体说明。在我们后面的描述中，一般将该表称为连接操作的row source 1.

 

1.6      Probed table（被探查表）

 

该表又称为内层表（inner table）。

在我们从驱动表中得到具体一行的数据后，在该表中寻找符合连接条件的行。所以该表应当为大表（实际上应该为返回较大row source的表）且相应的列上应该有索引。在我们后面的描述中，一般将该表称为连接操作的row source 2.

 

1.7      组合索引（concatenated index）

 

由多个列构成的索引，如 create index idx_emp on emp(col1,col2, col3),则我们称idx_emp索引为组合索引。

在组合索引中，有一个重要的概念：引导列（leadingcolumn），在上面的例子中，col1列为引导列。当我们进行查询时可以使用“where col1=?”也可以使用“where col1=？and col2=?”,这样的限制条件都会使用索引，但是“where col2 = ？”查询就不会使用该索引。所以限制条件中包含先导列时，该限制条件才会使用该组合索引。

 

1.8      可选择性（selectivity）

 

比较一下列中唯一键的数量和表中的行数，就可以判断该列的可选择性，如果该列的“唯一键的数量/表中的行数”的比值越接近1，则该列的可选择性越高，该列就越适合创建索引，同样索引的可选择性也越高。在可选择性高的列上进行查询时，返回的数据就较少，比较适合使用索引查询。

 

2       Oracle数据库的存取方法

 

2.1      全表扫描（Tull table scan，FTS）

 

为实现全表扫描，oracle读取表中所有行，并检查每一行是否满足语句的where限制条件，一个多块读操作可以使一次IO能读取多块数据块（db_block_multiblock_read_count参数设定），而不是只读取一个数据库，这极大的减少了IO总次数，提高了系统的吞吐量，所以利用多块读的方法可以十分高效地实现全表扫描，而且只有在全表扫描的情况下才能使用多块读操作。在这种访问模式下，每个数据块只被读一次。

 

使用FTS的前提条件：在较大的表上不建议使用全表扫描，除非取出的数据比较多了，超多总量的5%--10%,或想使用并行查询。

 

2.2      通过RowID的表存取

 

行的rowid指出了该行所在的数据文件、数据块以及行在该块中的位置，所以通过rowId来存取数据可以快速定位到目标数据上，是oracle存取单行数据的最快方法。

         这种存取方法不会用到多块读操作，一次IO只能读取一个数据块。我们会经常在执行计划中看到该存取方法，如通过索引查询数据。

         使用rowid存取的方法：

SQL>explainplan for select * from dept where rowed=’AAAyhjjkll’;

 

2.3        索引扫描

 

我们先通过index 查找到数据对应的rowid值（非唯一索引可能返回多个rowid），然后根据rowid直接从表中得到具体的数据，这种查找方式成为索引扫描或索引查找，一个rowid唯一的表示一行数据，该行对应的数据块是通过一次IO得到的，在此情况下该次IO只会读取一个数据块。

在索引中，除了存储每个索引的值外，索引还存储具有此值的行对应的rowid值。

索引扫描由2步组成：

1） 扫描索引得到对应的rowid值

2） 通过找到的rowid从表中读取具体的数据。

每步都是单独的一次IO，但是对于索引，由于经常使用，绝大多数都已经cache到内存中，所以第一步IO经常是逻辑IO，即数据可以从内存中得到。但是对于第2步来说，如果表比较大，则其数据不可能全在内存中，所以其IO很有可能是物理IO，这是一个机械操作，相对于逻辑IO来说，是及其费时间的。所以如果多大表进行索引扫描，取出的数据如果大于总量的5%--10%，使用索引扫描会效率下降很多。

SQL>explainplan for select empno,ename from emp where empno=10;

 

根据索引的类型与where限制条件的不同，有4中类型的索引扫描：

索引唯一扫描

索引范围扫描

索引全扫描

索引快速扫描

 

2.3.1        索引唯一扫描 index unique scan

 

通过唯一索引查找一个数值经常返回单个rowid，如果存在unique或primary key约束的话，oracle经常实现唯一性扫描。

使用唯一性约束的例子：

SQL>explainplan for select empno,ename from emp where empno=10;

Query Plan

SELECT STATEMENT [CHOOSE] Cost=1

TABLE ACCESS BY ROWID EMP [ANALYZED]

INDEX UNIQUE SCAN EMP_I1

 

2.3.2        索引范围扫描 index range scan

 

使用一个索引存取多行数据，在唯一索引上使用索引范围扫描的典型情况是在谓词（where限制条件）中使用了范围操作符如>、<、<>、>=、<=、between

使用索引范围扫描的例子：

SQL>explainplan for select empno,ename from emp

Where empno >7876 order by empno;

Query Plan

--------------------------------------------------------------------------------

SELECT STATEMENT[CHOOSE] Cost=1

TABLE ACCESS BY ROWID EMP [ANALYZED]

INDEX RANGE SCAN EMP_I1 [ANALYZED]

 

在非唯一索引上，谓词col=5可能返回多行数据，所以在非唯一索引上都使用索引范围扫描。

总结一下，使用索引范围扫描的3种情况：

A.    在唯一索引列上使用了range操作符

B.    在组合索引上，只使用了部分列进行查询，导致查询出多行

C.    对非唯一索引列上进程的任何查询

 

2.3.3        索引全扫描 index full scan

 

与全表扫描对应，也有相应的全索引扫
da00
描。此时查询出的数据都必须从索引中可以直接得到。

全索引扫描的例子：

Index BE_IX 是一个组合索引 on big_emp(empno,ename)

SQL>explain plan for select empno,ename from big_emp order by empno,ename;

Query Plan

--------------------------------------------------------------------------------

SELECT STATEMENT[CHOOSE] Cost=26

INDEX FULL SCAN BE_IX [ANALYZED]

 

2.3.4        索引快速扫描 index fast full scan

 

扫描索引中的所有的数据块，与indexfull scan类似，但是一个显著的区别就是它不对查询出的数据进行排序，即数据不是以排序顺序被返回。这种存取方法，可以使用多块读功能，也可以使用并行读入，以便获得最大吞吐量与缩短执行时间。

索引快速扫描的例子：

 

BE_IX索引时一个多列索引，big_emp(empno,ename)

SQL>explain plan for select empno,enamefrom big_emp;

QueryPlan

------------------------------------------

SELECT STATEMENT[CHOOSE] Cost=1

INDEX FAST FULL SCAN BE_IX [ANALYZED]

 

只选择多列索引的第2列：

SQL>explain plan for select ename frombig_emp;

QueryPlan

------------------------------------------

SELECT STATEMENT[CHOOSE] Cost=1

INDEX FAST FULL SCAN BE_IX [ANALYZED]

 

3       表之间的连接

 

Join是一种试图将2个表结合在一起的谓词，一次只能连接2个表，表连接也可以被称为表关联。在后面的叙述中，我们将会使用row source 来代替表，并且将参与连接的2个row source分别称为row source 1和row source2

         Join过程的各个步骤经常是串行操作，即相关的row source可以被并行访问，即可以并行的读取做join连接的两个row source的数据，但是在将表中符合限制条件的数据读入到内存形成row source后，join的其它步骤一般是串行的。有多种方法可以将2个表连接起来，当然每种方法都有自己的优缺点，每种连接类型只有在特定的条件下才会发挥出最大优势。

         Rowsource之间的连接顺序对于查询的效率有非常大的影响。通过首先存取特定的表，即将该表作为驱动表，这样可以先应用某些限制条件，从而得到一个较小的row source，使连接的效率较高，这也就是我们常说的要先执行限制条件的原因。一般是在将表读入内存时，应用where子句中对该表的限制条件。

         根据2个row source的连接条件的中操作符的不同，可以将连接分为等值连接、飞等值连接、外连接。各个连接的连接原理基本一样，下面以等值连接为例进行介绍。

         以以下sql为例：

         Selecta.col1,b.col2 from a,b

         Wherea.col3 =b.col4;

 

连接类型：

目前为止，无论连接操作符如何，典型的连接类型共用3中：

排序—合并连接

嵌套循环

哈希连接

还有笛卡尔积，一般情况下，尽量避免使用。

 

3.1      排序—合并连接（sort merge join，SMJ）

 

内部连接过程：

1） 首先生成rowsource1需要的数据，然后对这些数据按照连接操作关联列进行排序

2） 随后生成row source2需要的数据，对这些数据按照与sort source1对于的连接操作关联列进行排序

3） 最后两遍已排序的行被放在一起执行合并操作，即将2个row source 按照连接条件连接起来。

 

下面是连接步骤的图形表示：

MERGE

　　/\

　　SORTSORT

　　||

　　RowSource 1 Row Source 2

 

         如果row source已经在连接关联列上被排序，则该连接操作就不需要再进行sort操作，这样可以提高这种连接操作的连接速度，因为排序是个极其非费资源的操作，特别对于大表。预先排序的row source包括已经被索引的列或row source已经在前面的步骤中被排序了。尽管合并两个row source的过程是串行的，但是可以并行访问这两个row source（并行读入数据，并行排序）。

 

SMJ的例子：

 

SQL>explain plan for

Select /*+ordered */e.deptno,d.deptno

From emp e, dept d

Where e.deptno = d.deptno

Order bye.deptno,d.deptno;

 

Query Plan

-------------------------------------

SELECT STATEMENT [CHOOSE] Cost=17

MERGE JOIN
SORT JOIN

TABLE ACCESS FULL EMP [ANALYZED]

SORT JOIN

TABLE ACCESS FULL DEPT [ANALYZED]

 

排序是一个费时、费资源的操作，特别大于大表。SMJ不是一个特别有效的连接方法，但是如果两个row source都已经预先排序。则这种连接方法的效率也挺高。

 

3.2      嵌套循环(Nested loops, NL)

 

这个连接方法有驱动表的概念，其实，该连接过程就是一个2层的嵌套循环，所以外层循环的次数越少越好，这也就是我们为什么将小表或返回较小row source的表做为驱动表的理论依据。但是这个理论只是一般指导原则，因为遵循这个理论并不能总保证使语句产生IO的次数最少。有时不遵守这个理论依据，反而会获得更好的效率。如果使用这种方法，决定使用哪个表做为驱动表很重要。有时如果驱动表选择不正确，会导致语句的性能很差。

 

内部连接过程：

Row source1 的Row 1 ---Probe—>Rowsource2

Row source1 的Row 2---Probe—>Row source2

Row source1 的Row 3---Probe—>Row source2

……

Row source1 的Row n---Probe—>Row source2

 

从内部连接过程来看，需要用row source1的每一行，去匹配row source2中的所有行，所以此时保持row source1尽可能小与高效的访问row source2（一般通过索引实现）是影响这个连接效率的关键问题。这只是理论指导原则，目的是使整个连接操作产生最少的物理IO次数，而且如果遵循这个原则，一般也会使总的物理IO数最少。最终的目的都是使物理IO最少。

 

在上面的连接过程中，我们称rowsource 1为驱动表或外部表。Row source2为被探查表或内部表。

 

在nested loops连接中，oracle读完row source1中的每一行，然后再rowsource2中检查是否有匹配行，所有被匹配的行都被放到结果集中，然后处理row source1中的下一行。这个过程一直继续，直到row source1中的所有行都被处理。这是从连接操作中可以得到第一个匹配行的最快方法之一，这种类型的连接可以用在需要快速响应的语句中，以响应速度为主要目标。

如果driving row source比较小，并且在innerrow source上有唯一索引，或有高选择性非唯一索引时，使用这种方法可以得到较好的效率。Nested loops有其他连接方式没有的一个优点：可以先返回已经连接的行，不必等待所有的连接操作处理完才返回数据，这可以实现快速的响应时间。

 

如果不使用并行操作，最好的驱动表是那些应用了where限制条件后，可以返回较少行数据的表。对于并行查询，我们经常选择大表作为驱动表，因为大表可以充分利用并行功能。当然，有时对查询使用并行操作不一定比查询不使用并行的操作效率高，因为最后可能每个表只有很少的行符合限制条件。而且要看硬件配置是否支持并行（是否多个cpu，多个硬盘控制器）。

NL连接的例子：

         SQL>explainplan for

                  Selecta.name, b.sql

From dept a, emp b

Where a.deptno = b.deptno;

 

         Query Plan

　　-------------------------

　　SELECT STATEMENT [CHOOSE] Cost=5

　　NESTED LOOPS
　　TABLE ACCESS FULL DEPT [ANALYZED]

　　TABLE ACCESS FULL EMP [ANALYZED]

3.3      哈希连接（hash join , HJ）

 

较小的row source被用来构建hashtable的bitmap，第2个row source被用来被hashed，并与第一个row source生成的hasg table进行匹配，以便进一步的连接。Bitmap被用来作为一种比较快的查找方法，来检查在hash table中是否有匹配的行。特别的，当hash table比较大而不能全部容纳在内存中时，这种查找方法更有用。这种连接方法也有NL连接中的驱动表概念。被构建为hash table与bitmap的表为驱动表，当被构建的hash table与bitmap能被容纳在内存中时，这种连接方式的效率极高。

 

Hash 连接的例子：

SQL>explainplan for

         Select /*+use_hash(emp) */ empno

From emp,dept

Where emp.deptno = dept.deptno;

 

QueryPlan

　　----------------------------

　　SELECT STATEMENT[CHOOSE] Cost=3

　　HASH JOIN
　　TABLE ACCESS FULL DEPT

　　TABLE ACCESS FULL EMP

 

要使哈希连接有效，需要设置hash_join_enable=true.缺省情况下，该参数为true另外，不要忘了还要设置 hash_area_size参数，使哈希连接高效运行，因为哈希连接会在该参数指定大小的内存中运行，过小的参数会使哈希连接的性能比其他连接方式还低。

 

3.4      笛卡尔积（cartesian product）（不常用）

 

当两个row source做连接，但是他们之间没有关联条件时，会在两个rowsource中做笛卡尔积。这通常由编写代码疏漏造成（程序员忘了下关联条件）。笛卡尔积是一个表的每一行依次与另一表中的所有行匹配。在特殊情况下，我们可以使用笛卡尔积，如在星形连接中，除此之外，尽量不使用笛卡尔积

在下面的语句中，2个表之间没有连接。

SQL>explain plan for

         Selectemp.deptno,dept,deptno

         From emp,dept

 

QueryPlan

　　------------------------

　　SLECT STATEMENT [CHOOSE] Cost=5

　　MERGE JOIN CARTESIAN
　　TABLE ACCESS FULL DEPT

　　SORT JOIN

　　TABLE ACCESS FULL EMP

 

CARTESIAN关键字指出了2个表之间做笛卡尔积。如果employee表有n行，dept表有m行，笛卡尔积的结果就是得到n*M行结果。

 

3.5      连接方法适用情况

 

3.5.1       排序—合并连接

 

A． 对于非等值连接，这种连接方式效率高

B． 如果在管理的列上都有索引，效果更好

C． 对于将2个较大的rowsource做连接，该连接方法比NL连接好一些

D． 如果sort merge返回的row source过大，则又会导致使用过多的rowid在表中查询数据时，数据库性能下降，因为过多的IO。

 

3.5.2        嵌套循环（NL）

 

A.    如果驱动表比较小，并且在内部表上有唯一索引，或有高选择性非唯一索引时，使用这种方法可以得到较好效率。

B.    Nested loops有其它连接方法没有的有个优点：可以先返回已经连接的行，不必等待所有的连接操作处理完才返回数据。可以实现快速的响应时间

 

3.5.3        哈希连接（HJ）

 

A.    这种连接优于其它2种连接，只能用在CBO优化器中，而且需要设置合适的hash_area_size参数，才能取得好的性能

B.    在2个较大的row source 之间连接时取得较好效率，在一个row source较小时能取得更好的效率

C.     只能用于等值连接

 

 

 摘自：

Oracle执行计划详解

http://blog.itpub.net/24478467/viewspace-705754/