游标变量、动态sql及变量绑定的使用

http://blog.sina.com.cn/s/blog_3fed8ad60100bzod.html http://space.itpub.net/12474069/viewspace-621157
在oracle 中，对于一个提交的sql语句,存在两种可选的解析过程, 一种叫做硬解析,一种叫做软解析.

一个硬解析需要经解析,制定执行路径,优化访问计划等许多的步骤.硬解释不仅仅耗费大量的cpu，更重要的是会占据重要的们闩（latch）资源，严重的影响系统的规模的扩大（即限制了系统的并发行），而且引起的问题不能通过增加内存条和cpu的数量来解决。之所以这样是因为门闩是为了顺序访问以及修改一些内存区域而设置的，这些内存区域是不能被同时修改。当一个sql语句提交后，oracle会首先检查一下共享缓冲池（shared pool）里有没有与之完全相同的语句，如果有的话只须执行软分析即可，否则就得进行硬分析。
而唯一使得oracle 能够重复利用执行计划的方法就是采用绑定变量。绑定变量的实质就是用于替代sql语句中的常量的替代变量。绑定变量能够使得每次提交的sql语句都完全一样。

pl/sql很多时候都会自动绑定变量而无需编程人员操心，即很多你写得sql语句都会自动利用绑定变量，如下例所示：
create or replace procedure dsal(p_empno in number)
as
begin
update emp
set sal=sal*2
where empno = p_empno;
commit;
end;
/
也许此时你会想要利用绑定变量来替代p_empno,但是这是完全没有必要的，因为在pl/sql中，引用变量即是引用绑定变量。
但是在pl/sql中动态sql并不是这样。

什么是绑定变量，为什么要使用绑定变量

绑定变量就是在动态SQL的一个占位符。它告诉Oracle现在需要生成一个执行计划，我随后会为这个占位符提供一个值。
SQL分为动态部分与静态部分。静态部分是不变的（如数据库对象），动态部分是不固定的（过滤条件的值）。很明显的，整个数据库中所包含的对象数量是有限的，而其中所包含的数据则是无限的。而占位符替代的就是动态部分。而动态部分在一般情况下（数据倾斜除外），对执行计划的生成的影响是微乎其微的。不同的动态部分产生的执行计划都是相同的。
为什么要使用绑定变量呢。是因为绑定变量可以使游标共享（此游标非SQL中的游标）。
避免了多次硬解析。

5游标共享与软硬解析

下面来看一下SQL解析的过程

大约可以分为如下的过程

1、客户端发出一条SQL语句，SQL语句进入共享池
该SQL语句以及相关的辅助信息组成游标
2、对SQL语句进行hash运算，得到一个hash值，转入相应的bucket中去
3、对bucket进行遍历，查找是否存在这条SQL语句
4、如果不存在这条语句
1、获得shared pool latch，然后在shared pool中进行chunk链条的遍历，找到合适的chunk，之后释放shared pool latch，chunk进入library cache中
2、硬解析开始

硬解析过程

1语法检查

2涉及对象存在性检查
3同义词转换
4对用户的对象权限检查
5计算成本，生成执行计划
6该游标所产生的执行计划、sql文本等装载进library cache的heap中
在解析的过程中，进程会一直持有library cache latch，一直到硬解析结束。（而这个latch就有可能是引发Latch free等待事件的Latch）

其中最消耗资源的步骤就是第五步。因为它要访问数据字典，统计信息来估算各种路径的成本，找到最合理的路径，来生成执行计划。

而软解析就不需要执行第5步。
游标
1、硬解析结束以后，产生两个游标
父游标和子游标
父游标里面包含的信息包括SQL文本和优化目标
session打开该游标以后，就会锁定父游标
所有的session都关闭该游标以后，锁定才能够释放
父游标在被锁定的时候，不能被交换出内存
父游标交换出内存、子游标也会被交换出内存
子游标被交换出内存、父游标可以不被交换出内存
因为一个父游标可能会有多个子游标（这种情况的出现可能是因为文本相同但是用户不同，或由于动态值的不同引起的执行计划不同）。
子游标包换所有的信息：执行计划、绑定变量等
子游标随时可能被交换出内存

Oracle根据父游标的信息可以构建出一个子游标，这个过程叫reload

软解析
1、硬解析是一个完整的解析过程
如果解析过程中去掉一个或者多个步骤的话，这样的解析叫做软解析
2、在bucket中找到了sql语句，就会进行软解析，因为如果没有找到，那么说明这个语句是第一次执行，第一次执行肯定是硬解析

软解析的三种情况

1、某个session发出的SQL语句与library cache里其他session发出的SQL语句相同，解析可以省略5和6，但是2、3、4还是需要执行的
2、某个session发出的sql语句是这个session之前发出的曾经执行过的语句，那么2、3、5、6可以省略，但是4不能省略，因为中间可能发生过grant等操作
3、设置了初始化参数session_cached_cursors时，当某个session第三次执行相同的sql语句时，这个sql语句的游标信息会转移到该session的PGA中去，这样以后可以直接在session的PGA中寻找SQL，提高了效率，但是内存的消耗会很大。
Cache机制本身来讲就是以空间换时间的机制。将计算过的结果放到cache中，下次重用时，直接调用。无需再次计算结果。

6绑定变量的优缺点及窥视特性

任何方法都不是银弹，而是双刃剑。（这是一个哲学问题…………）

优点：绑定变量的优势是可以在库缓存中共享游标，这样就可以避免硬解析以及与之相关的额外开销..
绑定变量是一种减少应用程序在分析查询时使用栓锁数目的可靠方法。
SQL语句使用绑定变量会可以避免被注入攻击
缺点:绑定变量在SQL要访问的表存在数据倾斜（如果某个列的数据分布不均匀，那么就称之为数据倾斜）会提供错误的执行计划。在数据仓库中这种情况尤为明显。

从Oracle 9i开始。在执行硬解析之前，Oracle讲窥视绑定变量的字面值。然后根据字面值来优化查询。比如一张表有一列col1只有1 2两个不同的值。其中1占95% 2占5%并且改列有索引的情况下。

如果第一次运行（硬解析）时字面值为1那么之后的软解析都将使用索引，即使绑定变量传入的值是2反之亦然。再次强调Oracle只在硬解析的时候窥视绑定变量的字面值。

--游标变量和REF CURSOR
--游标变量：是一个指向或引用下层游标的变量，相当于对象的引用
--目标：将emp表中的职工根据部门编号打印出姓名和工资
DECLARE
TYPE my_refcur_type IS REF CURSOR;
my_refcur my_refcur_type;
my_record emp%ROWTYPE;
BEGIN
OPEN my_refcur FOR SELECT * FROM emp WHERE deptno=20;
LOOP
FETCH my_refcur INTO my_record;
EXIT WHEN my_refcur%NOTFOUND;
dbms_output.put_line(my_record.ename||'→'||my_record.sal);
END LOOP;
CLOSE my_refcur;
END;
--绑定变量的使用：
--1.在SQL*PLUS中使用绑定变量
SQL> variable deptno number;
SQL> exec :deptno :=10;
SQL> select * from emp where deptno=:deptno;
--2.在PL/SQL中使用绑定变量
CREATE OR REPLACE PROCEDURE DSAL(P_EMPNO IN NUMBER) AS
BEGIN
UPDATE EMP SET SAL = SAL * 2 WHERE EMPNO = :P_EMPNO;
COMMIT;
END;
--3.在JDBC中使用绑定变量：preparestatement（预编译对象）

--4.在动态sql中绑定变量(将emp表中指定编号员工的工资增加一倍)
--4.1 字符串拼接→每次都会硬解析
BEGIN
EXECUTE IMMEDIATE
'update emp set sal = sal*2 where empno='||&P_empno;
COMMIT;
END;
--3.2 绑定变量：using → 只需要解析一次；
BEGIN
EXECUTE IMMEDIATE
'update emp set sal=sal*2 where empno=:p_empno' USING &p_eno;
COMMIT;
END;

注意：不能使用绑定变量替换实际的数据库对象名（表，视图，列等），只能替换字面量，
如果对象名是在运行时生成的，我们仍然需要对其用字符串拼接，同时，sql只会匹配已经
在共享池中相同的对象名

在动态sql中使用绑定变量和不使用绑定变量的性能测试（在测试表中添加10000条记录）：
--创建测试表demo；
DROP TABLE demo;
CREATE TABLE demo(d_id NUMBER(6) PRIMARY KEY);
SELECT * FROM demo;
--1.不使用绑定变量
DECLARE
begin_time NUMBER(10);
end_time NUMBER(10);
BEGIN
begin_time := dbms_utility.get_time;
EXECUTE IMMEDIATE
'truncate table demo';
FOR i IN 1..10000
LOOP
EXECUTE IMMEDIATE
'INSERT INTO demo(d_id) VALUES('||i||')';
END LOOP;
end_time :=dbms_utility.get_time;
dbms_output.put_line((end_time-begin_time)/100||'秒');
END;
--耗时12.88秒

--使用绑定变量
DECLARE
begin_time NUMBER(10);
end_time NUMBER(10);
BEGIN
begin_time := dbms_utility.get_time;
EXECUTE IMMEDIATE
'truncate table demo';
FOR i IN 1..10000
LOOP
EXECUTE IMMEDIATE
'INSERT INTO demo(d_id) VALUES(:x)' USING i;
END LOOP;
end_time :=dbms_utility.get_time;
dbms_output.put_line((end_time-begin_time)/100||'秒');
END;
--耗时6.56秒
从上面的测试可以看出，使用绑定变量明显比字符串拼接的效率高得多。

用本地动态sql技术执行动态sql的方法
--1.无绑定变量的非sql查询语句
BEGIN
EXECUTE IMMEDIATE
'create index emp_ind_1 on emp(sal,hiredate)';
END;
--注意：如果指向DDL语句时使用绑定变量是非法的
DECLARE
v_sql_str varchar2(100);
BEGIN
v_sql_str := 'update emp set sal=999 where empno=7788';
EXECUTE IMMEDIATE v_sql_str;

END;
--2.带固定数目绑定变量的非sql查询语句
DECLARE
v_sql_str VARCHAR2(100);
BEGIN
v_sql_str:='update emp set sal = :sal where empno = :eno';
EXECUTE IMMEDIATE v_sql_str USING 9999,7788;
END;
--带returning子句；
DECLARE
v_sql_str VARCHAR2(100);
v_sal emp.sal%TYPE;
v_ename emp.ename%TYPE;
BEGIN
v_sql_str :=
'update emp set sal=999 where empno=7788 returning ename,sal into :1,:2';
EXECUTE IMMEDIATE v_sql_str RETURNING INTO v_ename, v_sal;
dbms_output.put_line(v_ename||'→'||v_sal);
END;
--带固定数目列和绑定变量的sql查询语句；
--1.返回单行数据
DECLARE
v_sql_str VARCHAR2(100);
v_ename emp.ename%TYPE;
v_sal emp.sal%TYPE;
BEGIN
v_sql_str :=
'select ename,sal from emp where empno = :eno';
EXECUTE IMMEDIATE v_sql_str INTO v_ename,v_sal USING 7788;
dbms_output.put_line(v_ename||'→'||v_sal);
END;
--输出“SCOTT→3000”；
--2.返回多行数据
DECLARE
TYPE emp_cur IS REF CURSOR;
my_emp_cur emp_cur;
my_emp_rec emp%ROWTYPE;
BEGIN
OPEN my_emp_cur FOR 'select * from emp where deptno=:x' USING 30;
LOOP
FETCH my_emp_cur INTO my_emp_rec;
EXIT WHEN my_emp_cur%NOTFOUND;
dbms_output.put_line(my_emp_rec.ename||'→'||my_emp_rec.sal);
END LOOP;
END;

--返回多行数据且带有using和BULK COLLECT INTO子句
DECLARE
TYPE emp_table_type IS TABLE OF emp%ROWTYPE INDEX BY BINARY_INTEGER;
emp_table emp_table_type;
BEGIN
EXECUTE IMMEDIATE
'select * from emp where deptno=:x' BULK COLLECT INTO emp_table USING 30;
FOR i IN 1..emp_table.COUNT
LOOP
dbms_output.put_line(emp_table(i).ename||'→'||emp_table(i).sal);
END LOOP;
END;

--执行动态查询语句.--案例：输入要排序的字段名，实现动态排序。.
DECLARE
MY_FIELD VARCHAR2(100);
STR_SQL VARCHAR2(1000);
TYPE EMP_CUR_TYPE IS REF CURSOR;
CUR EMP_CUR_TYPE;
E_ROW EMP%ROWTYPE;
BEGIN. MY_FIELD := '&enter_the_order_field';
STR_SQL := 'select * from emp order by ' || MY_FIELD;
OPEN CUR FOR STR_SQL;
LOOP FETCH CUR INTO E_ROW;
DBMS_OUTPUT.PUT_LINE(E_ROW.DEPTNO || '->' || E_ROW.EMPNO || '->' ||
E_ROW.ENAME || '->' || E_ROW.SAL);
EXIT WHEN CUR%NOTFOUND;
END LOOP;
CLOSE CUR;
END;

注意：
虽然变量绑定减少了硬编译次数，节省了cpu等资源，大多是情况下使用它可以显著的提高系统性能和系统的并发访问量，
但是仍然有一些情况下不适合使用变量绑定：
1、对于隔相当长一段时间才执行一次的sql语句，利用绑定变量的好处会被不能有效利用优化器而抵消；
2、数据仓库的情况下；
3、在对建有索引的字段，且字段(集)的集非常大时，利用绑定变量可能会导致查询计划错误，因而导致查询效率非常低。
http://www.itpub.net/viewthread.php?tid=1347757&extra=&page=2
静态SQL自动绑定变量，所以静态SQL不用考虑绑定变量的问题，你见到过静态SQL有using吗？因为是oracle自动绑定的
动态sql才有using,才会考虑绑定变量的问题

QUOTE:

原帖由 wanglei2924 于 2010-9-13 10:57 发表


我有点晕了，莫非在plsql中直接使用静态sql就能自动使用绑定变量

静态sql当然自动绑定变量了啊
declare
i number:=1;
cnt number;
begin
select count(*) from tab where id=i;
end;

这里的变量i会自动成为绑定变量的，所以静态sql不用管绑定变量的问题，plsql中管绑定变量的问题只是动态sql啊，静态sql可以实现一次分析多次执行的，看看tom写的东西就OK了，tom经常说的，不相信可以试验下，用sql trace弄下就得了

QUOTE:

原帖由 wanglei2924 于 2010-9-13 11:11 发表


谢谢，我知道了，直接使用静态sql就可以使用绑定变量了，看来我以前理解有问题，多谢各位大侠

注意，这只是说plsql里的静态sql,可不是一般的sql能用绑定变量啊，呵呵，指的是plsql里的sql的条件里有变量。。。因为plsql里的sql是不变的，所以静态的无变量的sql也所谓绑定变量，因为总会一致，有变量的自动绑定，sql也一致

QUOTE:

原帖由 wanglei2924 于 2010-9-13 11:58 发表


楼上的帅哥，plsql里的静态sql的条件里无论有没有变量，都会绑定变量，对吧？

没有变量，绑定什么东西啊，晕，只有绑定的才会绑定，没有变量，你的存储过程里的sql不变，所以还是可以共享的啊，那就不需要绑定变量了啊
比如
select * from tab where id=1;
这句sql总是不变的，为什么要绑定呢？？因为是可共享的sql,照样软解析，呵呵，看看原理吧

QUOTE:

原帖由 wanglei2924 于 2010-9-13 11:58 发表


楼上的帅哥，plsql里的静态sql的条件里无论有没有变量，都会绑定变量，对吧？

不要偏信于绑定变量，很多时候他不好的，比如倾斜数据分布的时候，可能有害

QUOTE:

原帖由 wanglei2924 于 2010-9-13 13:05 发表


我之前看Oracle9i10g编程艺术，第一章Tom用了两个动态sql的例子做效率对比。所以让我理解成为只用动态sql才能使用绑定变量，哎。。。
咱们的新书叫什么名字？

恰恰相反，之所以用动态SQL做例子，是为了“不用绑定变量”，因为PLSQL中的绑定是自动的。