【Oracle】Oracle 12c DB In-Memory入门实验手册（三）

（三）IM列压缩

之前的两篇我们分别介绍了以下两部分内容，感兴趣的朋友可以去看一下：

基础篇：/article/10081524.html

加载数据到IM：http://blog.csdn.net/badly9/article/details/49777993

在CREATE或者ALTER时使用MEMCOMPRESS sub-clause可以设置表、分区和列水平上的压缩方式。举例说明，对于单个表，出于业务考虑，可能有的列更看重查询速度，有些则不在意查询速度更在意占用空间的大小，这时候对于不同的列则可以采用不同的压缩方式。

默认的压缩方式为MEMCOMPRESS FOR QUERY LOW。在这种压缩方式下，Oracle的读取速度最快，因为在这种压缩方式下，Oracle不需要解压缩就可以直接读取数据，比NO COMPRESS都要更快。其他压缩方式下，比如FOR QUREY HIGH和FOR CAPACITY，使用了其他的压缩算法，Oracle需要解压缩之后才能查看数据。下面列出了IM所有的压缩方式：

NO MEMCOMPRESS：数据加载过程中不进行任何压缩。

MEMCOMPRESS FOR DML：针对DML操作进行的最小程度的压缩以保证性能。

MEMCOMPRESS FOR QUERY LOW：针对查询性能优化的压缩方式（default）

MEMCOMPRESS FOR QUERY HIGH：除了查询性能也平衡了存储空间，但更偏向查询性能。

MEMCOMPRESS FOR CAPACITY LOW：平衡了性能与空间节省方面，但是更偏向于空间节省。

MEMCOMPRESS FOR CAPACITY HIGH：只从空间节省出发进行优化

3.1 默认压缩级别

在对表开启IM后，如果没有指定压缩级别则为默认压缩级别，为FOR QUERY LOW

实验过程如下：

1.创建测试表SALES_INM

SQL> CREATE TABLE SALES_INM INMEMORY AS SELECT * FROM SALES;

Table created.
2.查看测试表SALES_INM表的IM属性：

SQL> COL SEGMENT_NAME FORMAT A30
SQL> SELECT SEGMENT_NAME, INMEMORY, INMEMORY_COMPRESSION FROM
2 USER_SEGMENTS WHERE SEGMENT_NAME = 'SALES_INM';

SEGMENT_NAME INMEMORY INMEMORY_COMPRESS
------------------------------ -------- -----------------
SALES_INM ENABLED FOR QUERY LOW
可以看到此时的默认压缩级别为FOR QUERY LOW。

3.通过查询将表加载到IM中。

SQL> SELECT COUNT(*) FROM SALES_INM;

COUNT(*)
----------
918843

SQL> COL OWNER FORMAT A20
SQL> SELECT OWNER, SEGMENT_NAME, POPULATE_STATUS, BYTES_NOT_POPULATED
2 FROM V$IM_SEGMENTS WHERE SEGMENT_NAME = 'SALES_INM';

OWNER SEGMENT_NAME POPULATE_ BYTES_NOT_POPULATED
-------------------- -------------------- --------- -------------------
BADLY9 SALES_INM COMPLETED 0
4.查看压缩之后的表大小

SQL> SELECT V.OWNER, V.SEGMENT_NAME,
2 V.BYTES ORIG_SIZE,
3 V.INMEMORY_SIZE IN_MEM_SIZE,
4 V.BYTES/V.INMEMORY_SIZE COMP_RATIO
5 FROM V$IM_SEGMENTS V
6 WHERE SEGMENT_NAME = 'SALES_INM';

OWNER SEGMENT_NAME ORIG_SIZE IN_MEM_SIZE COMP_RATIO
-------------------- -------------------- ---------- ----------- ----------
BADLY9 SALES_INM 12582912 8585216 1.46564885
该表在disk中大小为12582912字节，加载压缩后为8585216字节，比例为为1.466：1

3.2 CAPACITY HIGH 压缩级别

刚才测试了QUERY LOW压缩级别，现在来测一下CAPACITY HIGH的压缩级别。

实验过程如下：

1.创建测试表SALES_INM2，压缩级别为CAPACITY HIGH，PRIORITY为HIGH。

SQL> CREATE TABLE SALES_INM2 INMEMORY MEMCOMPRESS FOR CAPACITY HIGH
2 PRIORITY HIGH AS SELECT * FROM SALES;

Table created.
2.确认一下SALES_INM2的IM属性

SQL> COL SEGMENT_NAME FORMAT A20
SQL> SELECT SEGMENT_NAME, INMEMORY, INMEMORY_PRIORITY,
2 INMEMORY_COMPRESSION FROM USER_SEGMENTS
3 WHERE SEGMENT_NAME = 'SALES_INM2';

SEGMENT_NAME INMEMORY INMEMORY INMEMORY_COMPRESS
-------------------- -------- -------- -----------------
SALES_INM2 ENABLED HIGH FOR CAPACITY HIGH
3.确认SALES_INM2已经加载完毕

SQL> COL OWNER FORMAT A20
SQL> SELECT OWNER, SEGMENT_NAME, POPULATE_STATUS, BYTES_NOT_POPULATED
2 FROM V$IM_SEGMENTS WHERE SEGMENT_NAME = 'SALES_INM2';

OWNER SEGMENT_NAME POPULATE_ BYTES_NOT_POPULATED
-------------------- -------------------- --------- -------------------
BADLY9 SALES_INM2 COMPLETED 0
4.查看压缩比例

SQL> SELECT V.OWNER, V.SEGMENT_NAME,
2 V.BYTES ORIG_SIZE,
3 V.INMEMORY_SIZE IN_MEM_SIZE,
4 V.BYTES/V.INMEMORY_SIZE COMP_RATIO
5 FROM V$IM_SEGMENTS V
6 WHERE SEGMENT_NAME = 'SALES_INM2';

OWNER SEGMENT_NAME ORIG_SIZE IN_MEM_SIZE COMP_RATIO
-------------------- -------------------- ---------- ----------- ----------
BADLY9 SALES_INM2 12582912 3342336 3.76470588
可以看到CAPACITY HIGH压缩级别，该表在disk中大小为12582912，压缩后为3342336，比例为3.76：1。

对于各个压缩级别的压缩测试不再一一展示，针对我使用的这张表的在disk中大小与加载压缩后比例对比如下：

NO MEMCOPRESS：1：2.65104167
FOR DML：1：2.23
FOR QUERY LOW：1：0.68
FOR QUERY HIGH：1：0.43
FOR CAPACITY LOW：1：0.34
FOR CAPACITY HIGH：1：0.26

3.3针对列级别进行压缩。

在上面的实验中我们压缩针对的是整个表级别，事实上我们也可以针对不同的列使用不同的压缩级别。

实验过程如下：

1.修改CUSTOMERS表各列压缩级别，其中各个列压缩级别如下：

CUT_FIRST_NAME和CUST_LAST_NAME的压缩级别为QUERY HIGH

CUST_STREET_ADDRESS压缩级别为CAPACITY LOW

CUST_CITY 和CUST_STATE_PROVINCE压缩级别为No compression

其他列压缩级别为默认。

SQL> ALTER TABLE CUSTOMERS INMEMORY
2 INMEMORY MEMCOMPRESS FOR QUERY HIGH (CUST_FIRST_NAME,
3 CUST_LAST_NAME)
4 INMEMORY MEMCOMPRESS FOR CAPACITY LOW (CUST_STREET_ADDRESS)
5 INMEMORY NO MEMCOMPRESS (CUST_CITY, CUST_STATE_PROVINCE);

Table altered.
2.查看各列压缩级别

SQL> SET LINES 100;
SELECT TABLE_NAME, COLUMN_NAME, INMEMORY_COMPRESSION
FROM V$IM_COLUMN_LEVEL
SQL> 2 3 WHERE TABLE_NAME = 'CUSTOMERS';

TABLE_NAME COLUMN_NAME INMEMORY_COMPRESSION
------------------------------- ------------------------------- --------------------------
CUSTOMERS CUST_ID DEFAULT
CUSTOMERS CUST_FIRST_NAME FOR QUERY HIGH
CUSTOMERS CUST_LAST_NAME FOR QUERY HIGH
CUSTOMERS CUST_GENDER DEFAULT
CUSTOMERS CUST_YEAR_OF_BIRTH DEFAULT
CUSTOMERS CUST_MARITAL_STATUS DEFAULT
CUSTOMERS CUST_STREET_ADDRESS FOR CAPACITY LOW
CUSTOMERS CUST_POSTAL_CODE DEFAULT
CUSTOMERS CUST_CITY NO MEMCOMPRESS
CUSTOMERS CUST_CITY_ID DEFAULT
CUSTOMERS CUST_STATE_PROVINCE NO MEMCOMPRESS
CUSTOMERS CUST_STATE_PROVINCE_ID DEFAULT
CUSTOMERS COUNTRY_ID DEFAULT
CUSTOMERS CUST_MAIN_PHONE_NUMBER DEFAULT
CUSTOMERS CUST_INCOME_LEVEL DEFAULT
CUSTOMERS CUST_CREDIT_LIMIT DEFAULT
CUSTOMERS CUST_EMAIL DEFAULT
CUSTOMERS CUST_TOTAL DEFAULT
CUSTOMERS CUST_TOTAL_ID DEFAULT
CUSTOMERS CUST_SRC_ID DEFAULT
CUSTOMERS CUST_EFF_FROM DEFAULT
CUSTOMERS CUST_EFF_TO DEFAULT
CUSTOMERS CUST_VALID DEFAULT

23 rows selected.
3.加载该表到IM中。

SQL> EXEC DBMS_INMEMORY.REPOPULATE('BADLY9,'CUSTOMERS', FORCE=>TRUE);

PL/SQL procedure successfully completed.
4.确认该表已经加载到IM中

SQL> SELECT SEGMENT_NAME, POPULATE_STATUS, BYTES_NOT_POPULATED
2 FROM V$IM_SEGMENTS WHERE SEGMENT_NAME = 'CUSTOMERS';

SEGMENT_NAME POPULATE_ BYTES_NOT_POPULATED
-------------------- --------- -------------------
CUSTOMERS COMPLETED 0
5.修改表上列的压缩属性。

SQL> ALTER TABLE CUSTOMERS INMEMORY
2 INMEMORY MEMCOMPRESS FOR QUERY LOW (CUST_FIRST_NAME)
3 INMEMORY MEMCOMPRESS FOR CAPACITY LOW (CUST_MAIN_PHONE_NUMBER)
4 INMEMORY NO MEMCOMPRESS (CUST_STREET_ADDRESS);

Table altered.
6.查看该表上各列的压缩属性

SQL> SET LINES 100;
SQL> SELECT TABLE_NAME, COLUMN_NAME, INMEMORY_COMPRESSION
2 FROM V$IM_COLUMN_LEVEL
3 WHERE TABLE_NAME = 'CUSTOMERS';

TABLE_NAME COLUMN_NAME INMEMORY_COMPRESSION
------------------------------- ------------------------------- --------------------------
CUSTOMERS CUST_ID DEFAULT
CUSTOMERS CUST_FIRST_NAME FOR QUERY LOW
CUSTOMERS CUST_LAST_NAME FOR QUERY HIGH
CUSTOMERS CUST_GENDER DEFAULT
CUSTOMERS CUST_YEAR_OF_BIRTH DEFAULT
CUSTOMERS CUST_MARITAL_STATUS DEFAULT
CUSTOMERS CUST_STREET_ADDRESS NO MEMCOMPRESS
CUSTOMERS CUST_POSTAL_CODE DEFAULT
CUSTOMERS CUST_CITY NO MEMCOMPRESS
CUSTOMERS CUST_CITY_ID DEFAULT
CUSTOMERS CUST_STATE_PROVINCE NO MEMCOMPRESS
CUSTOMERS CUST_STATE_PROVINCE_ID DEFAULT
CUSTOMERS COUNTRY_ID DEFAULT
CUSTOMERS CUST_MAIN_PHONE_NUMBER FOR CAPACITY LOW
CUSTOMERS CUST_INCOME_LEVEL DEFAULT
CUSTOMERS CUST_CREDIT_LIMIT DEFAULT
CUSTOMERS CUST_EMAIL DEFAULT
CUSTOMERS CUST_TOTAL DEFAULT
CUSTOMERS CUST_TOTAL_ID DEFAULT
CUSTOMERS CUST_SRC_ID DEFAULT
CUSTOMERS CUST_EFF_FROM DEFAULT
CUSTOMERS CUST_EFF_TO DEFAULT
CUSTOMERS CUST_VALID DEFAULT

23 rows selected.
7.再次查看该表是否被加载到IM中。

SQL> SELECT SEGMENT_NAME, POPULATE_STATUS, BYTES_NOT_POPULATED
2 FROM V$IM_SEGMENTS WHERE SEGMENT_NAME = 'CUSTOMERS';

no rows selected
可以看到现在该表已经从IM中flush出去了，因为改变了该表的压缩属性，而且没有设置PRIORITY，也没有进行重新加载，所以该表已被刷出IM区域。等待重新加载。

3.4 在tablespace级别设置压缩级别

在之前的实验中我们也测试过可以在tablespace层面设置inmemory clause，那么针对tablespace层面进行压缩设置当然也要实验一下啦。

实验过程如下：

1.查看表空间目前IM属性

SQL> SELECT TABLESPACE_NAME, DEF_INMEMORY, DEF_INMEMORY_COMPRESSION
2 FROM DBA_TABLESPACES;

TABLESPACE_NAME DEF_INME DEF_INMEMORY_COMP
------------------------------ -------- -----------------
SYSTEM DISABLED
SYSAUX DISABLED
UNDOTBS1 DISABLED
TEMP DISABLED
USERS DISABLED
RTL_DATA DISABLED
TBS_TEST DISABLED

7 rows selected.
2.更改表空间属性

SQL> ALTER TABLESPACE TBS_TEST DEFAULT INMEMORY MEMCOMPRESS FOR CAPACITY
2 HIGH PRIORITY HIGH;

Tablespace altered.
3.查看表空间IM属性

SQL> SELECT TABLESPACE_NAME, DEF_INMEMORY,
2 DEF_INMEMORY_COMPRESSION, DEF_INMEMORY_PRIORITY
3 FROM DBA_TABLESPACES WHERE TABLESPACE_NAME = 'TBS_TEST';

TABLESPACE_NAME DEF_INME DEF_INMEMORY_COMP DEF_INME
------------------------------ -------- ----------------- --------
TBS_TEST ENABLED FOR CAPACITY HIGH HIGH
4.创建测试表SALES_INM3不添加IM参数，SALES_INM4添加IM参数

SQL> CREATE TABLE SALES_INM3 AS SELECT * FROM SALES;

Table created.

SQL> CREATE TABLE SALES_INM4 INMEMORY MEMCOMPRESS FOR QUERY HIGH AS
2 SELECT * FROM SALES;

Table created.
5.查询两张测试表的IM压缩参数

SQL> COL SEGMENT_NAME FORMAT A20
SQL> SELECT SEGMENT_NAME, INMEMORY, INMEMORY_PRIORITY,
2 INMEMORY_COMPRESSION FROM USER_SEGMENTS WHERE SEGMENT_NAME IN
3 ('SALES_INM3','SALES_INM4');

SEGMENT_NAME INMEMORY INMEMORY INMEMORY_COMPRESS
-------------------- -------- -------- -----------------
SALES_INM3 ENABLED HIGH FOR CAPACITY HIGH
SALES_INM4 ENABLED NONE FOR QUERY HIGH
注意：不知道大家是否还记得前边的文章在介绍INMEMORY_CLAUSE_DEFAULT的时候，如果创建表的时候没有设置PRIORITY，那么会自动设置为INMEMORY_CLAUSE_DEFAULT的设置，和其他参数进行一个叠加。但是如果在tablespace级别上设置了IM属性，创建表如果使用了IM属性，是不会有叠加效果的，而是单纯使用创建表时语句指定的IM属性。

7.查询一边SALES_INM4，将表加载到IM中。

SQL> SELECT COUNT(*) FROM SALES_INM4;

COUNT(*)
----------
918843
8.确认两张表都已经加载完成

SQL> COL OWNER FORMAT A20
SQL> SELECT OWNER, SEGMENT_NAME, POPULATE_STATUS, BYTES_NOT_POPULATED
2 FROM V$IM_SEGMENTS WHERE SEGMENT_NAME IN ('SALES_INM3',
3 'SALES_INM4');

OWNER SEGMENT_NAME POPULATE_ BYTES_NOT_POPULATED
-------------------- -------------------- --------- -------------------
BADLY9 SALES_INM3 COMPLETED 0
BADLY9 SALES_INM4 COMPLETED 0
9.查看两张表压缩后的大小

SQL> SELECT V.SEGMENT_NAME,
2 V.INMEMORY_COMPRESSION,
3 V.BYTES ORIG_SIZE,
4 V.INMEMORY_SIZE IN_MEM_SIZE,
5 V.BYTES/V.INMEMORY_SIZE COMP_RATIO
6 FROM V$IM_SEGMENTS V
7 WHERE SEGMENT_NAME IN ('SALES_INM3','SALES_INM4');

SEGMENT_NAME INMEMORY_COMPRESS ORIG_SIZE IN_MEM_SIZE COMP_RATIO
-------------------- ----------------- ---------- ----------- ----------
SALES_INM3 FOR CAPACITY HIGH 12582912 2228224 5.64705882
SALES_INM4 FOR QUERY HIGH 12582912 5439488 2.31325301
最后将tablespace重新改为NO INMEMORY，这两张表的IM属性不变，这里就不再贴实验过程。也就是说tablespace的修改只针对后来新建的表生效。

3.5使用COMPRESSION ADVISOR

在对一张表使用COMPRESSION clause进行IM压缩级别设置之前，我们可以通过Oracle的COMPRESSION ADVISOR对表放入到IM中的大小进行提前计算。COMPRESSION ADVISOR是通过对于表中的数据进行采样，然后来分析压缩后所占的空间，所以相对来说还是非常精准的。

那么接下来我们通过DBMS_COMPRESSION.GET_COMPRESSION_RATIO对SALES_INM3和SALES_INM4放入到IM中的压缩比率进行预估。

实验过程如下：

1.通过下面的语句对SALES_INM3使用CAPCATITY HIGH级别进行压缩比率估算：

SET SERVEROUTPUT ON
DECLARE
l_blkcnt_cmp PLS_INTEGER;
l_blkcnt_uncmp PLS_INTEGER;
l_row_cmp PLS_INTEGER;
l_row_uncmp PLS_INTEGER;
l_cmp_ratio PLS_INTEGER;
l_comptype_str VARCHAR2(100);
BEGIN
dbms_compression.get_compression_ratio (
-- Input parameters
scratchtbsname => 'TBS_TEST',
ownname => 'BADLY9',
objname => 'SALES_INM4',
subobjname => NULL,
comptype => dbms_compression.comp_inmemory_capacity_high,
-- Output parameter
blkcnt_cmp => l_blkcnt_cmp,
blkcnt_uncmp => l_blkcnt_uncmp,
row_cmp => l_row_cmp,
row_uncmp => l_row_uncmp,
cmp_ratio => l_cmp_ratio,
comptype_str => l_comptype_str,
subset_numrows => dbms_compression.comp_ratio_allrows);
dbms_output.put_line('Comp. ratio (Capacity High):'||l_cmp_ratio);
END;
/
输出结果：

Comp. ratio (Capacity High):5

PL/SQL procedure successfully completed.
可以看到输出压缩倍数为5，对比我们前边实验结果为 5.64705882，可见这个压缩比例和实际的压缩比例有差距但相差不大。

2.对SALES_INM4表使用QUERY HIGH级别，预估加载到IM中之后的压缩比率：

SET SERVEROUTPUT ON
DECLARE
l_blkcnt_cmp PLS_INTEGER;
l_blkcnt_uncmp PLS_INTEGER;
l_row_cmp PLS_INTEGER;
l_row_uncmp PLS_INTEGER;
l_cmp_ratio PLS_INTEGER;
l_comptype_str VARCHAR2(100);
BEGIN
dbms_compression.get_compression_ratio (
-- Input parameters
scratchtbsname => 'TBS_TEST',
ownname => 'BADLY9',
objname => 'SALES_INM4',
subobjname => NULL,
comptype => dbms_compression.comp_inmemory_query_high,
-- Output parameter
blkcnt_cmp => l_blkcnt_cmp,
blkcnt_uncmp => l_blkcnt_uncmp,
row_cmp => l_row_cmp,
row_uncmp => l_row_uncmp,
cmp_ratio => l_cmp_ratio,
comptype_str => l_comptype_str,
subset_numrows => dbms_compression.comp_ratio_allrows);
dbms_output.put_line('Comp. ratio (Query High):'||l_cmp_ratio);
END;
/
输出结果为：

Comp. ratio (Query High):2

PL/SQL procedure successfully completed.
对比我们前边的实验结果为2.31325301。

自己实验的话只要把我标红的几个参数进行修改即可。