Oracle模糊查询之（5.1认识全文索引之什么是分词[lexer]）oracle Text 全文检索功能对中文分词的支持情况

前言：什么叫分词，即把需要模糊查询的字段的字符串数据进行”全分词“，即把所有可能分词都枚举出来，比如abc,可以分成a,ab,abc,b,bc,c。

所有的分词结果都可以在表DR$索引名$I中看到。

http://hi.baidu.com/lewutian

下面例子在XE中测试通过。

准备工作：

CREATE TABLE issues (

ID NUMBER,

summary VARCHAR(120),

description CLOB,

author VARCHAR(80),

ot_version VARCHAR(10)

);

INSERT INTO issues

VALUES (1, 'Jane', 'Text does not make tea',

'Oracle Text is unable to make morning tea', 1);

INSERT INTO issues

VALUES (2, 'John', 'It comes in the wrong color',

'I want to have Text in pink', 1);

INSERT INTO issues

VALUES (3, 'Mike', 'I come from china', '所以我讲中文', 1);

--下面两句话很难解析的

INSERT INTO issues

VALUES (4, 'Mike', 'I come from china', '吉林省长春市的人民', 1);

INSERT INTO issues

VALUES (5, 'Mike', 'I come from china',

'我们要积极地主动作好计划生育工作', 1);

-- define datastore preference for issues

BEGIN

--ctx_ddl.drop_preference ('issue_lexer');

ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');

ctx_ddl.create_preference ('issue_lexer', 'CHINESE_LEXER');

END;

/

-- index issues 没有指定任何lexer

CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT;

--进行查询

SELECT *

FROM issues

WHERE contains (author, '中文', 1) > 0;

会返回no rows selected。

说明：不使用lexer参数，oracle Text无法对中文进行有效检索。

接下来我们使用oracle和网上各位仁兄推荐的CHINESE_LEXER看看，执行下列语句：

DROP INDEX issue_index;

-- index issues

CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT

PARAMETERS ('lexer issue_lexer');

SELECT *

FROM issues

WHERE contains (author, '中文', 1) > 0;

会返回一条记录。

再执行下列查询语句：

SELECT *

FROM issues

WHERE contains (author, '作好', 1) > 0;

SELECT *

FROM issues

WHERE contains (author, '吉林', 1) > 0;

都没有任何返回结果。

执行下列语句：

SELECT *

FROM issues

WHERE contains (author, '中文', 1) > 0;

有一个返回结果。

说明：CHINESE_LEXER对中文分词进行了优化，能够识别大部分中文单词，但是毕竟有很多单词难以区分。比如说，‘我们要积极地主动作好计划生育工作’被oracle 解释为：“我们要 积极 地主 动作 好 计划生育 工作”;'吉林省长春市的人民'解释为：“吉林省 长春市 的 人民”。不过效率方面自然很高。

再看看CHINESE_VGRAM_LEXER：

执行下列语句

BEGIN

ctx_ddl.drop_preference ('issue_lexer');

ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');

ctx_ddl.create_preference ('issue_lexer', 'CHINESE_VGRAM_LEXER');

END;

/

-- index issues 没有指定任何lexer

CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT

PARAMETERS ('lexer issue_lexer');

--进行查询

SELECT *

FROM issues

WHERE contains (author, '中文', 1) > 0;

SELECT *

FROM issues

WHERE contains (author, '作好', 1) > 0;

SELECT *

FROM issues

WHERE contains (author, '吉林', 1) > 0;

SELECT *

FROM issues

WHERE contains (author, '计划生育', 1) > 0;

SELECT *

FROM issues

WHERE contains (author, '地主', 1) > 0;

都有返回结果。

说明：CHINESE_VGRAM_LEXER使用的保守分词方法，不求有功但求无过。对所有的词都可以查询到。不过效率方面就有不足了。

所有的分词结果都可以在表DR$ISSUE_INDEX$I中看到。

例子中CHINESE_VGRAM_LEXER会创建39行数据，而CHINESE_LEXER只创建23行数据。

结论：oracle Text进行中文搜索必须指定lexer 参数。如果追求效率那么使用CHINESE_LEXER,如果追求准确度那么使用CHINESE_VGRAM_LEXER。

参考文章：
http:// href="http://www.oracle.com/technology/global/cn/pub/articles/asplund-textsearch.html" target=_blank>www.oracle.com/technology/global/cn/pub/articles/asplund-textsearch.html
http:// href="http://www.vckbase.com/document/viewdoc/?id=1173" target=_blank>www.vckbase.com/document/viewdoc/?id=1173
http://hi.baidu.com/lewutian推荐文章:
1.
lucene学习笔记

2.
lucene倒排索引原理

3.
Lucene.Net索引的建立

4.
Lucene分页方式

5.
lucene检索数据库并查询

6.
Lock obtain timed out: Lock@的解决方法(lucene)

7.
lucene MMAnalyzer 实现中文分词

8.
传智播客－关于lucene的“知识集锦”和字段优先设置问题

9.
Lucene中的范围搜索

10.
传智播客搜索引擎lucene学习，使用compass对lucene封装

11.
Lucene学习总结之一：全文检索的基本原理

12.
nutch和lucene的区别

13.
Lucene Payload 的研究与应用

14.
Lucene学习笔记

15.
Field.Text AND Field.Keyword in Lucene