Clucene实现中文分词搜索（转载）

最近，一阵忙乎，终于在Clucene（版本0.9.16)中实现了中文分词搜索。

一些需要改动的地方如下：

一、 把项目设置为Use Unicode Character Set。因为使用ANSI时，汉字存在与其他语言编码重叠的问题，不能准确判断是否为汉字。

二、 \src\CLucene\util\Misc.cpp中有个Misc::_cpycharToWide函数，这个函数是CLucene中用来将char 字符串转换为wchar_t字符串的，但原代码中使用的是不考虑编码的转换，把汉字从ANSI编码转到UCS2编码会失效，所以需要在\src\ CLucene\StdHeader.h的宏定义中，改用windows API的MultiByteToWideChar函数。

line350 改为#define STRCPY_AtoW(target,src,len) MultiByteToWideChar(936,0,src,-1,target,len);

\src\CLucene\util\Misc.cpp，line67的Misc::_charToWide函数调用了_cpycharToWide函数，需修改。

三、 要实现中文按词搜索必须按中文语法实现Analyzer接口。Clucene里面有一个StandardAnalyzer类，它本意是可以处理亚洲语言 （包括中日韩），但不完善。可以通过改写 \src\CLucene\analysis\standard\StandardTokenizer.cpp文件来达到目的。

其中，有一个StandardTokenizer::next（），用来获取下一个token。Token可以简单看成是索引文件中的一个项。在原代码 中，先判断是否为ALPHA，再判断是否为_CJK，而在中文windows系统上，将一个UCS2编码的汉字（正好一个wchar_t）作为参数传给 iswalpha函数时，返回值是true。所以任何CJK字符都会被处理成ALPHA。因此，项目修改为使用Unicode编码后，ReadCJK函数 不会被调用到。所以需要将原代码中的if(_CJK)的判断分支放到if(ALPHA)前面，这样遇到CJK字符时就会调用 StandardTokenizer::ReadCJK。

ReadCJK函数用于读取一个CJK的token。这个函数不能处理中文分词，它遇到CJK字符时一直向后读取，直到遇到非CJK字符或文件结束才跳出，把读取到的整个字符串作为索引中的一个项。所以需要重写这个函数。

我在StandardAnalyzer类加入了一个公有类paticiple,这个paticiple类有一个方法 ParagraphProcessing(char *str,char *result)，可以用来把一个char类型的中文字符串str进行分词，由result返回分词结果，词与词之间用空格格开。以下是我重写的 ReadCJK函数：

bool StandardTokenizer::ReadCJK(const TCHAR prev, Token* t)

{

t->growBuffer(LUCENE_MAX_WORD_LEN+1);//make sure token can hold the next word

StringBuffer str(t->_termText,t->bufferLength(),true);

if ( str.len < LUCENE_MAX_WORD_LEN )

{

str.appendChar(prev);

TCHAR ppl[10]; //临时存放从Tokenstream读出的不大于八个汉字的字符用于分词,因为中文词语最长为八

ppl[0]= prev;

int i;

int time=0; //记录指针往前移动的位置

for(i=1;i<8;i++) //读取八个CJK字符，若中间有非CJK字符则跳出，追加‘\0‘结尾形成字符串

{

ppl[i]=readChar();time++;

if (ppl[i]==-1 || (!( (ppl[i]>=0x3040 && ppl[i]<=0x318f) || (ppl[i]>=0x3300 && ppl[i]<=0x337f) || \

(ppl[i]>=0x3400 && ppl[i]<=0x3d2d) || (ppl[i]>=0x4e00 && ppl[i]<=0x9fff) || \

(ppl[i]>=0xf900 && ppl[i]<=0xfaff) || (ppl[i]>=0xac00 && ppl[i]<=0xd7af) ) ) )

{

break;

}

}//for

ppl[i]=0;

for( ;time>0;time--) //还原指针

unReadChar();

//把PPL转换成CHAR类型ppltemp，利用paticiple类分词，把最终TCHAR型的分词结果存放在 pplnew里面

len=WideCharToMultiByte(936,0,ppl,-1,NULL,0,NULL,NULL);

char* ppltemp=new char[len+1];

WideCharToMultiByte(936,0,ppl,-1,ppltemp,len,NULL,NULL);

char* pplnewtemp=new char[2*len+1];

paticiple.ParagraphProcessing(ppltemp,pplnewtemp);

int length=MultiByteToWideChar(936,0,pplnewtemp,-1,NULL,0);

TCHAR pplnew[20];

MultiByteToWideChar(936,0,pplnewtemp,-1,pplnew,length);

delete[] ppltemp;

delete[] pplnewtemp;

//改从pplnew中读取字符而不是从tokenstream中

int j=1;

while(true)

{

ch=pplnew[j];

if(!rd->Eos())

{

int k=readChar(); //使readChar()的指针与从pplnew[]中读出的字符保持同步

}

if (ch==-1 || (!(_CJK) || str.len >= LUCENE_MAX_WORD_LEN))

{

unReadChar();

break;

}

str.appendChar(ch);

j++;

}//while

}//if

return setToken(t,&str,CL_NS2(analysis,standard)::CJK);

}

四、如果一个中文句子中引入了英文单词，则进入英文处理函数ReadAlphaNum（）后，由于引用了宏CONSUME_WORD，对英文后面出现的中 文会继续作为Alpha字符处理，索引为一个项，直到遇到非Alpha字符为止。为了避免英中文连用（中间没有空格）时索引出错，还要修改 StandardTokenizer.cpp中的宏定义，

line 42，改为#define _CONSUME_AS_LONG_AS(conditionFails) while (true) { ch = readChar(); if (ch==-1 ||

(!(conditionFails) || str.len >= LUCENE_MAX_WORD_LEN) ||_CJK) { break; } str.appendChar(ch);}

这样，当当前字符为ALPHA，而下一个字符为CJK时，就可以从宏CONSUME_WORD 中跳出。

另外，StandardTokenizer::ReadAlphaNum()中有个switch(ch)语句，在最后一行加上default:unReadChar();这样可以保证不漏掉跳出后，英文单词后紧跟的第一个CJK字符。

五、输入的查询语句在转化为QUERY对象时必须以标点符号结束，否则会被处理为一个不完整句子，最后的几个字符不能写入索引项。

[b]ps:为了能显示wchar_t类型的字符串，还必须使用Wcout函数代替 printf函数[/b]。