中文分词器ICTCLAS使用方法（Java）

http://www.cnblogs.com/CheeseZH/archive/2012/11/27/2791037.html

吃水不忘挖井人，这篇文章给了我很大帮助：/article/2357989.html，这篇文章写的蛮详细，不过是ICTCLAS在web项目中的应用，于是我借花献佛，把它整理了一下成为java项目的应用。

1、到ICTCLAS官网下载最新版本分词器：http://ictclas.org/ictclas_download.aspx，点击下载后需要填写反馈信息——姓名，邮箱；

注：听学长说这个分词器有时间限制，所以一段时间之后需要重新下载。

2、将下载的ICTCLAS50_Windows_32_JNI.rar解压，其中有API，Demo，Doc，Sample四个文件夹；

API文件夹中的东西就是我们需要使用的；

Demo文件夹中的东西是一个用MFC实现的分词程序；

Doc文件夹中的东西是两个文档，注：ICTCLAS5.0接口文档.doc中提及的部分接口在最新的ICTCLAS中已经不再提供，还有的做了少量修改；

Sample文件夹中是一个java使用ICTCLAS例子：

比如我把ICTCLAS50_Windows_32_JNI.rar解压到C盘根目录，那我只需要在命令行中输入：

cd ICTCLAS50_Windows_32_JNI\Sample\Windows_32_jni_Demo

javac TestMain.java

java TestMain

就可以看到运行结果了；

3、如何将ICTCLAS整合到自己Java 项目中：

在myeclipse中创建项目为ICTCLAS003，那么将ICTCLAS的API目录中的ICTCLAS文件夹拷贝到ICTCLAS003文件夹的src目录下（ctrl+v粘贴到工程src即可），然后把DATA和其他的文件放到ICTCLAS003文件夹中即可。

刷新项目（Refresh）就可以看到这些内容已经导入了；

然后新建一个Test.java，

写上：import ICTCLAS.I3S.AC.ICTCLAS50;

就可以使用接口了。

下边就是API文件加中的ICTCLAS50.java文件，可以看出它提供的几个接口：

package ICTCLAS.I3S.AC;
import java.io.*;
public class ICTCLAS50
{
//public enum eCodeType
//{
//    CODE_TYPE_UNKNOWN,//type unknown
//    CODE_TYPE_ASCII,//ASCII
//    CODE_TYPE_GB,//GB2312,GBK,GB10380
//    CODE_TYPE_UTF8,//UTF-8
//    CODE_TYPE_BIG5//BIG5
//}

public native boolean ICTCLAS_Init(byte[] sPath);
public native boolean ICTCLAS_Exit();
public native int ICTCLAS_ImportUserDictFile(byte[] sPath,int eCodeType);
public native int ICTCLAS_SaveTheUsrDic();
public native int ICTCLAS_SetPOSmap(int nPOSmap);
public native boolean ICTCLAS_FileProcess(byte[] sSrcFilename, int eCodeType, int bPOSTagged,byte[] sDestFilename);
public native byte[] ICTCLAS_ParagraphProcess(byte[] sSrc, int eCodeType, int bPOSTagged);
public native byte[] nativeProcAPara(byte[] sSrc, int eCodeType, int bPOStagged);
/* Use static intializer */
static
{
System.loadLibrary("ICTCLAS50");
}
}

下边是我自己写的测试TestMain.java:

/*
* ICTCLAS_Init
* ICTCLAS_ParagraphProcess
* ICTCLAS_Exit
* ICTCLAS_ImportUserDictFile[接口文档中的函数为：ICTCLAS_ImportUserDict]
* ICTCLAS_SetPOSmap
* */
import ICTCLAS.I3S.AC.ICTCLAS50;
public class TestMain {
public static void main(String[] args){
try{
ICTCLAS50 testICTCLAS50 = new ICTCLAS50();
String argu = ".";
if(testICTCLAS50.ICTCLAS_Init(argu.getBytes("GB2312")) == false){
System.out.println("Init Fail");
}else{
System.out.println("Init Succeed!");
}

String sInput = "随后温总理就离开了舟曲县城，预计温总理今天下午就回到北京。以上就是今天上午的最新动态。";
//未导入用户词典
byte nativeBytes[] = testICTCLAS50.ICTCLAS_ParagraphProcess(sInput.getBytes("GB2312"), 0, 1);
System.out.println(nativeBytes.length);
String nativeStr = new String(nativeBytes,0,nativeBytes.length,"GB2312");
System.out.println("未导入用户词典分词结果："+nativeStr);
//导入用户词典
int nCount = 0;
String usrdir = "userdict.txt";
byte[] usrdirb = usrdir.getBytes();
//第一个参数为用户字典路径，第二个参数为用户字典的编码类型(0:type unknown;1:ASCII码;2:GB2312,GBK,GB10380;3:UTF-8;4:BIG5)
nCount = testICTCLAS50.ICTCLAS_ImportUserDictFile(usrdirb, 2);
System.out.println("导入用户词个数："+nCount);
nCount = 0;
//导入用户词典之后再分词
byte[] nativeBytes1 = testICTCLAS50.ICTCLAS_ParagraphProcess(sInput.getBytes("GB2312"), 0, 1);
System.out.println(nativeBytes1.length);
String nativeStr1 = new String(nativeBytes1,0,nativeBytes1.length,"GB2312");
System.out.println("导入用户词典分词结果："+nativeStr1);

/*
* ICT_POS_MAP_SECOND  计算所二级标注集   0
* ICT_POS_MAP_FIRST  计算所一级标注集    1
* PKU_POS_MAP_SECOND   北大二级标注集    2
* PKU_POS_MAP_FIRST       北大一级标注集   3
* */
//使用计算所二级标注集
testICTCLAS50.ICTCLAS_SetPOSmap(0);
byte[] nativeBytes2 = testICTCLAS50.ICTCLAS_ParagraphProcess(sInput.getBytes("GB2312"), 0, 1);
System.out.println(nativeBytes2.length);
String nativeStr2 = new String(nativeBytes2,0,nativeBytes2.length,"GB2312");
System.out.println("计算所二级标注集："+nativeStr2);
//使用北大二级标注集
testICTCLAS50.ICTCLAS_SetPOSmap(2);
byte[] nativeBytes3 = testICTCLAS50.ICTCLAS_ParagraphProcess(sInput.getBytes("GB2312"), 0, 1);
System.out.println(nativeBytes3.length);
String nativeStr3 = new String(nativeBytes3,0,nativeBytes3.length,"GB2312");
System.out.println("北大二级标注集："+nativeStr3);
//释放分词组件资源
testICTCLAS50.ICTCLAS_Exit();

}catch(Exception ex){

}
}
}

使用的时候需要注意一下各个函数不同参数的含义。

bool ICTCLAS_Init( );参数就是一个目录的String，这个目录下包含分词器所需的系统词表以及配置文件；

boolean ICTCLAS_Exit();无参数

int ICTCLAS_ImportUserDictFile(byte[] sPath);参数就是用户自定义词表文件名字，记得把词表放在工程根目录中；返回值是词表中的词条数目；

public native byte[] ICTCLAS_ParagraphProcess(byte[] sSrc, int eCodeType, int bPOSTagged);第一个参数就是待处理文本，注意要将String转换为bytes数组，第二个参数是字符集类型【我的源码中有介绍】，第三个参数0：无标注，1：有标注

public native int ICTCLAS_SetPOSmap(int nPOSmap);选择标注集【我的源码中有介绍】