自己写中文分词之（二）_用HMM模型实现分词

关于HMM分词的理论基础就不说了，第一，自己能力尚浅，说不好。第二，已经有说得很好的了。参考：Itenyh版-用HMM做中文分词四：A Pure-HMM 分词器
我这里自己实现了用msr_training.utf8 用以训练HMM的转移矩阵。
代码贴出来吧：

package com.xh.training;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Arrays;
import java.util.HashMap;
/*
* 根据语料的结果训练HMM模型的状态转移矩阵
* 一共有四个状态：
* B：一个词的开始
* E：一个词的结束
* M：一个词的中间
* S：单字成词
* 统计公式： Aij = P(Cj|Ci)  =  P(Ci,Cj) / P(Ci) = Count(Ci,Cj) / Count(Ci)
* */
public class StateTransferMatrixTraining {
//private String fileName;
private final static HashMap<Character,Integer> map=new HashMap<Character,Integer>();
static{
map.put('B', 0);map.put('M', 1);
map.put('E', 2);map.put('S', 3);
}
private long freq[][]=new long[4][4];
private long count[]=new long[4];

private void insert(StringBuilder sb,int start,int end){
if(end-start>1){
sb.append('B');
for(int i=0;i<end-start-2;++i){
sb.append('M');
}
sb.append('E');
}else{
sb.append('S');
}
}

/*
* “  一点  外语  知识  、  数理化  知识  也  没有  ，  还  攀  什么  高峰  ？
* 对一段文本按BEMS规则进行编码，标点符号有两种处理方法：
*
* 1、算作单字成词。
* 2、直接过滤，不予考虑。
* 个人认为方案2比较合理，单字成词受到字出现的语境有影响，而标点符号永远是单一的。
* */
private String encode(String content){
if(content==null||"".equals(content.trim()))return null;
//分词后的文本，去掉标点符号
content=content.replaceAll("\\pP", " ").trim();

StringBuilder sb=new StringBuilder();
//  String[] terms=content.split("\\s{1,}");
int start,end,len;
start=end=0;len=content.length();
//根据空格对文本进行分词
while(end<len){
if(Character.isWhitespace(content.charAt(end))){
if(end>start){
//得到一个词
//  insertWithContent(content,sb,start,end);
insert(sb,start,end);
++end;start=end;

}else{++start;++end;}

}else{++end;}
}
//insertWithContent(content,sb,start,end);
insert(sb,start,end);

return sb.toString();
}

private double[][] cal(){
double[][] transferMatrix=new double[4][4];
int i,j;
for(i=0;i<4;i++){
for(j=0;j<4;j++){
transferMatrix[i][j]=(double)freq[i][j]/count[i];
}
}
return transferMatrix;
}

public double[][] readFile(String fileName){
BufferedReader br=null;
String line;
try {
br=new BufferedReader(new InputStreamReader(new FileInputStream(new File(fileName)),"utf-8"));
while((line=br.readLine())!=null){
if("".equals(line.trim()))continue;
line=encode(line);
stmTraining(line);
}
} catch (Exception e) {
e.printStackTrace();
}finally{
try {br.close(); }catch (IOException e) {e.printStackTrace();}
}
//根据freq和count矩阵来计算转移矩阵

return cal();
}

private void stmTraining(String encodeStr){
int i,j,len;
len=encodeStr.length();
for(i=0;i<len-1;++i){
++count[map.get(encodeStr.charAt(i))];
j=i+1;
++freq[map.get(encodeStr.charAt(i))][map.get(encodeStr.charAt(j))];
}
++count[map.get(encodeStr.charAt(i))];
}
private void print(double[][] A){
int i,j;
char[] chs={'B','M','E','S'};
System.out.println("\t\t"+"B"+"\t\t\t"+"M"+"\t\t\t"+"E"+"\t\t\t"+"S");
for(i=0;i<4;i++){
System.out.print(chs[i]+"\t");
for(j=0;j<4;j++){
System.out.format("%.12f\t\t",A[i][j]);

}
System.out.println();
}
}
public static void main(String[] args) {
StateTransferMatrixTraining tr=new StateTransferMatrixTraining();
double A[][]=tr.readFile("msr_training.utf8");
tr.print(A);
//      String ss=tr.encode("偶尔  有  老乡  拥  上来  想  看  “  大官  ”  ，  立即  会  遭到  “  闪开  ！");
//      System.out.println(ss);
}

/*
* 带文本内容,比如：你 现在 应该 去 幼儿园 了，
*    输出的结果为：你S现B在E应B该E去S幼B儿M园E了S
*    测试时用
* */
private void insertWithContent(String content,StringBuilder sb,int start,int end){
if(end-start>1){
sb.append(content.charAt(start));
sb.append('B');
for(int i=0;i<end-start-2;++i){
sb.append(content.charAt(start+i+1));
sb.append('M');
}
sb.append(content.charAt(end-1));
sb.append('E');
}else{
sb.append(content.charAt(end-1));
sb.append('S');
}
}
}

测试的结果如下：



跟参考博客上面的稍微有点出入，不知道是不是程序哪里有漏掉的地方。