Stanford Segment 使用笔记

package com.Seg;

import java.io.*;
import java.util.List;
import java.util.Properties;

import edu.stanford.nlp.ie.crf.CRFClassifier;
import edu.stanford.nlp.io.IOUtils;
import edu.stanford.nlp.ling.CoreLabel;

/**
* This Class is for Segment the SG words
* @author Bill
*/
public class SGSegmenter {
/**
* 获取data文件夹内的内容
*/
private static final String basedir = System.getProperty("SGSegmenter", "data");

/**
* 批文件分词函数
* @param CRFClassifier<CoreLabel> segmenter 用于调试分词器
* @param String rfilepath 包含子文件夹的路径，需要读取文件的路径
* @param String wfilepath 写入文件的文件夹根路径
*/
public boolean SegmenterFiles(CRFClassifier<CoreLabel> segmenter, String rfilepath, String wfilepath) {

// 预定义操作文本需要用到的变量
// 用来存储txt中的内容
String content = null;
// 用来存储一个完成的分词文本
List<String> segmented = null;
// 用来更新写入的文件名
int num = 0;

// 获取所有文件文件（搜狗语料库文件夹）
File file = new File(rfilepath);
String[] fileListA = file.list();
// 第一次循环获得包含txt的所有文件夹
for(String subFilePath : fileListA) {
File file1 = new File(rfilepath + "/" + subFilePath);
String[] fileListB = file1.list();
// 第二次循环获得子文件夹下的所有txt文件
for(String txtpath : fileListB) {
num ++;
File file2 = new File(rfilepath + "/" + subFilePath + "/" + txtpath);
// 读取内容
content = IOUtils.stringFromFile(file2.getPath(), "GBK");
segmented = segmenter.segmentString(content);
// 将分词好的内容写入新的文件夹
String newpath = wfilepath + "/" + num + ".txt";
try {
PrintWriter pw = new PrintWriter(new FileWriter(newpath));
// 写入
for(int i = 0; i < segmented.size(); i++) {
pw.print(segmented.get(i) + " ");
}
// 关闭写流
pw.flush();
pw.close();
} catch(IOException e) {
e.printStackTrace();
}
}
}
return true;
}

/**
* 分词main函数
*/
public static void main(String args[]) throws Exception{
// 设置utf-8输出格式
System.setOut(new PrintStream(System.out, true, "utf-8"));

// 不太理解
Properties props = new Properties();
props.setProperty("sighanCorporaDict", basedir);

// 一下内容是接入分词器必须的内容
props.setProperty("serDictionary", basedir + "/dict-chris6.ser.gz");
if(args.length > 0) {
props.setProperty("testFile", args[0]);
}
props.setProperty("inputEncoding", "UTF-8");
props.setProperty("sighanPostProcessing", "true");

// 设置分词器
CRFClassifier<CoreLabel> segmenter = new CRFClassifier<>(props);
segmenter.loadClassifierNoExceptions(basedir + "/ctb.gz", props);
// segmenter.loadClassifierNoExceptions(basedir + "/pku.gz", props);
// 不太理解
for(String filename : args) {
segmenter.classifyAndWriteAnswers(filename);
}

// 设置输入
String sample = "我的名字叫杜宇晨，我需要对搜狗语料库进行分词，使用的是斯坦福分词器。adsjkfhajkfadskf";
List<String> segmented = segmenter.segmentString(sample);
System.out.println(segmented);

SGSegmenter sgs = new SGSegmenter();
sgs.SegmenterFiles(segmenter, "D:/Installers/程序开发/文本分类/SogouC.reduced.20061127精简版/SogouC.reduced/Reduced",
"D:/Installers/程序开发/文本分类/已分词的搜狗语料库");

/**
* @test
* 以下内容读取一个语料文档，看看结果
*/
/*
String filename = "D:/Installers/程序开发/文本分类/SogouC.reduced.20061127精简版/SogouC.reduced/Reduced/C000008/10.txt";
String filename2 = "D:/Installers/程序开发/文本分类/已分词的搜狗语料库/1.txt";
String content = null;
content = IOUtils.stringFromFile(filename, "GBK");
System.out.println(content);
segmented = segmenter.segmentString(content);
System.out.println(segmented);

// 写文件
PrintWriter pw = null;
pw = new PrintWriter(new FileWriter(filename2));

for(int i = 0; i < segmented.size(); i++) {
pw.print(segmented.get(i) + " ");
}
// 关闭写流
pw.flush();
pw.close();
*/
/**
* @test
* 获取一个文件夹内所有文件名称
*/
/*
File file = new File("D:/Installers/程序开发/文本分类/SogouC.reduced.20061127精简版/SogouC.reduced/Reduced/C000008");
String[] fileList = file.list();
for(String str : fileList) {
System.out.println(str);
}
*/
}
}