分析一个文本文件中各个词出现的频率(java实现)

要求：

写一个程序，分析一个文本文件(英文文本)中各个词出现的频率，并且把频率最高的10个词打印出来。

解决步骤：

1. 读取 txt 文本文件；

2. 统计文本中每个词出现的次数；

3. 进行排序，打印频率最高的10个词；

4. 将结果写入txt文件。

实现思路：

1. 利用输入流和输出流实现对文件内容的输入输出；
2. 将文件内容存入StringBuffer中；
3. 利用String的split()方法将字符串分隔，并将其存入数组中；
4. 遍历数组将其存入Map<String, Integer>中
5. 利用Collections的sort()方法对TreeMap的value进行排序(很多时候TreeMap是根据key的值来进行排序的，但是有时我们需要根据TreeMap的value来进行排序。对value排序我们就需要借助于Collections的sort(List<T>
list, Comparator<? super T> c)方法，该方法根据指定比较器产生的顺序对指定列表进行排序。TreeMap默认是升序的，如果我们需要改变排序方式，则需要使用比较器：Comparator。Comparator可以对集合对象或者数组进行排序的比较器接口，实现该接口的public
compare

(T o1,T o2)

方法即可实现排序，该方法主要是根据第一个参数o1,小于、等于或者大于o2分别返回负整数、0或者正整数。但是有一个前提条件，那就是所有的元素都必须能够根据所提供的比较器来进行比较。)
编程语言 ：java
编译环境：JDK
1.7 Eclipse 4.3
操作系统：Win7
体系结构：x86 32bit
测试文本 ：E:\java\test.txt
大小：637 KB (652,386 字节)
代码实现：

import java.io.*;
import java.util.*;
import java.util.Map.Entry;
public class CountOccurrenceOfWords {
public static void main(String[] args) {
long t1 = System.currentTimeMillis();
String s;
String fileName1 = "e:/java/test.txt";
String fileName2 = "e:/java/result.txt";
try {
BufferedReader br = new BufferedReader(new FileReader(fileName1));
BufferedWriter bw = new BufferedWriter(new FileWriter(fileName2));
StringBuffer sb = new StringBuffer();
//将文件内容存入StringBuffer中
while((s = br.readLine()) != null) {
sb.append(s);
}
String str = sb.toString().toLowerCase();
//分隔字符串并存入数组
String[] elements = str.split("[^a-zA-Z0-9]+");
int count = 0;
Map<String, Integer> myTreeMap = new TreeMap<String, Integer>();
//遍历数组将其存入Map<String, Integer>中
for(int i = 0; i < elements.length; i++) {
if(myTreeMap.containsKey(elements[i])) {
count = myTreeMap.get(elements[i]);
myTreeMap.put(elements[i], count + 1);
}
else {
myTreeMap.put(elements[i], 1);
}
}
System.out.println("单词统计的结果请见当前目录result.txt文件");
//将map.entrySet()转换成list
List<Map.Entry<String, Integer>> list = new ArrayList<Map.Entry<String, Integer>>(myTreeMap.entrySet());
//通过比较器实现排序
Collections.sort(list, new Comparator<Map.Entry<String, Integer>>() {
//降序排序
public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {
return o2.getValue().compareTo(o1.getValue());
}
});
int num = 1;
//将结果写入文件
for(Map.Entry<String, Integer> map : list) {
if(num <= 10) {
bw.write("出现次数第" + num + "的单词为：" + map.getKey() + "，出现频率为" + map.getValue() + "次");
bw.newLine();
System.out.println(map.getKey() + ":" + map.getValue());
num++;
}
else break;
}
bw.write("耗时：" + (System.currentTimeMillis() - t1) + "ms");
br.close();
bw.close();
System.out.println("耗时：" + (System.currentTimeMillis() - t1) + "ms");
} catch (FileNotFoundException e) {
System.out.println("找不到指定文件！");
} catch (IOException e) {
System.out.println("文件读取错误！");
}
}
}

运行结果：





性能测试：VisualVM

程序运行前：



程序运行后：



心得：(1) 程序使用java正则表达式来分隔英文单词，若需要匹配所有的中文字符，就可以利用[\\u0041-\\u0056]形式（因为所有中文字符的Unicode值是连续的，只要找出所有中文字符中最小，最大的Unicode值，就可以利用这种形式来匹配所有的中文字符）。(2)
如果文本很大可以将文本分成多个小文本，采用多线程来处理文本文件。