Java读写文本文件

引用：http://www.cnblogs.com/nolan022/articles/2615794.html

Java读写文本文件的细节-FileWriter

经常会涉及到读写文本文件的情况，尤其是需要区分追加和替换的情况。自己是这样实现的：

public static boolean updateContent(String name,String content,boolean append){
boolean res = true;
String path = BASE_PATH+name;
File file = new File(path);
try {
if (!file.exists()) {
file.createNewFile();
}
FileWriter writer = new FileWriter(file,append);
if(append){
content = System.getProperty("line.separator")+content;
}
writer.write(content);
writer.flush();
writer.close();
} catch (IOException ex) {
res = false;
ex.printStackTrace();
}
return res;
}

根据append参数区域是要追加内容还是替换原来所有的内容，如果为false，则会清空原有的所有内容，只写入本次的内容；否则将新的内容追加到原有内容的后面，并且新旧内容用换行符自动分开，即写入不同的行。

其实FileWriter的构造函数的第二参数就是为此而设计的，只是默认的实现中不会用换行符来分割新旧内容而已。
如果不想用FileWriter默认的实现，也可以自己编写代码实现，即先判断是否要追加，且原有内容有效，则先读取到缓存：

long len = file.length();
if(append && len>0){
if(len > 0){
StringBuffer buff = new StringBuffer();
BufferedReader reader = new BufferedReader(new FileReader(file));
String txt = reader.readLine();
while(txt != null){
buff.append(txt);
buff.append(System.getProperty("line.separator"));
txt=reader.readLine();
}
if(txt != null){
buff.append(txt);
buff.append(System.getProperty("line.separator"));
}
reader.close();
content = buff.toString()+content;
}

}

然后再将合并后的内容一起写入。
当文件太太时，这种方式就会有内存溢出的危险。那就不要读取出来，而是移动文件指针到末尾，再写入即可。

特别要注意的是FileWriter只有一个参数的构造函数，缺省会将原来的文件清空！FileWriter fw = new FileWriter(file);
要特别注意！！

Java读写大文本文件（2GB以上）

如下的程序，将一个行数为fileLines的文本文件平均分为splitNum个小文本文件，其中换行符'r'是linux上的，windows的java换行符是'\r\n'：

package kddcup2012.task2.FileSystem;

import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;

public class FileSplit
{
public static void main(String[] args) throws IOException
{
long timer = System.currentTimeMillis();
int bufferSize = 20 * 1024 * 1024;//设读取文件的缓存为20MB

//建立缓冲文本输入流
File file = new File("/media/Data/毕业设计/kdd cup/数据/userid_profile.txt");
FileInputStream fileInputStream = new FileInputStream(file);
BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);
InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream);
BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);

int splitNum = 112-1;//要分割的块数减一
int fileLines = 23669283;//输入文件的行数
long perSplitLines = fileLines / splitNum;//每个块的行数
for (int i = 0; i <= splitNum; ++i)
{
//分割
//每个块建立一个输出
FileWriter output = new FileWriter("/home/haoqiong/part" + i + ".txt");
String line = null;
//逐行读取，逐行输出
for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)
{
output.append(line + "\r");
}
output.flush();
output.close();
output = null;
}
input.close();
timer = System.currentTimeMillis() - timer;
System.out.println("处理时间：" + timer);
}
}

以上程序处理大文本文件只需要30MB左右的内存空间（这和所设的读取缓冲大小有关），但是速度不是很快，在磁盘没有其他程序占用的情况下，将200MB文件分割为112份需要20秒（机器配置：Centrino2 P7450 CPU，2GB DDR3内存，Ubuntu 11.10系统，硬盘最大读写速度大约60MB/S）。

另外，对于几百兆到2GB大小的文件，使用内存映射文件的话，速度会块一些，但是内存映射由于映射的文件长度不能超过java中int类型的最大值，所以只能处理2GB以下的文件。