nutch抓取数据后生成的文件格式

nutch抓取数据后，生成五个文件夹：crawldb、index、indexs、linkdb和segments，这五个文件夹具体存放什么内容，前面文章里有解释，每个文件夹下，最后就是data和index文件
看了一下将segment目录导出文本数据的源码SegmentReader.java，发现要用到MapFile类，而MapFile类中又要用到SequenceFile
MapFile.java类是创建data和index的类，它主要是用SequenceFile.java中的内部类和方法进行读写操作，所以理解SequenceFile类是很重要的
SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将<key, value>对序列化到文件中。
1.nutch爬虫中产生的文件一般存放都是这种结构，按照key进行排序，value存放信息，直接以文本形式打不开，每个文件目录下，都对应一个index和data，这两个文件是必须一起用还是可以分开用呢？
答：为了方便查看nutch抓取数据结果，nutch提供了导出命令，在执行dump命令时，即将数据以文本形式导出：
查看crawldb数据库，导出数据：bin/nutch readdb output/crawldb/ -dump crawldb(导出的地址)
这时候只用到data，可以不用index，index文件就是一个索引，例如：bin/nutch readseg -get  output/segments/20110727060701/  http://www.baidu.com/，这个命令是根据key(这里是http://www.baidu.com)获取value值，会直接将结果以文本形式打在终端，这个时候需要index，是根据它在data中查找value的
“index文件用来存放索引，但是这个索引文件也是一个有序的，这个里面存放的是key和位置信息，但是在data文件中出现的key在这个index中都能找到的，它为了节省空间，实施了每隔一段 key／value建立一条索引，这样在查找的时候，因为是有序的，所以采用２分查找，如果找不到，则返回最后时候的最小的位置信息，这个位置离我们要找的目标是相当近的，然后在data文件的这个位置向前找就可以很快找到了” ----详见参考资料1
nutch的导出命令详见参考资料3
2.因为nutch中产生的文件都是SequeceFile的，所以准备直接用它来作为输入，转成mahout的输入向量，用mahout提供的将SequeceFile文件转向量或导出文本时报错
把parse_text传到hdfs上，用mahout seq2sparse --input /user/temp --ouput /user/test/testdata 命令，提示报错，说找不到nutch.parse.parseText包
用mahout seqdumper -s /tmp/seq/data，也是提示没有nutch.parse.ParseText类，其中data是nutch的parse_text中的data
seqdumper是用来将SequenceFile格式转成可看的文本格式的
seq2sparse 是用来将SequeceFile文件转成mahout向量文件的
难道说，mahout输入向量的生成必须是mahout命令转化的SequeceFile文件才行？
3.mahout kmeans输入参数
前面弄错了一个问题，那就是mahout入门测试的例子中，用的是mahout-examples-0.4-job.jar，数据集直接用的uci上的synthetic_control.data
如果是将lucene索引转成向量后,这时候不能用mahout-examples-0.4-job.jar去运行mahout kmeans,格式不一致,此时可以手动运行mahout kmeans -i /user/test/testdata -o /user/test/output -c /user/test/output/cluster -x 5
-i:是输入向量路径
-o:是输出路径
-c:初始输入质心,如果k指定了,就随机从输入向量中选定
-x:是最大迭代次数
可问题是将索引转成向量后，聚类结果也是向量形式，根本不知道原始文本是怎么聚在一起的啊？
 
参考资料：
1.http://blog.csdn.net/forwen/article/details/4804733
2.SequenceFile介绍 ：http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720101121103928847/
3.http://blog.163.com/bit_runner/blog/static/53242218201141393943980/
4.http://blog.163.com/jiayouweijiewj@126/blog/static/171232177201011475716354/