爬虫调研II：Nutch的工作流程和扩展性

Nutch

的工作流程

Nutch

的工作流程可以分为两个大的部分：抓取部分与搜索部分。抓取程序抓取页面并把抓取回来的数据进行反向索引，搜索程序则对反向索引进行搜索回答用户的请求，索引是联系这两者的纽带。





I. create db




建立并初始化的
WebDB
。
webDB
用于存储的
URL
和页面内容。
webDB
包括
crawldb
和
linkdb
。
crawldb
就是
Page
通过描述网络上一个网页的特征信息来表征实际的网页，通过网页
URL
和网页内容的
MD5
两种索引方法对这种网页实体进行索引。
crawldb
存储了
nutch
所知道的所有所有页面的
url
，以及
url
是否爬过，什么时候爬过，重要度等信息。
linkdb
包括每个
url
页面中所有
link
，以及它们的“链接名”。








II. inject db 将初始的
URLs
存入
WebDB
（
crawldb
）数据库。








III. generate db segment




segment
是一个数据结构，是处理
nutch
爬虫处理的一个单元。每个
segment
包括“
fetchlist
”，用于保存尚未爬行的
URLs;

“
fetch output
”保存已经爬行过的页面
;
“
index
”保存了保存页面的
Lucene
格式倒排索引。



这步的作用是根据已有的
URLs
建立新的
segment
，含有要爬行的页面，其他的部分都是空，等待爬行后再进行填写。


segment
实际上是一个文件夹，以产生的日期为文件夹名，其中包括了若干子文件夹。
crawl_generate
是待爬行的
URL
集合。
crawl_fetch
包括每个
URL
爬行的状态。
content
包括每个
url
的页面内容。
parse_text
包括每个
url
的文本内容。
parse_data
包括每个
url
的元数据和外向链接。
crawl_parse
包括了所有的外向链接，用来更新
crawldb
。







IV.
fetch



fetch
根据segment中的fetchlist爬行url，之后会改写segment，填入爬行的内容。可以给fetcher指定URL爬行深度，使用的
thread数量等等。每个线程就是一个fetcher，对应一个fetchlist。指向同一个主机上Web资源的URLs通常被分配到同一个
Fetchlist中，防止过多的Fetchers对一个主机同时进行抓取造成主机负 担过重。另外Nutch遵守Robots Exclusion
Protocol，网站可以通过自定义Robots.txt控制Crawler的抓取。fetch的处理过程是通过内部类FetchThread来运作
的，首先建立若干个FetchListEntry，再从中选出若干Entry进行处理。如果没有标记fetch，则对此url建立初始的一个准备，空的
FetcheOutput，parseText，ParseData等等。如果标记了fetch，则从ProtocolFactory和
ParserFactory中选出适当的protocol处理方法和内容parse方法进行下载和分析处理。

V.updatedb


当
fetch
结束后，可以使用此命令更新
crawldb
。进行下一轮的爬行。

Nutch

的扩展性

Nutch
可以通过添加插件的方式扩展。


nutch-default.xml
指定了
plugin
的目录和
URL
分析类，可以通过覆写
nutch-site.xml
文件来改变默认配置。

plugin
目录中包括若干子目录，比如
parse-html,protocl-http
等等。这些包括页面处理和协议处理的方式。

子目录中的
plugin.xml
和
**.jar
组成了一个插件。

我们也可以通过这种方式添加我们自己的协议处理方式和数据处理方法。






http://starwarriors2009.spaces.live.com/Blog/cns!955289B83D9457F7!154.entry