Heritrix源码分析(五) 如何让Heritrix在Ecplise等IDE下编程启动

本博客属原创文章,欢迎转载！转载请务必注明出处:http://guoyunsky.javaeye.com/blog/642550

欢迎加入Heritrix群(QQ)： 109148319 , 10447185（已满）, Lucene/Solr群(QQ) : 118972724

在Heritrix注释里说Heritrix有三种启动方式,但我感觉只有两种：一种是通过tomcat或者JBOSS或者Jetty等Web容器，还有一种自然就是不通过Web直接编程运行。由于第二种方式更适合调试、研究代码，所以这里就介绍下它的编程启动方式吧....这里贴上示例代码以及注释：

import java.io.File;
import javax.management.InvalidAttributeValueException;

import org.archive.crawler.event.CrawlStatusListener;
import org.archive.crawler.framework.CrawlController;
import org.archive.crawler.framework.exceptions.InitializationException;
import org.archive.crawler.settings.XMLSettingsHandler;

public class StartHeritrixByEclipse {
　　public static void main(String[] args) throws InterruptedException {
　　　　String orderFile = "D:/heritrix-jobs/startHeritrixByEclipse/order.xml";//order.xml文件路径
　　　　File file = null; //order.xml文件
　　　　CrawlStatusListener listener = null;//监听器
　　　　XMLSettingsHandler handler = null; //读取order.xml文件的处理器
　　　　CrawlController controller = null; //Heritrix的控制器
　　　　try {
　　　　　　file = new File(orderFile);
　　　　　　handler = new XMLSettingsHandler(file);
　　　　　　handler.initialize();//读取order.xml中的各个配置
　　　　　　controller = new CrawlController();//
　　　　　　controller.initialize(handler);//从读取的order.xml中的各个配置来初始化控制器
　　　　　　if (listener != null) {
　　　　　　　　controller.addCrawlStatusListener(listener);//控制器添加监听器
　　　　　　}
　　　　　　controller.requestCrawlStart();//开始抓取
　　　　　　/* * 如果Heritrix还一直在运行则等待 */
　　　　　　while (true) {
　　　　　　　　if (controller.isRunning() == false) {
　　　　　　　　　　break;
　　　　　　　　}
　　　　　　　　Thread.sleep(1000);
　　　　　　} //如果Heritrix不再运行则停止
　　　　　　controller.requestCrawlStop();
　　　　　　} catch (InvalidAttributeValueException e) {
　　　　　　　　// TODO Auto-generated catch block
　　　　　　　　e.printStackTrace();
　　　　　　} catch (InitializationException e) {
　　　　　　　　// TODO Auto-generated catch block
　　　　　　　　e.printStackTrace();
　　　　　　} catch (InterruptedException e) {
　　　　　　　　// TODO Auto-generated catch block
　　　　　　　　e.printStackTrace();
　　　　　　}
　　　　}
　　}
}

这里可以发现，其实只要知道一个order.xml路径就可以开始抓取了(同时还要seeds.txt种子文件),至于order.xml如何配置可以查看我前面的博客:http://guoyunsky.javaeye.com/admin/blogs/613412