【Java】WebMagic实现的最基本的爬虫

WebMagic是一个十分容易入门的爬虫框架，并且扩展也十分容易。关于WebMagic，官网有十分详细的介绍，并且有教程和示例。我这里只实现了十分基础的功能，可以用作入门了解的参考。
准备工作：
1.需要到官网下载相关的jar包，并且导入到工程中（导入的方法请自行了解~）
2.这里用的是xpath的搜索方法，相关语法等，需要简单了解
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;

public class hi implements PageProcessor {
// 抓取网站的相关配置，包括编码、抓取间隔、重试次数等
private Site site = Site.me().setRetryTimes(3).setSleepTime(100);
private static int count =0;

@Override
public Site getSite() {
return site;
}

@Override
public void process(Page page) {
//判断链接是否符合 [a-z 0-9 -]*是任意数字字母
if(!page.getUrl().regex("http://blog.csdn.net/zuoxiaolong8810/article/details/[a-z 0-9 -]*.html").match()){

page.addTargetRequests(
page.getHtml().xpath("//*[@id=\"article_list\"]/div/div/h1/span/a/@href").all());//获取我需要的链接

System.out.println("文章标题："+ page.getHtml().xpath("/html/head/title/text()").get() );//输出需要的内容（这里我需要的是标题）
count ++;
}

//把符合这个网址格式的，加入到爬取队列
page.addTargetRequests(page.getHtml().links().regex("(http://blog.csdn.net/zuoxiaolong8810/article/list/[a-z 0-9 -]*)").all());
}

public static void main(String[] args) {
long startTime, endTime;
System.out.println("开始爬取...");
startTime = System.currentTimeMillis();
Spider.create(new hi()).addUrl("http://blog.csdn.net/zuoxiaolong8810/article/list/1").thread(5).run();//从这个网址开始获取
endTime = System.currentTimeMillis();
System.out.println("爬取结束，耗时约" + ((endTime - startTime) / 1000) + "秒，抓取了"+count+"条记录");
}

}


xpath的值应该怎么填？

1.用chrome浏览器，对着需要获取的值，右键->检查，然后查看需要的内容

2.找到需要的内容后，右键->copy->xpath

3.之后可能需要自己再补充（比如：/@href）