用URLConnection来实现简单的java网络爬虫

前段时间公司分给我一个爬虫任务，由于自己没怎么接触过，只好一边学一边用，现在把用到的爬虫知识跟大家分享一下！

先来理解什么是爬虫吧！

爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

对于我的理解就是从别人的网站爬取数据或内容的一种工具！

好了现在我们一起用URLConnection 来爬取中国知网首页的一些数据吧！

首先定义一个工具类，来保存要爬取网页的源代码，就是爬取下面这一大坨html静态代码。

关键部分还是得用URLConnection ，通过io流来获取网页的源代码。SendGet方法里面有两个参数，一个是url这个就是要爬取的地址，param这个参数就是网页的编码格式，如果不设置这个编码格式有时候编码匹配不上，爬下来的数据就会出现乱码。在上面看到的网页源代码中第四行有一个content=“text/html; charset=utf-8"   可以看出知网的编码格式是utf-8,我们传一个utf-8就行了。

/**
     * 爬虫工具类
     * @param url 传入连接地址
     * @param param  设置网页编码格式
     * @return
     */
static String SendGet(String url,String param) {
// 定义一个字符串用来存储网页内容
String result = "";
// 定义一个缓冲字符输入流
BufferedReader in = null;

try {
// 将string转成url对象
URL realUrl = new URL(url);
// 初始化一个链接到那个url的连接
URLConnection connection = realUrl.openConnection();
// 开始实际的连接
connection.connect();
// 初始化 BufferedReader输入流来读取URL的响应
in = new BufferedReader(new InputStreamReader(
connection.getInputStream(), param));
// 用来临时存储抓取到的每一行的数据
String line;
while ((line = in.readLine()) != null) {
// 遍历抓取到的每一行并将其存储到result里面
result += line;
}
} catch (Exception e) {
System.out.println("发送GET请求出现异常！" + e);
e.printStackTrace();
}
// 使用finally来关闭输入流
finally {
try {
if (in != null) {
in.close();
}
} catch (Exception e2) {
e2.printStackTrace();
}
}
return result;

}

下面我们来测试一下，看能不能爬到这个网页源代码呢？

public static void main(String[] args) {
String html=SendGet("http://www.cnki.net/","utf-8");
System.out.println(html);

}
运行一下可以看到源代码爬取下来了。

有了这些源代码当然要从中提取数据

接下来我们就从这些源代码中提取一些数据

来看看首页，我们提取首页中红色框框里面的数据吧！

要爬取里面的数据，我建议还是用正则匹配比较好！

先在网上找一个正则测试工具，个人觉得这个工具比较好！

http://tool.chinaz.com/regex/

我们先把源代码放到这个工具里

找到要匹配的数据

写上正则，可以看到匹配了一条数据

由于这数据比较特殊，我就打算用两次正则来匹配里面的数据，一条正则匹配我感觉还是匹配不到精准的数据，下面这只是把整个ul标签里面的所有内容拿到

不会写正则的宝宝们，分享一下我的正则经验，刚开始我对正则也是一头雾水，后来用心把正则语法好好看了一遍，动手写了几个，正则基本上就没问题了，其实正则只要记住几个括号，和他的一些语法很好写的，小括号代表：要匹配的内容，中括号代表：范围，大括号代表：数量；

下面代码测试一下 public static void main(String[] args) {
//获取源代码
String html=SendGet("http://www.cnki.net/","utf-8");
//定义一个字符串用来第一次匹配到的数据
String html1="";
// 写入正则用来匹配名称
Pattern NamePattern = Pattern.compile("<ul\\s+style=\"padding-right:0;\"\\s+class=\"col1\">(.+?)</ul>");
Matcher NameMatcher = NamePattern.matcher(html);
//迭代得到第一次匹配到的数据
while(NameMatcher.find()){
html1+=NameMatcher.group(1);
}
//执行第二次匹配
Pattern NameTwoPattern = Pattern.compile("<li><a.+?>(.+?)</a>");
Matcher NameTwoMatcher = NameTwoPattern.matcher(html1);
//迭代得到第二次匹配到的数据
while(NameTwoMatcher.find()){
String name=NameTwoMatcher.group(1);
//输出结果
System.out.println(name);
}

}

可以看到，获取到的数据和刚刚红色框框里面的数据是一样的

看看好像有什么问题，第一条记录怎么还有一个html标签，好吧！下面来改一下代码，把标签去掉

public static void main(String[] args) {
//获取源代码
String html=SendGet("http://www.cnki.net/","utf-8");
//定义一个字符串用来第一次匹配到的数据
String html1="";
// 写入正则用来匹配名称
Pattern NamePattern = Pattern.compile("<ul\\s+style=\"padding-right:0;\"\\s+class=\"col1\">(.+?)</ul>");
Matcher NameMatcher = NamePattern.matcher(html);
//迭代得到第一次匹配到的数据
while(NameMatcher.find()){
html1+=NameMatcher.group(1);
}
//执行第二次匹配
Pattern NameTwoPattern = Pattern.compile("<li><a.+?>(.+?)</a>");
Matcher NameTwoMatcher = NameTwoPattern.matcher(html1);
//迭代得到第二次匹配到的数据
while(NameTwoMatcher.find()){
String name=NameTwoMatcher.group(1);
//去除结果中的html标签
name=name.replaceAll("^新!","" );
//输出结果
System.out.println(name);
}

}

在运行一下，标签没了