Java开发搜索引擎爬虫

package com.peidon.html;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
* @author sunshine
* @version 1.0
* @date：2015年8月15日 上午9:01:13
* @description: Java开发搜索引擎爬虫
*     jsoup 类似jQuery的强大功能，什么方便解析操作HTML  DOM 树
*     关联jar包  jsoup-1.8.3.jar
*/
public class HttpSoup {

public static void main(String[] args) {

//根据网址和页面的编码集  获取网页的源代码
String htmlResource = getHtmlResourceByUrl("http://www.ui.cn/", "UTF-8");
//System.out.println(htmlResource);

//解析源代码
Document document = Jsoup.parse(htmlResource);

//获取网页的图片
//网页图片标签<img src="" alt="" width="" height="" />
Elements elements = document.getElementsByTag("img");

for(Element element : elements){
String imgSrc = element.attr("src");
//System.out.println(imgSrc);
downImages(imgSrc,"D:\\test\\images\\");
System.out.println("下载成功:"+imgSrc);
//System.out.println(imgSrc.substring(imgSrc.lastIndexOf("/")));
}
}

/**
* 根据一个图片的URL地址，通过这个URL批量下载图片到服务器的磁盘
* @param imageUrl 要下载的服务器地址
* @param filePath 下载完成后保存到服务器的图片地址
*
*/
public static void downImages(String imageUrl, String filePath){
String fileName = imageUrl.substring(imageUrl.lastIndexOf("/"));

try {
//创建文件的目录
File files = new File(filePath);
//判断文件是否存在
if(!files.exists()){
files.mkdirs();
}
//获取图片文件的下载地址
URL url = new URL(imageUrl);
//连接网络图片地址
HttpURLConnection uc =(HttpURLConnection) url.openConnection();
//获取连接的输出流
InputStream is = uc.getInputStream();

//创建文件
File file = new File(filePath + fileName);
//创建输出流，写入文件
FileOutputStream out = new FileOutputStream(file);
int i = 0;
while((i = is.read()) != -1){
out.write(i);
}
is.close();
out.close();
} catch (Exception e) {
e.printStackTrace();
}
}

/**
* 根据网址和页面的编码集  获取网页的源代码
* @param url
* @param encoding
* @return
*/
public static String getHtmlResourceByUrl(String url, String encoding){

//声明一个存储网页源代码的容器
StringBuffer buff = new StringBuffer();

URL urlObj = null;
URLConnection uc = null;
InputStreamReader in = null;
BufferedReader reader = null;
try {
//建立网络链接
urlObj = new URL(url);

//打开网络链连接
uc = urlObj.openConnection();

//建立网络的输入流
in = new InputStreamReader(uc.getInputStream(),encoding);

//缓冲写入的文件流
reader = new BufferedReader(in);

String tempLine = null;

//循环读取文件流
while((tempLine = reader.readLine()) != null){
buff.append(tempLine + "\n");  //循环追加数据
}

} catch (Exception e) {

e.printStackTrace();
System.out.println("Conection timeout ...");
} finally {
if(in != null){
try {
in.close();
} catch (IOException e) {
e.printStackTrace();
}
}

}

return buff.toString();
}
}