Jsoup网页内容抓取分析
2013-04-07 13:00
399 查看
在Java 程序在解析HTML 文档时，大家应该晓得htmlparser 这个开源项目，我也是使用过，不过这个程序到了2006年就没有更新了。由于我的基础较差，对于扩展自定义的标签还是不太懂，还是有超时问题困扰，偶然的机会中发现有jsoup，而且更新到了1.72版，使用起来还是很容易上手的。下面写些使用心得：
jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.
jsuop是一款java的html解析器，提供一套非常省力的API，通过dom模型css和类似于jquery的方式来获取和操作数据。
功能：1.解析一个Html文档，2.解析一个body片段
Java代码
String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);//分析文档，使用doc.toString()可以转为文本
Element body=doc.body();//获取body片段，使用body.toString()可以转为文本
获取方式：1.从本地文件加载 2.根据url地址获取
Java代码
/**使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法
*其中baseUri参数用于解决文件中URLs是相对路径的问题。
*如果不需要可以传入一个空的字符串。
*/
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
Java代码
/**
*根据url直接获取内容，可以加入超时，get方法不行，就用post方法
*我在实际应用中，出现404,405,504等错误信息
*将get改为post就可以，或者反过来改
*如果等以后弄明白了，再来解释清楚
*/
Document doc1 = Jsoup.connect("http://www.hao123.com/").get();
String title = doc1.title(); //获取网页的标题
String content=doc1.toString();//将网页转为文本
Document doc2 = Jsoup.connect("http://www.hao123.com")
.data("query", "Java")//请求参数
.userAgent("Mozilla")//设置urer-agent
.cookie("auth", "token")//设置cookie
.timeout(50000)//设置连接超时
.post();//或者改为get
经过我的测试使用，jsoup分析网页结构和内容的功能远远强大于HtmlParser,无论是获取整个页面的文本，还是分析特定内容的网页结构，都是十分的方便。
附上链接：jsoup官网：http://jsoup.org/ ，中文jsoup：http://www.open-open.com/jsoup/
下面写些我的使用记录，希望大家如果能从我的方法中得到启发，鉴于本人从事开发工作不久，内容可能写的不是很好。
jsoup数据获取有两大方法：1.通过分析dom模型的网页标签和元素，2.select元素选择器，类似jquery方式（功能很强大，还支持正则表达式）。网页tag标签有body，div，table，tr，td，a，等等。元素的属性有，href，title，width，height，color等等，元素属性的值就是，例如：href=“www.baidu.com”, 值就是www.baidu.com 。width=“98%” 值就是98%
下面就以分析http://www.iteye.com首页的每日资讯为例，抓取每日资讯的标题和url地址，详细写出分析步骤：
1.用chrome浏览器的元素审查，分析页面的结构，得到每日资讯是div class=<main_left>层里面
2.写程序分析，首先根据url获取div文本，再来根据文本对内容进行分析
Java代码
/**
* 根据jsoup方法获取htmlContent
* 加入简单的时间记录
* @throws IOException
*/
public static String getContentByJsoup(String url){
String content="";
try {
System.out.println("time=====start");
Date startdate=new Date();
Document doc=Jsoup.connect(url)
.data("jquery", "java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(50000)
.get();
Date enddate=new Date();
Long time=enddate.getTime()-startdate.getTime();
System.out.println("使用Jsoup耗时=="+time);
System.out.println("time=====end");
content=doc.toString();//获取iteye网站的源码html内容
System.out.println(doc.title());//获取iteye网站的标题
} catch (IOException e) {
e.printStackTrace();
}
System.out.println(content);
return content;
}
3. 根据整个每日资讯所在的div层，获取那段内容（精确获取）
Java代码
/**
* 使用jsoup来对文档分析
* 获取目标内容所在的目标层
* 这个目标层可以是div，table，tr等等
*/
public static String getDivContentByJsoup(String content){
String divContent="";
Document doc=Jsoup.parse(content);
Elements divs=doc.getElementsByClass("main_left");
divContent=divs.toString();
//System.out.println("div==="+divContent);
return divContent;
}
4.根据获取的目标层得到你所要的内容（title，url地址...等等）
Java代码
/**
* 使用jsoup分析divContent
* 1.获取链接 2.获取url地址（绝对路径）
*/
public static void getLinksByJsoup(String divContent){
String abs="http://www.iteye.com/";
Document doc=Jsoup.parse(divContent,abs);
Elements linkStrs=doc.getElementsByTag("li");
System.out.println("链接==="+linkStrs.size());
for(Element linkStr:linkStrs){
String url=linkStr.getElementsByTag("a").attr("abs:href");
String title=linkStr.getElementsByTag("a").text();
System.out.println("标题:"+title+" url:"+url);
}
}
5.加入main方法里面执行测试
Java代码
/**
* @method 测试获取内容程序
*/
public static void main(String[] args) throws IOException {
/**
* 执行分析程序
*/
String url="http://www.iteye.com/";
String HtmlContent=getContentByJsoup(url);
String divContent=getDivContentByJsoup(HtmlContent);
getLinksByJsoup(divContent);
}
6.附上结束语：jsoup功能很好很强大，附上的只是简单的使用方法，还有很多需要完善的内容，我其实使用也不到几天的时间。还有就是select功能还是很好用的，具体参考官方文档，写的非常的通俗易懂
感兴趣的也可以试试htmlcleaner+xpath的组合
jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.
jsuop是一款java的html解析器，提供一套非常省力的API，通过dom模型css和类似于jquery的方式来获取和操作数据。
功能：1.解析一个Html文档，2.解析一个body片段
Java代码
String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);//分析文档，使用doc.toString()可以转为文本
Element body=doc.body();//获取body片段，使用body.toString()可以转为文本
获取方式：1.从本地文件加载 2.根据url地址获取
Java代码
/**使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法
*其中baseUri参数用于解决文件中URLs是相对路径的问题。
*如果不需要可以传入一个空的字符串。
*/
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
Java代码
/**
*根据url直接获取内容，可以加入超时，get方法不行，就用post方法
*我在实际应用中，出现404,405,504等错误信息
*将get改为post就可以，或者反过来改
*如果等以后弄明白了，再来解释清楚
*/
Document doc1 = Jsoup.connect("http://www.hao123.com/").get();
String title = doc1.title(); //获取网页的标题
String content=doc1.toString();//将网页转为文本
Document doc2 = Jsoup.connect("http://www.hao123.com")
.data("query", "Java")//请求参数
.userAgent("Mozilla")//设置urer-agent
.cookie("auth", "token")//设置cookie
.timeout(50000)//设置连接超时
.post();//或者改为get
经过我的测试使用，jsoup分析网页结构和内容的功能远远强大于HtmlParser,无论是获取整个页面的文本，还是分析特定内容的网页结构，都是十分的方便。
附上链接：jsoup官网：http://jsoup.org/ ，中文jsoup：http://www.open-open.com/jsoup/
下面写些我的使用记录，希望大家如果能从我的方法中得到启发，鉴于本人从事开发工作不久，内容可能写的不是很好。
jsoup数据获取有两大方法：1.通过分析dom模型的网页标签和元素，2.select元素选择器，类似jquery方式（功能很强大，还支持正则表达式）。网页tag标签有body，div，table，tr，td，a，等等。元素的属性有，href，title，width，height，color等等，元素属性的值就是，例如：href=“www.baidu.com”, 值就是www.baidu.com 。width=“98%” 值就是98%
下面就以分析http://www.iteye.com首页的每日资讯为例，抓取每日资讯的标题和url地址，详细写出分析步骤：
1.用chrome浏览器的元素审查，分析页面的结构，得到每日资讯是div class=<main_left>层里面
2.写程序分析，首先根据url获取div文本，再来根据文本对内容进行分析
Java代码
/**
* 根据jsoup方法获取htmlContent
* 加入简单的时间记录
* @throws IOException
*/
public static String getContentByJsoup(String url){
String content="";
try {
System.out.println("time=====start");
Date startdate=new Date();
Document doc=Jsoup.connect(url)
.data("jquery", "java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(50000)
.get();
Date enddate=new Date();
Long time=enddate.getTime()-startdate.getTime();
System.out.println("使用Jsoup耗时=="+time);
System.out.println("time=====end");
content=doc.toString();//获取iteye网站的源码html内容
System.out.println(doc.title());//获取iteye网站的标题
} catch (IOException e) {
e.printStackTrace();
}
System.out.println(content);
return content;
}
3. 根据整个每日资讯所在的div层，获取那段内容（精确获取）
Java代码
/**
* 使用jsoup来对文档分析
* 获取目标内容所在的目标层
* 这个目标层可以是div，table，tr等等
*/
public static String getDivContentByJsoup(String content){
String divContent="";
Document doc=Jsoup.parse(content);
Elements divs=doc.getElementsByClass("main_left");
divContent=divs.toString();
//System.out.println("div==="+divContent);
return divContent;
}
4.根据获取的目标层得到你所要的内容（title，url地址...等等）
Java代码
/**
* 使用jsoup分析divContent
* 1.获取链接 2.获取url地址（绝对路径）
*/
public static void getLinksByJsoup(String divContent){
String abs="http://www.iteye.com/";
Document doc=Jsoup.parse(divContent,abs);
Elements linkStrs=doc.getElementsByTag("li");
System.out.println("链接==="+linkStrs.size());
for(Element linkStr:linkStrs){
String url=linkStr.getElementsByTag("a").attr("abs:href");
String title=linkStr.getElementsByTag("a").text();
System.out.println("标题:"+title+" url:"+url);
}
}
5.加入main方法里面执行测试
Java代码
/**
* @method 测试获取内容程序
*/
public static void main(String[] args) throws IOException {
/**
* 执行分析程序
*/
String url="http://www.iteye.com/";
String HtmlContent=getContentByJsoup(url);
String divContent=getDivContentByJsoup(HtmlContent);
getLinksByJsoup(divContent);
}
6.附上结束语：jsoup功能很好很强大，附上的只是简单的使用方法，还有很多需要完善的内容，我其实使用也不到几天的时间。还有就是select功能还是很好用的，具体参考官方文档，写的非常的通俗易懂
感兴趣的也可以试试htmlcleaner+xpath的组合
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Jsoup网页内容抓取分析(1)
- Jsoup网页内容抓取分析
- Jsoup网页内容抓取分析
- Jsoup网页内容抓取分析
- JSOUP抓取网页内容
- 使用PHP简单网页抓取和内容分析
- 使用PHP简单网页抓取和内容分析
- 黄聪：关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项（转）
- 抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项
- Jsoup抓取网页内容超时问题的处理
- 黄聪：关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项（转）
- java爬虫（使用jsoup设置代理，抓取网页内容）
- 使用jsoup进行网页内容抓取
- node.js抓取并分析网页内容有无特殊内容的js文件
- 使用PHP简单网页抓取和内容分析
- Python抓取网页中内容，正则分析后…
- 利用jsoup抓取指定网页的照片【也可以修改一下抓取其他内容】
- 使用C#抓取网页内容并分析获取数据
- 如何使用HttpClient和Jsoup抓取网页及分析网页
- 安卓新闻客户端（二） JSOUP解析HTML 抓取网页内容