网络爬虫中Jsoup请求url
2017-02-11 09:45
344 查看
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
下面是我写的一个案例欢迎大家参考:
下面是我写的一个案例欢迎大家参考:
import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; /* * author:合肥工业大学 管院学院 钱洋 *1563178220@qq.com *博客地址:http://blog.csdn.net/qy20115549/ */ public class JsoupTest { public static void main(String[] args) throws IOException { /* * 解析一个字符串 */ String html = "First parse" + "Parsed HTML into a doc."; Document doc = Jsoup.parse(html); System.out.println(doc); /* * 解析url */ String url="http://www.tripadvisor.com/SearchForums?q=airbnb&x=18&y=10&pid=34633&s=+"; Document doc1=Jsoup.connect(url).userAgent("bbb").timeout(50000).get(); Elements ele=doc1.select("table[class=forumsearchresults]").select("tr[class~=firstpostrow?]"); for (Element elem:ele) { String _id=elem.attr("id"); String _url="http://www.tripadvisor.com"+elem.select("td[onclick~=setPID?]").select("a"). attr("href"); String _content=elem.select("td[onclick~=setPID?]").select("a").text(); System.out.println(_id+"===="+_url+"===="+_content); } } }
相关文章推荐
- 【使用JSOUP实现网络爬虫】从一个URL加载一个Document
- 【使用JSOUP实现网络爬虫】从一个URL加载一个Document
- [Python]网络爬虫1:抓取网页的含义和URL基本构成 笔记
- 网络数据请求NSMutableURLRequest-NSHTTPURLResponse
- 【使用JSOUP实现网络爬虫】从元素抽取属性,文本和HTML
- 【使用JSOUP实现网络爬虫】修改数据-设置一个元素的HTML内容
- 【使用JSOUP实现网络爬虫】修改数据-设置属性的值
- 基于网络爬虫的有效URL缓存(英文原文)
- IOS网络编请求响应之URL结构
- 【使用JSOUP实现网络爬虫】使用DOM方法来遍历一个文档
- iOS 网络请求URL包含中文解决方法
- 【使用JSOUP实现网络爬虫】清理HTML-消除不受信任的html (来防止xss攻击)
- URLConnection,HttpURLConnection 使用总结 - 网络爬虫基础版
- Go语言 爬虫1-网络请求
- 关于HttpUrlConnection网络请求之返回结果的中文乱码原因的探索
- 【使用JSOUP实现网络爬虫】使用选择器语法来查找元素
- 通过URL请求获取网络资源
- 网络爬虫中,URL队列(URL Frontier)的设计与实现
- 【使用JSOUP实现网络爬虫】入门:解析和遍历一个HTML文档
- 【使用JSOUP实现网络爬虫】获取所有链接