Android App使用Jsoup抓取网页数据显示

学习Jsoup可以到：http://www.open-open.com/jsoup/parsing-a-document.htm了解下什么是Jsoup，有什么作用。

使用Jsoup需要用到的浏览器是：google Chrome，看以下两张图就明白为什么要使用google Chrome

这是一个新闻网站上的页面，使用google Chrome打开，然后按键盘上的F12（当然也可以右键“查看网页源代码”查看，但没有F12直观），就出现右边部分，在右边最上方可以看到Elements；点击相应的标签，看到左边会相应选中，在右边下方可以看到selector，可以类似于CSS或jQuery的语法来查找和操作元素





以上信息在程序中如何获取？可以看以下代码

/**
* 根据文章的url返回一个NewsDto对象
*
* @return
* @throws CommonException
*/
public NewsDto getNews(String urlStr) throws CommonException {
NewsDto newsDto = new NewsDto();
List<News> newses = new ArrayList<News>();
// String htmlStr = DataUtil.doGet(urlStr);

// Document doc = Jsoup.parse(htmlStr);
Document doc = jsoupConnect(urlStr);
if (doc == null)
return newsDto;
// FileUtil.writeSDcard("ccc.html", doc.toString());
Elements aas = doc.select("div.content-box.clear");
if (aas == null || aas.size() == 0) {
aas = doc.select("div#contentA.area");
if (aas == null || aas.size() == 0) {
aas = doc.select("div.layout-c-2-1");
// 其它情况暂时不支持 2015.09.22
if (aas == null || aas.size() == 0) {
return newsDto;
}
Element titleEle = aas.select("h1.article-title").get(0);
getTitle(newses, titleEle);

// 内容
Element contentsEle = aas.select("div.article-description")
.get(0);
Element desEle = contentsEle.getElementsByTag("p").get(0);
List<TextNode> lists = desEle.textNodes();
for (TextNode node : lists) {
//LogUtils.i("node = " + node.toString());
if (!node.toString().trim().equals("")) {
getContent(newses, node);
}
}

Element child = desEle.getElementsByTag("a").get(0);
getTextLink(newses, child);

newsDto.setNewses(newses);
return newsDto;
}
Element titleEle = aas.select("em.ttl").get(0);
// 标题
getTitle(newses, titleEle);

Elements bodyEle = aas.select("div.mainFrame");
// 图片
Elements imgs = bodyEle.get(0).getElementsByTag("img");
for (Element img : imgs) {
getImgLink(newses, img);
}
imgs.remove();

// 内容
Elements contentsEle = aas.select("p.explain");
for (Element child : contentsEle) {
getContent(newses, child);
}

newsDto.setNewses(newses);
return newsDto;
}
Element titleEle = aas.select("h1").get(0);
getTitle(newses, titleEle);

Elements bodyEle = aas.select("div#contentText.text.clear");
// 图片
Elements imgs = bodyEle.get(0).getElementsByTag("img");
for (Element img : imgs) {
getImgLink(newses, img);
}
imgs.remove();
// 内容
Elements contentsEle = bodyEle.select("p");
LogUtils.i("contentsEle.size() = " + contentsEle.size());
if (contentsEle == null || contentsEle.size() == 0) {
contentsEle = bodyEle.select("div");
LogUtils.i("size = " + contentsEle.size());
for (Element child : contentsEle) {
getContent(newses, child);
LogUtils.i("bodyEle text = " + child.text());
}
} else {
for (Element child : contentsEle) {
getContent(newses, child);
}
}

newsDto.setNewses(newses);
return newsDto;
}

private Document jsoupConnect(String urlStr) {

Document doc = null;
try {
doc = Jsoup.connect(urlStr).userAgent("Mozilla").timeout(50000)
.get();
//			doc = Jsoup.connect(urlStr)
//					  .data("query", "Java")
//					  .userAgent("Mozilla")
//					  .cookie("auth", "token")
//					  .timeout(3000)
//					  .post();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return doc;
}

private void getContent(List<News> newses, TextNode node) {
News news = new News();
news.setType(NewsType.CONTENT);
news.setContent(node.toString());
newses.add(news);
}

private void getTitle(List<News> newses, Element titleEle) {
News news = new News();
news.setTitle(titleEle.text());
news.setType(NewsType.TITLE);
newses.add(news);
}

private void getImgLink(List<News> newses, Element img) {
News news = new News();
news.setImageDes(img.attr("alt"));
news.setImageLink(img.attr("src"));
newses.add(news);
}

private void getTextLink(List<News> newses, Element child) {
String link = child.attr("abs:href"); // 文字的链接
News news = new News();
news.setTextLink(link);
news.setContent(child.text());
newses.add(news);
}

private void getContent(List<News> newses, Element child) {
News news = new News();
Elements strongs = child.select("strong");
String content = child.text();
news.setType(NewsType.CONTENT);
news.setContent(content);
for (Element strong : strongs) {
news.setType(NewsType.BOLD_TITLE);
break;
}
newses.add(news);
}

所有的代码可以到：http://pan.baidu.com/s/1i3KYTMX下载