Java抓取360网页手机助手评论

最近在看java多线程,多看不如一敲,索性就爬取一些数据量较大的信息吧.

题目大意:在取360网页手机助手里面抓取某类软件的前几十个排名的软件的全部评论.

例如:获取数据的xml格式如下：

<?xml version="1.0"?>
<app>
<appid>优酷</appid>
<allcomments>53268</allcomments>
<comment>
<userid>西雅尔</userid>
<time>2015-10-06</time>
<review>为什么流量缓存不了</review>
<agreecount>10</agreecount>
</comment>
<comment>
<userid>嘿明天</userid>
<time>2015-10-09</time>
<review>很好用，值得推荐</review>
<agreecount>2</agreecount>
</comment>
</app>

分析:

1.分析:对于每一个软件其url地址,

如优酷http://zhushou.360.cn/detail/index/soft_id/3581只是其最后的数字不同(我们下文就叫他”id号”),关键就是获得其id号就ok了.

解决:在某种类型的网页里,我们可以利用正则,Jsoup等获取其id号

2.分析:其评论是动态加载,利用分析者工具发现其每次访问地址如http://intf.baike.360.cn/index.php?name=%E4%BC%98%E9%85%B7%E8%A7%86%E9%A2%91&c=message&a=getmessage&start=10&count=10,其中name是软件的名字,start是评论这次从哪里开始,count是这一次显示多少个,我的这里每次最多显示20个,这三个是动态变化的.我们只要获得name,在设置一下start,count的变化规则就ok了.

解决:在访问每个软件时,在其网页里面能获得.

3.分析:比如酷狗其评论就8万多,而每次只能抓取20个,这要用多长时间啊,我刚开始用单线程,哎呀,慢的我想哭!

解决:多线程这时间就派上用场了!

代码:

分析完了,想通了,就开始写代码吧.当然在其中还是会出现这样那样的错误,不怕,解决他就ok了.

具体代码请参考我的git

遇见的问题:

把xml写不进去文件,但是明明在终端下能把抓取到的信息输出来.

相关代码:

for(int start = 0;start < allcommentscount;start += count){
if(start+count>allcommentscount){
count = allcommentscount-start;
}
executorService.submit(new CrawlComments(app, start, count, name));
}
executorService.shutdown();
CrawlUtil.WtiteXmlToFile(app, "/home/xxxx/comments/" + name.split("\\+")[0] + ".xml");

在写线程池的时候,只是照猫画虎的使用,没有真正的理解executorService.shutdown();



也就是说他只是停止接受任务,我还没有待任务完成就执行了写文件的操作,当然什么都不会有.

改正后的代码:

for(int start = 0;start < allcommentscount;start += count){
if(start+count>allcommentscount){
count = allcommentscount-start;
}
executorService.submit(new CrawlComments(app, start, count, name));
}
executorService.shutdown();
//检查任务是否执行完成
while (!executorService.isTerminated()) {
Thread.sleep(1000);
}
CrawlUtil.WtiteXmlToFile(app, "/home/xxxx/comments/" + name.split("\\+")[0] + ".xml");