您的位置:首页 > 编程语言 > Java开发

java爬取今日头条文章

2016-12-01 11:30 260 查看
闲来无事,写了个爬虫爬取今日头条的文章信息,然后使用ECharts展示出统计结果。

那么怎样爬取今日头条的信息呢?

首先,分析头条页面



文章是通过ajax获取的



所以要找到调用的url,然后跟踪代码查看url所需的参数,然后使用Java拼装成调用的url即可获得返回的json数据。



上图为ajax调用的url地址,接下来就是拼接所需的参数



参数拼接完成后即可调用接收返回的json,然后从json中提取你需要的数据。将数据存入库,然后使用ECharts将统计结果以图表形式展现。

演示地址:www.weare.net.cn/toutiao.html

源码地址:https://git.oschina.net/xiaozhangbadao/TodayTopSplider
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  爬虫 java