您的位置:首页 > 运维架构 > 网站架构

火车采集器采集电商网站中网页源码中不显示的评论数据方法

2014-12-19 22:00 344 查看
1准备工具 (Fiddler 抓包工具 、火车头采集器)

2 以淘宝、京东为例

a首先打开Fiddler 软件

b打开要挖掘评论的网页如 京东 :http://item.jd.com/1023438.html#comments-list,在评论中点击评论的分页按钮,随便进入那一页的评论(便于抓包)

c在fiddler底部找评论的IP包 如图



经观察,发现s.club.jd.com 这个包是评论网页,把此地址可以输入浏览器检验(可以看到评论数据,则说明找对了)

d把此网址放到火车采集器即可 其他操作和有显示数据的网页操作一样

二 、淘宝数据挖掘操作:

抓包操作一样 选择:参数较多,也有多个变量,实验验证,只需设置这一个参数即可,currentPageNum=(*)
http://rate.taobao.com/feedRateList.htm?callback=jsonp_reviews_list&userNumId=41289893&auctionNumId=41162736586&siteID=7&currentPageNum=(*)&rateType=&orderType=sort_weight&showContent=1&attribute=&ua=022UW5TcyMNYQwiAiwQRHhBfEF8QXtHcklnMWc%3D%7CUm5Ockt3QnZDd0J6R3xFcCY%3D%7CU2xMHDJ7G2AHYg8hAS8RLQMjDVEwVjpdI1l3IXc%3D%7CVGhXd1llXGBVYVRgVW1Qa1JnUG1Pdkx5TXBNdU50SHNMdkN%2FS3NdCw%3D%3D%7CVWldfS0QMAs1CCgULAwiWDUZeBYyQn4baFhoTHEALngu%7CVmJCbEIU%7CV2lJGSUYLAwwCzYWKhQvGzsFPgM4BCQYIRglBTEMMREtFC0QMAU%2BA1UD%7CWGFcYUF8XGNDf0Z6WmRcZkZ8R2dZDw%3D%3D(*)
其他操作一样



内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  淘宝 京东 数据爬虫
相关文章推荐