基于selenium和requests的京东商品信息和评论爬虫
2017-10-06 22:31
876 查看
写了个京东爬虫，基于selenium和requests两个包相结合的，能抓取产品的标题、价格、评论数量、产品的url、产品前100条评论（需要抓取更多可以在代码里面改动）、产品的规格、产品介绍、产品售后信息。数据结合peewee存入sqlite数据库。先执行JD_model.py建立数据库，然后主程序入口JDcrawler.py。现检索词为“电缆线”。
代码github
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- python爬虫（7）——获取京东商品评论信息
- python爬虫selenium+firefox抓取京东商品评论
- 4000 【爬虫】 通过关键字爬取淘宝商品列表信息 selenium 的 webdriverwait 和expected_conditions
- python淘宝爬虫基于requests抓取淘宝商品数据
- python制作爬虫爬取京东商品评论教程
- 爬虫学习笔记_京东商品内容、评论
- 详细教程 ：crawler4j 爬取京东商品信息 Java爬虫入门 crawler4j教程
- 京东商品信息和评价采集爬虫源码
- Python爬虫——4.6使用requests和正则表达式、随机代理爬取淘宝网商品信息
- 京东商品评价信息采集爬虫开发教程
- [Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
- Python+Scrapy+Selenium简单爬取淘宝天猫商品信息及评论
- 手把手教你写电商爬虫-第五课 京东商品评论爬虫 一起来对付反爬虫
- [Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
- python爬虫实战(一)----------爬取京东商品信息
- 京东、商品信息（价格）、用户评论、用户信息采集
- 用 requests 和 bs4 爬取京东商品页面信息
- Python+Selenium+Chrome抓取京东商品信息
- python爬虫（6）——获取天猫商品评论信息
- [置顶] [爬虫]使用python抓取京东全站数据（商品，店铺，分类，评论）