python爬取淘宝商品销量信息
2018-12-08 08:02
4143 查看
python爬取淘宝商品销量的程序,运行程序,输入想要爬取的商品关键词,在代码中的‘###'可以进一步约束商品的属性,比如某某作者的书籍,可以在###处输入作者名字,以及时期等等。最后可以得到所要商品的总销量
import requests import bs4 import re import json def open(keywords, page): headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"} payload = {'q':keywords, 'sort':"sale-desc", 's':(page-1)*44} url = "https://s.taobao.com/search" res = requests.get(url, params = payload) return res def get_item(res): g_page_config = re.search(r'g_page_config = (.*?);\n', res.text) page_config_json = json.loads(g_page_config.group(1)) page_item = page_config_json['mods']['itemlist']['data']['auctions'] result = []#整理出我们关注的信息(ID,标题,链接,售价,销量和商家) for each in page_item: dict1 = dict.fromkeys(('id','title','link','price','sale','shoper')) dict1['id'] = each['nid'] dict1['title'] = each['title'] dict1['link'] = each['detail_url'] dict1['price'] = each['view_price'] dict1['sale'] = each['view_sales'] dict1['shoper'] = each['nick'] result.append(dict1) return result def count_sales(items): count = 0 for each in items: if '###' in each['title']:#规定只取标题中‘###'的商品 count += int(re.search(r'\d+',each['sale']).group()) return count def main(): keywords = input("请输入搜索关键词:")#可以为各种商品名称 length = 10#淘宝商品页数 total = 0 for each in range(length): res = open(keywords, each+1) items = get_item(res) total += count_sales(items)#销售总量 print(total) if __name__ == "__main__": main()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- python按综合、销量排序抓取100页的淘宝商品列表信息
- 简单的抓取淘宝关键字信息、图片的Python爬虫|Python3中级玩家:淘宝天猫商品搜索爬虫自动化工具(第二篇)
- python3实现爬取淘宝页面的商品的数据信息(selenium+pyquery+mongodb)
- Python网页信息采集:使用PhantomJS采集淘宝天猫商品内容
- python抓取淘宝商品信息
- python爬取淘宝商品信息并加入购物车
- 使用python利器selenium工具模拟浏览器运行并爬取淘宝商品信息
- Python爬取淘宝商品信息
- python通过关键字搜索淘宝商品详细信息
- python爬虫之:淘宝商品搜索爬虫(收集商品信息/下载详情图)
- Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例
- python爬虫爬取淘宝商品信息(selenum+phontomjs)
- 使用python + selenium爬取淘宝商品信息
- python爬虫爬取淘宝商品信息
- python selenium实现下拉 爬取淘宝商品信息
- Python 自动化测试chrome driver(模拟浏览器进行爬取淘宝商品信息)
- Python网页信息采集:使用PhantomJS采集淘宝天猫商品内容
- Python网页信息采集:使用PhantomJS采集淘宝天猫商品内容
- python学习之爬取淘宝商品信息
- [笔记]python爬虫:淘宝商品价格信息爬取示例