Python爬虫过程解析之多线程获取小米应用商店数据
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
以下文章来源于IT共享之家 ,作者IT共享者
前言
小米应用商店给用户发现最好的安卓应用和游戏,安全可靠,可是要下载东西要一个一个地搜索太麻烦了。而且速度不是很快。
今天用多线程爬取小米应用商店的游戏模块。快速获取。
二、项目目标
目标 :应用分类 - 聊天社交 应用名称, 应用链接,显示在控制台供用户下载。
三、涉及的库和网站
1、网址:百度搜 - 小米应用商店,进入官网。
2、涉及的库:requests、threading 、queue 、json、time
3、软件:PyCharm
四、项目分析
1、确认是否为动态加载。
通过页面局部刷新, 右键查看网页源代码,搜索关键字未搜到 。断定此网站为动态加载网站,需要抓取网络数据包分析。
2、使用chrome浏览器,F12抓取网络数据包。
1)抓取返回json数据的URL地址(Headers中的Request URL)。
http://app.mi.com/categotyAllListApi?page={}&categoryId=2&pageSize=30
2)查看并分析查询参数(headers中的Query String Parameters)。
page: 1 categoryId: 2 pageSize: 30
发现只有page再变,0 1 2 3 ... ... ,这样我们就可以通过控制page的直拼接多个返回json数据的URL地址。
五、项目实施
1、我们定义一个class类继承object,然后定义init方法继承self,再定义一个主函数main继承self。准备导入库,url地址和请求头headers。
import requests from threading import Thread from queue import Queue import json import time class XiaomiSpider(object): def __init__(self): self.headers = {'User-Agent':'Mozilla/5.0'} self.url = 'http://app.mi.com/categotyAllListApi?page={}&categoryId=15&pageSize=30' def main(self): pass if __name__ == '__main__': imageSpider = XiaomiSpider() imageSpider.main()
2、定义队列,用来存放URL地址
self.url_queue = Queue()
3、URL入队列
def url_in(self): # 拼接多个URL地址,然后put()到队列中 for i in range(67): self.url.format((str(i))) self.url_queue.put(self.url)
4、定义线程事件函数get_page(请求数据)
defget_page(self): # 先get()URL地址,发请求 while True: # 当队列不为空时,获取url地址 if not self.url_queue.empty(): url = self.url_queue.get() html = requests.get(url,headers=self.headers).text self.parse_page(html) else: break
5、定义函数parse_page 解析json模块,提取应用名称,应用链接内容。
# 解析函数 def parse_page(self,html): app_json = json.loads(html) for app in app_json['data']: # 应用名称 name = app['displayName'] # 应用链接 link = 'http://app.mi.com/details?id={}'.format(app['packageName']) d = { '名称' : name,'链接' : link } print(d)
6、main方法, 定义t_list = [] 存放所有线程的列表。调用get_page多线程爬取。
def main(self): self.url_in() # 存放所有线程的列表 t_list = [] for i in range(10): t = Thread(target=self.get_page) t.start() t_list.append(t)
7、for循环遍历列表,统一回收线程。
# 统一回收线程for p in t_list: p.join()
8、统计一下执行时间。
start = time.time() spider = XiaomiSpider() spider.main() end = time.time() print('执行时间:%.2f' % (end-start))
六、效果展示
1、运行程序。点击运行,将游戏名称,下载链接,执行时间,显示在控制台。
2、点击蓝色的网址可以直接去到下载页面下载应用,如下图所示。
到此这篇关于Python爬虫过程解析之多线程获取小米应用商店数据的文章就介绍到这了,更多相关Python多线程获取小米应用商店数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
您可能感兴趣的文章:- Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程
- python爬虫 猫眼电影和电影天堂数据csv和mysql存储过程解析
- Python3写爬虫(四)多线程实现数据爬取
- python多线程获取网络数据,与单线程进行比较
- Python-爬虫6-页面解析和数据提取的方法、正则表达式
- Python多线程获取上证50成分股交易数据
- Python下的数据处理和机器学习,对数据在线及本地获取、解析、预处理和训练、预测、交叉验证、可视化
- python多线程爬虫实例加分析过程
- Python爬虫实例2-多线程爬虫抓取糗事百科数据
- Python实现简单的爬虫获取某刀网的更新数据
- python爬虫获取数据后存入MySQL数据库中
- 【python爬虫】爬取网页视频,解析m3u8文件,获取ts并合成mp4
- python爬虫 2019中国好声音评论爬取过程解析
- Python爬虫爬取Bilibili弹幕过程解析
- Python爬虫--POI数据获取
- 利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分
- Python爬虫:获取链家,搜房,大众点评的数据
- Python多线程爬虫获取电影下载链接
- python量化分析系列之---python分别使用多线程和多进程获取所有股票实时数据
- Python爬虫笔记(2)根据目标信息解析数据和存储目标信息