您的位置:首页 > 编程语言 > Python开发

python爬虫--销量最多的天猫bra店铺分析中国女性最钟爱的bra颜色

2020-07-14 04:53 127 查看

最近在学Python爬虫,本着费曼学习法,即假如你面对的是一个新手小白时,你能把所学的解释清楚,你就学懂了(我自己也是新手,哈哈哈),学以致用。

Python爬虫-所有爬虫无外乎这几个步骤:
一、requests 方法获取网页
二、解析网页数据
三、将数据保存本地
四、清洗数据,对数据进行可视化分析

一、获取网页
打开销量最高的店铺,按F12,将网页调成开发者模式。

再次对页面进行分析,请求方式为get,使用requests中的get方法就能实现,url为固定url拼接参数化的url方式,因此第一部分代码为:

import requests
import urllib
import  bs4
#固定的url与参数化的url组成url
url = url_guding + url_canshuhua
url_guding = 'https://hd.mmstat.com/taobaolive.videox.expose?'
#循环的化的url,使url进行参数化
for i in 200:
url_canshuhua = 'gmkey=EXP&gokey=fps%3D3%26dts_speed%3D%26network_state%3DNETWORK_LOADING%26connect_type%3D4g%26downlink%3D10%26average_delay%3D7.975%26rtt%3D100%26app%3Dtbvideo%26media_id%3D257835590059%26ext%3Dmp4%26video_type%3Dvideo%26from%3Dmalldetail%26type%3Dvideo%26videoId%3D%26playsid%3De4e54904-bf55-45a4-a807-57def0bb440c%26video_duration%3D59.716%26duration%3D2943%26_hng%3DCN%25257Czh-CN%25257CCNY%25257C156%26aws%3D1%26jsver%3Daplus_std%26lver%3D8.14.1%26pver%3D0.7.11%26cache%3De310dfd%26page_cna%3DhZY%2BFi7kY1ACAXGL%2Bv20DGcP%26_slog%3D0&cna=hZY%2BFi7kY1ACAXGL%2Bv20DGcP&spm-cnt=a220o.1000855.0.0.167823bbHdxp70&logtype=i'
#获取网页
rse = requests.get(url)
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐