python3 利用requests爬取拉勾网数据

学习python，了解了一点爬虫的知识，成功的对拉勾网的招聘信息进行了爬取，将爬取心得记录下来，和大家一起学习进步。

准备工作：

python3

requests

pandas

谷歌浏览器(或者火狐浏览器、qq浏览器)

爬取步骤：

首先打开拉勾网的网址对网站进行分析，打开拉勾网首页(https://www.lagou.com/)，通过常用的get方式请求，返回的网页信息不完整，考虑网站是用了ajax异步刷新，所以需要用开发者工具，截取数据包，找到post请求的页面，进行分析。



按照图片中的箭头所示，先打开f12调试工具，点击Network，然后输入你想搜索的职位名称，在这以python为例，搜索，会看见下面加载出很多的文件，在这里选择XHR格式，第一个就是post请求的文件，这是我们开始分析这个post请求，看看是不是我们所需要的页面





发现里面存储的是我们需要的数据，随意需要使用post请求，获取动态加载的数据



上面的是我们需要的模仿浏览器访问添加的请求头，下面的是我们通过post提交的数据

首先我们需要安装requests和pandas模块，

可以使用

pip install requests

pip install pandas

安装模块

然后开始代码实现：

import requests
from time import sleep
import random
import pandas
#职位所属地
city='北京'
#职位关键字
job='python'
url='https://www.lagou.com/jobs/positionAjax.json?city='+city+'&needAddtionalResult=false&isSchoolJob=0'
header = {
'Host': 'www.lagou.com',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Language': 'zh-CN,en-US;q=0.7,en;q=0.3',
'Accept-Encoding': 'gzip, deflate, br',
'Referer': 'https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'X-Requested-With': 'XMLHttpRequest',
'X-Anit-Forge-Token': 'None',
'X-Anit-Forge-Code': '0',
'Content-Length': '26',
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Cache-Control': 'no-cache'
}
for num in range(1,16):
#取随机延迟
ran=random.randint(1,3)
sleep(ran)
#
flag='true'
if num!=1:
flag='false'
form = {'first':flag,
'kd':job,
'pn':str(num)}
html=requests.post(url=url,data=form,headers=header)
result=html.json()
print('--------------------'+str(num)+'-----------------------')
data=result['content']['positionResult']['result']
print(data)
table = pandas.DataFrame(data)
table.to_csv(r'C:\Users\Administrator\Desktop\LaGouPython.csv',header = False, index = False,mode='a+')

经过一段时间的等待，可以在桌面看到我们爬取的全部拉勾网的信息



以上简单的爬虫就已经实现了，欢迎大家一起学习交流。