【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息

使用Scrapy框架爬取拉勾网招聘信息

最近接触了Scrapy爬虫框架，简单写了个爬虫爬取拉钩网的招聘信息，加深对Scrapy框架的理解，不得不说Scrapy框架其实还是蛮方便的，就像爬虫流水线一样，如果是大项目的话使用Scrapy会变得更加容易管理，废话不多说，下面就看看如何使用Scrapy爬取拉勾网招聘消息吧。

 




 



我们发现由于数据是分页显示的，如果想要获取每一页的内容，自然需要获取每一页的链接。

我们点击下一页，发现页面回到了顶端，并且url栏没有任何变化！为什么呢？当前页的参数去哪里了？我们需要这里又用到了chrone浏览器强大的开发者工具了。在点击“3”之后，出现了下面的请求。

 


可以看到，传到后台的页码参数正安静地躺在那里呢，也就是图中的pn，而kd就是我们传入的关键字keyword。在这里我们也可以得到请求的url。但是，如何爬取ajax请求返回的数据呢？在scrapy中，我们可以通过start_requests这个函数返回一个请求列表，框架会按照这个请求列表去请求，然后将得到的response交给我们写好的回调函数，json数据就包含在response中。代码如下：

def start_requests(self):
#修改city参数更换城市
url= "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0&city=广州"
requests = []
#range是查询的页码范围
for i in range(1, 60):
#修改kd参数更换关键字
formdata = {'first':'false', 'pn':str(i),'kd':'java'}
request = FormRequest(url, callback=self.parse_model,formdata=formdata)
requests.append(request)
print(request)
return requests

这里我们同样需要构造我们的请求头，scrapy框架会自动去读取的。

custom_settings = {
"DEFAULT_REQUEST_HEADERS": {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',            'Host': 'www.lagou.com',
'Origin': 'https://www.lagou.com',
'Referer': 'https://www.lagou.com/jobs/list_java?',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',
'X-Anit-Forge-Code': '0',
'X-Anit-Forge-Token': 'None',
'X-Requested-With': 'XMLHttpRequest'
},
"ITEM_PIPELINES": {
'lagou.pipelines.LagouPipeline': 300
}
}

分析传回来的json数据的结构，可以得到我们的处理函数如下：

def parse_model(self, response):
print(response.body.decode())
jsonBody =json.loads(response.body.decode())
results = jsonBody['content']['positionResult']['result']
items=[]
for result in results:
item=LagouItem()
item['name']=result['positionName']
item['workLocation']=result['city']
if result['district']:
item['workLocation']+=result['district']
if result['businessZones']:
for zone in result['businessZones']:
item['workLocation'] +=zone
#item['catalog']
item['money']=result['salary']
item['demand']=result['workYear']+"/"+result['education']
item['skillLabel']=",".join(result['positionLables'])
item['positionAdvantage']=result['positionAdvantage']
item['publishTime']=result['formatCreateTime']
item['company']=result['companyFullName']
item['companyField']=result['industryField']
item['companyLabelList']=",".join(result['companyLabelList'])
item['detailLink']="https://www.lagou.com/jobs/"+str(result['positionId'])+".html"
item['detailCompany']="https://www.lagou.com/gongsi/"+str(+result['companyId'])+".html"
items.append(item)
return items

Item具体如下：

class LagouItem(Item):
name = Field()                # 职位名称
workLocation = Field()        # 工作地点
catalog = Field()             # 职位类别
money= Field()                # 薪资水平
demand=Field()                # 要求
skillLabel=Field()            # 技能标签
publishTime = Field()         # 发布时间
company = Field()             # 公司名称
companyField=Field()          # 公司服务领域
companyLabelList=Field()      # 公司简介
positionAdvantage=Field()     # 职位福利
detailLink = Field()          # 职位详情页链接
detailCompany=Field()         # 公司详情页链接

数据提取完之后，由Pine来处理并进行后续操作，如储存在excel/数据库中。这里我将爬到的数据存到xlsx中。代码如下：

class LagouPipeline(object):
def __init__(self):
self.workbook = Workbook()
self.ws = self.workbook.active
self.ws.append(['职位名称', '工作地点', '薪资水平', '要求', '技能标签', '发布时间','公司名称','公司服务领域','公司简介','职位福利','职位详情页链接','公司详情页链接'])  # 设置表头
#self.file = codecs.open('tencent.json','w', encoding='utf-8')
def process_item(self, item, spider):
line = [item['name'], item['workLocation'],item['money'], item['demand'], item['skillLabel'],
item['publishTime'],item['company'],item['companyField'],item['companyLabelList'],item['positionAdvantage'],item['detailLink'],item['detailCompany']]  # 把数据中每一项整理出来
self.ws.append(line)
self.workbook.save('lagou.xlsx')  # 保存xlsx文件
#line = json.dumps(dict(item), ensure_ascii=False)+ "\n"
#self.file.write(line)
return item
def spider_closed(self, spider):
self.file.close()

最后为了防止拉勾网的反爬虫机制，在setting里设置拒绝遵守robot协议，并且设置爬取时延，防止被认为是爬虫。

ROBOTSTXT_OBEY = False
DOWNLOAD_DELAY = 10

最终效果如下：