爬虫框架之Scrapy——爬取某招聘信息网站

案例1：爬取内容存储为一个文件

1.建立项目

C:\pythonStudy\ScrapyProject>scrapy startproject tenCent
New Scrapy project 'tenCent', using template directory 'c:\\program files\\pytho
n36\\lib\\site-packages\\scrapy\\templates\\project', created in:
C:\pythonStudy\ScrapyProject\tenCent

You can start your first spider with:
cd tenCent
scrapy genspider example example.com

2.编写item文件

import scrapy

class TencentItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
# 职位名称
position_name = scrapy.Field()
# 详情链接
position_link = scrapy.Field()
# 职位类别
position_type = scrapy.Field()
# 职位人数
position_number = scrapy.Field()
# 职位地点
work_location = scrapy.Field()
# 发布时间
publish_times = scrapy.Field()
# 工作职责
position_duty = scrapy.Field()
# 工作要求
position_require = scrapy.Field()

3.建立spider文件

C:\pythonStudy\ScrapyProject\tenCent\tenCent\spiders>scrapy genspider tencent "hr.tencent.com"
Created spider 'tencent' using template 'basic' in module:
tenCent.spiders.tencent

编写spider类逻辑

from tenCent.items import TencentItem

class TencentSpider(scrapy.Spider):
name = 'tencent'
allowed_domains = ['hr.tencent.com']
base_url = 'https://hr.tencent.com/'
start_urls = ['https://hr.tencent.com/position.php']

def parse(self, response):
node_list = response.xpath('//tr[@class="even"] | //tr[@class="odd"]')
# 选取所有标签tr 且class属性等于even或odd的元素
next_page = response.xpath('//a[@id="next"]/@href').extract_first()
# 选取所有标签a且id=next,href属性值

for node in node_list:
'''
实例化对象要放在循环里面，否则会造成item被多次赋值，
因为每次循环完毕后，请求只给了调度器，入队，并没有去执行请求，
循环完毕后，下载器会异步执行队列中的请求,此时item已经为最后一条记录，
而详细内容根据url不同去请求的，所以每条详细页是完整的，
最终结果是数据内容为每页最后一条，详细内容与数据内容不一致，
在yield item后，会把内容写到pipeline中
'''
item = TencentItem()

item['position_name'] = node.xpath('./td[1]/a/text()').extract_first()  # 获取第一个td标签下a标签的文本
item['position_link'] = node.xpath('./td[1]/a/@href').extract_first()  # 获取第一个td标签下a标签href属性
item['position_type'] = node.xpath('./td[2]/text()').extract_first()  # 获取第二个td标签下文本
item['position_number'] = node.xpath('./td[3]/text()').extract_first()  # 获取第3个td标签下文本
item['work_location'] = node.xpath('./td[4]/text()').extract_first()  # 获取第4个td标签下文本
item['publish_times'] = node.xpath('./td[5]/text()').extract_first()  # 获取第5个td标签下文本
# yield item  注释yield item ，因为detail方法中yield item会覆盖这个
yield scrapy.Request(url=self.base_url + item['position_link'] ,callback=self.detail,meta={'item':item})  # 请求详细页，把item传到detail
# 请求给调度器，入队，循环结束完成后，交给下载器去异步执行，返回response
yield scrapy.Request(url=self.base_url + next_page,callback=self.parse) # 请求下一页

def detail(self, response):
"""
爬取详细内容
:param response:
:return:
"""
print("-->detail")
item = response.meta['item'] # 得到parse中的yield item
item['position_duty'] =  ''.join(response.xpath('//ul[@class="squareli"]')[0].xpath('./li/text()').extract())  # 转化为字符串
item['position_require'] = ''.join(response.xpath('//ul[@class="squareli"]')[1].xpath('./li/text()').extract()) # 转化为字符串

yield item

4.建立pipeline文件

存储数据

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

import json
class TencentPipeline(object):
def open_spider(self, spider):
"""
# spider (Spider 对象) – 被开启的spider
# 可选实现，当spider被开启时，这个方法被调用。
:param spider:
:return:
"""
self.file = open('tencent.json', 'w', encoding='utf-8')
json_header = '{ "tencent_info":['
self.count = 0
self.file.write(json_header)  # 保存到文件

def close_spider(self, spider):
"""
# spider (Spider 对象) – 被关闭的spider
# 可选实现，当spider被关闭时，这个方法被调用
:param spider:
:return:
"""
json_tail = '] }'
self.file.seek(self.file.tell() - 1)  # 定位到最后一个逗号
self.file.truncate()  # 截断后面的字符
self.file.write(json_tail)  # 添加终止符保存到文件
self.file.close()

def process_item(self, item, spider):
"""
# item (Item 对象) – 被爬取的item
# spider (Spider 对象) – 爬取该item的spider
# 这个方法必须实现，每个item pipeline组件都需要调用该方法，
# 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。

:param item:
:param spider:
:return:
"""

content = json.dumps(dict(item), ensure_ascii=False, indent=2) + ","  # 字典转换json字符串
self.count += 1
print('content', self.count)
self.file.write(content)  # 保存到文件

5.设置settiing

# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = '"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"'  # 头部信息，反爬

ITEM_PIPELINES = {
'tenCent.pipelines.TencentPipeline': 300,
}

6.执行程序

C:\pythonStudy\ScrapyProject\tenCent\tenCent\spiders>scrapy crawl tencent

json文件

案例2：爬取内容存储为两个文件

案例2与只是把案例1中的概率页和详细内容页分成两个文件去存储，

只有某些py文件内容有变化，以下只列举出有变化的py文件

1.编写item文件

用两个类表示不同的存储内容

import scrapy

"""
职位概览页字段
"""
class TencentItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
# 职位名称
position_name = scrapy.Field()
# 详情链接
position_link = scrapy.Field()
# 职位类别
position_type = scrapy.Field()
# 职位人数
position_number = scrapy.Field()
# 职位地点
work_location = scrapy.Field()
# 发布时间
publish_times = scrapy.Field()

"""
职位详细页字段
"""
class TenDetailItem(scrapy.Item):
# 工作职责
position_duty = scrapy.Field()
# 工作要求
position_require = scrapy.Field()

2.编写spider文件逻辑

# -*- coding: utf-8 -*-
import scrapy

from tenCent.items import TencentItem
from tenCent.items import TenDetailItem

print(__name__)
class TencentSpider(scrapy.Spider):
name = 'tencent'
allowed_domains = ['hr.tencent.com']
base_url = 'https://hr.tencent.com/'
start_urls = ['https://hr.tencent.com/position.php']

def parse(self, response):
node_list = response.xpath('//tr[@class="even"] | //tr[@class="odd"]')
# 选取所有标签tr 且class属性等于even或odd的元素
next_page = response.xpath('//a[@id="next"]/@href').extract_first()
# 选取所有标签a且id=next,href属性值

for node in node_list:
'''
实例化对象要放在循环里面，否则会造成item被多次赋值，
因为每次循环完毕后，请求只给了调度器，入队，并没有去执行请求，
循环完毕后，下载器会异步执行队列中的请求,此时item已经为最后一条记录，
而详细内容根据url不同去请求的，所以每条详细页是完整的，
最终结果是数据内容为每页最后一条，详细内容与数据内容不一致，
在yield item后，会把内容写到pipeline中
'''
item = TencentItem()

item['position_name'] = node.xpath('./td[1]/a/text()').extract_first()  # 获取第一个td标签下a标签的文本
item['position_link'] = node.xpath('./td[1]/a/@href').extract_first()  # 获取第一个td标签下a标签href属性
item['position_type'] = node.xpath('./td[2]/text()').extract_first()  # 获取第二个td标签下文本
item['position_number'] = node.xpath('./td[3]/text()').extract_first()  # 获取第3个td标签下文本
item['work_location'] = node.xpath('./td[4]/text()').extract_first()  # 获取第4个td标签下文本
item['publish_times'] = node.xpath('./td[5]/text()').extract_first()  # 获取第5个td标签下文本
yield item
yield scrapy.Request(url=self.base_url + item['position_link'] ,callback=self.detail)  # 请求详细页
# 请求给调度器，入队，循环结束完成后，交给下载器去异步执行，返回response
# yield scrapy.Request(url=self.base_url + next_page,callback=self.parse) # 请求下一页

def detail(self, response):
"""
爬取详细内容
:param response:
:return:
"""
print("-->detail")
item = TenDetailItem() # 实例化TenDetailItem
item['position_duty'] = ''.join(response.xpath('//ul[@class="squareli"]')[0].xpath('./li/text()').extract())  # 转化为字符串
item['position_require'] = ''.join(response.xpath('//ul[@class="squareli"]')[1].xpath('./li/text()').extract()) # 转化为字符串

yield item

3.建立pipeline文件

存储数据

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

import json
from .items import TencentItem
from .items import TenDetailItem
"""
存储职位概览
"""
class TencentPipeline(object):
def open_spider(self, spider):
"""
# spider (Spider 对象) – 被开启的spider
# 可选实现，当spider被开启时，这个方法被调用。
:param spider:
:return:
"""
self.file = open('tencent.json', 'w', encoding='utf-8')
json_header = '{ "tencent_info":['
self.count = 0
self.file.write(json_header)  # 保存到文件

def close_spider(self, spider):
"""
# spider (Spider 对象) – 被关闭的spider
# 可选实现，当spider被关闭时，这个方法被调用
:param spider:
:return:
"""
json_tail = '] }'
self.file.seek(self.file.tell() - 1)  # 定位到最后一个逗号
self.file.truncate()  # 截断后面的字符
self.file.write(json_tail)  # 添加终止符保存到文件
self.file.close()

def process_item(self, item, spider):
"""
# item (Item 对象) – 被爬取的item
# spider (Spider 对象) – 爬取该item的spider
# 这个方法必须实现，每个item pipeline组件都需要调用该方法，
# 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。

:param item:
:param spider:
:return:
"""
if isinstance(item,TencentItem):
content = json.dumps(dict(item), ensure_ascii=False, indent=2) + ","  # 字典转换json字符串
self.count += 1
print('content', self.count)
self.file.write(content)  # 保存到文件
'''
return item后，item会根据优先级
传递到下一个管道TenDetailPipeline处理
此段代码说明当实例不属于TencentItem时，放弃存储json，
直接传递到下一个管道处理
return放在if外面，如果写在if里面item在不属于TencentItem实例后，
item会终止传递，造成detail数据丢失
'''
return item

"""
存储职位详细情况
"""
class TenDetailPipeline(object):
def open_spider(self, spider):
"""
# spider (Spider 对象) – 被开启的spider
# 可选实现，当spider被开启时，这个方法被调用。
:param spider:
:return:
"""
self.file = open('tendetail.json', 'w', encoding='utf-8')
json_header = '{ "tendetail_info":['
self.count = 0
self.file.write(json_header)  # 保存到文件

def close_spider(self, spider):
"""
# spider (Spider 对象) – 被关闭的spider
# 可选实现，当spider被关闭时，这个方法被调用
:param spider:
:return:
"""
json_tail = '] }'
self.file.seek(self.file.tell() - 1)  # 定位到最后一个逗号
self.file.truncate()  # 截断后面的字符
self.file.write(json_tail)  # 添加终止符保存到文件
self.file.close()

def process_item(self, item, spider):
"""
# item (Item 对象) – 被爬取的item
# spider (Spider 对象) – 爬取该item的spider
# 这个方法必须实现，每个item pipeline组件都需要调用该方法，
# 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。

:param item:
:param spider:
:return:
"""
if isinstance(item, TenDetailItem):
'''
得到item,判断item实例属于TenDetailItem，存储json文件
如果不属于，直接return item到下一个管道
'''
print('**'*30)
content = json.dumps(dict(item), ensure_ascii=False, indent=2) + ","  # 字典转换json字符串
self.count += 1
print('content', self.count)
self.file.write(content)  # 保存到文件
return item

4.设置settiing

# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = { # 注册2个管道
'tenCent.pipelines.TencentPipeline': 300,
'tenCent.pipelines.TenDetailPipeline':400  # 数字越大，优先级越小，最后被执行
}

5.执行

#>scrapy crawl tencent >1.txt 2>&1
#把内容输出到文件中