Python 爬虫从入门到进阶之路（十五）

之前的文章我们介绍了一下 Python 的 json 模块，本章我们就介绍一下之前根据 Xpath 模块做的爬取《糗事百科》的糗事进行丰富和完善。

在 Xpath 模块的爬取糗百的案例中我们只是爬取了其中的糗事，然后存储到本地，并没有作者姓名，头像等信息，所有我们通过之前介绍的 path 模块讲获取到的完整信息以 json 的形式存储到本地。

我们要爬取的网站链接是 https://www.qiushibaike.com/text/page/1/ 。

我们通过 Xpath Helper 的谷歌插件经过分析获取到我们想要的内容为： //div[contains(@id,"qiushi_tag")] 

import urllib.request
from lxml import etree
import ssl

# 取消代理验证
ssl._create_default_https_context = ssl._create_unverified_context

url = "https://www.qiushibaike.com/text/page/1/"
# User-Agent头
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
headers = {'User-Agent': user_agent}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
# 获取每页的HTML源码字符串
html = response.read().decode('utf-8')
# 解析html 为 HTML 文档
selector = etree.HTML(html)
content_list = selector.xpath('//div[contains(@id,"qiushi_tag")]')
print(content_list)

输出结果为：

从上面的输出结果可以看出我们已经拿到了我们想要的数据，并且是一个列表类型，我们对列表进行操作扥别拿到糗事再存储到本地即可。

items = {}
for site in content_list:
imgUrl = site.xpath('./div/a/img/@src')[0]  # 头像
username = site.xpath('./div/a/img/@alt')[0]  # 作者
content = site.xpath('.//div[@class="content"]/span[1]/text()')
items = {
"imgUrl": imgUrl,
"username": username,
"content": content,
}

with open("qiushi.json", "a") as f:
f.write(json.dumps(items, ensure_ascii=False) + ",\n")

上面就可以实现一个获取 糗事百科 的糗事的简单爬虫，但是只能爬取单个页面的内容，通过分析 url 我们发现 https://www.qiushibaike.com/text/page/1/ 中最后的 1 即为页码，我们就可以根据这个页码逐一爬取更多页面的内容，最终的代码如下：

import urllib.request
from lxml import etree
import json
import ssl

# 取消代理验证
ssl._create_default_https_context = ssl._create_unverified_context

class Spider:
def __init__(self):
# 初始化起始页位置
self.page = 2
# 爬取开关，如果为True继续爬取
self.switch = True

def loadPage(self):
"""
作用：打开页面
"""
url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
# User-Agent头
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
headers = {'User-Agent': user_agent}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
# 获取每页的HTML源码字符串
html = response.read().decode('utf-8')
# 解析html 为 HTML 文档
selector = etree.HTML(html)
content_list = selector.xpath('//div[contains(@id,"qiushi_tag")]')
# 调用dealPage() 处理糗事里的杂七杂八
self.dealPage(content_list)

def dealPage(self, item_list):
"""
@brief 处理得到的糗事列表
@param item_list 得到的糗事列表
@param page 处理第几页
"""
for site in item_list:
# 根据查询发现匿名用户和非匿名用户的标签不一样
try:
# 非匿名用户
imgUrl = site.xpath('./div/a/img/@src')[0]  # 头像
username = site.xpath('./div/a/img/@alt')[0]  # 作者
except Exception:
# 匿名用户
imgUrl = site.xpath('./div/span/img/@src')[0]  # 头像
username = site.xpath('./div/span/img/@alt')[0]  # 作者
content = site.xpath('.//div[@class="content"]/span[1]/text()')
items = {
"imgUrl": "https:" + imgUrl,
"username": username,
"content": content,
}

self.writePage(items)

def writePage(self, items):
"""
@brief 将数据追加写进文件中
@param text 文件内容
"""
myFile = open("./qiushi.json", 'a')  # 追加形式打开文件
myFile.write(json.dumps(items, ensure_ascii=False) + ",\n")
myFile.close()

def startWork(self):
"""
控制爬虫运行
"""
# 循环执行，直到 self.switch == False
while self.switch:
# 用户确定爬取的次数
self.loadPage()
command = input("如果继续爬取，请按回车（退出输入quit)")
if command == "quit":
# 如果停止爬取，则输入 quit
self.switch = False
# 每次循环，page页码自增1
self.page += 1
print("爬取结束！")

if __name__ == '__main__':
# 定义一个Spider对象
qiushiSpider = Spider()
qiushiSpider.startWork()

程序启动后会在本地生成一个 city.json 的文件，结果如下：