python爬虫——使用xpath爬取搜狗微信文章

缺点：爬取一定数量之后会出现验证码，导致不能继续爬取，需要更换ip才可以继续爬取，或者在浏览器重新输入验证码之后复制cookie后方能继续爬取。

import requests
from fake_useragent import UserAgent
from urllib.parse import urlencode
from lxml import etree
import re
import json
import csv
import queue
import threading

# 声明一个列表，存储字典
data_list = []
# 构造请求头
ua = UserAgent()
# 设置cookie，可以爬取多页，如果不设置最多只能爬取10页
headers = {
'user-agent': ua.Chrome,
'cookie': '自己设置'

}

# 创建多线程
class MyThread(threading.Thread):
def __init__(self, q):
threading.Thread.__init__(self)
self.q = q

def run(self) -> None:
self.get_index()

def get_index(self):
url = self.q.get()
try:
# 访问改网址
resp = requests.get(url, headers=headers)
# 将返回的数据转成lxml格式，之后使用xpath进行抓取
html = etree.HTML(resp.content)
# 分析网页代码先抓取全部li标签
lis = html.xpath('//ul[@class="news-list"]/li')
# 循环遍历li标签，抓取每章微信文章的题目，作者，发表时间，摘要，链接等
for li in lis:
# 声明一个字典存储数据
data_dict = {}
# 爬取文章的题目
title = ''.join(li.xpath('.//h3//text()')).strip()
# 爬取文章的链接
href = li.xpath('.//h3/a/@data-share')[0]
# 爬取作者名称
author = li.xpath('.//div[@class="s-p"]/a/text()')[0]
# 爬取文章发表的时间
# 先爬取时间戳，抓取到的时间戳文本为："document.write(timeConvert('1526012173'))"
time_convert = li.xpath('.//div[@class="s-p"]/span/script/text()')[0]
# 使用正则表达式匹配时间戳
datetime = re.findall(r'\d+', time_convert)[0]

# 将爬取到的数据存储到json文件
data_dict['title'] = title
data_dict['author'] = author
data_dict['datetime'] = datetime
data_dict['href'] = href
print(data_dict)
# 将字典存入列表中
data_list.append(data_dict)

except Exception as e:
# 如果访问超时就打印错误信息，并将该条url放入队列，防止出错的url没有爬取
self.q.put(url)
print(e)

def main():
# 创建队列存储url
q = queue.Queue()
for page in range(1, 10):
# 构造参数
data = {
'query': 'python爬虫',
'type': '2',
'page': page
}
# 将url的参数进行编码后拼接到url
url = 'https://weixin.sogou.com/weixin?' + urlencode(data)
# 将拼接好的url放入队列中
q.put(url)

# 如果队列不为空，就继续爬
while not q.empty():
# 创建3个线程
ts = []
for count in range(3):
t = MyThread(q)
ts.append(t)
for t in ts:
t.start()
for t in ts:
t.join()

if __name__ == '__main__':
# 启动爬虫
main()
if data_list:
# 将数据写入json
with open('weixin_data_json.json', 'a+', encoding='utf-8') as f:
# 使用json.dump方法将数据写入json文件
json.dump(data_list, f, ensure_ascii=False, indent=4)
print('写入json文件完成')

# 将json文件中的数据写入csv文件
# csv的表头
title = data_list[0].keys()
with open('weixin_data_json.csv', 'w', encoding='utf-8', newline='') as f:
writer = csv.writer(f)
# 写入表头
writer.writerow(title)
# 批量写入数据
for row in data_list:
writer.writerow(row.values())
print('写入csv文件完成')