使用pyquery爬取搜狗微信文章

缺点：还是没有使用代理，出现验证码就停止抓取了

import requests
from pyquery import PyQuery as pq
from fake_useragent import UserAgent
from urllib.parse import urlencode
import queue
import re

# 构建请求头
ua = UserAgent()
headers = {
'user-agent': ua.Chrome，
'cookie': '自己设置'
}

# 声明一个列表存储字典
data_list = []

def get_index(q):
url = q.get()
# 请求url
resp = requests.get(url, headers=headers)
# 将返回的数据转成pyquery格式
doc = pq(resp.content)
# 分析网页，抓取ul标签下的li标签，这里使用的是items
# 因为抓取到的是多个节点对象，所以需要使用items方法将其转成list
# 方可对其进行遍历
lis = doc('.news-list li').items()
# 遍历li标签，抓取所需的数据
for li in lis:
# 文章题目
title = li.find('h3').text()
# 作者
author = li.find('.s-p a').text()
# 摘要
content = li.find('p').text()
# 时间戳，爬到的数据document.write(timeConvert('1526012173'))
datetime = li.find('.s2 script').text()
# 使用正则匹配时间戳
datetime = re.findall(r'\d+', datetime)[0]

# 声明一个字典存储数据
data_dict = {}
data_dict['title'] = title
data_dict['author'] = author
data_dict['content'] = content
data_dict['datetime'] = datetime
data_list.append(data_dict)

def main():

# 声明一个队列存储url
q = queue.Queue()
for page in range(1, 10):
# 构建url参数
data = {
'query': 'python爬虫',
'type': '2',
'page': page
}
# 将url的参数进行编码后拼接到url
url = 'https://weixin.sogou.com/weixin?' + urlencode(data)
# 将url存入队列中
q.put(url)
# 当列表不为空，则继续爬取
while not q.empty():
get_index(q)

if __name__ == '__main__':

main()
print(data_list)