爬取今日头条街拍

属课程中代码敲下。

课程地址：http://study.163.com/course/courseLearn.htm?courseId=1003735019#/learn/video?lessonId=1004298385&courseId=1003735019

代码如下：

import requests

import re

from bs4 import BeautifulSoup

from requests.exceptions import RequestException # 处理异常

from urllib.parse import urlencode

import json

def get_page_index(offset,keyword):

data ={

‘offset’: offset ,

‘format’: ‘json’,

‘keyword’:keyword ,

‘autoload’: ‘true’,

‘count’: 20,

‘cur_tab’: 3

}
url ='https://www.toutiao.com/search_content/?'+ urlencode(data)#把字典对象转为url请求参数
try:
response = requests.get(url)
if response.status_code ==200:
return response.text
return None
except RequestException:
print('请求索引页出错')
return None

def parse_page_index(html):

data =json.loads(html )#使用json把字符串的形式转为对象

if data and ‘data’in data.keys(): #加个判断确认json中含有data属性（因为需要爬取的数据在data里，然后遍历data取出其中我们需要的数据（eg：url,返回的是json的所以键名）

for item in data.get(‘data’): #加引号的data表示在json中需要寻找的数据

yield item.get(‘article_url’)# 构造一个生产器

def get_page_detial(url): # 拿到详情页面

try:

response = requests.get(url)

if response.status_code ==200:

return response.text

return None

except RequestException:

print(‘请求详细页出错’,url)

return None

def parse_page_detial(html,url):# 定义一个解析详情页的方法

soup =BeautifulSoup(html,’lxml’)

title =soup.select(‘title’)[0].get_text()

print(title)

image_pattern=re.compile(‘var gallery =(.*?);’,re.S) #正则表达式的使用！！！

result=re.search(image_pattern ,html )#利用search方法导入正则表达式对象，然后再页面上寻找对应字符串

if result:

###print(result.group(1) )#group（1）是定义的第一个括号的内容？（应该是第一个（.*?））

# 拿到的是json字符串，然后提取出url

data =json.loads(result.group(1) )

if data and ‘sub_images’in data.keys(): #判断匹配的json格式的data中是否含有’sub_images’关键字（网页中是可以找到的）

sub_images=data.get(‘sub_images’)#把’sub_image’的字符串提取出来

images=[item.get(‘url’)for item in sub_images ] #以一个列表形式，利用一个for循环遍历得到url！！！实用！！！！

return {

‘title’:title,

‘url’:url,

‘images’:images # 得到的images数组

}

def main():

html =get_page_index(0,’街拍’)

for url in parse_page_index(html ):

html =get_page_detial(url) #调用get_page_detial方法把url传入得到一个个页面！！！实用！

if html: #表示如果html成功返回的话就调用parse_page_detail方法！！！

result=parse_page_detial(html,url)# 把html当作参数传入,url是整个街拍图像的url

print(result )

if name==’main‘:

main()

还有入库内容，未完待续。