Datawhale爬虫(第5期)入门第二练||豆瓣电影TOP250的内容

python正则表达式：

正则表达式是一个特殊的字符串序列，可以方便的检测字符串是否与某种模式匹配！

1. re.match() 函数

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，返回None

语法:

re.match(pattern, string, falgs=0)

示例：

import re
print(re.match('www', 'www.xiaomi.com').span())   # 在起始位置匹配
print(re.match('com', 'www.xiaomi.com'))   # 不在起始位置匹配

2. re.search() 函数

re.search 扫描整个字符串，并返回第一个成功匹配的值

语法：

re.search(pattern, string, falgs=0)

示例：

import re
print(re.match('www', 'www.xiaomi.com').span())   # 在起始位置匹配
print(re.match('com', 'www.xiaomi.com').span())   # 不在起始位置匹配

学习任务：结合requests、re两者的内容爬取豆瓣电影 Top 250里的内容：要求抓取名次、影片名称、国家、导演等字段。

思路分析：首先找到豆瓣top250的网址：

https://movie.douban.com/top250

通过手动翻页浏览，发现如下规律：

https://movie.douban.com/top250?start=0&filter=         # 第一页内容
https://movie.douban.com/top250                         # 第一页这个也可以
https://movie.douban.com/top250?start=25&filter=        # 第二页内容
https://movie.douban.com/top250?start=50&filter=        # 第三页内容
https://movie.douban.com/top250?start=75&filter=        # 第四页内容

因此我们只需要更改

start=

后面的数字即可构造出10页的网址 因为我们 只要 名次、影片名称、国家、导演等字段，因为详细页的信息更丰富，本次爬虫在详细页中进行，因此先需要爬取进入详细页的网址链接，进而爬取数据

爬虫代码如下：

import requests
from lxml import etree
import re
import time

headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/71.0.3578.98 Safari/537.36'    # 加入请求头
}

def get_movie_url(url):
"""
获取详细页URL的函数
:param url:
:return:
"""
html = requests.get(url, headers=headers)
selector = etree.HTML(html.text)
movie_hrefs = selector.xpath('//div[@class="hd"]/a/@href')
for movie_href in movie_hrefs:
get_movie_info(movie_href)

def get_movie_info(url):
"""
获取详细页信息的函数
:param url:
:return:
"""
html = requests.get(url, headers=headers)
selector = etree.HTML(html.text)
try:
ranking = selector.xpath('//*[@id="content"]/div[1]/span[1]/text()')[0]  # 排名
name = selector.xpath('//*[@id="content"]/h1/span[1]/text()')[0]   # 电影名称
country = re.findall('<span class="pl">制片国家/地区:</span>(.*?)<br/>', html.text, re.S)[0]  # 国家
actor = selector.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')[0]  # 导演
print(ranking + '    ' + name + '    ' + country + '    ' + '    ' + actor)
except IndexError:
pass

if __name__ == '__main__':
urls = ['https://movie.douban.com/top250?start=%s&filter=' % i for i in range(0, 250, 25)]
for url in urls:
get_movie_url(url)
time.sleep(3)

抓取到的数据在控制台打印出来的结果：

一共250条数据

第二天的学习任务就到这里了，记录每一天认真的自己，坚持输出，共勉！