Python3爬虫入门之贴吧图片批量获取

因为百度贴吧的网页结构较为简单，且无需登录即可读取帖子内容，所以批量获取贴吧图片非常适合用来作为Python爬虫入门的练手项目。

本文所用的Python版本为Python3,用到的主要模块如下：

比urllib友好的requests
bs4（即BeautifulSoup）
正则表达式模块re
os模块

程序所能实现的功能是：获取单页面帖子或多页面帖子中的图片，并保存到本机文件系统当中。

首先要实现的是获取帖子的总页数。tieba_url根据自己的情况进行修改，header可以利用fiddler抓包进行获取。

header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate',
'Connection': 'keep-alive'
}
tieba_url = 'http://tieba.baidu.com/p/2491624899'
response = requests.get(tieba_url, headers=header).content.decode('UTF-8')
pattern = re.compile(r'共<span class="red">([0-9]*)</span>页')
max_page = pattern.findall(response)[0]

这里简单用了一个正则表达式来获取帖子的页数，（[0-9]*）的意思就是把这个数字提取出来，关于正则表达式的用法网上有很多资料，本文不再赘述。

这样就可以区分帖子是单页还是多页了，多页的帖子每一页跟单页的帖子处理方式基本相同，但是要重复几次，所以把处理每一页的程序写成一个函数。

def get_image(url, page):
html = requests.get(url, headers=header).content.decode('UTF-8')
soup = BeautifulSoup(html)
pics = soup.find_all("img", {"class": "BDE_Image", "pic_type": "0"})
for i in range(0, len(pics)):
img_url = pics[i]['src']
img = requests.get(img_url).content
save_path = 'D:/tmp/tieba/%s/' % page
if os.path.exists(save_path):
pass
else:
os.mkdir(save_path)
with open(save_path + '%s.jpg' % str(i), 'wb') as f:
f.write(img)
print(img_url + 'saved')</span>

pics = soup.find_all("img", {"class": "BDE_Image", "pic_type": "0"})

这行语句实现的功能是找到所有帖子中的图片（签名档以及其他图片不在此列）,这个的依据是贴吧的html页面，帖子当中的图片都是这样一个格式

<img pic_type="0" class="BDE_Image" src="http://imgsrc.baidu.com/forum/*.jpg" pic_ext="bmp"  height="680" width="485">

后面语句的功能是将图片保存到本地，保存路径如果不存在将创建该路径。函数的第一个参数是帖子当前页的url，第二个参数是当前页的页码（用来区分保存路径）。
程序的完整代码如下。

import requests
import re
from bs4 import BeautifulSoup
import os

def get_image(url, page):
html = requests.get(url, headers=header).content.decode('UTF-8')
soup = BeautifulSoup(html)
pics = soup.find_all("img", {"class": "BDE_Image", "pic_type": "0"})
for i in range(0, len(pics)):
img_url = pics[i]['src']
img = requests.get(img_url).content
save_path = 'D:/tmp/tieba/%s/' % page
if os.path.exists(save_path):
pass
else:
os.mkdir(save_path)
with open(save_path + '%s.jpg' % str(i), 'wb') as f:
f.write(img)
print(img_url + ' saved')

header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate',
'Connection': 'keep-alive'
}
tieba_url = 'http://tieba.baidu.com/p/2491624899'
response = requests.get(tieba_url, headers=header).content.decode('UTF-8')
pattern = re.compile(r'共<span class="red">([0-9]*)</span>页')
max_page = pattern.findall(response)[0]
if max_page == '1':
page_url = tieba_url
get_image(page_url,1)
else:
for i in range(1, int(max_page)):
page_url = tieba_url + '?pn=' + str(i)
get_image(page_url, str(i))