Python爬虫之知乎图片抓取

最近觉得python爬虫挺好玩的，就网上找了找教程自学了几天，真的还挺有意思的，推荐一个中国大学mooc平台的一个关于Python爬虫的课程，老师讲的很好，非常适合入门，这里是链接。

想起曾经在知乎的一个专栏里面看到过一个非常好玩的东西，之前看的时候还不会爬虫，只是将文章收藏了下来，代码在这里。现在回过头来去看，发现还挺简单的。专栏文章是用lxml来解析html文件的，我查了下，发现xpath真的非常好用（哈哈，其实我还不怎么会，待找找教程学了再来吧），不过既然学了BeautifulSoup，我就用BeautifulSoup来简单实现一下吧。

废话不多说，直接上代码吧。（这里只是爬取一个问题下排名第一的答案里的图片）

import requests
from bs4 import BeautifulSoup
import os
import time

cookie = ''#那篇专栏文章里有教怎么用cookie
headers = {'User-Agent': 'Mozilla/5.0',#模拟浏览器向网页发出请求
'Cookie': cookie}

def getHtmlText(url):
try:
response = requests.get(url,headers=headers)
response.raise_for_status()
response.encoding = 'utf-8'
return response.text
except:
exit('模拟cookie登陆失败')

def savePictures():
html_text = getHtmlText('https://www.zhihu.com/question/40063489')
#soup = BeautifulSoup(open('zhihu.html','r',encoding='utf-8'),'html.parser') #如果不会cookie登陆，可以自己手动保存网页源码为html文件
soup = BeautifulSoup(html_text,'html.parser')

#question和author，自己打开网页源码，找到他们，然后看所在标签
question = soup.h1.text.strip()
author = str(soup.find_all(name='a',attrs='UserLink-link')[1].text)
#info就是author回答question的答案的所有信息
info = soup.find_all(name='div',attrs="RichContent-inner")[0] #一个question下会显示两位排名靠前的回答，这里选择第一位
x = info.find_all(name='noscript') #这就是所有图片链接所在的标签列表
links = []
for i in x:
link = i.img.attrs['src']
links.append(link)

try:
filename = question + ' - ' + author
#print(filename)
if not os.path.exists(filename):
os.mkdir(filename)
for i in range(len(links)):
img_source = requests.get(links[i]).content
img_path = filename + '/' + str(i)+ '.' + links[i].split('.')[-1]
with open(img_path,'wb') as f:
f.write(img_source)
print(links[i],'保存成功')
except:
print('error')

start = time.time()
savePictures()
end = time.time()

print('总耗时: ',end-start,'秒')

哈哈，上截图：