python爬虫：下载百度贴吧图片（多页）学习笔记

# -*- coding: utf-8 -*-

"""

Created on Sat Oct 22 11:49:43 2016

@author: hhxsym

"""

import os

import requests

from bs4 import BeautifulSoup

import urllib #用于下载图形

inpath="C:\\Users\\hhxsym\\Desktop\\课程群Python爬虫"

inpath = unicode(inpath , "utf8") 

os.chdir(inpath)  #不做编码转换后，中文路径无法打开，更改

#实现单页访问

def download_jpg(url):

    response = requests.get(url) #请求网页，获得响应的内容

    print response.status_code  #打印状态码

    

    soup = BeautifulSoup(response.text, 'lxml') #解析响应的内容 BeautifulSoup(响应变量，解析器)

    #print soup

    urls = soup.find_all('img', 'BDE_Image') # find_all方法，基于CSS返回到元素，获取图片的地址， soup.find_all(标签， CSS样式)

    #print urls

    for url in urls:

        url=url.get('src')  #通过标签获取到元素，用get方法，直接获取解析标签对应的属性值

        print url

        urllib.urlretrieve(url,'%s' % url.split('/')[-1]) #下载图片，命名

        urllib.urlretrieve(url,'img/%s' % url.split('/')[-1]) #下载图片，命名,放到指定文件夹，注：img文件夹必须提前创建

    

#实现多页访问

def get_all_jpg(url, pages):

    for page in range(1, pages+1):

        new_url=url + '?pn=' + str(page) #构造地址

        download_jpg(new_url)

        

if __name__ == '__main__':

    #download_jpg("http://tieba.baidu.com/p/3797994694?pn=1")

    get_all_jpg("http://tieba.baidu.com/p/3797994694", 5)