python实现批量图片的抓取

前言：因为想要翻译外文，但是外文的图片资源太多，身为一个程序员，怎么可以干重复性这么高的工作呢，因此，学习了python的网络爬虫，爬了所有我想要获得的图片资源。值得一提的是，程序员是有多饥渴，网上到处都是爬妹子照片的，像我一样只单纯爬照片的人已经不多了。哼！！！

主要的知识点就是用的python 的BeautifulSoup框架，这个需要大家再装过，还有就是一些自带的框架，字符编码可能会出错，因此开始时就要声明是utf-8编码

代码如下：

#!/usr/bin/python

# -*- coding:utf-8 -*-

__author__ = 'JQQ'

import urllib2

import urllib

import re

import os

from BeautifulSoup import BeautifulSoup

class Spider:

    def __init__(self):

        self.url = 'http://www.raywenderlich.com/113674/ios-animation-tutorial-getting-started'

    #获取网页内容

    def getPageContent(self):

        response = urllib2.urlopen(self.url)

        return response.read()

    def getImages(self):

        soup = BeautifulSoup(self.getPageContent())

        items = soup.findAll('img')

        index = 1

        pathName = "iOSAnimationTutorial"

        self.mkdir(pathName)

        for item in items:

            imageUrl = item.get('src')

            fTail = imageUrl.split('.').pop()

            if cmp(fTail, 'jpg') == 0 or cmp(fTail, 'png') == 0:

                savePath = pathName + '/' + str(index) + '.' + fTail

                self.saveImage(imageUrl, savePath)

            index = index + 1

    def saveImage(self, imageUrl, fileNamePath):

        try:

            u = urllib.urlopen(imageUrl)

            data = u.read()

            f = open(fileNamePath, "wb")

            f.write(data)

            f.close()

        except BaseException, e:

            print e

    def mkdir(self, path):

        path = path.strip()

        isExist = os.path.exists(path)

        if not isExist:

            print "Not exist path:", path

            os.makedirs(path)

            return True

        else:

            print "Already Exist path:", path

            return False

spider = Spider()

spider.getImages()