python-30：极视界爬虫V-0.1

好了，我们这个实例要求实现的功能是爬取网页上的图片并下载到本地，所有相关的知识已经讲解完了
为了方便代码的编写，我们把流程分析再细致一些：
1. 传入极视界首页网址(url)，爬取极视界首页的网页源码，并使用RE获取相册的网址和相册的名称
2. 相册的网址当成(info_url)传入来爬取相册的源码，并使用RE将源码中的图片的网址(img_url)找出来
3. 相册的名称用来创建文件夹，将图片下载放到对应的文件夹中

代码的编写可以有很多种，这里贴上我写的代码：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-
__author__ = '217小月月坑'

'''
网页跳转，相册图片下载
'''

import urllib
import urllib2
import re
import os
# url是极视界首页网址
url = 'http://product.yesky.com/more/506001_31372_photograph_1.shtml'
user_agent = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:40.0) Gecko/20100101 Firefox/40.0'
headers = {'User-Agent':user_agent}

try:
request = urllib2.Request(url,headers=headers)
response = urllib2.urlopen(request)
conents = response.read().decode("gbk")
pattern = re.compile(r'<dt><a href="(.*?)" title="(.*?)"',re.S)
items = re.findall(pattern,conents)
for info_url in items:
print info_url[0],info_url[1]
path = r'/home/ym/test/'+info_url[1]
os.mkdir(path)
# info_url是每一个相册的网址
info_response = urllib2.urlopen(info_url[0])
info_conents = info_response.read().decode("gbk")
info_pattern = re.compile(r'<li.*?<img src="(.*?)"',re.S)
img_urls = re.findall(info_pattern,info_conents)
i = 1
for img_url in img_urls:
# img_url 是图片的地址
print img_url
img_path = path+'/'+str(i)
i+=1
urllib.urlretrieve(img_url,img_path)
print u'图片'+img_path+u'下载完成'
except urllib2.URLError,e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
e.reason