python爬虫图片下载

全部代码http://download.csdn.net/detail/artemisrj/8330275

这次因为要帮人找素材，http://ieeexplore.ieee.org

要帮找某个期刊的图片，这个期刊比较好的一点就是它把所有的论文图片都放在了网上，一个个链接打开太麻烦，所以就把东西全下下来了。

爬虫代码主要参考下面这位博主。

http://www.cnblogs.com/chenkun24/archive/2012/10/06/2713348.html

1.首先我要获得所有发行论文的list，所以我就从past issues的目录里面抓了各个issue的链接。通过审查元素知道那一个div包含所有的链接，把这个div存进文件，存储在本地。

然后写正则表达式

def readyearlink(url):
text=''
for line in open(url):
text=text+line

reg="<ul id=\"pi-(.*?)\" style=\".*?\">(.*?)</ul>"
thedata=re.compile(reg).findall(text)
return thedata

这个函数主要用来处理本地文件，额，url没改过来reg是正则表达式，(.*?)很好用，就是匹配任意字符串，加括号的代表你要提取的，不加括号的代表有变动的。

这个函数输入本地链接，输出两个数据，每个年份，和年份对应的各个issue的链接

然后对于每个年份，我都抽了他们的issue分析，

def dealissue(data):
year=data[0]
print year
reg="<li> <a href=\".*?isnumber=(.*?)&.*?Issue:\s*(.*?)\s*</a> </li>"
thedata=re.compile(reg).findall(data[1])
print thedata
for plink in thedata:
setdir(year+'_'+plink[1])
link='http://ieeexplore.ieee.org'+'/xpl/tocresult.jsp?isnumber='+plink[0]+'&punumber=2945'
deallist(link,plink[0])
global strs
f=open('readme.csv','wb')
f.write(strs)
f.close()

<li> <a href="/xpl/tocresult.jsp?isnumber=4384585&punumber=2945">  Vol: 14   Issue: 1    </a> </li>

这个函数的处理的是每个ul。每个ul里面是一年的issue，下面的是格式，我主要是抽取每个issue的编号，上面的就是4384585，以及是哪个issue，比如说上面的是1

thedata 存储了这两个信息，setdir是设置当年目录

def setdir(year):
path="D:/down/"+year
if not os.path.exists(path):
os.makedirs(path)
os.chdir(path)
os.getcwd()
global strs
strs=""

因为我想每个issue一个目录，设置当前目录后，文件就可以存文件名了。

strs是存了每个paper的编号方便大家查找，存在每个文件的目录下面。

deallist是针对每个issue进行处理

def deallist(link,inum):
global strs
conn=urllib.urlopen(link)
nn=conn.read()
if len(nn)==292:
return False
else:
reg="<span id=\"art-abs-title-(.*?)\">(.*?)</span>"
articles=re.compile(reg).findall(nn)
for article in articles:
title=article[1]
articleNum=article[0]
strs=strs+articleNum+','+title+','+'http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber='+articleNum+'\n'
paperpic(articleNum,inum)

deallist输入issue的链接和编号，然后通过链接连接每个issue的paper列表，找出每个paper的标题，编号，等信息，然后用来下载图片

def paperpic(articleNum,inum):
print 'article'+articleNum
link='http://ieeexplore.ieee.org/ielx5/2945/'+inum+'/'+articleNum+'/html/img/'+articleNum+'-fig-'
i=1
while True:
if savepic(link+str(i)+"-large.gif",articleNum+"_"+str(i)):
i=i+1
continue
else:
break

paperpic用来下载图片

def savepic(url,name):
conn=urllib.urlopen(url)
nn=conn.read()
if len(nn)==292:
return False

else:
f=open(name+'.jpg','wb')
f.write(nn)
f.close()
print name
return True

def paperpic(articleNum,inum):
print 'article'+articleNum
link='http://ieeexplore.ieee.org/ielx5/2945/'+inum+'/'+articleNum+'/html/img/'+articleNum+'-fig-'
i=1
while True:
if savepic(link+str(i)+"-large.gif",articleNum+"_"+str(i)):
i=i+1
continue
else:
break

全部程序如下

import urllib
import re
import os

strs=''

def savepic(url,name):
conn=urllib.urlopen(url)
nn=conn.read()
if len(nn)==292:
return False

else:
f=open(name+'.jpg','wb')
f.write(nn)
f.close()
print name
return True

def paperpic(articleNum,inum):
print 'article'+articleNum
link='http://ieeexplore.ieee.org/ielx5/2945/'+inum+'/'+articleNum+'/html/img/'+articleNum+'-fig-'
i=1
while True:
if savepic(link+str(i)+"-large.gif",articleNum+"_"+str(i)):
i=i+1
continue
else:
break

def readyearlink(url):
text=''
for line in open(url):
text=text+line

reg="<ul id=\"pi-(.*?)\" style=\".*?\">(.*?)</ul>"
thedata=re.compile(reg).findall(text)
return thedata

def setdir(year):
path="D:/down/"+year
if not os.path.exists(path):
os.makedirs(path)
os.chdir(path)
os.getcwd()
global strs
strs=""

def deallist(link,inum):
global strs
conn=urllib.urlopen(link)
nn=conn.read()
if len(nn)==292:
return False
else:
reg="<span id=\"art-abs-title-(.*?)\">(.*?)</span>"
articles=re.compile(reg).findall(nn)
for article in articles:
title=article[1]
articleNum=article[0]
strs=strs+articleNum+','+title+','+'http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber='+articleNum+'\n'
paperpic(articleNum,inum)

def dealissue(data):
year=data[0]
print year
reg="<li> <a href=\".*?isnumber=(.*?)&.*?Issue:\s*(.*?)\s*</a> </li>"
thedata=re.compile(reg).findall(data[1])
print thedata
for plink in thedata:
setdir(year+'_'+plink[1])
link='http://ieeexplore.ieee.org'+'/xpl/tocresult.jsp?isnumber='+plink[0]+'&punumber=2945'
deallist(link,plink[0])
global strs
f=open('readme.csv','wb')
f.write(strs)
f.close()

url="D:\\down/h.html"
ll=readyearlink(url)
for item in ll:
dealissue(item)

通过这次的扒图片的过程，我学的东西有

urllib.urlopen 来加载网页

(.*?) .*? 来匹配任意字符串 \s匹配空格 \s*代表0个或者多个空格

global全局变量要在def里面定义

一层一层地包裹着写代码。