python爬虫抓取图片

关于python爬虫一直以来是很著名的，林林总总也有很多方法，大致起来也就是一个原理。

下面我来介绍一下我用的BeautifulSoup获取的，正则获取也很简单，在这里只说一下BeautifulSoup方法，使用伯乐在线网站作为参考的例子

代码如下

#encoding:UTF-8

import urllib2,urllib,random,threading
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

class Images(threading.Thread):
def __init__(self,lock,src):
threading.Thread.__init__(self)
self.lock=lock
self.src=src
def run(self):
self.lock.acquire()
        urllib.urlretrieve(self.src,'/home/tron/Python/code/img/'+str(random.choice(range(9999))))
        print self.src+"已获取"
        self.lock.release()

def img_greb():
lock=threading.Lock()
site_url = "http://blog.jobbole.com/"
html = urllib2.urlopen(site_url).read()
soup=BeautifulSoup(html)
img=soup.findAll(['img'])
for i in img:
Images(lock,i.get('src')).start()
if __name__ == '__main__':
img_greb()

为了提高效率我使用的多线程的方法获取图片，使用啦urllib中的urlretrieve来下载图片，其中urlretrieve的参数是这样的：

urlretrieve(url,filename)

url:图片的网络路径

filename:图片的本地路径