我的第一个爬虫日志
2016-05-31 13:45
246 查看
刚刚开始学习爬虫,很多东西不懂,还望前辈们多多指教。
我的第一篇爬虫是爬取图片,因为这个内容比较容易入手,所以先从这里开始,此处适用于仅有一页图片的百度贴吧网页或者说只能爬取第一页的图片。
总结流程:
1、导入相应的包
1)传送网址(多页在此不传送页码,新编函数循环传入新的页码)
2、构建函数
1)网址发送请求
2)服务器的响应
3)读取网址编码信息
3、编写正则表达式提取所需内容,括号内容具有唯一性
4、获取内容列表之后循环下载取出
以下适用于多页图片的百度贴吧网页
我的第一篇爬虫是爬取图片,因为这个内容比较容易入手,所以先从这里开始,此处适用于仅有一页图片的百度贴吧网页或者说只能爬取第一页的图片。
总结流程:
1、导入相应的包
1)传送网址(多页在此不传送页码,新编函数循环传入新的页码)
2、构建函数
1)网址发送请求
2)服务器的响应
3)读取网址编码信息
3、编写正则表达式提取所需内容,括号内容具有唯一性
4、获取内容列表之后循环下载取出
import urllib import urllib2 import re #导入需要的包 url = 'http://tieba.baidu.com/p/4558355499' def getpic(url): req = urllib2.Request(url) response = urllib2.urlopen(req) html = response.read().decode('utf-8') #注意正则需要括号表示分组,我们所需要的内容前后用括号隔开 re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" size=' jpg_url = re.findall(re_jpg,html) x = 0#从0开始命名 for jpg in jpg_url: urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x)) x +=1 print jpg getpic(url)
以下适用于多页图片的百度贴吧网页
import urllib import urllib2 import re import time start_url = 'http://tieba.baidu.com/p/2037526228?pn=' def getpic(url): req = urllib2.Request(url) response = urllib2.urlopen(req) html = response.read().decode('utf-8') re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" width=' jpg_url = re.findall(re_jpg,html) for jpg in jpg_url: #urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x)) urllib.urlretrieve(jpg,"J:/pydownload/%s.jpg"% jpg.split('/')[-1]) print jpg def get_all(pages): for i in range(1,pages): url = start_url + str(i) getpic(url) time.sleep(2) get_all(2)
相关文章推荐
- 十进制与二进制
- 20160531 VS2013编译duilibv1.1,“找不到Riched20.lib”的问题
- OC语言9-@property @synthesize和id
- LLDB+debugserver动态调试
- 吸引子传播算法
- Chrome DevTools – 25个技巧和窍门
- 科研常用的软件
- tomcat启动(设置catalina_home和不设置的区别)
- [老文章搬家] 关于 Huffman 编码
- 菜鸟目录(一些常用知识点)
- __declspec(dllimport)的作用
- Light OJ - 1008 - Fibsieve`s Fantabulous Birthday
- STL--queue
- unreal engine 4 BeginPlay,GEngine 还有其他一些东西找不到
- 机器学习,数据挖掘在研究生阶段大概要学些什么?
- 编码纠正 glob logging replace re.sub 2016.05.30回顾
- JavaScript中的ParseInt("08")和“09”返回0的原因分析及解决办法
- [PHP源码阅读]count函数
- Android_BroadcastReceiver(一)
- 数组对象排序:Comparable和Comparator