Python爬取百度贴吧图片
2015-09-24 16:36
686 查看
一、获取URL
Urllib 模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据。首先,我们定义了一个getHtml()函数:urllib.urlopen()方法用于打开一个URL地址。
read()方法用于读取URL上的数据,向getHtml()函数传递一个网址,并把整个页面下载下来。执行程序就会把整个网页打印输出。
二、查看图片地址
我们又创建了getImg()函数,用于在获取的整个页面中筛选需要的图片连接。re模块主要包含了正则表达式:
re.compile() 可以把正则表达式编译成一个正则表达式对象.
re.findall() 方法读取html 中包含 imgre(正则表达式)的数据。
运行脚本将得到整个页面中包含图片的URL地址。
下面是图片url。
三、保存数据到本地
import urllib import re def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImg(html): # 原来 pic-ext前面少了个空格打印出来 [] reg = r'src="(.+?\.jpg)" pic_ext' imgre = re.compile(reg) imglist = re.findall(imgre,html) x = 0 for imgurl in imglist: urllib.urlretrieve(imgurl,'%d.jpg' %x) x+=1 html = getHtml("http://tieba.baidu.com/p/4058560157") print getImg(html)
保存的图片在该py文件的桶一目录,如何设置其他保存路径呢,在urlretrieve的最后%x那设置,然后,我不知道怎么设置。
相关文章推荐
- python:列表推导式,list comprehension
- python处理json
- [LeetCode]题解(python):018-4Sum
- Python 通过print_lol将数据保存到文件中
- python socket编程之select
- Json概述以及python对json的相关操作
- Python快速入门
- head first python读书笔记(十一)
- 猪猪侠那里弄的python递归脚本
- Python 网络爬虫 - 抓取糗事百科的段子(最新版)
- [LeetCode]题解(python):017-Letter Combinations of a Phone Number
- 【Python】BeautifulSoup文档(windows-pyhton2.7.10)
- python多进程(multiprocessing)
- 零基础学python-19.4 为什么要在意列表解析与序列映射函数map
- 零基础学python-19.4 为什么要在意列表解析与序列映射函数map
- python批量连接mysql
- 八大排序算法的Python实现
- [LeetCode]题解(python):016-3Sum Closest
- python应用之求主析取范式,主合取范式
- Python try/except异常处理机制