python爬虫:利用Requests和BeautifulSoup爬取百度贴吧多页图片
2019-02-23 22:18
1286 查看
[code]import requests from bs4 import BeautifulSoup import os os.chdir(r'D:\liqin') def get_page(url): headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} response = requests.get(url, headers=headers) if response.status_code == 200: # 页面正常响应 return response.text # 返回页面源代码 return None def get_data(): for i in range(1,6): url = 'http://tieba.baidu.com/p/4718154281?pn=' + str(i) html = get_page(url) soup = BeautifulSoup(html, 'html.parser')#html.parser是解析器 imgs = soup.find_all('img',attrs = {'class':'BDE_Image'})#从响应的数据中找到class是'BDE_Image'的数据 for img in imgs: img_src = img.get('src')#得到img的url img_content=requests.get(img_src).content#得到这个url下的内容content,应该是二进制的 filename=img_src.split('/')[-1] with open(filename, 'wb') as f: f.write(img_content) if __name__ =='__main__': get_data()
这是一个简单的Python爬虫,由于本人还处于爬虫菜鸟阶段,有什么不正确的地方还请各位大神指正,大家一起学习进步
相关文章推荐
- 利用python3 requests和BeautifulSoup4抓取百度贴吧研究生录取通知书并展示
- python3 多页爬虫爬取百度贴吧帖子所有图片
- python爬虫基础知识之requests,读取图片的两只方式,cookies,beautifulsoup
- python爬虫:下载百度贴吧图片(多页)学习笔记
- 如何利用python爬虫技术将百度贴吧上面的帖子名称爬取下来
- Python下基于requests及BeautifulSoup构建网络爬虫
- python利用beautifulSoup写爬虫
- python3.5——爬虫实现批量下载图片(正则表达式法和BeautifulSoup第三方库法)
- Python爬虫实战一之爬取百度贴吧中图片
- Python使用requests及BeautifulSoup构建爬虫实例代码
- Python-简单的爬虫案例(百度贴吧-图片)
- Python 利用requests+BeautifulSoup4编写原生爬虫,爬取电影天堂最新电影,并打造最新电影下载及查询器
- python 爬虫 利用selenium模拟登录帐号 向requests中重设 cookie
- 【Python爬虫系列】使用requests爬取图片
- python爬虫2:利用Requests和 XPATH爬取猫眼电影TOP100榜单
- Python爬虫_简单获取百度贴吧图片
- Python爬虫urllib2笔记(三)之使用正则表达式提取百度贴吧网页中的楼主发的图片
- Python爬虫——利用PhantomJS下载动态加载图片
- Python Requests爬虫——获取一个收藏夹下所有答案的图片
- python爬虫--利用xpath爬取图片(虚拟机ubuntu16.04)