【求教】如何使用python爬取到高清原图?
2018-02-12 11:00
337 查看
python3爬取自己上传到豆瓣个人相册里的图片(每张2M,960x720),但是爬取下来的只有20kb,540x405,分析https://www.douban.com/photos/album/1657891127/这一网址(步骤:审查元素-->network -->img)发现里边图片大小就是540x405,点进具体图片,网址为https://www.douban.com/photos/photo/2512758368/#image,但是分析网页发现有五张图片,但其中只有三张是960x720,另外两张只是缩略图,所以问题来了,我该如何才能找到含有五张960x720原图的网址,进而下载到我需要的原图呢?求大神帮忙!以下是我的代码:
#模块导入
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
#URL及图片地址获取
URL = "https://www.douban.com/photos/album/1657891127/"
html = requests.get(URL).text
soup = BeautifulSoup(html, "html.parser")
img_div = soup.find_all('div', {"class": "photolst clearfix"})
#建立文件
import os
os.makedirs('./img/', exist_ok=True)
#获取图片并下载
for div in img_div:
imgs = div.find_all('img')
image_name = 0
for img in imgs:
url = img['src']
r = requests.get(url, stream=True)
with open('./img/%s' % str(image_name)+'.png', 'wb') as f:
image_name += 1
for chunk in r.iter_content(chunk_size=128):
f.write(chunk)
#模块导入
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
#URL及图片地址获取
URL = "https://www.douban.com/photos/album/1657891127/"
html = requests.get(URL).text
soup = BeautifulSoup(html, "html.parser")
img_div = soup.find_all('div', {"class": "photolst clearfix"})
#建立文件
import os
os.makedirs('./img/', exist_ok=True)
#获取图片并下载
for div in img_div:
imgs = div.find_all('img')
image_name = 0
for img in imgs:
url = img['src']
r = requests.get(url, stream=True)
with open('./img/%s' % str(image_name)+'.png', 'wb') as f:
image_name += 1
for chunk in r.iter_content(chunk_size=128):
f.write(chunk)
相关文章推荐
- 使用python写的如何自动提交和抓取网页
- 使用python写的如何自动提交和抓取网页
- 某编程论坛看到的降低网络游戏CPU占用率的方法。但是看不明白如何使用。求教。
- python程序使用pyinstaller打包成单一.exe文件后,如何的到.exe文件所在目录?
- 如何使用Python发送带(附件)的邮件
- 如何使用python自动登录路由器且获取页面内容
- python如何使用firefox的xpcom组件的
- 如何使用python修改文本文件
- python - 如何通过GMail发送邮件:smtplib的使用
- python 中如何使用pywin 中的MFC
- 如何使用Python发送带附件的邮件
- f2py::演示在python中如何使用Fortran代码
- 如何使用Python 下载FTP的文件
- Python如何使用urllib2获取网络资源
- 【翻译】Python如何使用urllib2获取网络资源
- 【转】Python如何使用urllib2获取网络资源(zz)
- Python中如何使用字符串当作变量名
- python 中如何使用 C 类型的数组? ctypes 的用法
- [Python系列实用教程]一、Python如何使用urllib2获取网络资源
- 如何使用python递归查找并删除某个目录下的文件