入坑爬虫(二)编写第一个python小爬虫
2018-08-02 17:24
141 查看
准备工作
- 编程语言: python3(本人用的是3.6版本)
- IDE(集成开发环境): 萌新推荐使用pycharm或python自带的IDLE.
- 操作系统: Windows(考虑到多数小伙伴都是windows系统,后面的爬虫也都是在windows环境下操作)
- 安装python的第三方库: requests
以管理员身份运行cmd - 在终端中输入: pip install request
第一个小爬虫
我们先写一个从网站上下载视频或图片的简单小爬虫.
import os import requests # 此处填写要获取的链接地址 url = 'http://img.hb.aicdn.com/225a5f3f75d1d4c59532704782eebd25d323fd801e57a-VlY5c4_fw658' root = 'D://pics//' try: # 判断路径下是否有这个文件夹,如果没有就创建文件夹 if not os.path.exists(root): os.mkdir(root) path_filename = root + url.split('/')[-1] + '.png' # 根据文件类型和链接可以选择修改后缀或不添加后缀 # 使用requests,发送get请求. r = requests.get(url) if not os.path.exists(path_filename): with open(path_filename, 'wb')as f: # 图片视频等是二进制数据组成,所以我们用r.content将返回的数据转为bytes类型. f.write(r.content) f.close() print('文件保存成功') else: print('文件已存在') except: print('下载失败')
我们也可以尝试获取多个视频或图片,只需要将url设置成列表,然后遍历它就可以实现.
- 将上述代码中的url设置成列表类型: url_list = [” 资源链接 “,” 资源链接 “,” 资源链接 “]
- 然后使用for循环遍历获取每个url,再用requests.get方法发送请求
- 如果有兴趣的小伙伴们可以动手尝试一下
下一章节我们会讲述一些requests库的基本语法.
阅读更多相关文章推荐
- 【Python爬虫】编写第一个爬虫
- 用python编写第一个简易爬虫(Requests库、BeatifulSoup、正则表达式入门)
- python网络爬虫(二)编写第一个爬虫
- 使用简单的python语句编写爬虫 定时拿取信息并存入txt
- 使用PyQt来编写第一个Python GUI程序
- Python 网络爬虫 004 (编程) 如何编写一个网络爬虫,来下载(或叫:爬取)一个站点里的所有网页
- Python 网络爬虫 005 (编程) 如何编写一个可以 下载(或叫:爬取)一个网页 的网络爬虫
- Python基础—01-认识python,编写第一个程序
- 用 Keras 编写你的第一个人工神经网络(Python)—— Jinkey 翻译
- python轻量级爬虫的编写
- 利用Python编写网络爬虫下载文章
- python编写的简易爬虫
- 使用PyQt来编写第一个Python GUI程序
- python简易爬虫编写--图片获取
- python安装和编写第一个HelloWord程序(windows中)
- 在python3中使用urllib.request编写简单的网络爬虫
- 关于我的第一个爬虫--Python+selenium+parsel+动态网页
- 如何开始写你的第一个python脚本——简单爬虫入门!
- 一起学Hadoop——使用IDEA编写第一个MapReduce程序(Java和Python)
- python的第一个小爬虫requests