Python3使用requests包抓取并保存网页源码的方法
2016-03-15 00:00
1151 查看
本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考,具体如下:
使用Python 3的requests模块抓取网页源码并保存到文件示例:
这是一个基本的文件保存操作,但这里有几个值得注意的问题:
1.安装requests包,命令行输入pip install requests即可自动安装。很多人推荐使用requests,自带的urllib.request也可以抓取网页源码
2.open方法encoding参数设为utf-8,否则保存的文件会出现乱码。
3.如果直接在cmd中输出抓取的内容,会提示各种编码错误,所以保存到文件查看。
4.with open方法是更好的写法,可以自动操作完毕后释放资源。
另一个例子:
这是演示读取一个txt文件,每次读取一行,并保存到另一个txt文件中的示例。
因为在命令行中打印每次读取一行的数据,中文会出现编码错误,所以每次读取一行并保存到另一个文件,这样来测试读取是否正常。(注意open的时候制定encoding编码方式)
转自:小谈博客 http://www.tantengvip.com/2015/05/requests-html/
希望本文所述对大家Python程序设计有所帮助。
python采用requests库模拟登录和抓取数据的简单示例
使用Python3编写抓取网页和只抓网页图片的脚本
python3抓取中文网页的方法
在Python3中使用asyncio库进行快速数据抓取的教程
Python 多线程抓取图片效率对比
Python***爬虫抓取美女图
Python实现周期性抓取网页内容的方法
Python实现多线程抓取妹子图
Python抓取百度查询结果的方法
使用Python 3的requests模块抓取网页源码并保存到文件示例:
import requests html = requests.get("http://www.baidu.com") with open('test.txt','w',encoding='utf-8') as f: f.write(html.text)
这是一个基本的文件保存操作,但这里有几个值得注意的问题:
1.安装requests包,命令行输入pip install requests即可自动安装。很多人推荐使用requests,自带的urllib.request也可以抓取网页源码
2.open方法encoding参数设为utf-8,否则保存的文件会出现乱码。
3.如果直接在cmd中输出抓取的内容,会提示各种编码错误,所以保存到文件查看。
4.with open方法是更好的写法,可以自动操作完毕后释放资源。
另一个例子:
import requests ff = open('testt.txt','w',encoding='utf-8') with open('test.txt',encoding="utf-8") as f: for line in f: ff.write(line) ff.close()
这是演示读取一个txt文件,每次读取一行,并保存到另一个txt文件中的示例。
因为在命令行中打印每次读取一行的数据,中文会出现编码错误,所以每次读取一行并保存到另一个文件,这样来测试读取是否正常。(注意open的时候制定encoding编码方式)
转自:小谈博客 http://www.tantengvip.com/2015/05/requests-html/
希望本文所述对大家Python程序设计有所帮助。
您可能感兴趣的文章:
python中requests模块的使用方法python采用requests库模拟登录和抓取数据的简单示例
使用Python3编写抓取网页和只抓网页图片的脚本
python3抓取中文网页的方法
在Python3中使用asyncio库进行快速数据抓取的教程
Python 多线程抓取图片效率对比
Python***爬虫抓取美女图
Python实现周期性抓取网页内容的方法
Python实现多线程抓取妹子图
Python抓取百度查询结果的方法
相关文章推荐
- Python3 入门教程 简单但比较不错
- python3图片转换二进制存入mysql
- linux下python3连接mysql数据库问题
- Python3 能振兴 Python的原因分析
- Python3基础之基本运算符概述
- python中requests模块的使用方法
- Python3基础之条件与循环控制实例解析
- Python3实现生成随机密码的方法
- Python3基础之输入和输出实例分析
- Windows下实现Python2和Python3两个版共存的方法
- Python3 正在毁灭 Python的原因分析
- Python3基础之基本数据类型概述
- Python3基础之函数用法
- 让python同时兼容python2和python3的8个技巧分享
- Python3实现连接SQLite数据库的方法
- python3.3实现乘法表示例
- python3实现域名查询和whois查询功能
- Python3通过Luhn算法快速验证信用卡卡号的方法
- python3编写C/S网络程序实例教程
- 关于你不想知道的所有Python3 unicode特性