菜鸟成长记-----用python写一个简单的小爬虫
2017-05-25 15:42
357 查看
小白突发奇想想来搞一搞之前的课设,于是下了个python编辑器Pycharm写个爬虫耍一耍,这里权且记下来供后人(也就是小白自己拉)参考。
Pthon3中urllib2等几个库被整合了一下,所以在调用urlopen函数的时候就不能在通过urllib库调用了,需要引入urllib.request库让后通过这个库进行调用,之后通过这个库调用这个函数就行了,就像这样
page = urllib.request.urlopen(url)
这样我们就创建了一个远程类文件对象page,通过调用read函数可以读取到网页内的源码,对于这些源码可以把他们写在txt文件中,输入文件参数的时候稍微注意一下路径中“\”和“/”,方式设置为“wb+”表示用二进制打开输入,这样一个简答的小爬虫就做好了,了了数行代码如下:
Pthon3中urllib2等几个库被整合了一下,所以在调用urlopen函数的时候就不能在通过urllib库调用了,需要引入urllib.request库让后通过这个库进行调用,之后通过这个库调用这个函数就行了,就像这样
page = urllib.request.urlopen(url)
这样我们就创建了一个远程类文件对象page,通过调用read函数可以读取到网页内的源码,对于这些源码可以把他们写在txt文件中,输入文件参数的时候稍微注意一下路径中“\”和“/”,方式设置为“wb+”表示用二进制打开输入,这样一个简答的小爬虫就做好了,了了数行代码如下:
import urllib.request url = "http://www.view.sdu.edu.cn/" page = urllib.request.urlopen(url) html = page.read() file = open("搜索引擎\\test.txt","wb+") file.write(html)
相关文章推荐
- 一个简单的 python3 爬虫
- [Python]网络爬虫(六):一个简单的百度贴吧的小爬虫
- python爬虫01-创建一个简单的爬虫(附赠爬取的100G某小说网数据库)
- 一个下载pdf的简单python爬虫
- 一个简单的Python爬虫
- 一个简单的python爬虫程序
- 用Python写一个简单的微博爬虫
- 用Python写一个简单的爬虫功能
- [Python]网络爬虫(六):一个简单的百度贴吧的小爬虫
- Python编写一个简单的简单的爬虫-下载保存在本地
- [Python]网络爬虫(六):一个简单的百度贴吧的小爬虫
- 一个简单的爬虫程序(爬取百度百科关于python的一千个页面)
- 一个简单的python爬虫,抓取单个页面的图片
- python一个简单的爬虫实例
- Python实现一个简单的图片爬虫
- 一个简单的python爬虫,以豆瓣妹子“http://www.dbmeizi.com/category/2?p= ”为例
- [Python]网络爬虫(六):一个简单的百度贴吧的小爬虫 Python 3.6 改写
- [python脚本]一个简单的web爬虫(1)
- Python爬虫入门笔记:一个简单的爬虫架构