【python爬虫学习经历一】
2014-11-08 13:16
381 查看
感谢csdn 博主: 请叫我汪海
1.URL的格式由三部分组成:
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址,如目录和文件名等。
第一部分和第二部分用“://”符号隔开,
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的,第三部分有时可以省略。
爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。
因此,准确地理解URL对理解网络爬虫至关重要。
2.最简单的爬虫程序:
import urllib2
response=urllib2.urlopen('http://www.baidu.com/')
html=response.read()
print html
这样直接把百度首页的原代码打出来了。
或者
import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
3.urllib2的常用方法:
.Request() 发送请求
.urlope你()打开网页
.read() 读取网页
1.URL的格式由三部分组成:
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址,如目录和文件名等。
第一部分和第二部分用“://”符号隔开,
第二部分和第三部分用“/”符号隔开。
第一部分和第二部分是不可缺少的,第三部分有时可以省略。
爬虫最主要的处理对象就是URL,它根据URL地址取得所需要的文件内容,然后对它 进行进一步的处理。
因此,准确地理解URL对理解网络爬虫至关重要。
2.最简单的爬虫程序:
import urllib2
response=urllib2.urlopen('http://www.baidu.com/')
html=response.read()
print html
这样直接把百度首页的原代码打出来了。
或者
import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
3.urllib2的常用方法:
.Request() 发送请求
.urlope你()打开网页
.read() 读取网页
相关文章推荐
- Python学习笔记 第二部分 - 正则表达式 与 爬虫小实例(抓取豆瓣电影中评分大于等于8分的影片)
- 【爬了个爬——学习Python网络爬虫】1.抓取页面
- Python 爬虫如何入门学习?
- [Python学习] 简单网络爬虫抓取博客文章及思想介绍
- Python网络爬虫 学习资源----
- Python学习笔记之网络爬虫
- [Python]网络爬虫学习笔记,爬取东南大学SEU-wlan的流量使用情况
- Python 学习入门(6)—— 网页爬虫
- python爬虫学习小程序
- Python 爬虫学习 urllib2
- python基础学习-7(简单爬虫)
- python 爬虫学习一
- Python 学习入门(6)—— 网页爬虫
- python爬虫学习(一)
- 使用python2.7学习网络爬虫,问题锦集
- 【爬了个爬——学习Python网络爬虫】0.写在前面的话
- 学习python爬虫
- Python 网页爬虫-BeautifulSoup库的学习
- Python 爬虫如何入门学习?
- Python 爬虫学习 网页图片下载