Python简单两步实现天气爬虫采集器
2013-01-26 11:57
751 查看
说道爬虫大家或许感觉非常神秘,其实它没有我们想象的那么神奇(当然,google和baidu的爬虫是一场复杂和强大的,它的强大不是爬虫本身强大,而是后台的数据处理和数据挖掘算法非常强大),今天我们就来揭开它神秘的面纱。呵呵,用python简单两步就可以实现一个网页天气爬虫程序。。。
爬虫简单说来包括两个部分:1.获得网页文本信息。2.数据分析,获取其中我们想要的数据。
这里返回的就是网页的源代码,也就是html代码。
那我们如何从中得到我们想要的信息呢?那就需要用到在网页分析里面最最常用的工具 - 正则表达式 了。
python正则表达式的使用也很简洁:
说明:
其中reg是正则表达式,html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是()中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。
爬虫简单说来包括两个部分:1.获得网页文本信息。2.数据分析,获取其中我们想要的数据。
1、获得网页文本信息。
python在获取html方面十分方便,有了urllib库的帮助,只需要几行代码就可以实现我们需要的功能。那我们如何从中得到我们想要的信息呢?那就需要用到在网页分析里面最最常用的工具 - 正则表达式 了。
2、根据正则表达式等获得需要的内容。
使用正则表达式时需要仔细观察该网页信息的结构,并写出正确的正则表达式。python正则表达式的使用也很简洁:
其中reg是正则表达式,html是第一步获得的文本。findall的作用是找到html中所有符合正则匹配的字符串并存放到weatherList中。之后再枚举weatheList中的数据输出即可。
这里的正则表达式reg有两个地方要注意。
一个是“(.*?)”。只要是()中的内容都是我们将要获得的内容,如果有多个括号,那么findall的每个结果就都包含这几个括号中的内容。上面有三个括号,分别对应城市、最低温和最高温。
另一个是“.*?”。python的正则匹配默认是贪婪的,即默认尽可能多地匹配字符串。如果在末尾加上问号,则表示非贪婪模式,即尽可能少地匹配字符串。在这里,由于有多个城市的信息需要匹配,所以需要使用非贪婪模式,否则匹配结果只剩下一个,且是不正确的。
相关文章推荐
- Python天气预报采集器实现代码(网页爬虫)
- Python天气预报采集器实现代码(网页爬虫)
- Python天气预报采集器实现代码(网页爬虫)
- Python实现简单的网络爬虫
- 简单爬虫实现登录新浪微博(python2.7)
- python如何实现简单的爬虫功能
- Python3_第一个简单爬虫开发_爬取百度百科1000个词条_参照慕课网教程实现
- Python实现简单的获取图片爬虫功能示例
- Python简单爬虫实现
- python3简单爬虫实现代码
- 运维学python之爬虫高级篇(二)用Scrapy框架实现简单爬虫
- python实现简单爬虫功能
- 利用python实现简单的爬虫,爬百度文库相关词条信息
- python实现简单爬虫
- Python 用Redis简单实现分布式爬虫的方法
- python实现简单爬虫功能
- python实现简单爬虫功能
- Python采集案例:Python实现爬取知乎神回复简单爬虫代码
- python实现简单爬虫功能
- Python实现简单的爬虫获取某刀网的更新数据