【网络爬虫】【python】网络爬虫(一):python爬虫概述
2014-10-02 00:23
513 查看
python爬虫的实现方式:
1.简单点的urllib2 + regex,足够了,可以实现最基本的网页下载功能。实现思路就是前面java版爬虫差不多,把网页拉回来,再正则regex解析信息……总结起来,两个函数:urllibw.urlopen()和re.compile()。其实对于正则解析html网页,python同样有和jsoup类似的工具包——BeautifulSoup,用好了同样比正则省事多了。同时BeautifulSoup还针对非结构化html标签有清洗功能,比如网页中标签不完整,有些源代码中出现起始标签而没有结束标签,html标签不完整会影响抓取结构化数据,通过BeautifulSoup先对源代码清洗,再分析获取内容。
进阶版本:异步爬取可以使用多线程、效率更高可以采用非阻塞方案tornado和curl可以实现非阻塞的下载。
2.成熟的开源爬虫框架scrapy,后边系列文章再写吧……不再多说了,网上对于这两种实现方式也有很多demo项目。
其实关于如何学习python爬虫,知乎有个话题《如何入门Python爬虫》:
http://www.zhihu.com/question/20899988
python爬虫系列部分先几个简单的例子开始,python工具库urllib2很多库函数已经帮我们做了之前java实现版的某些繁重工作和一些步骤,所以没必要再重复劳动。之后会再介绍scrapy框架。
关于scrapy,一个优秀的基于twisted开源爬虫框架,并且作为GSoC (Google Summer of Code),这个开源项目也是有很高的关注度的,该项目的版本也在不断更新。其实对于scrapy框架的学习,更多的可以参见官方文档,在这里也顺便推荐一个中文的scrapy学习资料:http://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html,来自github开源社区的几位学生,目前该文档大部分已经翻译完成,翻译质量不错,学scrapy的同时可以看下。
原创文章,转载请注明出处:/article/1330937.html
1.简单点的urllib2 + regex,足够了,可以实现最基本的网页下载功能。实现思路就是前面java版爬虫差不多,把网页拉回来,再正则regex解析信息……总结起来,两个函数:urllibw.urlopen()和re.compile()。其实对于正则解析html网页,python同样有和jsoup类似的工具包——BeautifulSoup,用好了同样比正则省事多了。同时BeautifulSoup还针对非结构化html标签有清洗功能,比如网页中标签不完整,有些源代码中出现起始标签而没有结束标签,html标签不完整会影响抓取结构化数据,通过BeautifulSoup先对源代码清洗,再分析获取内容。
进阶版本:异步爬取可以使用多线程、效率更高可以采用非阻塞方案tornado和curl可以实现非阻塞的下载。
2.成熟的开源爬虫框架scrapy,后边系列文章再写吧……不再多说了,网上对于这两种实现方式也有很多demo项目。
其实关于如何学习python爬虫,知乎有个话题《如何入门Python爬虫》:
http://www.zhihu.com/question/20899988
python爬虫系列部分先几个简单的例子开始,python工具库urllib2很多库函数已经帮我们做了之前java实现版的某些繁重工作和一些步骤,所以没必要再重复劳动。之后会再介绍scrapy框架。
关于scrapy,一个优秀的基于twisted开源爬虫框架,并且作为GSoC (Google Summer of Code),这个开源项目也是有很高的关注度的,该项目的版本也在不断更新。其实对于scrapy框架的学习,更多的可以参见官方文档,在这里也顺便推荐一个中文的scrapy学习资料:http://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html,来自github开源社区的几位学生,目前该文档大部分已经翻译完成,翻译质量不错,学scrapy的同时可以看下。
原创文章,转载请注明出处:/article/1330937.html
相关文章推荐
- 【网络爬虫】【python】网络爬虫(四):scrapy爬虫框架(架构、win/linux安装、文件结构)
- Python 网络爬虫 004 (编程) 如何编写一个网络爬虫,来下载(或叫:爬取)一个站点里的所有网页
- 【网络爬虫】【python】网络爬虫(五):scrapy爬虫初探——爬取网页及选择器
- Python网络爬虫与信息提取(二):网络爬虫之提取
- python网络爬虫系列教程——python网络数据爬虫误区,让你的爬虫更像人类
- Python 网络爬虫 001 (科普) 网络爬虫简介
- python网络爬虫之初识网络爬虫
- Python 网络爬虫与信息获取(一)—— requests 库的网络爬虫
- 【网络爬虫】【python】网络爬虫(二):网易微博爬虫软件开发实例(附软件源码)
- Python 网络爬虫 001 (科普) 网络爬虫简介
- Python网络爬虫与信息提取(二):网络爬虫之提取
- Python网络爬虫与信息提取(三):网络爬虫之实战
- Python网络爬虫——1、初识网络爬虫
- Python网络爬虫与信息提取(三):网络爬虫之实战
- Python网络爬虫与信息提取(一):网络爬虫之规则
- Python3网络爬虫快速入门实战解析(一小时入门 Python 3 网络爬虫)
- Python 网络爬虫 004 (编程) 如何编写一个网络爬虫,来下载(或叫:爬取)一个站点里的所有网页
- Python网络爬虫(一):初步认识网络爬虫
- 【网络爬虫】【python】网络爬虫(三):模拟登录——伪装浏览器登录爬取过程