python爬虫从入门到放弃(一)之初识爬虫
2018-04-21 14:34
155 查看
本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/6897393.html
整理这个文档的初衷是自己开始学习的时候没有找到好的教程和文本资料,自己整理一份这样的资料希望能对小伙伴有帮助
什么是爬虫?
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据
爬虫可以做什么?
你可以爬去妹子的图片,爬取自己想看看的视频。。等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取
爬虫的本质是什么?
模拟浏览器打开网页,获取网页中我们想要的那部分数据
浏览器打开网页的过程:
当你在浏览器中输入地址后,经过DNS服务器找到服务器主机,向服务器发送一个请求,服务器经过解析后发送给用户浏览器结果,包括html,js,css等文件内容,浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,从中获取我们想要资源(文本,图片,视频.....)
所有的努力都值得期许,每一份梦想都应该灌溉! 阅读更多相关文章推荐
- python爬虫从入门到放弃(一)之初识爬虫
- python爬虫从入门到放弃(一)之初识爬虫
- Python爬虫从入门到放弃(十七)之 Scrapy框架中Download Middleware用法
- python爬虫从入门到放弃(七)之 PyQuery库的使用
- Python爬虫从入门到放弃(十九)之 Scrapy爬取所有知乎用户信息(下)
- python爬虫从入门到放弃(九)之 实例爬取上海高级人民法院网开庭公告数据
- Python爬虫从入门到放弃(十六)之 Scrapy框架中Item Pipeline用法
- Python爬虫从入门到放弃(十三)之 Scrapy框架的命令行详解
- Python爬虫从入门到放弃(十一)之 Scrapy框架整体的一个了解
- Python爬虫从入门到放弃(十二)之 Scrapy框架的架构和原理
- Python爬虫从入门到放弃(十四)之 Scrapy框架中选择器的用法
- Python爬虫从入门到放弃(十)之 关于深度优先和广度优先
- python爬虫从入门到放弃(三)之 Urllib库的基本使用
- Python爬虫从入门到放弃(十八)之 Scrapy爬取所有知乎用户信息(上)
- python爬虫从入门到放弃(八)之 Selenium库的使用
- Python爬虫从入门到放弃(十九)之 Scrapy爬取所有知乎用户信息(下)
- python爬虫从入门到放弃(六)之 BeautifulSoup库的使用
- python爬虫从入门到放弃(二)之爬虫的原理
- Python爬虫从入门到放弃(二十四)之 Scrapy登录知乎
- Python爬虫从入门到放弃(十二)之 Scrapy框架的架构和原理