Python 从爬虫到数据分析(一)定义
2018-09-04 19:43
507 查看
1.什么是爬虫?
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据。
2.爬虫可以做什么?
你可以爬取淘宝商品,爬取妹子的图片,爬取自己想看看的视频。。等等,只要你能通过浏览器访问的数据都可以通过爬虫获取
利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如:
知乎:爬取优质答案,为你筛选出各话题下最优质的内容。
淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。
3.爬虫的本质是什么?
模拟浏览器打开网页,获取网页中我们想要的那部分数据
浏览器打开网页的过程:
当你在浏览器中输入地址后,经过DNS服务器找到服务器主机,向服务器发送一个请求,服务器经过解析后发送给用户浏览器结果,包括html,js,css等文件内容,浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,从中获取我们想要资源(文本,图片,视频.....)
4.爬虫的结果可以做什么?
通过爬虫获取到大量的结果,可以进行数据分析来合理化安排。例如:
(1).商家通过爬取淘宝单品的数据,分析出该单品受众的喜爱款式。合理化自己商品的销售计划,以及补货方向。
(2).个人通过爬取知乎某一个问题的相关结果,从而得到一个更加合理化的结论。
另外,这在个大数据时代,只要你有了大量的数据,并且合理化时候这些数据,那么成功就指日可待!
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据。
2.爬虫可以做什么?
你可以爬取淘宝商品,爬取妹子的图片,爬取自己想看看的视频。。等等,只要你能通过浏览器访问的数据都可以通过爬虫获取
利用爬虫我们可以获取大量的价值数据,从而获得感性认识中不能得到的信息,比如:
知乎:爬取优质答案,为你筛选出各话题下最优质的内容。
淘宝、京东:抓取商品、评论及销量数据,对各种商品及用户的消费场景进行分析。
3.爬虫的本质是什么?
模拟浏览器打开网页,获取网页中我们想要的那部分数据
浏览器打开网页的过程:
当你在浏览器中输入地址后,经过DNS服务器找到服务器主机,向服务器发送一个请求,服务器经过解析后发送给用户浏览器结果,包括html,js,css等文件内容,浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,从中获取我们想要资源(文本,图片,视频.....)
4.爬虫的结果可以做什么?
通过爬虫获取到大量的结果,可以进行数据分析来合理化安排。例如:
(1).商家通过爬取淘宝单品的数据,分析出该单品受众的喜爱款式。合理化自己商品的销售计划,以及补货方向。
(2).个人通过爬取知乎某一个问题的相关结果,从而得到一个更加合理化的结论。
另外,这在个大数据时代,只要你有了大量的数据,并且合理化时候这些数据,那么成功就指日可待!
相关文章推荐
- 利用Python爬虫爬取淘宝商品做数据挖掘分析实战篇,超详细教程
- Python实现微信公众号爬虫进行数据分析
- 【Python数据分析】简单爬虫,爬取知乎神回复
- 大数据实战课程第一季Python基础和网络爬虫数据分析
- Python网络爬虫实战:根据天猫胸罩销售数据分析中国女性胸部大小分布
- 大数据实战课程第一季Python基础和网络爬虫数据分析
- Python爬虫数据分析相关资源
- Python爬虫(二)——对开封市58同城出租房数据进行分析
- python虎扑社区论坛数据爬虫分析报告
- python数据分析复盘——爬虫相关库
- 《网络爬虫-Python和数据分析》数据库建库建表问题
- python&php数据抓取、爬虫分析与中介,有网址案例
- Python爬虫爬取京东内存条数据并作简单分析
- 基于Python实现微信公众号爬虫进行数据分析
- python&php数据抓取、爬虫分析与中介,有网址案例
- [python和大数据-1]利用爬虫登录知乎进行BFS搜索抓取用户信息本地mysql分析【PART1】
- 分享python3爬虫及数据分析实战视频教程
- Python 从爬虫到数据分析(二)爬虫原理
- 基于Python实现微信公众号爬虫进行数据分析
- Python爬虫之实习僧招聘信息及数据分析