学习笔记(05):150讲轻松搞定Python网络爬虫-用Chrome分析网页
2020-06-28 05:04
393 查看
立即学习:https://edu.csdn.net/course/play/24756/280653?utm_source=blogtoeduElements:展示网页背后的源代码。对于爬虫而言,分析网页背后的的源代码,才能准确提取需要的信息。有时候网页是通过Ajax请求获得的,因此element里面的信息不可全信。
Console:展示网页打印的相关信息,相当于是控制台。可以呈现彩蛋。
Sources:是一个文件夹,展示出网页所有的源代码。(elements和sources的区别,sources是最初的源代码,爬取sources中的内容可能出现爬取不到所需信息的情况,应该爬取elements内的内容。原因:以拉勾网为例。拉勾网实际上总体而言是两次请求,第一次发送的是框架(一个空盒子),然后再次发出请求,动态添加工作信息。网页所呈现的是最终两次请求后的结果,但工作信息并没有存储在Sources中,而是存储在elements中。Js加密后,须在sources中找。)
Network:想要获取所有的信息,在network中查找。路径:network--Ajax.json文件—XHR
会显示所有通过请求发送的文件。All是指所有的文件,JS是指JS文件,CSS同理
相关文章推荐
- 学习笔记(04):21天搞定分布式Python网络爬虫-用Chrome分析网页
- 学习笔记(05):150讲轻松搞定Python网络爬虫-xpath-基本介绍
- 学习笔记(08):150讲轻松搞定Python网络爬虫-xpath-lxml解析HTML代码和文件
- 学习笔记(07):150讲轻松搞定Python网络爬虫-urllib库-编码和解码
- 学习笔记(07):150讲轻松搞定Python网络爬虫-urllib库-Cookie原理讲解
- 学习笔记(03):150讲轻松搞定Python网络爬虫-urllib库-urlretrieve函数
- 学习笔记(06):150讲轻松搞定Python网络爬虫-urllib库-基本使用
- 学习笔记(18):150讲轻松搞定Python网络爬虫-xpath-在lxml中使用xpath语法
- 学习笔记(05):零基础搞定Python数据分析与挖掘-for循环的介绍与使用(二)
- 学习笔记(05):零基础搞定Python数据分析与挖掘-字符串的常用方法
- 学习笔记(05):零基础搞定Python数据分析与挖掘-数据子集的筛选
- 学习笔记(05):21天搞定分布式Python网络爬虫-urllib库-基本使用
- 韩顺平_轻松搞定网页设计(html+css+javascript)_第30讲_类和对象细节_创建对象的几种方式_js对象内存分析_学习笔记_源代码图解_PPT文档整理
- 学习笔记(05):零基础搞定Python数据分析与挖掘-正则表达式的简介
- 学习笔记(05):21天搞定分布式Python网络爬虫-urllib库-实战-猫眼票房
- 韩顺平_轻松搞定网页设计(html+css+javascript)_第26讲_js函数调用过程内存分析_js函数细节_学习笔记_源代码图解_PPT文档整理
- 学习笔记(05):零基础搞定Python数据分析与挖掘-字符串的常用方法
- 学习笔记(05):零基础搞定Python数据分析与挖掘-if分支的介绍与使用(一)
- 学习笔记(05):零基础搞定Python数据分析与挖掘-常用的正则符号(二)
- 学习笔记(05):零基础搞定Python数据分析与挖掘-常用的正则符号(二)