您的位置:首页 > 编程语言 > Python开发

学习笔记(05):150讲轻松搞定Python网络爬虫-用Chrome分析网页

2020-06-28 05:04 393 查看

立即学习:https://edu.csdn.net/course/play/24756/280653?utm_source=blogtoeduElements:展示网页背后的源代码。对于爬虫而言,分析网页背后的的源代码,才能准确提取需要的信息。有时候网页是通过Ajax请求获得的,因此element里面的信息不可全信。

Console:展示网页打印的相关信息,相当于是控制台。可以呈现彩蛋。

Sources:是一个文件夹,展示出网页所有的源代码。(elements和sources的区别,sources是最初的源代码,爬取sources中的内容可能出现爬取不到所需信息的情况,应该爬取elements内的内容。原因:以拉勾网为例。拉勾网实际上总体而言是两次请求,第一次发送的是框架(一个空盒子),然后再次发出请求,动态添加工作信息。网页所呈现的是最终两次请求后的结果,但工作信息并没有存储在Sources中,而是存储在elements中。Js加密后,须在sources中找。)

Network:想要获取所有的信息,在network中查找。路径:network--Ajax.json文件—XHR

会显示所有通过请求发送的文件。All是指所有的文件,JS是指JS文件,CSS同理

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐