python3+selenium获取页面加载的所有静态资源文件链接操作
2020-05-05 07:07
2231 查看
软件版本:
python 3.7.2
selenium 3.141.0
pycharm 2018.3.5
具体实现流程如下,废话不多说,直接上代码:
from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.desired_capabilities import DesiredCapabilities d = DesiredCapabilities.CHROME chrome_options = Options() #使用无头浏览器 chrome_options.add_argument('--headless') chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36') #浏览器启动默认最大化 chrome_options.add_argument("--start-maximized"); #该处替换自己的chrome驱动地址 browser = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options,desired_capabilities=d) browser.set_page_load_timeout(150) browser.get("https://www.xxx.com") #静态资源链接存储集合 urls = [] #获取静态资源有效链接 for log in browser.get_log('performance'): if 'message' not in log: continue log_entry = json.loads(log['message']) try: #该处过滤了data:开头的base64编码引用和document页面链接 if "data:" not in log_entry['message']['params']['request']['url'] and 'Document' not in log_entry['message']['params']['type']: urls.append(log_entry['message']['params']['request']['url']) except Exception as e: pass print(urls)
打印结果为页面渲染时加载的静态资源文件链接:
[http://www.xxx.com/aaa.js,http://www.xxx.com/css.css]
以上代码为selenium获取页面加载过程中预加载的各类静态资源文件链接,使用该功能获取到链接后,使用其他插件进行可对资源进行下载!
补充知识:在idea 中python import sys,import requests 报错
File->Project Structure
project -> sdk -> new -> ok
设置编译参数(主要是设置和检查Python JDK是否正确)
以上这篇python3+selenium获取页面加载的所有静态资源文件链接操作就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- python3+selenium获取页面加载的所有静态资源文件链接
- Python PhatomJS 和Selenium动态加载页面 获取图片内容
- Python获取当前页面内所有链接的四种方法对比分析
- Python 小工具--实现获取文件夹下面所有文件操作
- php 获取当前页面所有require加载文件
- springboot 我们在开发WEB页面的时候,还需要加载很多静态资源,比如js、图片、css等文件,那这些文件应该放在哪里呢?
- 如何使用Python获取某个路径下面所有文件的绝对路径以及其他操作
- 获取cocos2dx3.3资源文件下的文件名, 异步加载所有资源
- 获取当前页面的所有链接的四种方法对比(python 爬虫)
- Python利用系统命令获取文件(夹)信息以及Python对Excel的简单操作
- php获取页面所有链接的正则表达式
- spring-boot 加载本地静态资源文件路径配置
- python获取网页所有链接
- 动态创建服务器控件,获取HTML输出(用于生成静态文件,简化页面,简化编程等)
- jsoup 获取指定页面的所有链接(需后续完善)
- python从页面获取中文,写入指定文件中
- 获取统计页面所有a链接的点击次数(JS初学者)
- 使用Python获取所有非偶数尺寸图片资源信息
- delphi 获取某个页面所有的链接
- python获取目录下所有文件的方法