python3+selenium获取页面加载的所有静态资源文件链接
python3+selenium获取页面加载的所有静态资源文件链接
软件版本:
python 3.7.2
selenium 3.141.0
pycharm 2018.3.5
具体实现流程如下,废话不多说,直接上代码:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
d = DesiredCapabilities.CHROME
chrome_options = Options()
#使用无头浏览器
chrome_options.add_argument(’–headless’)
chrome_options.add_argument(’–user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 >>(KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36’)
#浏览器启动默认最大化
chrome_options.add_argument("–start-maximized");
#该处替换自己的chrome驱动地址
browser = webdriver.Chrome(“D://googleDever//chromedriver.exe”,chrome_options=chrome_options,desired_capabilities=d)
browser.set_page_load_timeout(150)
#静态资源链接存储集合
urls = []
#获取静态资源有效链接
for log in self.browser.get_log(‘performance’):
if ‘message’ not in log:
continue
log_entry = json.loads(log[‘message’])
try:
#该处过滤了data:开头的base64编码引用和document页面链接
if “data:” not in log_entry[‘message’][‘params’][‘request’][‘url’] and ‘Document’ not in log_entry[‘message’][‘params’][‘type’]:
urls.append(log_entry[‘message’][‘params’][‘request’][‘url’])
except Exception as e:
pass
print(urls)
打印结果为
[http://www.xxx.com/aaa.js,http://www.xxx.com/css.css]
以上代码为selenium获取页面加载过程中预加载的各类静态资源文件链接,使用该功能获取到链接后,使用其他插件进行可对资源进行下载!
特别声明:本文为原创作品,转载请注明出处来源https://blog.csdn.net/qq_32201423/article/details/91419523
- 获取cocos2dx3.3资源文件下的文件名, 异步加载所有资源
- Python获取当前页面内所有链接的四种方法对比分析
- 获取当前页面的所有链接的四种方法对比(python 爬虫)
- php 获取当前页面所有require加载文件
- Python PhatomJS 和Selenium动态加载页面 获取图片内容
- springboot 我们在开发WEB页面的时候,还需要加载很多静态资源,比如js、图片、css等文件,那这些文件应该放在哪里呢?
- delphi 获取某个页面所有的链接
- 怎样获取页面上所有链接的名称和url
- Unity 获取指定资源目录下的所有文件
- python 获取文件夹下所有文件大小
- 静态代码块 通过getClassLoader() 较高性能 获取资源属性文件
- spring-boot 加载本地静态资源文件路径配置
- 关于SpringMVC的静态资源文件加载问题
- php获取页面所有链接的正则表达式
- 使用Python获取所有非偶数尺寸图片资源信息
- SpringMVC 无法加载js,css等静态资源文件
- spring-boot 加载本地静态资源文件路径配置
- Java实现获取Web上所有路径下资源文件的URL地址
- 【python】获取指定网页上的所有超级链接
- PHP 获取指定URL页面中的所有链接