解决Python selenium get页面很慢时的问题
2019-05-28 18:04
2436 查看
driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。
在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法
设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,
但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行
GeckoDriver执行具体如下:
访问百度贴吧某个获取其帖子总页数:
可以通过两种方式获取,简单的就是直接定位元素共11页
代码用定位尾页获取总页数
from selenium import webdriver import re driver = webdriver.Firefox() #设定页面加载timeout时长,需要的元素能加载出来就行 driver.set_page_load_timeout(20) driver.set_script_timeout(20) #try去get try: driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182") except: print("加载页面太慢,停止加载,继续下一步操作") driver.execute_script("window.stop()") last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素 #获取尾页页码链接文本 text = last_page_element.get_attribute("href") all_page_num = re.search("\d+$",text).group() # 正则匹配到页码 print("当前贴吧贴子总页数为:%s"%all_page_num)
以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- python+selenium控制谷歌页面滚动条导致白页的问题解决
- 关于python中selenium获取不到跳转页面的当前url问题解决
- python页面乱码问题及解决(pycharm+mysql)
- WebDriver封装GET方法来解决页面跳转不稳定的问题
- mac/linux 下 selenium 导入python requests包的问题解决
- python +selenium 解决IE浏览器调用报错问题
- Python-Selenium2做Web自动化测试(6)-解决使用Webdrive打开Firefox不含有插件的问题
- python爬虫,selenium使用,Firefox-chrome-IE问题解决方法,selenium的基本操作
- 【Python numpy问题】解决 :undefined symbol: omp_get_num_procs
- .net 环境下get 获取页面出现乱码问题解决
- python + selenium webdriver 通过python来模拟鼠标、键盘操作,来解决SWFFileUpload调用系统底层弹出框无法定位问题
- Python+Selenium框架设计篇之7-进一步实现POM和可能遇到问题解决办法
- python selenium运行,打包exe常见问题解决方法
- 如何解决Python/Java-Selenium对IE浏览器sendKeys文本框输入过慢的问题
- 页面get请求 中文参数方法乱码问题的快速解决方法
- Python Selenium 启动新版本Firefox失败问题解决方案
- Python 读Dict数据的方法,解决key 不在dict的问题,get()函数,setdefault()函数
- Selenium-解决使用Webdrive打开Firefox不含有插件的问题(python)
- 解决selenium2在IE11上出错的问题,如Unable to get browser
- 使用python+selenium制作浏览器爬虫,彻底解决ajax异步加载问题(待更新)