python爬虫日志(13)selenium实现淘宝自动翻页以及在新的标签页中打开网页
2018-08-15 16:19
621 查看
对于淘宝这个网站,翻页可以有很多种方法,我们可以点击下一页,可以点击数字,也可以直接输入页数然后回车,这里我自己是采用点击下一页的方法,这样就不用获取总页数,因为当到达最后一页时,包含下一页的标签的class会有一个'next-disabled'属性很方便的是否到达最后一页。
知道原理代码就很简单了。
下面是在新标签页中打开网页的方法:
知道原理代码就很简单了。
next_button = browser.find_element_by_css_selector('li.item.next') # 翻页按钮 if 'next-disabled' not in next_button.get_attribute('class'): next_button.click()
下面是在新标签页中打开网页的方法:
# 首先我们执行一段js命令在新的标签页打开网页 new_window = 'window.open("{}")'.format(url) browser.execute_script(new_window) handles = browser.window_handles # 获取浏览器所有标签的句柄,这里返回是一个列表 # 再用switch_to.window()来切换标签 browser.switch_to.window(handles[-1]) # ok这样就切换到新的标签页中了 # 值得注意的是,find_element方法只能在browser当前所在的标签内寻找,如果查找其他标签内的元素,将会出现Nosuchelement的错误 browser.close()#关闭当前标签 browser.switch_to.window(handles[0]) # 切回原来的标签 browser.quit()#是退出浏览器,其功能要与close()区分
相关文章推荐
- python爬虫实战--selenium验证码保存+多线程多标签+自动点击+完整代码
- [Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图
- Python爬虫 Selenium实现自动登录163邮箱和Locating Elements介绍
- python 3 的selenium模块实现网页自动登陆
- 第三百五十节,Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块,可以实现js动态网页请求
- [Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图
- [Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍
- python2.7+selenium2实现淘宝滑块自动认证功能
- Python爬虫(入门+进阶)学习笔记 1-8 使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝商品)
- [Python爬虫]利用Selenium等待Ajax加载及模拟自动翻页,爬取东方财富网公司公告
- [Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍
- 开源you-get项目爬虫,以及基于python+selenium的自动测试利器
- [code] python+selenium实现打开一个网页
- 使用Python模块webbrowser实现自动打开网页/刷新网页
- Python使用selenium实现网页用户名 密码 验证码自动登录功能
- python2.7+selenium2实现淘宝滑块自动认证
- python+Selenium2+chrome构建动态网页爬虫工具
- JAVA实现自动打开URL对应的网页并保存为图片-不借助第三方API
- ViewPager实现自动翻页功能 --转载出处找不到了,根据自己的理解写个随笔方便以后的记忆以及代码的共享,感谢给我启发的那位高手--第一次写博客哈
- python+Selenium2+chrome构建动态网页爬虫工具