Python爬虫框架Scrapy 学习笔记 9 ----selenium
2015-01-11 18:59
1016 查看
selenium本是用来对web application做自动化测试的。不过,它有个天大的好处:能让我们用python(当然不仅是python)代码模拟人对浏览器的操作。所需软件:python2.7 , firefox 25.0.1(版本不能太高), selenium2.44.0(使用pip install selenium安装即可)1. 打开浏览器,请求百度主页,5秒钟后关闭浏览器
from selenium import webdriver import time brower = webdriver.Firefox() brower.get('http://www.baidu.com') time.sleep(5) brower.close()注意 url的写法,前面必须加 http:// 2. 打开浏览器,请求一个带有动态内容的网页,等待js执行完毕(10秒钟足够),获取当前浏览器render的内容的源码,关闭浏览器
from selenium import webdriver import time browser = webdriver.Firefox() browser.get('http://detail.tmall.com/item.htm?id=12577759834 ') time.sleep(10) pageSource = browser.page_source print pageSource browser.close()
相关文章推荐
- Python爬虫框架Scrapy 学习笔记 10.2 -------【实战】 抓取天猫某网店所有宝贝详情
- Python爬虫框架Scrapy 学习笔记 5 ------- 使用pipelines过滤敏感词
- Python爬虫框架Scrapy 学习笔记 10.3 -------【实战】 抓取天猫某网店所有宝贝详情
- Python爬虫框架Scrapy 学习笔记 7------- scrapy.Item源码剖析
- python 爬虫 学习笔记(一)Scrapy框架入门
- Python爬虫框架Scrapy 学习笔记 8----Spider
- Python爬虫框架Scrapy 学习笔记 4 ------- 第二个Scrapy项目
- Python爬虫框架Scrapy 学习笔记 10.1 -------【实战】 抓取天猫某网店所有宝贝详情
- python爬虫框架scrapy学习笔记
- 学习python 中的scrapy爬虫框架艰辛路,不推荐看,主要纪录自己学习笔记的
- Python的Scrapy爬虫框架简单学习笔记
- Python爬虫框架Scrapy 学习笔记 10.2 -------【实战】 抓取天猫某网店所有宝贝详情
- python爬虫框架scrapy学习笔记
- Python的Scrapy爬虫框架简单学习笔记
- Python爬虫框架Scrapy 学习笔记 1 ----- 环境搭建
- Python学习(8)---Scrapy框架下的网络爬虫
- Python爬虫框架Scrapy学习二记——Scrapy开发环境配置
- python爬虫框架scrapy学习图片下载
- Python的爬虫程序编写框架Scrapy入门学习教程
- python爬虫笔记 --------scrapy框架(3)