Selenium+ChromeDriver动态抓取网页元素
2017-03-18 13:29
295 查看
1、安装 chrome 浏览器(chrome和chromedriver都下载最新版安装可以避免很多问题)
2、下载 chromedriver地址(这个需要翻墙):code.google.com/p/chromedriver
3、maven pom.xml
org.seleniumhq.selenium
selenium-java
${org.seleniumhq.selenium.version}
4、java代码
//设置chrome driver地址
File file_chrome = new File(App.CHROME_DRIVER);
System.setProperty(“webdriver.chrome.driver”, file_chrome.getAbsolutePath());
//设置chrome浏览器地址
ChromeOptions options = new ChromeOptions();
options.setBinary(App.CHROME_APPLICATION);
webDriver = new ChromeDriver(options);
//打开浏览器
WebDriver webDriver.get(App.BASE_URL+videoModel.getPlayUrl());
//找到元素
WebElement videoPlayer = webDriver.findElement(By.id(“video_player”));
//找元素下的元素
WebElement video = videoPlayer.findElement(By.tagName(“video”));
//读取attr
String downloadUrl = video.getAttribute(“src”);
2、下载 chromedriver地址(这个需要翻墙):code.google.com/p/chromedriver
3、maven pom.xml
org.seleniumhq.selenium
selenium-java
${org.seleniumhq.selenium.version}
4、java代码
//设置chrome driver地址
File file_chrome = new File(App.CHROME_DRIVER);
System.setProperty(“webdriver.chrome.driver”, file_chrome.getAbsolutePath());
//设置chrome浏览器地址
ChromeOptions options = new ChromeOptions();
options.setBinary(App.CHROME_APPLICATION);
webDriver = new ChromeDriver(options);
//打开浏览器
WebDriver webDriver.get(App.BASE_URL+videoModel.getPlayUrl());
//找到元素
WebElement videoPlayer = webDriver.findElement(By.id(“video_player”));
//找元素下的元素
WebElement video = videoPlayer.findElement(By.tagName(“video”));
//读取attr
String downloadUrl = video.getAttribute(“src”);
相关文章推荐
- Selenium, ChromeDriver 自动化测试,抓取网页元素,java
- 【3】基于selenium的元素查询及chrome-headless设置-爬取动态网页(2)
- Python抓取网页动态数据——selenium webdriver的使用
- selenium调用chromedriver打开百度网页,提示“Could not start a new session ”
- selenium抓取动态网页
- Python使用Selenium + PhantomJS抓取动态网页:今日头条
- selenium_webdriver(python)获取元素属性值,浏览器窗口控制、网页前进后退,title/url打印
- HtmlUnitDriver 网页内容动态抓取
- 动态网页抓取Selenium的安装与使用
- selenium_webdriver(python)获取元素属性值,浏览器窗口控制、网页前进后退,title/url打印
- 使用Python+selenium+BeautifulSoup抓取动态网页的关键信息
- scrapy和selenium结合抓取动态网页
- 小猪的Python学习之旅 —— 5.使用Selenium抓取JavaScript动态生成数据的网页
- python+Selenium2+chrome构建动态网页爬虫工具
- python+Selenium2+chrome构建动态网页爬虫工具
- python+Selenium2+chrome构建动态网页爬虫工具
- Chrome + Python 抓取动态网页内容
- 【selenium webdriver】 XPath 多条件查询语句(处理同一个页面上出现相同文本按钮的动态ID元素定位)
- python爬虫selenium+firefox抓取动态网页--表情包爬虫实战
- python+selenium+PhantomJS抓取ajax动态网页数据