Selenium FF WebDriver 遍历所有链接(另类爬虫)
2014-11-23 21:40
337 查看
请看这个页面,我想要找到某个公告的内容,必须一个一个打开链接,尼玛好多啊。
于是,我机智的使用selenium打开每一个链接,然后把公告内容写入txt
那需要做一下步奏
1.依次打开一个公告
2.切换focus到新窗口,找到公告内容,写到txt
3.关闭该窗口
4.切换到主窗口
5.当前页面遍历完,点击下一页
6.重复步奏1
View Code
于是,我机智的使用selenium打开每一个链接,然后把公告内容写入txt
那需要做一下步奏
1.依次打开一个公告
2.切换focus到新窗口,找到公告内容,写到txt
3.关闭该窗口
4.切换到主窗口
5.当前页面遍历完,点击下一页
6.重复步奏1
public static WebDriver getFirefoxDriver() { try { WindowsUtils.tryToKillByName("firefox.exe"); } catch(Exception e) { System.out.println("can not find firefox process"); } File file=new File("d:\\firebug-2.0.4-fx.xpi"); FirefoxProfile profile = new FirefoxProfile(); try { profile.addExtension(file); profile.setPreference("extensions.firebug.currentVersion", "2.0.4"); profile.setPreference("extensions.firebug.allPagesActivation", "on"); } catch (IOException e3) { // TODO Auto-generated catch block e3.printStackTrace(); } WebDriver driver = new FirefoxDriver(profile); return driver; }
View Code
相关文章推荐
- Selenium FF WebDriver 遍历所有链接(另类爬虫)
- Python 网络爬虫 008 (编程) 通过ID索引号遍历目标网页里链接的所有网页
- 爬虫-【selenium—Webdriver元素定位的八种常用方式
- selenium WebDriver之切换到链接打开的新浏览器窗口
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- Python使用Selenium webdriver爬虫某电商商品数据
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- Python 网络爬虫 008 (编程) 通过ID索引号遍历目标网页里链接的所有网页
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- Selenium FF WebDriver运行时开启firebug的2种方式
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- Python爬虫——selenium.common.exceptions.WebDriverException: Message: Failed to set preferences: Unable
- Python爬虫工具 Selenium webdriver -自动化测试工具
- Python爬虫——selenium.common.exceptions.WebDriverException: Message: Service geckodriver unexpectedly e
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接) 标签: selenium自动化测试firefoxchrome
- selenium自动化测试资源整理(含所有版本chrome、chromedriver、firefox下载链接)
- Selenium WebDriver在不知道元素个数的情况下,完成页面所有元素的遍历