小小白爬虫入门——selenium模拟登录qq空间
2017-05-25 21:31
381 查看
第一次写爬虫是因为想要爬小伙伴空间的说说和留言,结果卡在了验证码。目前还没有解决自动输入验证码的问题。遇到了一下一些问题:
1.火狐浏览器需要下载geckodriver
2.登录表单在frame中,需要切换
3.切换后,要返回默认的主文档(是为了进行下一步操作,比如爬取当前页面的说说内容或定位当前页面的一些元素)
算是挖了一个坑,慢慢开始填坑吧。写这个爬虫已经好久了,一直想着写博客记录,但是毁于拖延症。第一次写,中间遇到的问题其实还挺多,但是,时间长…就忘了。下篇就写,如何爬取空间留言板的内容吧。先立个flag。
1.火狐浏览器需要下载geckodriver
2.登录表单在frame中,需要切换
3.切换后,要返回默认的主文档(是为了进行下一步操作,比如爬取当前页面的说说内容或定位当前页面的一些元素)
#coding=utf-8 import time from selenium import webdriver import sys # 使用的火狐浏览器 driver = webdriver.Firefox() # 要进入的空间url driver.get("https://user.qzone.qq.com/1597872870") # 登录表单在一个新的frame下,要先切换到这个frame,不然找不到账号密码的输入控件 driver.switch_to_frame('login_frame') driver.find_element_by_id('switcher_plogin').click() driver.find_element_by_id('u').clear() driver.find_element_by_id('u').send_keys('qq账号') driver.find_element_by_id('p').clear() driver.find_element_by_id('p').send_keys('qq密码') time.sleep(3) driver.find_element_by_id('login_button').click() # 好像有时候需要输入验证码,暂停20秒手动输入验证码 time.sleep(20) driver.switch_to.default_content()
算是挖了一个坑,慢慢开始填坑吧。写这个爬虫已经好久了,一直想着写博客记录,但是毁于拖延症。第一次写,中间遇到的问题其实还挺多,但是,时间长…就忘了。下篇就写,如何爬取空间留言板的内容吧。先立个flag。
相关文章推荐
- Python爬虫——5-2.使用selenium和phantomjs模拟QQ空间登录
- Python爬虫小白入门(五)PhatomJS+Selenium第二篇
- 【Python3.6爬虫学习记录】(八)Selenium模拟登录新浪邮箱并发送邮件
- 使用Python+Selenium模拟登录QQ空间
- python3 [爬虫入门实战] 爬虫之selenium 模拟QQ登陆抓取好友说说内容(暂留)
- 【小白】selenium入门(一)学习笔记+登录淘宝
- python 爬虫 利用selenium模拟登录帐号 向requests中重设 cookie
- Python爬虫入门:Urllib库使用详解(模拟CSDN登录)
- python爬虫入门(五)Selenium模拟用户操作
- 【小白】selenium入门(二)学习笔记+登录百度
- Java爬虫入门简介(四)——抓包工具的使用以及使用HttpClient模拟用户登录的访问
- 爬虫入门到精通-headers的详细讲解(模拟登录知乎)
- Python爬虫小白入门(四)PhatomJS+Selenium第一篇
- python之selenium模拟登录QQ空间
- Python爬虫入门实战七:使用Selenium--以抓取QQ空间好友说说为例
- python 利用selenium模拟登录帐号验证网站并获取cookie
- php后台“爬虫”模拟登录第三方系统(二)---正则表达式的介绍
- php后台“爬虫”模拟登录第三方系统(一)---cURL的介绍
- [Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍