selenium 获取登录cookies，并添加cookies自动登录

create-time : 2018-12-18 12:05:30

selenium 获取登录cookies，并使用之

• selenium 获取登录cookies
• selenium 使用 cookies

在使用selenium 爬取淘宝商品信息的时候，发现需要登录才能查看相关商品信息。我们可以使用cookies来自动登录。

selenium 获取登录cookies

selenium 获取cookies

进入登录页面，登录。淘宝登录后会自动跳转到

https://www.taobao.com

selenium 获取当前页面的URL，若为

https://www.taobao.com

则证明登录成功

webdriver.Chrome().get_cookies() 获取的cookies 是列表类型

<class 'list'>

,是由字典组成的list.字典中包含 domain,name,value等信息。主要需要的是每一个cookies 内的name,value 项，其他项相同。

# https://www.baidu.com 中一个cookies内容，list 中的一个dict
{'domain': '.baidu.com', 'httpOnly': False, 'name': 'H_PS_PSSID', 'path': '/', 'secure': False, 'value': '123456_123456'}

为了一次登录获取cookies，可以使用多次。利用

pickle

存储相关的cookies信息，下次可以直接调用。

pickle 是Python特有的序列化工具，能够快速高效存储Python数据类型，反序列化读取后返回的仍是原先的python数据类型。而.txt 等都是字符串类型，需要转换。

• 小技巧: pycharm 可以自动导入包,自动导入包快捷键为

  Alt + Enter

import os
import pickle
import time

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait

brower = webdriver.Chrome()
wait = WebDriverWait(brower, 10)

def getTaobaoCookies():
# get login taobao cookies
url = "https://www.taobao.com/"
brower.get("https://login.taobao.com/member/login.jhtml")
while True:
print("Please login in taobao.com!")
time.sleep(3)
# if login in successfully, url  jump to www.taobao.com
while brower.current_url ==  url:
tbCookies  = brower.get_cookies()
brower.quit()
cookies = {}
for item in tbCookies:
cookies[item['name']] = item['value']
outputPath = open('taobaoCookies.pickle','wb')
pickle.dump(cookies,outputPath)
outputPath.close()
return cookies

读取cookies 信息

def readTaobaoCookies():
# if hava cookies file ,use it
# if not , getTaobaoCookies()
if os.path.exists('taobaoCookies.pickle'):
readPath = open('taobaoCookies.pickle','rb')
tbCookies = pickle.load(readPath)
else:
tbCookies = getTaobaoCookies()
return tbCookies

selenium 使用 cookies

selenium 需要先打开一个网址，才能加载进去cookies(知道cookies是哪个网站的)。添加完cookies再打开网址，使用cookies

前面读取的cookies 是一个包含着每一个cookies的

name,value

的字典，即

name1:value1,name2:value2

字典。遍历添加网站使用的每一个cookies的

name,value

.

tbCookies = readTaobaoCookies()

brower.get("https://www.taobao.com")
for cookie in tbCookies:
brower.add_cookie({
"domain":".taobao.com",
"name":cookie,
"value":tbCookies[cookie],
"path":'/',
"expires":None
})
brower.get("https://www.taobao.com")