Python爬虫模拟登陆知乎

还没有写过博客，这个就算是给自己开个头吧。最近对Python爬虫比较感兴趣，刚刚入了门，就准备先模拟登陆知乎感受一下，过程也是挺艰辛的，就记录一下吧。

想想只要给用户名、密码、验证码然后Post一下就可以开开心心的登陆进去了，于是就抓紧行动起来。

Step 1:打开知乎登陆页面，准备登陆。

https://www.zhihu.com/#signin     #知乎登陆页面

　　这里我登录输入的验证码采用手动方式，即通过保存上面登陆页面的验证码到本地，然后手动输入。于是动手准备获取

<img>

标签下的src属性值，就是下面图里的src。快快编了一小段代码发现我果然图样了，获取到的src竟然是None。后来查找原因发现，虽然在开发者工具中可以看到

<img>

的src属性值，但其实验证码是动态生成的，于是抓包找到登陆页面请求的验证码图片地址，下面是编写的代码和欺骗了我的图。

#该url用于打开知乎登陆页面
url = 'https://www.zhihu.com/#signin'
res = self.session.get(url)
print res.content

　　这个是我们真正要去请求图片验证码的地址。

#参数r返回的当前时间,第二个参数为登陆类型 https://www.zhihu.com/captcha.gif?r=1471097787070&type=login

Step 2:获取图片验证码

# 该captcha_url用于打开知乎验证码图片
captcha_url = 'https://www.zhihu.com/captcha.gif?r=%d&type=login' % (time.time() * 1000)

def save_captcha(self, captcha_url):
res = self.session.get(captcha_url)
filename = 'zhihu_captcha.jpg'
with open(filename, 'wb') as f:
f.write(res.content)

　　这样一来就搞定了验证码的问题，下面就可以考虑输入用户名、密码、验证码去登陆了，通过抓包发现，登陆知乎需要下面的参数，也就是除了用户名、密码、验证码外还有个_xsrf和remember_me，这里主要是获取_xsrf参数，发现html源代码里就有_xsrf参数，不用到别的页面去取喽！

# 获取xsrf参数
xsrf = _get_xsrf(res.content)

#获取知乎的xsrf字段
def _get_xsrf(html):
class XSRFParser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self)
self.xsrf = None

def handle_starttag(self, tag, attrs):
if tag=='input' and _attr('name',attrs)=='_xsrf':
self.xsrf = _attr('value',attrs)

xsrfParser = XSRFParser()
xsrfParser.feed(html)
return xsrfParser.xsrf

#自己实现的_arrr获取html属性用
def _attr(attrname, attrs):
for attr in attrs:
if attr[0]==attrname:
return attr[1]
return None

Step 3:登陆知乎

　　验证码有了，_xsrf有了，这下终于可以登录了，真正接收用户名、密码等参数的是下面这个链接，邮箱登录的话应该是/email

post_url = 'https://www.zhihu.com/login/phone_num'

　　构造好我的HTTP头和要Post的数据准备登陆。

phone_num = '你注册时的手机号'
password = '你的密码'
post_url = 'https://www.zhihu.com/login/phone_num'

headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate, sdch, br',
'Accept-Language':'zh-CN,zh;q=0.8',
'Connection':'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
'X-Xsrftoken':xsrf
}
data = {'_xsrf':xsrf,
'phone_num':phone_num,
'password':password,
'remember_me':'false',
'captcha':captcha
}

post_res = self.session.post(post_url, data=data, headers=headers)
print post_res.content

　　虽然代码写的丑，但是终于看到服务器返回正确的结果了，Nice。(按耐不住我激动的内心啊)

{"r":0,
"msg": "\u767b\u5f55\u6210\u529f"
}

　　当然最重要的还是登陆失败的过程：

　　登陆时总是会出现”errcode”: 1991829,ERR_VERIFY_CAPTCHA_SESSION_INVALID

　　可能原因有以下几个：

　　1.访问知乎时构造的HTTP头没有修改，比如没有修改User-Agent

self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}

　　2.访问知乎图片验证码时没加type=login参数，这个很重要。

参考：

https://zhuanlan.zhihu.com/p/20494731?refer=xlz-d