利用python3.4爬取学校教务系统，并封装成api供app调用（二）之不带验证码模拟登录

利用python3.4爬取学校教务系统，并封装成api供app调用（二）之不带验证码模拟登录

做完了之前对学校新闻的页的爬取，对于python3.x的urllib库有了一定的了解，于是就开始了学校教务系统的爬取，这里就牵涉到了模拟登录这一块儿。

模拟登录当然是模仿浏览器登录网页的过程了，分为带验证码的和不带验证码的模拟登录，万事还是先从简单的入手，今天就讲讲如何进行不要验证码的模拟登录。

我们学校有两个地方都可以进入教务系统，一是通过直接教务系统的官网直接登录教务系统（需要验证码），二是通过学校的信息门户登录进入（不需要验证码），这里我就讲一讲我是如何通过学校的信息门户进入学校的教务系统。

写代码之前，我们需要弄清楚这个过程，平常通过浏览器登录的时候，好像我们只需要填写用户名和密码，然后点击登录就行了。但是呢具体浏览器是怎么执行这个登录过程的我们并不知道，所以呢要想弄明白这个登录过程是怎样的，我们就需要对整个登录过程进行抓包分析。抓包的工具有很多，可以用chrome的开发者工具（F12），也可以用其他的工具，这里呢，我用的Fiddler4。这类工具的用法我就不说了，网上教程一大堆。

废话说了一堆，下面咱们看具体的操作过程。



这里有一个post请求的url，那么我们模拟登录的url应该就是他了，那么我们的用户名和密码是如何提交的呢？看下图，原来我们用浏览器登录的时候向此url，post这么一串表单，这正是我们需要的数据，



这里有一个name,和value的表单，其中我那两个黑黑的地方便是我的用户名和密码了，name是我们后面做 模拟登录要post数据的key值。

好有了这些就可以模拟登录了，具体看代码。

# -*- coding: utf-8 -*-
#!usr/bin/python
from urllib import request,parse
import http.cookiejar
import urllib
import re
#模拟登录测试模块
print('loging info my ssfw')
cookie=http.cookiejar.CookieJar()#储存获取到的cookie
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
loging_data=parse.urlencode([
('IDToken1',"学号"),
('IDToken2',"密码")])#POST用到的数据

#请求头
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 '+
'(KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36'
}
#构造request
req=request.Request(url='postUrl',
data=loging_data.encode(encoding='utf-8'),
headers=headers)
try:
result=opener.open(req)#访问请求的链接
# print(result.read().decode('utf-8'))
except urllib.error.HTTPError:
print("connect failed")
try:
result=opener.open('我校教务系统url')#进入教务系统
print(result.read().decode('utf-8'))
except urllib.error.HTTPError:
print("error")

上面的代码可以看到，我们先用cookieJar这个库中的类方法，将获取到的cookie缓存至内存中，然后构建一个opener传入获取的cookie，然后呢构建了一个我们要post的数据表单格式是list+set的形式，post的数据不能直接传这里要进行一次转码操作，使用的是urllib.parse这个方法，然后呢就是构造request请求头，由于学校并没有反扒机制，headers随便处理就好了。然后再用构建好的opener下的open方法请求我们构建好的request就能实现模拟登录了。最终结果如下图：



看到了我自个儿的名字，表示模拟登录成功。

整个大致的过程就是这样了：

1.抓包分析post的表单信息，模拟登录url

2.使用标准库下的cookieJar库下的相应类方法，缓存cookie

3.构建带cookie请求的opener

4.构建request请求，并且使用request.Request()方法传入url,postData,heasers

5.opener.open()方法入构建的request请求

6.打印获取结果判断是否登录成功

不带验证码的模拟登录，具体就这样了，当然有些情况处理可能复杂一点，对于header的要求要高，cookie也要进一步的处理，但是大体的过程都是类似的。

文字写出来，表达的不是很好，若有错误，欢迎指出，讨论。