python练手之爬虫篇（一）

因为这段时间比较闲，所以有很多时间在校园网内看视频（很颓废，有木有o(╯□╰)o）

记得暑假时学校官网下部出现一个新链接，“网络资源服务”，进去如下图所示：



发现除了电影、电视剧和视频资源外，其他的都可以下载。

其实这个网站就和之前的ftp差不多，一开始还挺喜欢这个在线播放的，毕竟不用如之前ftp一样需要先花费些时间下载下来观看，可以直接在线播放，因为校园网是光缆铺设的所以在线播放毫无压力。但是有时候想下载下来放到移动设备上看，可是没有下载功能，于是正好这段时间自学了python，可以以此实践练练手！

通过火狐浏览器上的插件httpfox或者直接调出开发者模式查看网络情况，观察浏览器与服务器之间的交互情况。暂时就不截图了O(∩_∩)O~

发现当点击在线播放时，服务器直返回数据类型是text/html，所以实现下载非常简单，直接保存即可。。

其他的就比较基础了，直接模拟浏览器发出请求，注意需要cookie等。

直接上代码了，以后有时间再写仔细一点。

# coding=gbk
import urllib,urllib2
import cookielib
import re
def Down(url,typeid):
try:
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0',
'Referer':'http://www2.ahnu.edu.cn/ftp/eftphelp.htm'
}
req = urllib2.Request(url,headers=headers)
opener.open(req)

url = 'http://210.45.192.104/userOperator.do?flag=queryClassify&typeid='+typeid
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0',
'Referer':'http://210.45.192.104'
}
req = urllib2.Request(url,headers=headers)
rlt = (opener.open(req)).read()
rule = 'title="(.*?)"'
lst = re.findall(rule,rlt)
for i in xrange(len(lst)):
print i,lst[i].decode('utf-8')
fileid = raw_input('请输入所要下载资源的序号:\n')

rule = 'href="/down(.*?)"'
urlst = re.findall(rule,rlt)

rule = 'id=(.*)'
s = urlst[int(fileid)]
loadid = re.findall(rule,s)
urlnew = 'http://210.45.192.104/downOrLookFile.do?flag=downloadfile&fileid='+loadid[0]
#print urlnew
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0',
'Referer':'http://210.45.192.104/userOperator.do?flag=queryClassify&typeid='+typeid
}
req = urllib2.Request(urlnew,headers=headers)
rlt = opener.open(req)

print urlst[int(fileid)]
#print rlt.read()

print '开始下载，请耐心等待......'
filename = 'F:\\校园网络资源下载\\'
name = lst[int(fileid)].decode('utf-8').encode('gbk')

f = open(filename+name,'wb')
f.write(rlt.read())
except Exception,e:
print str(e)

if __name__ == '__main__':
while 1:
#Down('http://210.45.192.104')
hintstr = '''-------------------------
类型id：
1:电影
2:视频资源
3:音乐
4:文档
5:电视剧
-------------------------'''
print hintstr
typeid = raw_input('请输入所要下载资源的类型id：\n')
if typeid == '5':
typeid = '6'
Down('http://210.45.192.104',typeid)
print '下载完毕!'
flag = raw_input('是否继续下载？y/n\n')
if flag!='y':
break

自己用的，所以就没设计ui了。下面是运行截图：



实现的非常简单，只爬了每种资源的第一页，没有gui设计，没有异常捕捉、处理。