python爬虫代码-CSDN博客下载

学python爬虫，请参考这篇博客http://cuiqingcai.com/1052.html

这个介绍的很清晰一些，绝对是良心教程，再次感谢博主！

另感觉爬虫用的比较多的是正则表达式的匹配，这里有个表（来自于CSDN，总结的很好）

http://cuiqingcai.com/977.html

然后敲了一遍糗事百科的代码可惜没调通，不过原理弄明白了

这里找到了一个能运行的代码https://github.com/zzanswer/QSBK/blob/master/QSBK.py

接着就想爬CSDN的博客了，后来干脆想保存下来

总结一下：准备连接——请求——响应——读——写（保存）

最后字符编码问题也容易出错：数据编码、开发环境编码、文件读写编码

代码还需要优化：用户至少要一个类，加入多线程，同时下载多个用户博客

# -*- coding: utf-8 -*-
import os
import sys
import urllib
import urllib2
import re
import thread
import time
import codecs

class CSDN:

def __init__(self):
self.user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64)'
self.headers = {'User-Agent': self.user_agent}
# 存放程序是否继续运行的变量
self.rootURL='http://blog.csdn.net'
self.rootPATH='E:/Python_Spider'
self.enable = False

# 传入某一页的索引获得页面代码
def getArticleList(self,user, pageIndex):
try:
url = self.rootURL+'/' +user+'/article/list/'+ str(pageIndex)
print url
request = urllib2.Request(url, headers = self.headers)
response = urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')
#print pageCode
if not pageCode:
return None
#这两句是取总的博客篇数，有的博客没有，如果没有：总=原创+转载+译文篇数，参见改进版
pattern=re.compile('class="pagelist">.*?<span>\s(\d+).*?</span>',re.S)
item=re.findall(pattern,pageCode)
totalArticles=item[0]
pattern=re.compile('link_title"><a href="(.*?)">(.*?)</a>',re.S)
items=re.findall(pattern,pageCode)
articleList=[]
for item in items:
articleList.append([self.rootURL+item[0].strip(),item[1].strip()])
print self.rootURL+item[0]+'-----'+item[1].strip()
return (articleList,totalArticles)
except urllib2.URLError, e:
if hasattr(e, "reason"):
print u"连接CSDN，错误原因", e.reason
return None
#请求文章链接
def getArticle(self,user,articleList,totalArticles):
num=0
if articleList:
for item in articleList:
#print item,item[0],item[1]
try:
num+=1
request=urllib2.Request(item[0],headers=self.headers)
response=urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')
if not pageCode:
print u'链接无效'
return None
title=item[1]
pattern=re.compile('details/(\d+)',re.S)
articleID=re.findall(pattern,item[0])
pattern=re.compile('class="article_content">(.*?)</div>',re.S)
text=re.findall(pattern,pageCode)
#这个地方刚开始少写了'[0]'，造成编码对不上，花费了许多时间
article=text[0]
#修复代码块
article=self.repairCode(article)
#保存文件
self.save(user,articleID,title,article)
#time.sleep(2)
except urllib2.URLError,e:
if hasattr(e,"reason"):
print u"连接CSDN，错误原因", e.reason
return None
return num
#保存文件
def save(self,user,articleID,title,article):
try:
path=self.rootPATH+'/'+'BlogCSDN'+'/'+user
#path=self.rootPATH+'//'+user
#print path
if not os.path.exists(path):
os.makedirs(path)
fileName=title+'---'+articleID[0]+'.txt'
fileName=path+'/'+fileName
if os.path.exists(fileName):
print u'%s 文件已经存在' % (fileName)
return None
fobj =codecs.open(fileName, 'w','utf-8')
fobj.write(title+'\n'+article)
fobj.close()
except IOError,e:
print e.reason
return None
#去掉标签，替换特殊字符
def repairCode(self,text):
#去除标签
replace = re.compile('</\w+>')
text = re.sub(replace,"\r\n",text)
replace = re.compile('<.*?>')
text = re.sub(replace,"",text)
rTermsDict={'<':'<','>':'>','&':'&','"':'"',' ':' ',''':'\''}
for item in rTermsDict.keys():
replace = re.compile(item)
text = re.sub(replace,rTermsDict[item],text)
#if codeType!='cpp':
#扩展不同的代码
#return text
#对齐代码块
return text
#代码写的好乱
def start(self):
#想继续扩展成多线程
user="waytoaccept"
print "reading "+user+"'s blog"
self.enable = True
pageIndex=1;
num=0
while (self.enable):
print 'reading page:'+str(pageIndex)+' list'
(articleList,total)=self.getArticleList(user,pageIndex)
if total==None:
print u'获取文章失败!'
break
articleNum=int(total)
if articleList and num<articleNum:
num+=self.getArticle(user,articleList,articleNum)
print u'共 %d 篇博客,已下载 %d 篇\n' % (articleNum,num)
if num>=articleNum:
print u'用户%s的博客已经下载完毕！' % (user)
self.enable=False
continue
print u'是否继续下载，任意键继续，Q退出'
input=raw_input()
if input=='Q':
self.enable=False
else:
pageIndex+=1
else:
break
print u'欢迎下次使用CSDN爬虫！'
spider = CSDN()
spider.start()