使用爬虫进行一次 hexo 构建的博客爬取并且生成 md 文档

起因

由于以前的博客文章在电脑重装的时候全没了，直接 cv 战士难免太过麻烦，正好好久没有写 python 了，于是决定写一个爬虫来爬取文章并且生成 md 文档

分析

使用的技术和库

这里使用 python + BeautifulSoup4（网页装载与解析） + urllib（发起请求） + codecs（写入文件）

主页

我们来看看主页，一篇文章的位置



再来看看所有文章是怎么分布的



这简直就是最简单的 list 结构嘛

分页

文章不可能就只有一页，所以对分页的研究就体现在分页的 url 上，这样我们就能狗一次爬到底

看看第二页的url



推断一下，第 6 页应该是 http://wintersmilesb101.online/page/6



果然没错

那么看看第一页是否可以写成 http://wintersmilesb101.online/page/1 呢？



说明首页需要特殊处理，即 http://wintersmilesb101.online

抓取页面大小

页面大小的 dom 结构如下



可以看到，这几个 页面 index 的 class 是一致的，所以我们需要通过 BeautifulSoup 来选中上一个元素（这里可以看出上一个是这个结构中唯一的），或者是通过 BeautifulSoup 的 select 方法选中 class = page-number 的元素列表，最后一个即为 pageSize 的元素

文章信息

我们需要哪些文章信息？

由于我们这里是使用的 hexo 来构建的博客，所以要按照他的规则来，一般来说我们需要如下结构

---
title: Python3.7 爬虫（二）使用 Urllib2 与 BeautifulSoup 抓取解析网页
date: 2017-04-08
date: 2017-04-09
categories:
- 爬虫
- Python 爬虫
tags: - Python3
- 爬虫
- Urllib2
- BeautifulSoup4
---

这些信息，除了 标签，我们都可以在 文章列表页面就获取到了，如下：



当然这些信息，正文也页都有，正文页的链接，我们可以在 title 的位置获取到，与网站基础 url 拼接就可以获取到最终链接，不过有些 url 中有中文，因此我们需要使用 urllib.request.quote(link) 来把链接中的中文编码成 url 中的正确编码，这里会把 : 也转码了，转换成 %3A 因此，转换之后，我们还需要还原 %3A 为 :

正文的转换

正文就直接通过 获取到 class = post-body的元素，然后遍历子元素（通过 children 属性，注意 type 为 bs4.element.NavigableString 的元素，是无效元素，需要跳过），然后根据，html 与 markdown 的对应关系来转换成对应的 markdown 写法，不过在 BeautifulSoup 中还是有不少的坑点，这里代码中注释写的很清楚，就不赘述了

实现

import urllib.request
from bs4 import BeautifulSoup
import bs4
import re
import xlwt
import os
import codecs

filePath = r"H:/GIT/Blog/WinterSmileSB101/source/_posts/old/"
url = "http://wintersmilesb101.online"

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
req = urllib.request.Request(url, headers={
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
})
print('发送 页面网络请求')
response = urllib.request.urlopen(req)
content = response.read().decode('utf-8')
# output content of page
#print(content)

soup = BeautifulSoup(content, "lxml")

# 获取页面数量
spans = soup.select('span.space')

pageHref = spans[spans.__len__()-1].nextSibling['href']
# get total num
pageNum = int(pageHref.split('/')[2])
print(pageNum)

# get other page
urlBase = "http://wintersmilesb101.online/page/"
index = 1
while index <= pageNum:
# 索引大于 1 的时候需要重新指定 url
if index > 1:
url = urlBase+str(index)
print(url)
req = urllib.request.Request(url, headers={
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
})
print('发送 页面网络请求 : '+url)
response = urllib.request.urlopen(req)
content = response.read().decode('utf-8')
soup = BeautifulSoup(content, "lxml")

# 获取文章 list
articles = soup.find_all('article')

# 处理每篇文章
for article in articles:
# 获取创建时间
createTime = article.find('time', title="创建于").text.strip()
# 获取创建时间
updateTime = article.find('time', title="更新于").text.strip()
# 获取分类
categoies = article.find_all('a', attrs = {'itemprop': "url", 'rel': "index"})

# 分类的 url，Name
categoryUrl = ''
categoryName = ''
for category in categoies:
#print(category)
categoryUrl += category['href']+','
#print(categoryUrl)
categoryName += category.text.strip()+','
#print(categoryName)
categoryUrl = categoryUrl[0:categoryUrl.__len__()-1]
categoryName = categoryName[0:categoryName.__len__() - 1]
# 获取正文
urlMain = ''
link = article.link['href']
articleTitle = link.split('/')[link.split('/').__len__()-2]
# print(articleTitle)
# 转换中文 url 编码
urlMain = urllib.request.quote(link)
# 把多余的转换 : ==> %3A ，还原
urlMain = urlMain.replace('%3A', ':')
# print(urlMain)
print('发送 文章网络请求')
req = urllib.request.Request(urlMain, headers={
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
})
response = urllib.request.urlopen(req)
mainContent = response.read().decode('utf-8')
# output content of page
# print(mainContent)
mainSoup = BeautifulSoup(mainContent,'lxml')
body = mainSoup.find('div', itemprop="articleBody")

blockquote = body.blockquote
if blockquote != None:
blockquoteText = blockquote.p.text
# print(blockquote.p)
extenalUrl = None
mineUrl = blockquote.p.a['href']
if blockquote.p.find('a', rel="external"):
extenalUrl = blockquote.p.find('a', rel="external")['href']
# print(extenalUrl)
# 把其中的链接替换为 md 语法
if extenalUrl:
blockquoteText = blockquoteText.replace("原文地址", "[原文地址](" + extenalUrl + ")")

blockquoteText = blockquoteText.replace(mineUrl, "[" + mineUrl + "](" + mineUrl + ")")
# 获取标签
tags = mainSoup.find_all('a', rel='tag')
# print(tags)
# 写入 md 文件
# 判断路径是否存在
if not os.path.exists(filePath + str(index) + '/'):
os.makedirs(filePath + str(index) + '/')
file = codecs.open(filePath + str(index) + '/' + articleTitle + '.md', "w", encoding='utf8')  # 指定文件的编码格式

# 写入前置申明
file.write('---\n')
file.write("title: " + articleTitle + '\n')
file.write("date: " + createTime + '\n')
file.write("date: " + updateTime + '\n')
file.write("categories: " + '\n')
for category in categoryName.split(','):
file.writelines('- ' + category + '\n')
file.writelines("tags: ")
for tag in tags:
tag = tag.text.replace('# ', '')
file.writelines('- ' + tag + '\n')
file.writelines('---' + '\n')
# 写入引用块
if blockquote != None:
file.writelines('> ' + blockquoteText)
# 遍历正文块，写入文件,注意遍历文档树的时候 next_sibling 是紧紧接着的，比如这里是 \n,所以需要两个
# print(blockquote.next_sibling.next_sibling)

for nextTag in body.children:
# print(nextTag)
# print(type(nextTag))
if type(nextTag) == bs4.element.NavigableString:
continue
tagName = ''
codeType = ''
codeStart = ''
codeEnd = ''
tagContent = nextTag.text.strip()
if nextTag.name == 'h1':
tagName = '# '
file.write(tagName + tagContent + '\n')
continue
if nextTag.name == 'h2':
tagName = '## '
file.write(tagName + tagContent + '\n')
continue
if nextTag.name == 'h3':
tagName = '### '
file.write(tagName + tagContent + '\n')
continue
if nextTag.name == 'h4':
tagName = '##### '
file.write(tagName + tagContent + '\n')
continue
# 代码块
if nextTag.select('figure').__len__() > 0 or nextTag.name == 'figure':
# 如果 select 的 length 大于 0 则表示这个元素是 包含 figure 的元素
if nextTag.select('figure').__len__() > 0:
nextTag = nextTag.select('figure')[0]

codeType = nextTag['class'][nextTag['class'].__len__() - 1] + '\n'
codeStart = '``` '
codeEnd = '```\n'
codeLine = ''
lineNumber = nextTag.table.tr.find('td', attrs={'class': 'gutter'}).text
code = nextTag.table.tr.find('td', attrs={'class': 'code'}).text
tagContent = tagContent.replace(lineNumber, '').replace(code, '')
# print(lineNumber)
# print(code)
# print(tagContent)
for line in nextTag.table.tr.find('td', attrs={'class' : 'code'}).find_all('div'):
codeLine += line.text.strip()+'\n'
file.write(tagContent+'\n')
file.write(codeStart + codeType + codeLine + '\n' + codeEnd)
continue

# 无序列表
if nextTag.name == 'ul':
for li in nextTag.find_all('li'):
file.write('- ' + li.text.strip() + '\n')
continue
# 有序列表
if nextTag.name == 'ol':
olIndex = 1
for li in nextTag.find_all('li'):
file.write(olIndex + '. ' + li.text.strip() + '\n')
olIndex += 1
continue
if nextTag.name == 'p':
# 为空表示是图片
tagContent = nextTag.text.strip()
if tagContent == '':
file.write("![image](" + nextTag.find('img')['src'] + ")\n")
continue
else:
links = nextTag.find_all('a')
for link in links:
tagContent = tagContent.replace(link.text, "[" + link['href'] + "](" + link['href'] + ")")
file.write(tagContent + '\n')
continue
file.close()
index = index+1

效果

第一页的文章



第二页的文章



第一篇文章，感觉效果还是不错的

代码

文章所有代码已经提交到 git

如有问题，希望不吝赐教！