python练习1（简单爬虫）

做一个简单的练习

目标：爬取中文小说

目标网站：http://www.biqule.com/book_58/26986.html

只爬取正文部分。

使用requests库来获取网页信息，使用re库正则匹配正文文本。

这里有一点需要注意的是测试时是使用linux环境下的python，默认编码为utf-8。网页中文文本为gbk编码。读取时需要指定编码为gbk，不然会出现乱码的现象。

具体代码如下：

#!/usr/bin/python3

import requests
from requests.exceptions import RequestException
import re

def open_index(url):
try:
response = requests.get(url)
if response.status_code == 200:
response.encoding = 'gbk'
return response.text
return None
except RequestException:
return None

def parse_one_page(html):
pattern = re.compile('    (.*?)<br />',re.S)
items = re.findall(pattern,html)
print(items)

def main():
url = "http://www.biqule.com/book_58/26986.html"
html = open_index(url)
parse_one_page(html)

if __name__ == '__main__':
main()