python爬虫爬取豆瓣书籍信息并生成表格

学了没多长时间python就开始接触爬虫(被一名学长带进了爬虫的坑，感谢学长的指导)，看了网上的一些视频，简单的了解了python的requsts库，bs4，就可以实现一个网页的最简单的爬虫（其实就是用几行代码把某个网页的html抓取下来，生肉（滑稽）），然后当然还需要对网页的元素进行处理，提取出有效的信息，所以，发现了bs4的强大，我个人到目前一直用的是select,还没使用find_all，将来还要学习，然后加上skimage可以爬到网页上的图片，最后加上pandas，就可以将爬取到的信息生成表格形式，还可以生成Excel文件，方便后期对数据进行处理。

这里发表我的第一个实战爬虫，爬取豆瓣网书籍目录信息，并将书籍信息存放到一个Excel文件中

#爬虫爬取豆瓣书目录
import requests
from bs4 import BeautifulSoup
import json
import pandas #该库用于对爬取的信息进行表格性操作
from skimage import io#该库用于打印爬取到的照片

url = 'https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&\
utm_medium=pc_web&page={}&page_num=20&'

#该函数式用来返回一个列表存放含有书籍信息的字典
def bookList(url):
newurl = requests.get(url)
soup = BeautifulSoup(newurl.text,'html.parser')
result_total = []
for book in soup.select('.book-item'):
if len(book.select('.book-brief'))>0:

bookimag2 = io.imread(book.select('img')[1]['src'])#书的图片
io.imshow(bookimag2)
#io.show()#为了使爬取到的图片显示出来

bookurl = book.select('a')[0]['href']#抓取书的链接url
#print('链接:   ',bookurl)

result_total.append(booktextscore(bookurl))#将所抓取书的信息字典添加到列表里面

bookimag1 = io.imread(book.select('img')[0]['src'])#背景图片
io.imshow(bookimag1)
#io.show()
return result_total#返回一个列

#该函数式用来爬取书籍的名字，评分，评价人数以及书的简单介绍
def booktextscore(url):
booktexturl = requests.get(url)
soup = BeautifulSoup(booktexturl.text,'html.parser')
result = {}#创建一个字典将相关书籍信息存入到字典中
bookname = soup.select('.book-breintro h3')[0].text
bookname2 = '《' + bookname + '》'
print(bookname2)
result['书籍名称'] = bookname2

bookauthor = soup.select('.book-public')[0].text.lstrip('\n          ').rstrip('\n        ')
result['作者'] = bookauthor
print(bookauthor)

print(url)
result['书籍链接'] = url

score = soup.select('.total-score')[0].text#爬取该书评分，其中可能含有有些书籍由于评论人数不足导致没有评分，加一个判断默认该种情况成评分为0
if score == '评价人数不足':
score = 0
score = float(score)
result['书籍评分'] = float(score)#将评分强制转换成float类型的
print('评分:',score)

commentnum = soup.select('.comment-number')[0].text#爬取本书评论人数
print(commentnum)
print('该书简介:\n')
result['书籍评论人数'] = commentnum

article = []#添加一个列表
for ench in soup.select('.layout-content'):#爬取的是图书详情
for p in ench.select('.paragraph-content  p')[:-1]:
article.append(p.text.strip())#将p标签中的文字添加到列表中
articlebook = '\n '.join(article)
#print(articlebook)
#result['书籍简介'] = articlebook
return result

book_total = []
#由于书籍信息有两页，所以加一个循环将两页书籍信息都添加进列表中方便生成表格
for ench in range(1,3):
newurl = url.format(ench)#通过format将URL地址实现可变性，可以将两页书籍信息都打印出来
book_result = bookList(newurl)
book_total.extend(book_result)

print(book_total)

df = pandas.DataFrame(book_total)
print(df.head(26))

df.to_excel('books.xlsx')#将爬取后的书籍信息通过pandas转换成表格形式

由于采用的是jupter notebook开发的，所以在pycharm上的输出格式可能有些许不同（其实现在对jupyter notebook还是不太熟悉，但是感觉很强大）

第一次发blog，有不足之处希望见谅，后续会继续更新