python爬取豆瓣数据评论数据并通过词云显示
2018-03-29 11:18
423 查看
今天做一个爬虫小实验,爬取豆瓣网上书评数据。正好最近一直想看东野圭吾的《解忧杂货店》,那就从它下手吧。
这个项目分为两部分:
(1)爬取数据
(2)制作词云
项目过程:
首先,导入我们需要用的的python库from splinter.browser import Browser
from bs4 import BeautifulSoup
import pandas as pd
import time
from PIL import Image
import time
import snownlp
import jieba
import jieba.analyse
import numpy as np
from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator(1)爬取数据:采用的是splinter框架以及beautifulSoup解析库。在这里为了节省时间,我只爬取了400条数据。
代码如下:b = Browser()
url0 = "https://book.douban.com/subject/bookid/comments/hot?p="#bookid换成你自己想要爬取的书籍的评论数据
list_1 = []
list_2 = []
for i in range(1,20):
url = "https://book.douban.com/subject/25862578/comments/hot?p="+str(i)
b.visit(url)
soup = BeautifulSoup(b.driver.page_source, "html.parser")
comments = soup.find_all("p","comment-content")
for item in comments:
comment = item.string#评论内容
list_1.append(comment)
pattern = re.compile('span class="user-stars allstar(.*?) rating"')
p = re.findall(pattern,b.driver.page_source)
list_2 += list(map(int,p))
time.sleep(4)
挑选了《解忧杂货店》书籍封面做了词云底图。
代码如下:comments = ""
for item in list_1:
item = item.strip(" ")
nlp = snownlp.SnowNLP(item)
comments += " ".join(jieba.analyse.extract_tags(item,6))#关键字提取
back_coloring = np.array(Image.open("jyzhd.jpg"))
word_cloud = WordCloud(font_path='simkai.ttf',background_color='white',max_words=2000,mask=back_coloring,margin=10)
word_cloud.generate(comments)
#从背景图片生成颜色值
image_colors = ImageColorGenerator(back_coloring)
plt.figure(figsize=(8,5),dpi=160)
plt.imshow(word_cloud.recolor(color_func=image_colors))
plt.axis("off")
plt.show()
word_cloud.to_file("comments.jpg") 结果如下:
感觉是不是应该把东野这个词屏蔽掉?
修改一下代码:word_cloud = WordCloud(font_path='simkai.ttf',background_color='white',max_words=2000,stopwords = STOPWORDS.add('东野'),mask=back_coloring,margin=10)重新跑出来的结果如下:
这次效果好多了。
这个项目分为两部分:
(1)爬取数据
(2)制作词云
项目过程:
首先,导入我们需要用的的python库from splinter.browser import Browser
from bs4 import BeautifulSoup
import pandas as pd
import time
from PIL import Image
import time
import snownlp
import jieba
import jieba.analyse
import numpy as np
from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator(1)爬取数据:采用的是splinter框架以及beautifulSoup解析库。在这里为了节省时间,我只爬取了400条数据。
代码如下:b = Browser()
url0 = "https://book.douban.com/subject/bookid/comments/hot?p="#bookid换成你自己想要爬取的书籍的评论数据
list_1 = []
list_2 = []
for i in range(1,20):
url = "https://book.douban.com/subject/25862578/comments/hot?p="+str(i)
b.visit(url)
soup = BeautifulSoup(b.driver.page_source, "html.parser")
comments = soup.find_all("p","comment-content")
for item in comments:
comment = item.string#评论内容
list_1.append(comment)
pattern = re.compile('span class="user-stars allstar(.*?) rating"')
p = re.findall(pattern,b.driver.page_source)
list_2 += list(map(int,p))
time.sleep(4)
print("平均分:",sum(list_2)//len(list_2)) pd1 = pd.DataFrame(list_1) pd1.to_csv("comments.csv",index = False) pd2 = pd.DataFrame(list_2) pd2.to_csv("result.csv",index=False)(2)构造词云
挑选了《解忧杂货店》书籍封面做了词云底图。
代码如下:comments = ""
for item in list_1:
item = item.strip(" ")
nlp = snownlp.SnowNLP(item)
comments += " ".join(jieba.analyse.extract_tags(item,6))#关键字提取
back_coloring = np.array(Image.open("jyzhd.jpg"))
word_cloud = WordCloud(font_path='simkai.ttf',background_color='white',max_words=2000,mask=back_coloring,margin=10)
word_cloud.generate(comments)
#从背景图片生成颜色值
image_colors = ImageColorGenerator(back_coloring)
plt.figure(figsize=(8,5),dpi=160)
plt.imshow(word_cloud.recolor(color_func=image_colors))
plt.axis("off")
plt.show()
word_cloud.to_file("comments.jpg") 结果如下:
感觉是不是应该把东野这个词屏蔽掉?
修改一下代码:word_cloud = WordCloud(font_path='simkai.ttf',background_color='white',max_words=2000,stopwords = STOPWORDS.add('东野'),mask=back_coloring,margin=10)重新跑出来的结果如下:
这次效果好多了。
相关文章推荐
- 通过python直接显示json格式数据的方法
- 【开发日记】马桶识别之数据收集,通过Python抓取京东评论图片
- 通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据(经典)
- 通过python直接显示json格式数据的方法
- 通过爬取天猫商品评论实例分析Python爬取ajax动态生成的数据
- 通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据
- 处女作输入sql通过python脚本导出 数据
- 通过LINQ TO SQL类显示数据库表的数据
- python3+mysql查询数据并通过邮件群发excel附件
- python3+PyQt5 使用自定义模型保存数据并通过不同视图形式展示数据
- Python 获取豆瓣用户电影收藏数据
- iOS _评论后返回上一页面显示最新评论数据
- 树形数据显示SQL示例代码(在ms sql 2000 DBMS中调试通过)
- python学习4:获取豆瓣上映电影数据
- Python 省市转换百度经纬度并显示数据热力图
- Android整理:SQlite数据库的使用以及通过listView显示数据
- VC通过ADO打开SQL SERVER数据库,并将其中的表、字段、数据显示出来的小程序
- [Python3.4]通过Redis利用BloomFilter实现数据去重
- python访问数据库中时间类别的数据正确显示的问题