用python分析四大名著之三国演义
2018-02-25 00:00
441 查看
点击上方“程序人生”,选择“置顶公众号”
第一时间关注程序猿(媛)身边的故事
项目起因及意义
起初在浏览知乎时看见一篇文章觉得很有意思(用 Python 分析《红楼梦》),此文章较长,题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写,虽然题主贴上了部分实现的截图,我就想试着来实现一遍,但由于目前能力有限,一些机器学习算法不够了解,加上 python 又是刚刚学,所以我打算先结合《Python 语言程序设计基础》这本书上的例子——《三国演义》人物出场统计来作为此系列博客第一篇,后续等能力足矣会陆陆续续补上。
前期准备
三国里人物众多,我们需要对人物出场次数统计,中文文章需要分词才能进行词频统计,这里我们用到第三方库 jieba,这里我就不提供下载方法了,然后我们需要《三国演义》的电子书网上都有,很容易下载。
项目进行
将文本数据导入 pycharm
这里的编码格式一开始我是按照书上‘utf-8’格式读取,发现会乱码,后来在pycharm里面用‘gbk’格式能读出文本内容,但是个别字符识别不出来,就去百度到“gb18030”比gbk范围更广,这里我成功读入。如果你此时还是读入不了可以写成下面形式
完整代码实现
excludes里面定义了一些出现次数较多但不是人名的词,这里主要语句就是 counts[rword] = counts.get(rword, 0) + 1 这一句字典类型的counts,如果word在counts中,返回word对应的值,否则返回0。后面用sort()函数和匿名函数lambda()进行排序,这里字典没有顺序,需要先转化为列表类型。输出结果如下:
导出数据文件
这里我们将数据导入到 三国人物出场次数.txt 这个文件里面。
将数据画出气泡图
总结
由此可知“曹操“,“ 孔明””刘备”是出场最多的人,这些只是简单的数据分析,作为此系列博客的开头篇,随着学习希望自己能实现完整用python分析四大名著。
[b]点击图片get往期内容[/b]
第一时间关注程序猿(媛)身边的故事
项目起因及意义
起初在浏览知乎时看见一篇文章觉得很有意思(用 Python 分析《红楼梦》),此文章较长,题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写,虽然题主贴上了部分实现的截图,我就想试着来实现一遍,但由于目前能力有限,一些机器学习算法不够了解,加上 python 又是刚刚学,所以我打算先结合《Python 语言程序设计基础》这本书上的例子——《三国演义》人物出场统计来作为此系列博客第一篇,后续等能力足矣会陆陆续续补上。
前期准备
三国里人物众多,我们需要对人物出场次数统计,中文文章需要分词才能进行词频统计,这里我们用到第三方库 jieba,这里我就不提供下载方法了,然后我们需要《三国演义》的电子书网上都有,很容易下载。
项目进行
将文本数据导入 pycharm
import jieba txt = open("三国演义.txt", "r", encoding="gb18030").read()
这里的编码格式一开始我是按照书上‘utf-8’格式读取,发现会乱码,后来在pycharm里面用‘gbk’格式能读出文本内容,但是个别字符识别不出来,就去百度到“gb18030”比gbk范围更广,这里我成功读入。如果你此时还是读入不了可以写成下面形式
txt = open("三国演义.txt", "r", encoding="gb18030",errors="ignore").read()
完整代码实现
import jieba excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此", "商议", "如何", "主公", "军士", "左右", "军马", "引兵", "次日", "大喜", "天下", "东吴", "于是", "今日", "不敢", "魏兵","人马", "陛下", "一人"} txt = open("三国演义.txt", "r", encoding="gbk").read() words = jieba.lcut(txt) counts = {} for word in words: if len(word) == 1: continue elif word == "诸葛亮" or word == "孔明曰": rword = "孔明" elif word == "关公" or word == "云长": rword = "关羽" elif word == "玄德" or word == "玄德曰": rword = "刘备" elif word == "孟德" or word == "丞相": rword = "曹操" else: rword = word counts[rword] = counts.get(rword, 0) + 1 for word in excludes: del(counts[word]) items = list(counts.items()) items.sort(key=lambda x:x[1], reverse=True) for i in range(10): word, count=items[i] print (word, count)
excludes里面定义了一些出现次数较多但不是人名的词,这里主要语句就是 counts[rword] = counts.get(rword, 0) + 1 这一句字典类型的counts,如果word在counts中,返回word对应的值,否则返回0。后面用sort()函数和匿名函数lambda()进行排序,这里字典没有顺序,需要先转化为列表类型。输出结果如下:
导出数据文件
fo = open("三国人物出场次数.txt", "a") for i in range(10): word, count=items[i] word = str(word) count = str(count) fo.write(word) fo.write(' ') fo.write(count) fo.write('\n') print (word, count) print(items) fo.close()
这里我们将数据导入到 三国人物出场次数.txt 这个文件里面。
将数据画出气泡图
总结
由此可知“曹操“,“ 孔明””刘备”是出场最多的人,这些只是简单的数据分析,作为此系列博客的开头篇,随着学习希望自己能实现完整用python分析四大名著。
[b]点击图片get往期内容[/b]
相关文章推荐
- 用python分析四大名著(一)
- [转贴]工作习惯测试—选你最喜欢的(根据四大名著分析习惯)
- python数据分析---实用数据挖掘(五)
- python实现bucket排序算法实例分析
- python动态参数用法实例分析
- Python实现连接postgresql数据库的方法分析
- 微服务架构四大设计原则分析
- 【学习笔记】python版选择排序和插入排序及时间复杂度分析
- 四大名著的最雷人介绍
- Python之美[从菜鸟到高手]--生成器之全景分析
- Python封装shell命令实例分析
- python数据分析 第一天
- Python数据分析实战 | 数据挖掘人门
- Python 数据分析:pandas 操作基础篇
- Python进行数据分析(二)MovieLens 1M 数据集
- python数据分析1:获取双色球历史信息
- python-优矿-期权合成策略分析
- R vs. Python,数据分析中谁与争锋?
- Python pickle模块用法实例分析
- Python数据分析简介