python 数据挖掘篇四 小说数据挖掘实例
2018-01-22 12:22
1091 查看
Python安装
python学习 一 python语法,及变量类型
python学习 二 爬一个图片网站上
python学习 二 02 爬一个图片网站,获得主链接网址,并保存
python学习 二 03 爬一个图片网站-获得所有分页网址
python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接
python学习 二 05 爬一个图片网站-下载图片链接
python学习 二 06 爬一个图片网站-多线程方式下载
python学习 三 01 再爬一个网站,几行代码,搞定分类类别
python学习 三 02 再爬一个网站,获得所有分页
python学习 三 03 再爬一个网站,根据分页,下载图片
python学习 三 04 图片爬虫工程-组织框架
Python 爬虫 上篇
Python 爬虫 下篇
python 数据挖掘篇 一 结巴分词
python 数据挖掘篇 二 词云统计
python 数据挖掘篇 三 gensim 使用
python 数据挖掘篇四 小说数据挖掘实例
分三个阶段
1、 预处理阶段
2、 加载预处理好的字典、语料、模型、索引阶段
3、 查询阶段
预处理阶段:
加载阶段
查询阶段
Word2Vec 模型
这个模型也很有意思,可以查找与某个词相近、相反、推理关系。
总结:
之所以研究gensim,是想做一个古典小说搜索引擎、和小说数据分析工具。打算将网站www.gudianxiaoshuo.com打造成古典小说搜索、知识挖掘的网站。
使用红楼梦做为分析对象,实现了搜索分析功能,但是也发现将预处理的信息保存到本地后,占用空间还是很大的,尤其是lsi语料竟然100M,不知道还有没有更好的方法。
项目地址:
https://github.com/gudianxiaoshuo
python学习 一 python语法,及变量类型
python学习 二 爬一个图片网站上
python学习 二 02 爬一个图片网站,获得主链接网址,并保存
python学习 二 03 爬一个图片网站-获得所有分页网址
python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接
python学习 二 05 爬一个图片网站-下载图片链接
python学习 二 06 爬一个图片网站-多线程方式下载
python学习 三 01 再爬一个网站,几行代码,搞定分类类别
python学习 三 02 再爬一个网站,获得所有分页
python学习 三 03 再爬一个网站,根据分页,下载图片
python学习 三 04 图片爬虫工程-组织框架
Python 爬虫 上篇
Python 爬虫 下篇
python 数据挖掘篇 一 结巴分词
python 数据挖掘篇 二 词云统计
python 数据挖掘篇 三 gensim 使用
python 数据挖掘篇四 小说数据挖掘实例
第四章 小说数据挖掘实例
搜索引擎---给定文字,搜索书中与之相近的文字
示例,做一个书本的搜索引擎,输入以句话,输出与这句话最相近的段落分三个阶段
1、 预处理阶段
2、 加载预处理好的字典、语料、模型、索引阶段
3、 查询阶段
预处理阶段:
加载阶段
查询阶段
Word2Vec 模型
这个模型也很有意思,可以查找与某个词相近、相反、推理关系。
总结:
之所以研究gensim,是想做一个古典小说搜索引擎、和小说数据分析工具。打算将网站www.gudianxiaoshuo.com打造成古典小说搜索、知识挖掘的网站。
使用红楼梦做为分析对象,实现了搜索分析功能,但是也发现将预处理的信息保存到本地后,占用空间还是很大的,尤其是lsi语料竟然100M,不知道还有没有更好的方法。
项目地址:
https://github.com/gudianxiaoshuo
相关文章推荐
- Python数据采集处理分析挖掘可视化应用实例
- python数据分析与挖掘学习笔记(3)_小说文本数据挖掘part1
- 【Python数据挖掘课程】五.线性回归知识及预测糖尿病实例
- Python数据挖掘实例(实时更新)
- 【Python数据挖掘课程】五.线性回归知识及预测糖尿病实例
- [置顶] 【Python3】数据挖掘 抓取小说
- Python数据挖掘课程 五.线性回归知识及预测糖尿病实例
- 用Python进行数据挖掘(数据预处理)
- 使用python获取csv文本的某行或某列数据的实例
- Scrapy:Python3版本上安装数据挖掘必备的scrapy框架详细攻略(一)——Jason niu
- python使用numpy读取、保存txt数据的实例
- 【干货】Python爬虫/文本处理/科学计算/机器学习/数据挖掘兵器谱
- Python数据操作方法封装类实例
- 量化分析(5)——Python应用tushare数据计算单资产CAPM实例
- 数据挖掘之—基于ReliefF和K-means算法的医学应用实例
- 【python】使用pickle模块将数据永久保存,pickle.dump()序列化、pickle.load()反序列化实例详解
- 用Python3获取股票数据实例
- 数据挖掘漫谈:数据挖掘方法和实例
- 数据挖掘实例——啤酒、尿布及星期五
- 【Python数据挖掘课程】九.回归模型LinearRegression简单分析氧化物数据