您的位置：首页 > 理论基础 > 计算机网络

文本预处理、语言模型、循环神经网络基础

2020-03-01 04:00 761 查看

文本预处理

文本无法直接输入到计算机内，所以需要转换成相应的数字进行表示。所以要经过以下几个步骤：
文本分词、建立词表索引、文本转化成序列
常用的分词工具：jieba、gensim、spacy、NLTK等

常见的语言模型：马尔可夫模型，NNLM，后续延伸重点为生成词向量的word2vec以及用于文本分类以及生成词向量的fasttext，本质都是语言模型。

基础模型的发展：RNN—LSTM—GRU；

Andy__Shaw 发布了4 篇原创文章 · 获赞 0 · 访问量 173 私信关注

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航