使用Google word2vec训练我们自己的词向量模型

主要内容

这篇文章主要内容是介绍从初始语料(文本)到生成词向量模型的过程。

词向量模型

词向量模型是一种表征词在整个文档中定位的模型。它的基本内容是词以及它们的向量表示，即将词映射为对应的向量，这样就可以被计算机识别和计算。它的文件后缀名是.bin。

过程

1.分词

即将文本分词，分词工具有很多，比如哈工大的分词工具和结巴分词工具，具体如何使用这些工具，请参考相关的文章。

分词的时候，请将各个词以一个空格隔开。

2.训练词向量

在word2vec的trunk目录下打开终端， 定义下面内容，以适用于你的语料

./word2vec -train 产科语料合并版_分词结果.txt -output vectors11.bin -cbow 0 -size 100 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1

具体的

1. –size：向量维数

2. –window：上下文窗口大小

3. –sample：高频词亚采样的阈值

4. –hs：是否采用层次 softmax

5. –negative：负例数目

6. –min-count：被截断的低频词阈值

7. –alpha： 开始的 learning rate

最终生成的vectors11.bin文件就是我们模型文件，它在trunk目录下。

3.验证词的相似度

在命令行在输入

./distance vectors11.bin

然后输入词，查看它的相似词语列表，如下图：



完毕。