A Neural Probabilistic Language Model笔记

1.经典之paper，虽然之前一直有了解，但是未及细读，现在终于有时间好好研究一下了。

2.首先是一个概率模型：



3.然后是两个假设条件：First, it is not taking into account contexts farther than 1 or 2 words,1 second it is not taking into account the “similarity” between words.

所以模型：


4.具体模型







4.1输入层（第一层）：一个C映射，wi的维度是1xV，C的维度是Vxm，所以1xVxVxm=1xm；第二层tanh函数进行计算，在最后的实验中，Bengio 发现直连边虽然不能提升模型效果，但是可以少一半的迭代次数。同时他也猜想如果没有直连边，可能可以生成更好的词向量；输出层：softmax函数。

4.2目标函数

每一层的参数，和维度

最终训练的C就是我们需要的词向量

5.伪代码





6.训练的时候要找一个好点的语料库，因为自己的文本词频一般都不够。