Memory Networks的阶段总结

说明

Memory Networks是Weston在去年提出的一个神经网络模型，引入了记忆效应和外置储存，可以进行有效的长距离序列问题的处理，之后也出现了如神经图灵机，神经机器翻译机等在学术界引起了非常广泛的兴趣的一些模型。

最近我们也在主要研究这个东西，这篇博客写在这里算作一个阶段记录。

Memory Networks

This project contains implementations of memory networks. This includes code in the following subdirectories:

MemN2N-lang-model: This code trains MemN2N model for language modeling, see Section 5 of the paper “End-To-End Memory Networks”. This code is implemented in Torch7 (written in Lua); more documentation is given in the README in that subdirectory.

MemN2N-babi-matlab: The code for the MemN2N bAbI task experiments of Section 4 of the paper:

S. Sukhbaatar, A. Szlam, J. Weston, R. Fergus. End-To-End Memory Networks. arXiv:1503.08895.

This code is implemented in Matlab; more documentation is given in the README in that subdirectory.

Modification of mine

添加了未登录词的处理方案 在字典建立过程中，只用Train的预料，加入了10个 unknown词位，用来替换测试过程中引入的未登录词。

训练函数，一直用不加softmax的来跑（这个很关键，否则根本没法跑）

制作多样性的预料 facebook Q20的语料中，词典数目实在太少了，不能体现真正的逻辑功能。没有说服力。在师兄处理的原始对应Q20格式的中文特定领域对话语聊的基础上，加入了很多完全随机的数字来替换某些中文字。并且语式也维持了多样。事实证明效果依然不错，肯定了模型的记忆以及推理的能力。

还有一些trick只能在代码里体现了。

代码

https://github.com/shincling/MemNN

结果

1 | train error: 0.54656 | val error: 0.12695

2 | train error: 0.13087 | val error: 0.09375

3 | train error: 0.087668 | val error: 0.0625

4 | train error: 0.059983 | val error: 0.048828

5 | train error: 0.037542 | val error: 0.027344

6 | train error: 0.027685 | val error: 0.029297

7 | train error: 0.016359 | val error: 0.029297

8 | train error: 0.0098574 | val error: 0.035156

9 | train error: 0.0079698 | val error: 0.027344

10 | train error: 0.0077601 | val error: 0.029297

11 | train error: 0.0033557 | val error: 0.023438

12 | train error: 0.0020973 | val error: 0.015625

13 | train error: 0.0010487 | val error: 0.0097656

14 | train error: 0.00083893 | val error: 0.011719

15 | train error: 0.00083893 | val error: 0.015625

16 | train error: 0.00062919 | val error: 0.013672

17 | train error: 0.00020973 | val error: 0.0039062

18 | train error: 0 | val error: 0.0039062

19 | train error: 0.00041946 | val error: 0.0058594

20 | train error: 0.00020973 | val error: 0.0058594

test error: 0.0075758

1 | train error: 0 | val error: 0.0039062

2 | train error: 0 | val error: 0.0039062

3 | train error: 0 | val error: 0.0039062

4 | train error: 0 | val error: 0.0019531

5 | train error: 0 | val error: 0.0019531

6 | train error: 0 | val error: 0.0019531

7 | train error: 0 | val error: 0.0019531

8 | train error: 0 | val error: 0.0019531

9 | train error: 0 | val error: 0.0039062

10 | train error: 0 | val error: 0.0058594

11 | train error: 0 | val error: 0.0058594

12 | train error: 0 | val error: 0.0058594

13 | train error: 0 | val error: 0.0039062

14 | train error: 0 | val error: 0.0039062

15 | train error: 0 | val error: 0.0039062

16 | train error: 0 | val error: 0.0039062

17 | train error: 0 | val error: 0.0039062

18 | train error: 0.00062919 | val error: 0.0058594

19 | train error: 0 | val error: 0.0039062

20 | train error: 0 | val error: 0.0039062

21 | train error: 0 | val error: 0.0039062

22 | train error: 0 | val error: 0.0039062

23 | train error: 0 | val error: 0.0039062

24 | train error: 0 | val error: 0.0039062

25 | train error: 0 | val error: 0.0039062

26 | train error: 0 | val error: 0.0039062

27 | train error: 0 | val error: 0.0039062

28 | train error: 0 | val error: 0.0058594

29 | train error: 0 | val error: 0.0058594

30 | train error: 0 | val error: 0.0058594

test error: 0.0066288

1 | train error: 0 | val error: 0.0058594

2 | train error: 0 | val error: 0.0058594

3 | train error: 0 | val error: 0.0058594

4 | train error: 0 | val error: 0.0058594

5 | train error: 0 | val error: 0.0058594

6 | train error: 0 | val error: 0.0058594

7 | train error: 0 | val error: 0.0058594

8 | train error: 0 | val error: 0.0058594

9 | train error: 0 | val error: 0.0058594

10 | train error: 0 | val error: 0.0058594

11 | train error: 0 | val error: 0.0058594

12 | train error: 0 | val error: 0.0058594

13 | train error: 0 | val error: 0.0058594

14 | train error: 0 | val error: 0.0058594

15 | train error: 0 | val error: 0.0058594

16 | train error: 0 | val error: 0.0058594

17 | train error: 0 | val error: 0.0058594

18 | train error: 0 | val error: 0.0058594

19 | train error: 0 | val error: 0.0058594

20 | train error: 0 | val error: 0.0058594

21 | train error: 0 | val error: 0.0058594

22 | train error: 0 | val error: 0.0058594

23 | train error: 0 | val error: 0.0058594

24 | train error: 0 | val error: 0.0058594

25 | train error: 0 | val error: 0.0058594

26 | train error: 0 | val error: 0.0058594

27 | train error: 0 | val error: 0.0058594

28 | train error: 0 | val error: 0.0058594

29 | train error: 0 | val error: 0.0058594

30 | train error: 0 | val error: 0.0058594

test error: 0.0068182

test error: 0.0068182