[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3)
2017-07-30 20:11
881 查看
[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3)
上接part 2
而它表达的方式就是通过括号来标记的,虽然感觉很复杂,但事实证明这种方法是work 的。
用以下两种方法,可把document变成一个vector。
把一段语音变成一个vector,可以看到,dogs和dog是比较接近的。
可以拿来做语音搜寻,不需要语音辨识到文字,就可以通过语音找到想找的内容。
那么怎样吧audio变成vector呢?最后一个时间点的值么就能表示这句话。
只有一个encoder是没办法训练的,还需要又一个decoder,RNN encoder和decoder是一起训练的,使x与y越接近越好。
下图的结果还有一个有趣的事情,把fame的f换成n,与fear的f换成n,vector转化的方向是一致的。
machine也可以有一个巨大的脑容量。
上面这个model还有一个2.0版本,Neural Turing Machine,不仅可以读,还可以写入。
这种方法常常被用于阅读理解,Reading Comprehension,向machine提问。
Visual Question Answering,不仅可以做文字理解,图像理解同样work。
它的做法就是,给machine看一张图,通过CNN可以把图的每一小块都用一个vector来表示。
Speech Question Answering,还可以用来解答语音问题。
用的model和刚刚的大同小异,让machine先读一下question,把question做语义分析,得到question的语义,声音的部分,先用语音分析把它转换成文字,再把这段文字作语义分析的到这段文字的语义,machine结合两者解析出来的语义,Attention出哪些部分是与解决问题有关的,通过Attention,得到答案,而答案和Attention之间是可以来回调整的,通过与选项比较,最后选择出答案。
VIDEO |
---|
RNN
Beyond Sequence
那么这种sequence to sequence 的方法还可以用于Syntactic parsing 句法分析上,得到树桩结构。而它表达的方式就是通过括号来标记的,虽然感觉很复杂,但事实证明这种方法是work 的。
Sequence-to-sequence Auto-encoder - Text
用以下两种方法,可把document变成一个vector。
Sequence-to-sequence Auto-encoder - Speech
还可以用在语音辨识上把一段语音变成一个vector,可以看到,dogs和dog是比较接近的。
可以拿来做语音搜寻,不需要语音辨识到文字,就可以通过语音找到想找的内容。
那么怎样吧audio变成vector呢?最后一个时间点的值么就能表示这句话。
只有一个encoder是没办法训练的,还需要又一个decoder,RNN encoder和decoder是一起训练的,使x与y越接近越好。
下图的结果还有一个有趣的事情,把fame的f换成n,与fear的f换成n,vector转化的方向是一致的。
Sequence to Sequence Demo:
Attention-based Model
现在除了RNN外,还有一种方法也用到了memory,Attention-based Model,可以想做是RNN的进阶版,像人的大脑有非常强的记忆里。machine也可以有一个巨大的脑容量。
上面这个model还有一个2.0版本,Neural Turing Machine,不仅可以读,还可以写入。
这种方法常常被用于阅读理解,Reading Comprehension,向machine提问。
Visual Question Answering,不仅可以做文字理解,图像理解同样work。
它的做法就是,给machine看一张图,通过CNN可以把图的每一小块都用一个vector来表示。
Speech Question Answering,还可以用来解答语音问题。
用的model和刚刚的大同小异,让machine先读一下question,把question做语义分析,得到question的语义,声音的部分,先用语音分析把它转换成文字,再把这段文字作语义分析的到这段文字的语义,machine结合两者解析出来的语义,Attention出哪些部分是与解决问题有关的,通过Attention,得到答案,而答案和Attention之间是可以来回调整的,通过与选项比较,最后选择出答案。
Deep & Structured
RNN v.s. Structured Learning
Integrated together
input的feature先通过蓝框,然后将篮框的output作为绿框的input,将两者结合起来。Is structured learning practical?
相关文章推荐
- [机器学习入门] 李宏毅机器学习笔记-32 (Recurrent Neural Network part 1;循环神经网络 part 1)
- [机器学习入门] 李宏毅机器学习笔记-33 (Recurrent Neural Network part 2;循环神经网络 part 2)
- Neural Network Methods for Natural Language Processing 读书笔记1 —— 神经网络入门
- 概述 循环神经网络(RNN-Recurrent Neural Network)(1)
- 循环神经网络(Recurrent Neural Network,RNN)
- 循环神经网络RNN(Recurrent Neural Network)
- 详解循环神经网络(Recurrent Neural Network)
- 循环神经网络(Recurrent Neural Network)
- 详解循环神经网络(Recurrent Neural Network)
- 循环神经网络(Recurrent Neural Network,RNN)
- Recurrent Neural Network(循环神经网络)
- 循环神经网络教程Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs
- Recurrent Neural Network系列1--RNN(循环神经网络)概述
- [机器学习入门] 李宏毅机器学习笔记-11(Convolutional Neural Network;卷积神经网络)
- 循环神经网络(Recurrent Neural Network, RNN)与LSTM
- [机器学习入门] 李宏毅机器学习笔记-31 (Sequence Labeling Problem part 3 ;结构化预测-序列标记 part 3)
- 循环神经网络(RNN, Recurrent Neural Networks)的入门必学文章
- [机器学习入门] 李宏毅机器学习笔记-36(Ensemble part 2;集成方法 part 2)
- 蒸馏神经网络(Distill the Knowledge in a Neural Network) 论文笔记
- [机器学习入门] 李宏毅机器学习笔记-27(Structured SVM part 2;结构化支持向量机 part 2)