机器学习 李宏毅 L27-Deep Auto-encoder
2018-02-01 13:57
253 查看
auto-encoder
Auto-encoder使用神经网络进行降维。由于这里是无监督学习，因此encoder的训练过程需要采用decoder同时进行训练，如下图所示。这与PCA的过程类似，首先通过输入的图片，乘以矩阵W，得到降维后的数据，然后对于降维数据乘以前述矩阵的转置，可以得到预测的输出图片。
具体的做法如下图，而目前网络的对称性并不是必须的。同时，为了防止NN只是单纯记住输入的特征，可以在输入加上噪声，然后输出的目标是未加噪声的图片。
Auto-encoder的用处
由于Auto-encoder可以对于输入进行降维编码，所以可以对于不同的输入寻找相似度较高的，然后将其归为一类，用于判断分类的准确性或者可以用于图片、文档的归类等。对于图像，可以使用CNN进行auto-encode
这需要进行unpooling操作，需要记住poolin的数据位置。
Deconvolution操作与convolution操作类似。
MNIST数据集分类错误率
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 李宏毅机器学习课程笔记6：Unsupervised Learning - Auto-encoder、PixelRNN、VAE、GAN
- 纯干货14 2017年-李宏毅-最新深度学习/机器学习中文视频教程分享_后篇
- 机器学习笔记（李宏毅）：Regression
- 李宏毅机器学习笔记（二）-------Why we need learn Machine Learning?
- 【机器学习（李宏毅）】 一、Learning Map
- [机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入）
- [机器学习入门] 经典台大李宏毅机器学习课程从这里开始
- 机器学习 李宏毅 L18-Tips for Training DNN
- 机器学习 李宏毅 L22-why deep
- 机器学习 李宏毅 L30-Transfer Learning
- [机器学习：李宏毅]28.Deep Reinforcement Learning
- [机器学习入门] 李宏毅机器学习笔记-35（Ensemble part 1；集成方法 part 1）
- 机器学习 李宏毅 L24-Linear Dimension Reduction
- 【机器学习（李宏毅）】 二、Regression: Case Study
- 【机器学习】李宏毅机器学习2017——(2)线性回归
- [机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
- [机器学习入门] 李宏毅机器学习笔记-6 （Classification: Logistic Regression；逻辑回归）
- [机器学习入门] 李宏毅机器学习笔记-9 （“Hello world” of deep learning；初探深度学习）
- [机器学习：李宏毅]27、Ensemble
- [机器学习入门] 李宏毅机器学习课程回顾 + 接下来的学习声明