自编码器
2019-05-13 17:13
99 查看
预训练:逐层训练学习压缩表示,去掉解码器后叠加
监督微调:加一个分类器,只调分类器或者微调整个系统(更好)
损失函数:对于高斯分布的数据,采用均方误差就好,而对于伯努利分布可以采用交叉熵,这个是可以根据似然函数推导出来的
两部分权重相等作为约束
降噪自编码器:结构同上,训练不同,输入带噪声的而非原始样本,随机噪声𝑣服从均值为0,方差为𝜎2的正态分布,然后学习没有误差的重构,和没有噪声的样本构建损失函数。更好的学习特征,对噪声鲁棒,恢复更好
稀疏自编码器:对隐层单元施加L1正则化,是大部分为0,即使在隐藏神经元数量较多的情况下仍然可以发现输入数据中一些有趣的结构。
收缩自编码器:稀疏和收缩的损失函数,收缩自编码器通过两种相反的推动力学习有用信息–重构误差和收缩惩罚(正则项)。收缩惩罚迫使自编码器学习到的所有映射对于输入的梯度都很小,即把输入都降维到一个很小的区域(点附近),而重构误差迫使自编码器学习一个恒等映射,保留完整的信息。两种推动力冲击下,使得大部分映射对于输入的梯度都很小,而只有少部分的大梯度。这样在输入具有小扰动时,小梯度会减小这些扰动,达到增加自编码器对输入附近小扰动的鲁棒性。
从而学习训练数据的稳定表示
相关文章推荐
- 用Windows Media编码器建网络电视直播站
- 再学 GDI+[101]: TGPImage(21) - 获取所有编码器的详细信息
- Xvid 视频压缩编码器设置指南
- AMR音频编码器概述及文件格式分析
- Ubuntu(Linux)下编译ffmpeg(svn版)和x264(git版)解编码器
- H.264几大开源编码器简介
- MediaCoder CUDA H.264 编码器测试报告
- WCF随笔3----消息编码器
- Ubuntu下编译ffmpeg和x264解编码器
- AMR音频编码器概述及文件格式分析
- Deep Learning(深度学习)学习笔记整理系列之(四) --AutoEncoder自动编码器
- foobar2000 1.1.10 用苹果新近开源的ALAC编码器很方便将APE、FLAC、WAV转无损m4a
- ffmpeg 编码器参数配置
- AMR音频编码器概述及文件格式分析
- STM32学习笔记之正交编码器…
- 如何查看ffmpeg支持的编码器和封装格式
- 常用编码软件简单使用记录 1 : 自主编码器
- 电子齿轮(比)、编码器初探
- 最简单的基于FFmpeg的编码器-纯净版(不包含libavformat)
- lecture15-自动编码器、语义哈希、图像检索