深度学习之深度生成模型
2017-11-22 19:28
302 查看
深度生成模型可以分为有监督与无监督,主要还是在于无监督地应用,用于在没有目标类标签信息的情况下捕捉观测到或可见数据的高阶相关性,可以通过从网络中采样来生成有效样本,譬如受限玻尔兹曼机(Restricted
Boltzmann Machine, RBM)、深度信念网络(Deep Belief Network, DBN)、深度玻尔兹曼机(Deep Boltzmann Machine, DBM)和广义除噪自编码器(Generalized Denoising Autoencoders)。
DBN是由一组RBM堆叠而成的深度生成式网络,核心是贪婪的逐层学习的算法。而RBM是基于能量的模型,基于能量的模型是使用图描述模型结构,属于深度学习中的结构化概率模型。
所以本小白决定首先从贪婪的逐层学习算法开始学习。
贪婪逐层学习算法是属于表示学习。表示学习提供了一种进行无监督和半监督学习的方法,用于数据集有着巨量的未标注训练数据和相对较少的标注训练数据。表示学习理论基础就是假设未标注数据可以学习出良好的表示。表示其实也可以认为是特征。
贪心逐层无监督预训练
这个就是贪心逐层算法,其实就是不断地对于特征表示函数进行学习,最终找到最优特征函数,贪心逐层主要是依靠单层表示学习的堆叠,譬如RBM、单层自编码器、稀疏编码模型或其他学习潜在表示模型。贪心逐层最初是能够进行多层联合训练甚至全连接网络而出名,但是现在可以训练具有全连接的深度结构,已经勿需使用了。
贪心在于独立优化方案每一部分而不是联合优化所有,逐层是因为通过网络层独立解决,一层搞好之后就不会再变,预训练在于是联合训练算法精调所有层前的第一步。
RBM本身不是一个深层模型,它拥有一层潜变量,它被设计是为了能够进行高效的Gibbs采样,并且模型设计的重点在于以很高的自由度学习潜变量。
通过v、h单元的概率分布可以进行高效的Gibbs采样,采样进而获取表示
Boltzmann Machine, RBM)、深度信念网络(Deep Belief Network, DBN)、深度玻尔兹曼机(Deep Boltzmann Machine, DBM)和广义除噪自编码器(Generalized Denoising Autoencoders)。
DBN是由一组RBM堆叠而成的深度生成式网络,核心是贪婪的逐层学习的算法。而RBM是基于能量的模型,基于能量的模型是使用图描述模型结构,属于深度学习中的结构化概率模型。
所以本小白决定首先从贪婪的逐层学习算法开始学习。
贪婪逐层学习算法是属于表示学习。表示学习提供了一种进行无监督和半监督学习的方法,用于数据集有着巨量的未标注训练数据和相对较少的标注训练数据。表示学习理论基础就是假设未标注数据可以学习出良好的表示。表示其实也可以认为是特征。
贪心逐层无监督预训练
这个就是贪心逐层算法,其实就是不断地对于特征表示函数进行学习,最终找到最优特征函数,贪心逐层主要是依靠单层表示学习的堆叠,譬如RBM、单层自编码器、稀疏编码模型或其他学习潜在表示模型。贪心逐层最初是能够进行多层联合训练甚至全连接网络而出名,但是现在可以训练具有全连接的深度结构,已经勿需使用了。贪心在于独立优化方案每一部分而不是联合优化所有,逐层是因为通过网络层独立解决,一层搞好之后就不会再变,预训练在于是联合训练算法精调所有层前的第一步。
受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)
背景知识:结构化概率模型是使用图来描述概率分布中随机变量间的相互作用,从而描述一个概率分布,也称图模型。RBM本身不是一个深层模型,它拥有一层潜变量,它被设计是为了能够进行高效的Gibbs采样,并且模型设计的重点在于以很高的自由度学习潜变量。
通过v、h单元的概率分布可以进行高效的Gibbs采样,采样进而获取表示
DBN
相关文章推荐
- VAE、GAN、Info-GAN:全解深度学习三大生成模型
- VAE、GAN、Info-GAN:全解深度学习三大生成模型
- 使用深度学习检测DGA(域名生成算法)——LSTM的输入数据本质上还是词袋模型
- 三大深度学习生成模型:VAE、GAN及其变种
- 深度学习(六十六)生成模型、最大化似然、KL散度
- 深度学习的三大生成模型:VAE、GAN、GAN
- 三大深度学习生成模型:VAE、GAN及其变种
- 深度学习利器:TensorFlow在智能终端中的应用——智能边缘计算,云端生成模型给移动端下载,然后用该模型进行预测
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-2生成图像库的均值文件
- 深度学习1:生成模型的输入数据集和可视化
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-4应用生成模型进行预测
- 深度学习模型之各种caffe版本(Linux和windows)的网址
- TensorFlow实现经典深度学习网络(6):TensorFlow实现基于LSTM的语言模型
- 监督学习中的“生成模型”和“判别模型”
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 从深度学习研究论文中自动生成可执行源代码
- 监督学习:生成模型和判别模型
- 文本情感分类:深度学习模型
- 深度学习中batchsize—epoch对训练模型的影响
- [caffe]深度学习之图像分类模型AlexNe(各层feature map)解读