神经网络的一些概念理解
2018-02-08 15:17
423 查看
Dropout,是指在模型单次训练时随机让网络某些隐含层节点的权重不run,不run的那些节点单次不进行计算,但是它的权重保留下来,下次依然有可能跑起来并更新。
数据预处理,比如在训练CNN时,需要对数据及进行预处理,都干了些什么呢,最基本的有两个,均值化为0与方差化为1,目的是尽量去除无用信息增强有价值的信息以提高数据的利用率,也有说法是使得特征标准化。
Batch Normalization (BN),看名字就是批规范化,也就是将某输出结果的各个维度的均值为0,方差为1。这么干一般情况下可以提高训练速度,提高模型精度。权重伸缩不变性有效地提高反向传播的效率,还具有参数正则化的效果,可以使用更高的学习率。数据伸缩不变性可以有效地减少梯度弥散,简化对学习率的选择。
数据预处理,比如在训练CNN时,需要对数据及进行预处理,都干了些什么呢,最基本的有两个,均值化为0与方差化为1,目的是尽量去除无用信息增强有价值的信息以提高数据的利用率,也有说法是使得特征标准化。
Batch Normalization (BN),看名字就是批规范化,也就是将某输出结果的各个维度的均值为0,方差为1。这么干一般情况下可以提高训练速度,提高模型精度。权重伸缩不变性有效地提高反向传播的效率,还具有参数正则化的效果,可以使用更高的学习率。数据伸缩不变性可以有效地减少梯度弥散,简化对学习率的选择。
相关文章推荐
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 径向基(Radial basis function)神经网络、核函数的一些理解
- 神经网络之基础概念理解1
- 神经网络基本的一些概念
- 有关socket网络编程中一些概念的理解
- SVD 与 PCA 的直观解释 && 径向基(Radial basis function)神经网络、核函数的一些理解
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 你需要知道的关于神经网络的一些概念
- 网络编程中需要理解的一些概念
- CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
- 关于构建浅层神经网络的一些理解(以MNIST为例子)
- 结合sklearn的例子理解神经网络的基本概念
- 神经网络概念理解
- 个人对sparse在神经网络学习中的一些理解
- 神经网络一些概念
- sql 日期概念理解中的一些测试
- 一、神经网络的相关概念
- 日期概念理解中的一些测试
- 计算机网络01_一些理解