深度学习中关于epoch的几个词汇的理解
2017-11-17 17:10
274 查看
(1)iteration:表示1次迭代,每次迭代更新1次网络结构的参数;
(2)batch_size:1次迭代所使用的样本量;
(3)epoch:1个epoch表示过了1遍训练集中的所有样本。
需要补充的是,在深度学习领域中,常用随机梯度下降算法(Stochastic Gradient Descent, SGD)训练深层结构,它有一个好处就是并不需要遍历全部的样本,当数据量非常大时十分有效。此时,可根据实际问题来定义epoch,例如定义10000次迭代为1个epoch,若每次迭代的batch_size设为256,那么1个epoch相当于过了2560000个训练样本。
(2)batch_size:1次迭代所使用的样本量;
(3)epoch:1个epoch表示过了1遍训练集中的所有样本。
需要补充的是,在深度学习领域中,常用随机梯度下降算法(Stochastic Gradient Descent, SGD)训练深层结构,它有一个好处就是并不需要遍历全部的样本,当数据量非常大时十分有效。此时,可根据实际问题来定义epoch,例如定义10000次迭代为1个epoch,若每次迭代的batch_size设为256,那么1个epoch相当于过了2560000个训练样本。
相关文章推荐
- 深度学习中关于epoch的几个词汇的理解
- 几个概念——关于人工智能、大数据、深度学习
- 关于深度学习中Dropout的理解
- [6]深度学习和Keras---- 深度学习中的一些难理解的基础概念:softmax, batch,min-batch,iterations,epoch,SGD
- 关于深度学习中的Batch normalization的理解
- 深度译文:机器学习那些事 关于自己的理解
- 关于深度学习中Dropout的理解
- 关于深度学习自编码器理解
- 深度学习中关于 “深度” 的理解
- 关于深入学习Java的方式和理解
- Deep Learning(深度学习)学习笔记整理系列之LeNet-5卷积参数个人理解
- 对深度强化学习的理解
- 深度学习-卷积理解
- 20071107学习记录 关于实体类的理解
- 【深度学习技术】手把手教你理解梯度下降法
- 深度学习深理解(四)-深度网络与深度学习第一部分完结
- 深度学习与计算机视觉系列(5)_反向传播与它的直观理解
- 【脚本语言系列】关于lua深度学习,你需要知道的事
- 关于 git reset 命令几个常用参数的理解
- 深度学习研究理解7:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition