对神经网络中的Epoch、Batch Size和迭代的理解
2018-12-23 14:22
309 查看
Epoch:
当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一个epoch,然而,当一个epoch对于计算机而言太庞大的时候,就需要把它分为多个小块。
为什么要使用多于一个epoch?
在神经网络中传递完整的数据集一次是不够的,而且我们需要将完整的数据集在同样的神经网络中传递多次。但是请记住,我们使用的是有限的数据集,并且我们使用一个迭代过程即梯度下降是不够的,因此仅仅更新权重一次或者使用一个epoch是不够的。随着epoch的数量增加,神经网络中的权重的更新次数也增加,曲线从欠拟合变得过拟合。
那么,几个epoch才是合适的?
不幸的是,这个问题并没有正确的答案,对于不同的数据集,答案是不一样的,而且数据的多样性会影响合适的epoch的数量,比如,只有黑色的猫的数据集和有各种颜色的猫的数据集。
Batch size是什么?
一个batch的样本数量,记住:batch size和number of batches是不同的。
Batch是什么?
在不能将数据一次性通过神经网络的时候,就需要将数据集分为几个batch。
迭代是什么?
在一个epoch中,batch数和迭代数是相等的。
比如:对于一个有2000个训练样本的数据集,将2000个样本分为大小为500的batch,那么完成一个epoch需要4个iteration。
参考链接:https://medium.com/towards-data-science/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9
相关文章推荐
- 入门| 神经网络训练中,Epoch、Batch Size和迭代傻傻分不清?
- 3.对神经网络训练中Epoch的理解
- 神经网络中Epoch、Iteration、Batchsize相关理解和说明
- 一句话理解神经网络里的batch_size,iterations,epoch
- 神经网络中epoch, iteration, batchsize相关理解和说明
- keras例程学习与神经网络理解(一)
- 理解深层神经网络中的迁移学习及TensorFlow实现
- 理解神经网络中的目标函数
- 个人对sparse在神经网络学习中的一些理解
- 神经网络的Dropout的理解
- 关于机器学习神经网络的基本理解
- 简单理解LSTM神经网络
- 深度学习之神经网络结构——RNN_理解LSTM
- 吴恩达深度学习(17)-神经网络中的多样本向量化实现再理解
- 直观理解神经网络最后一层全连接+Softmax
- 关于神经网络的一点理解
- ICCV | 深度三维残差神经网络:视频理解新突破
- 深度学习笔记1:神经网络理解
- 简单理解LSTM神经网络
- [深度学习]神经网络的理解(MLP RBF RBM DBN DBM CNN 整理学习)