训练神经网络中最基本的三个概念:Epoch, Batch, Iteration
2017-12-27 14:54
961 查看
转载地址:https://zhuanlan.zhihu.com/p/29409502
原作者:Michael Yuan
作者主页:https://www.zhihu.com/people/mikeyuan
今天让我们来总结下训练神经网络中最最基础的三个概念:Epoch, Batch, Iteration。
实际上,梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。
CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。
每个 Epoch 要训练的图片数量:
训练集具有的 Batch 个数:
每个 Epoch 需要完成的 Batch 个数:
每个 Epoch 具有的 Iteration 个数:
每个 Epoch 中发生模型权重更新的次数:
训练
代后,模型权重更新的次数:
不同代的训练,其实用的是同一个训练集的数据。第
代和第
代虽然用的都是训练集的五万张图片,但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。
原作者:Michael Yuan
作者主页:https://www.zhihu.com/people/mikeyuan
今天让我们来总结下训练神经网络中最最基础的三个概念:Epoch, Batch, Iteration。
1. 名词解释
2. 换算关系
实际上,梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。
3. 示例
CIFAR10 数据集有 50000 张训练图片,10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。每个 Epoch 要训练的图片数量:
训练集具有的 Batch 个数:
每个 Epoch 需要完成的 Batch 个数:
每个 Epoch 具有的 Iteration 个数:
每个 Epoch 中发生模型权重更新的次数:
训练
代后,模型权重更新的次数:
不同代的训练,其实用的是同一个训练集的数据。第
代和第
代虽然用的都是训练集的五万张图片,但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置,模型的训练代越靠后,越接近谷底,其代价越小。
相关文章推荐
- 06. 训练一个神经网络1-- epoch,batch_size,iteration
- tensorflow实现最基本的神经网络 + 对比GD、SGD、batch-GD的训练方法
- tensorflow实现最基本的神经网络 + 对比GD、SGD、batch-GD的训练方法
- 深度学习-基础概念:神经元(Neurons)、Sigmoid 函数与神经网络基本结构
- 【深度学习 论文综述】深度神经网络全面概述:从基本概念到实际模型和硬件基础
- 神经网络基本概念
- 2.神经网络与深度学习(一)-基本概念与随即梯度下降
- 深度神经网络基本知识-为何很难训练
- 神经网络基本的一些概念
- tensorflow的基本用法(五)——创建神经网络并训练
- Deep Learning 学习系列001 —— 神经网络基本概念
- 一句话理解神经网络里的batch_size,iterations,epoch
- 3.对神经网络训练中Epoch的理解
- 神经网络基本概念
- 入门| 神经网络训练中,Epoch、Batch Size和迭代傻傻分不清?
- 论文笔记:神经网络中的基本概念整理
- 神经网络中epoch, iteration, batchsize相关理解和说明
- tensorflow的基本用法(七)——使用MNIST训练神经网络
- 深度神经网络概述:从基本概念到实际模型和硬件基础
- Tensorflow中基本概念及神经网络模型的介绍