深度学习: softmax loss 计算
2017-12-20 14:21
344 查看
转载自caffe层解读系列-softmax_loss:
这里以batchsize=1的2分类为例：
设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4]，
然后计算归一化概率得到[0.5987 0.4013]，
假如该图片的label为1，则Loss=-log0.4013=0.9130
如果指定值，则label等于ignore_label的样本将不参与Loss计算，并且反向传播时梯度直接置0.
计算过程
softmax_loss的计算包含2步：（1）计算softmax归一化概率
（2）计算损失
这里以batchsize=1的2分类为例：
设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4]，
然后计算归一化概率得到[0.5987 0.4013]，
假如该图片的label为1，则Loss=-log0.4013=0.9130
可选参数
（1） ignore_label
int型变量，默认为空。如果指定值，则label等于ignore_label的样本将不参与Loss计算，并且反向传播时梯度直接置0.
（2） normalize
bool型变量，即Loss会除以参与计算的样本总数；否则Loss等于直接求和（3） normalization
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 深度学习Loss function之Softmax中的矩阵求导
- 深度学习与计算机视觉[CS231N] 学习笔记（3.2）：Softmax Classifier（Loss Function）
- [6]深度学习和Keras---- 深度学习中的一些难理解的基础概念：softmax， batch，min-batch，iterations，epoch，SGD
- UFLDL深度学习笔记 （二）SoftMax 回归(矩阵化推导)
- 学习Caffe(五)浅析softmax cross entropy loss与sigmoid cross entropy loss
- 深度学习算法原理——Softmax Regression
- 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 5：Softmax Regression
- Deep Learning 6_深度学习UFLDL教程：Softmax Regression_Exercise（斯坦福大学深度学习教程）
- 深度学习基础（五）Softmax Regression
- 深度学习---之softmax与交叉熵
- 【深度学习】Tensorflow学习记录（一） softmax regression mnist训练
- 深度学习笔记三：Softmax Regression
- 深度学习 Deep Learning UFLDL 最新Tutorial 学习笔记 5：Softmax Regression
- 斯坦福大学深度学习公开课cs231n学习笔记（9）softmax分类和神经网络分类代码实现
- 深度学习: smooth L1 loss 计算
- 非监督特征学习与深度学习（五）----Softmax 回归（Softmax Regression）
- 深度学习基础 - MNIST实验（tensorflow+Softmax）
- 深度学习通用策略：Soft-NMS算法实现
- MXNET：深度学习计算-自定义层
- 4. 深度学习的数学基础：数值计算