损失函数改进总结

深度学习交流QQ群：116270156

这篇博客主要列个引导表，简单介绍在深度学习算法中损失函数可以改进的方向，并给出详细介绍的博客链接，会不断补充。

1、Large Marge Softmax Loss 

ICML2016提出的Large Marge Softmax Loss（L-softmax）通过在传统的softmax loss公式中添加参数m，加大了学习的难度，逼迫模型不断学习更具区分性的特征，从而使得类间距离更大，类内距离更小。核心内容可以看下图：



详细了解可以参看：损失函数改进之Large-Margin Softmax Loss

2、Center Loss 

ECCV2016提出的center loss是通过将特征和特征中心的距离和softmax loss一同作为损失函数，使得类内距离更小，有点L1，L2正则化的意思。核心内容如下图所示：



详细了解可以参看：损失函数改进之Center Loss

3、A-softmax Loss 

CVPR2017提出的A-softmax loss（angular softmax loss）用来改进原来的softmax loss。A-softmax loss简单讲就是在large margin softmax loss的基础上添加了两个限制条件||W||=1和b=0，使得预测仅取决于W和x之间的角度。核心思想可以参看下面这个图。



详细了解可以参看：损失函数改进方法之A-softmax loss

4、Focal Loss 

这是Facebook的RBG和Kaiming大神前天放在arxiv的新作，立马就引来了业界的围观，在COCO数据集上的AP和速度都有明显提升。核心思想在于概括了object detection算法中proposal-free一类算法准确率不高的原因在于：类别不均衡。于是在传统的交叉熵损失上进行修改得到Focal Loss。详细了解可以参看：Focal
Loss