[论文阅读] Focal Loss for Dense Object Detection

arxiv: https://arxiv.org/pdf/1708.02002.pdf

何凯明 homepage: http://kaiminghe.com/

paper 写得很好，可以多读。

1.解决的问题：

在稠密目标检测中，产生的目标候选区域中正负样本数量悬殊，大部分都是对 loss没有贡献的easy background example. 很容易进行分类。

2.相关 paper:

R-CNN

OverFeat

YOLO

SSD

RPN

FPN

OHEM

3.解决方法



对 cross entry 进行了改进，加上一个调控系数，使得 loss能够更加专注于难以分类的样本，很容易分类的样本对于 loss的贡献很小。

4.实验细节

实验结果中 y=2时的结果最好;

items	values
optimizer	(synchronized) SGD
GPU number	8
minibatch	16
learning_rate	0.01
iteration_total	90k
lr_schdule	60k和80k次迭代时 lr除以10
weight decy	0.0001
momentum	0.9
data augmentation	horizontal image flipping only

5.复现结果

resource	stars	comments
pytorch-retinanet	177	完整的 code,缺乏复现后的指标数据
pytorch_workplace/focalloss/loss.py	23	focal loss code
focal loss 的 pytorch实现	-	能直接用于多分类

6 延伸与拓展

1. paper中提到的不平衡数据集的常用解决方法为：

In practice α may be set by inverse class frequency

or treated as a hyperparameter to set by cross validation.

focal loss 也可以作为一种通用的 多类别不平衡数据集的处理方式。

2. focal loss 的公式

paper 附录中说到 focal loss的准确形式不重要，还提到了一种相似形式的 loss, 也取得了差不多的结果。



focal loss 的导数