表情识别论文阅读——Island Loss for Learning Discriminative Features in Facial Expression Recognition

Island Loss for Learning Discriminative Features in Facial Expression Recognition

作者在CenterLoss的基础上，提出了一个新的Loss，在关注类别的类内距离的同时，优化类间距离，使得每个类别拥有更大的margin,从而迫使网络能够学习到更具判别性的特征。

在过去几年中，卷积神经网络（CNNs）已经在面部表情识别方面显示出前景。 然而，由于细微的面部外观变化，头部姿势变化，光照变化和遮挡引起的变化，在真实世界设置下性能会急剧下降。 本文提出了一种新的Island损失，以增强深度学习特征的判别力。 具体而言，岛屿损失旨在减少类内变化，同时扩大类间差异。 四个基准表达数据库的实验结果表明，与传统的softmax损失或中心损失相比，具有所提出的岛损失的CNN（IL-CNN）优于基线CNN模型，并且与现有技术方法相比实现了相当或更好的性能 用于面部表情识别。

传统的CNN使用softmax损失进行优化，这会损坏错误分类的样本，从而迫使不同类别的特征分开。 如图1（a）所示，学习特征形成与特征空间中的不同表达相对应的聚类。 然而，由于高的类内变异，每个群集中的特征往往是分散的。此外，群集重叠是因为高级的相似性。 最近，CNN中引入了中心损失[48]，以减少用于人脸识别的学习特征的类内变化与仅使用softmax损失学习的样本相比，样本被拉向其相应的中心，具有较小的类内变化。 然而，在中心损失中没有考虑类间相似性。 这促使我们通过增加不同表达之间的差异来进一步增强所学习的深层特征的辨别力。 具体而言，如图1（c）所示，我们提出岛屿损失以同时压缩每个簇并将簇中心分开作为孤立的“岛”。

为了证明所提出的岛屿损失的有效性，开发了具有岛屿损失的CNN（IL-CNN）用于面部表情识别。 如图2所示，IL-CNN架构包括三个卷积层，每个卷积层后面是PReLU层和批量归一化（BN）层。 在每个前两个BN层之后采用最大汇集层。 在第三卷积层之后，使用两个完全连接（FC）层来为每个输入样本生成表示。 在第二FC层计算岛损失。 最后，在决策层计算softmax损失以产生目标表达式上的分布。 岛屿损失和softmax损失共同最小化，以推动CNN培训中的网络中断过程。
总之，我们的主要贡献是： - 提出具有岛屿损失的新型损失函数，旨在学习具有较低的类内变化和较高的类间距离的表示; - 利用拟议的岛屿损失开发IL-CNN，以学习用于面部表情识别的辨别特征。

Li等人，而不是最小化到集群中心的距离作为中心损失。 [20]提出了一种保留深度局域性的CNN（DLP-CNN），它通过最小化到同一类内K-最近邻居的距离来保持局部邻近性。 当中心损失将样本拉向其相应的聚类中心并且DLP-CNN将样本推送到其最近邻居时，所提出的岛损失通过同时减少类内变化和增加类间差异来进一步增强深度特征的辨别力。

A.预处理
为了减少面部比例和面内旋转的变化，基于由判别响应图拟合（DRMF）[1]提取的面部标志，在每个图像上采用面部对齐。 具体而言，考虑到66个提取的面部标志，面部区域基于三个关键点对齐：两只眼睛和嘴巴的中心。 然后将对齐的面部图像的大小调整为60×60。 另外，利用直方图均衡来改善面部图像中的对比度。 由于面部表情数据库中图像的数量有限，因此采用数据增强策略来产生更多用于训练的数据。 具体而言，从60×60图像中随机裁剪48×48个补丁，然后在-5°和5°之间随机旋转。 旋转的图像随机水平地作为所有CNN的输入。