论文解读Attribute-Enhanced Face Recognition with Neural Tensor Fusion Networks

论文：Attribute-Enhanced Face Recognition with Neural Tensor Fusion Networks

在这里论文中将其他的feature 成为 FRF（Face Recognition Features）

论文提及的新的特征称为FAF（Face Attribute Features），（即脸部属性，如眉毛粗度，头发颜色，肤色等等）

FRF 有很强的区分性，但是鲁棒性不强

FAR有很强的鲁棒性， 但区分性不强

提出一种结构：

由两个网络组成：LeanFace，AttNet

（其中LeanFace在LFW上的准确率为99.57%， AttNet为79.07%）

通过GTNN将上述两个网络结合后的准确率为99.65%

即实际通过LeanFace附加AttNet后提升0.08的准确率

（LeanFace和AttNet是分别训练，结合后再进行fine-tuning）

GTNN为新提出的合并结构：



其中利用了Tucker Decomposition

（合并详情见论文）

个人认为论文中将两组特征融合提高效果的GTNN网络十分有价值，应该可以尝试将其他的特征融合或者应用到其他网络或领域

（摘自 知乎） Method: 两个特征用tensor连接可以用于特征融合. 融合的效果取决于tensor参数优化的效果.

但tensor的维度很高, 难以优化,

我们使用TUCKER张量分解的方式降低待优化的tensor的维度,即使这样优化仍然面临着求导及正则化设计的困难.

我们发现这个tensor优化问题可以与一个gated的人工神经网络进行等价. 发现这个等价后, 我们可以1)

使用现有深度学习的优化工具进行优化, 如tensorflow, 而不需要手动设计复杂的tensor的优化.

由于在tensorflow优化时可以用mini-batch, 这样我们的优化天然就是scalable的 2)

融合部分可以与特征学习的神经网络进行端到端的学习. 这篇论文提供的一个insight是,将tensor和深度学习进行等价.

这样tensor领域的知识可以用来理解神经网络, 反之亦然.