深度学习在人脸识别领域的应用(3)
2013-09-10 11:38
357 查看
Deep Nonlinear Metric Learning with Independent Subspace Analysis for Face Verification
这是一篇ACM MM的短文,名字取的也很吓人,实际上就是用stacked ISA来训练一个深度网络,然后再用测度学习做back propogation优化网络权重。
经典的DBN用RBM来作为网络基本单元, 文章用ISA作为基本深度网络的基本单元,从原理上说,和Auto encoder非常像,不同支出是只有编码,另外加入了一个pooling uinits来增强不变性,ISA的形式化如下:
最终的深度结构见图2,特征在人脸的不同块上并不是一致分布的,因此文章在第一层网络设计中充分考虑了这一点,为每个块单独训练一个ISA。
通过这个深度ISA网络,我们就可以获得原始输入的一个特征表示,在这个新的表示空间里,我们用测度学习的方法设计目标函数:
通过公式(9)这个目标函数,我们可以获得W的梯度,从而可以完成对W的优化(fine tuning)。
实验结果:
Unresticted单个特征SIFT最高可以做到88.75%。不过表1的结果很有意思,fine-tuning没有带来明显的性能改善。ISA中的稀释约束显然是对性能贡献最大的。本文的deep metric learning是张皮,实质上就是一个基于深度ISA的稀疏特征学习方法。
这是一篇ACM MM的短文,名字取的也很吓人,实际上就是用stacked ISA来训练一个深度网络,然后再用测度学习做back propogation优化网络权重。
经典的DBN用RBM来作为网络基本单元, 文章用ISA作为基本深度网络的基本单元,从原理上说,和Auto encoder非常像,不同支出是只有编码,另外加入了一个pooling uinits来增强不变性,ISA的形式化如下:
最终的深度结构见图2,特征在人脸的不同块上并不是一致分布的,因此文章在第一层网络设计中充分考虑了这一点,为每个块单独训练一个ISA。
通过这个深度ISA网络,我们就可以获得原始输入的一个特征表示,在这个新的表示空间里,我们用测度学习的方法设计目标函数:
通过公式(9)这个目标函数,我们可以获得W的梯度,从而可以完成对W的优化(fine tuning)。
实验结果:
Unresticted单个特征SIFT最高可以做到88.75%。不过表1的结果很有意思,fine-tuning没有带来明显的性能改善。ISA中的稀释约束显然是对性能贡献最大的。本文的deep metric learning是张皮,实质上就是一个基于深度ISA的稀疏特征学习方法。
相关文章推荐
- 深度学习在人脸识别领域的应用(1)
- 深度学习在人脸识别领域的应用(4)
- 深度学习在人脸识别领域的应用
- 深度学习在人脸识别领域的应用(2)
- 深度学习在人脸识别领域的应用
- 深度学习在健康医疗领域的应用综述
- 关于深度学习在生物学领域的应用分析
- 深度学习在推荐领域的应用
- ⅣDeeeeeeeeeepNet 团队陈朝才:深度学习在目标检测领域的应用
- 深度学习在推荐领域的应用
- CCF ADL 78 深度学习讲习班回顾:这几个大热领域的算法到应用,8位学术大牛带你掌握人工智能前沿技术
- 北大 AI 公开课第9讲:滴滴研究院副院长叶杰平——深度学习在交通领域应用潜力巨大
- 深度学习在推荐领域的应用
- 深度学习在搜索和推荐领域的应用
- 【总结】深度学习在推荐领域的应用
- 微软邓力:深度强化学习在聊天机器人领域的应用
- 深度学习在推荐领域的应用 Lookalike Facebook node2vec 深度学习 推荐领域
- 漫谈深度学习在Super Resolution(超分辨率)领域上的应用
- 【AI in 美团】深度学习在文本领域的应用
- 深度学习在推荐领域的应用