论文笔记-深度估计(3)Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale...

Predicting Depth, Surface Normals and Semantic Labels with a Common Multi-Scale Convolutional Architecture

这篇文章是eigen 2015年的新文章，基于同样的模型，同样的初始化和大概相同的参数，可以用来得到深度，表面法向量或语义标签。

1.网络介绍

它的Pipeline如图:





三个stage的网络，scale1的输入与池化后的原图片concatenate，scale2的输入与池化后的原图片进行concatenate。相对于2014年的论文Depth Map Prediction from a Single Image using a Multi-Scale Deep Network中没有输出像素级深度预测的问题，新增了scale3用来unsample。

2.Scale 1-Full-Image:

先对它进行一个VGG或AlexNet的网络来提取feature map，到layer1.6为止。然后用1x1的卷积核来降维，减少计算数量。

3.Scale 2-Predication:

得到预测图。语义系统的输入是ground truth的depth和normal vector,作者曾尝试使用预测得到depth和normal，但联合训练scale1和scale2得到结果几乎无提升，但depth等用来单独训练语义scale2则有效。作者认为这是因为基于语义的系统也能学习到depth和normal vector的相关性。

4.Scale 3-Highe Resolution

得到更高清的输出，相当于susample过程

depth的能量函数为：



可见相比eigen2014年的文章，能量函数增加了一个水平和竖直方向上梯度的抑制。这样可以使得得到的结果更加平滑，因此本文的深度估计，语义分割，都不必对结果进行超像素处理或平滑处理。

判断法向的预测值和真实值的差别，使用的是法向量内积：



语义的能量函数是softmax/n：