Structured Feature Learning for Pose Estimation

1、利用feature map之间的关系来建立关节点之间的联系，通过feature map之间的几何变换核来学习这种关联，文章提出了双向树的模型

2、不同关节的信息在feature level上进行了传递，传统的方法都是在score map上进行操作，score map的操作只会告诉关节点的位置信息，胳膊肘的方向和关联其实是没有表现出来的，这对于关节点预测却是很关键的，作者发现这些in-plane and out-plane信息是很好的保存在feature map上而不是score map上

3、作者发现



e5对于弯曲的胳膊肘响应高，e4对于直的胳膊肘响应高，h2对于有衣服的下胳膊响应高，h6对于没衣服的下胳膊响应高，可以发现不同的特征通道对应着不同的视觉模式。不同的特征通道之间关联很强，e5和h2正相关，和h6负相关，关节的信息全部蕴涵在了feature map上面了

作者再设计几何变换核的时候，每一个关节点会接受强相关的关节点信息，弱相关的关节点信息其实是忽略的。

作者的贡献有三个

1）end-to-end的学习框架

2）用卷积构建几何变化核，构建相邻节点的关系

3）双向树的结构

对于整个的网络结构的话，VGG的框架。每个关节点都是128张map图



不同的节点空间分布和语义是相关的，需要进行信息的传递，消息传递可以通过distance transfer和CRF来获得，本文却可以通过几何变换核来获得



可以看见hm通过几何变换核后，相当于移动了位置，然后和en加在一起，可以增强左边胳膊肘的强度，达到我们的理想效果。空间变换核简单来说就是对feature map做了一个shift。为了能够达到两个关节点间的shift，必须保证变换核能够覆盖两个关节的距离，为了达到这个目的，作者设计了连续的三个7x7的卷积核来达到这个目的

作者设计了双向树



从图中可以看出不同的关节点的关联，哪些关节点是关联的

网络结构



新的模型的优势

1）、增大感受野

2）、每两个关节点建的filter的数量是128x64x2，增加了参数量，root joint有34层

3）、和RNN不同的是，RNN不同时间戳是特征共享的，此处的则是不共享

作者将VGG的pool4和pool5去掉在，增加map大小，双向树的结果最后通过卷积合在一起



最后为了约束关节点，做了一个距离约束，防止一幅图多个同一关节点的出现造成混乱