行人属性“HydraPlus-Net: Attentive Deep Features for Pedestrian Analysis”

来自SenseTime的论文，提出了一个基于注意力机制的深度网络HydraPlus-Net，将多层注意力机制图多向映射到不同的特征层。由HP-Net得到的注意力深度特征具有几个优点：（1）模型能够从浅层到语义层捕获注意力；（2）挖掘多尺度的注意力特征，充实最终的行人特征表示。

代码： https://github.com/xh-liu/HydraPlus-Net

行人重认证，行人属性分析，重点关注能够补充全局高层特征的细节和局部的特征，如下图所示，在（a）中，局部的语义特征用来分辨具有相似外观的行人，如长发及短发，长袖和短袖。在（b）中，浅层特征可以捕获衣服条纹。在（c-d）中多尺度信息描述行人的特点，（c）对应小尺度描述”打电话”，（d）对应大尺度全局理解描述“性别”属性。

目前的主流方法仅仅捕获全局特征，局部响应的语义特征很难获取到。论文提出的方法提取多层特征，进行多层行人属性理解和行人认证，即HP-Net，改方法提出多方向注意机制模块（MDA）集合注意区域内多层特征。作者搜集了一个行人属性样本集PA-100K。

相关研究

行人属性分析：参考文献[24][13]提出联合训练多属性 可以提升属性识别的性能。也有方法使用姿态或身体不见信息进行属性分析。

HydraPlus-Net结构

不仅捕获局部和全局信息，而且根据不同层的语义集合特征。HP-net包含两部分，M-Net和AF-Net。主网络是一个CNN结构，注意力特征网络AF-Net包含MDA模块的多分支，应用到不同语义特征层上。除了MDA模块，AF-Net与M-Net共享卷积框架。它们的输出级联，使用全局瓶颈池话和FC层融合。最终的输出映射到属性logits用于属性识别，或者特征行了用于再认证。论文使用的是inception_v2结构，网络结构如下图所示：



AF-Net

AF-Net包含三个子网络分支，并使用MDA模块增强，即F(αi)，其中αi是由inception块输出特征生成的注意力图，图中使用黑实线标记。随后应用到kth块的输出，图中用虚红线标示。每个MDA模块，有一条注意力生成链接，三条注意力特征构造链接。不同的MDA模块，注意力图由不同的inception模块生成，之后乘到不同层的特征图，生成不同层在注意特征。 MDA模块的一个示例如下图所示：



由不同的块学习到的注意力图尺寸和细节不同，如例，高层块的注意力图较粗糙，通常表示出语义区域，低层的块学习到的特征对应局部特征模式，如边缘和文理等细节，如下图（a）所示：



将一个注意力图应用到多个块，是的融合的特征编码具有相同空间分布的多层信息。对于一个inception块i，特征图为Fi，注意力图αi由带有BN的的1×1卷积层和ReLU激活得到：



其中L代表注意力图的通道。注意力特征图为：



注意力特征图经过后续的块，在MDA模块最后，级联L个注意力特征图作为最终的特征表示。示例如图3所示。

由图（4）的b-c观察，注意模型有多个通道，可以关注不同的注意区域，与一个注意力通道相比，注意力通道的多样性充实了特征标识。注意力的一致性，由（b）-（c）可以看出，不同的人注意力对应通道关注的信息相似。高层特征与低层特征提取信息的区别：



行人属性实验结果