【PaddlePaddle飞桨复现论文】U-GAT-IT论文阅读

网络结构：

该论文提出了一种加入注意力模块的无监督图像到图像的翻译方法。注意模块根据辅助分类器获得的注意图，引导模型聚焦于区分source和target域中更重要区域。模型可以同时转换需要整体变化的图像和需要较大形状变化的图像，并且AdaLIN（AdaLIN，AdaLIN，AdaLIN）函数可以帮助注意力引导模型根据数据集灵活地控制形状和纹理的变化量。这些注意映射被嵌入到生成器和鉴别器中，以集中在语义上重要的区域，从而便于形状转换。
论文目标是训练一个函数Gs→t，该函数只使用从每个域提取的未成对样本进行训练，将图像从源域Xs映射到目标域Xt。框架由两个发生器Gs→t和Gt→s和两个鉴别器Ds和Dt组成。注意力模块集成到发生器和鉴别器中。

归一化函数AdaLIN

作者还发现，对于形状和纹理变化量不同的数据集，归一化函数的选择对转换结果的质量有显著影响。受批处理实例规范化（BIN）（Nam&Kim（2018））的启发，作者提出了自适应层实例规范化（AdaLIN），该方法通过自适应选择实例规范化（IN）和层规范化（LN）之间的比例，在训练过程中从数据集学习参数。AdaLIN函数帮助注意力引导模型灵活地控制形状和纹理的变化量