Unsupervised Domain Adaptive Graph Convolutional Networks-WWW-2020论文笔记
2020-07-14 04:44
1236 查看
2. Unsupervised Domain Adaptive Graph Convolutional Networks-WWW-2020
1. 主要思想
作者认为现有的GCN算法只能在单个domain(graph)中应用,无法实现跨域的迁移学习。提出了无监督域自适应图卷积网络。为有效获取图表达学习,作者构建了一个双图卷积网络,能够统一利用局部一致性和全局一致性进行特征聚合;再通过注意力机制更进一步的产生每个节点在不同图中的一致性表达;之后又使用域自适应学习模块促进图之间的知识迁移(基于三个损失:源分类器loss,域分类器loss,目标分类器loss)。整个模型可以区分来自不同域的样本以及源域和目标域中的类标签。
2. main contributions
- 提出了全新的无监督图域自适应问题,并提出了双图卷积网络算法。
- 通过注意力机制协调局部和全局一致性,以此来学习跨域的节点embedding。
- 设计了三个损失函数来开发源域信息和目标域信息,以此学习域不变性和语义表达,以及减少跨域节点分类的域差异
3.Overall Framework
- 节点表达学习:设计了双图机制,学习每个图之间的局部、全局一致性关系(双图参数共享)。
- 图间注意力机制:自动权衡源域和目标域的图表示
- 用于跨域节点分类的域适应学习:重点在三个分类器(这里可以看到双图GCN和注意力机制会受到源域分类器和域分类器的影响)
4. 方法论
- 节点embedding模块
第一部分是局部一致性网络,完全使用GCN框架,输入为节点特征Xs,XtX_s,X_tXs,Xt,输出为上图所示的Zs,ZtZ_s,Z_tZs,Zt。(所谓的局部信息就是保持原先的连接矩阵As,AtA_s,A_tAs,At不变)
第二部分是全局一致性网络,使用了基于定向互信息矩阵(PPMI)的卷积算法对全局信息进行编码(这一部分实际是重新计算链接矩阵由本来的均权重变为非均值权重,并命名为上图中的Ps,PtP_s,P_tPs,Pt)。具体细节如下:
首先计算频率矩阵FFF(这里实际是计算每个节点在所有context中出现的次数):
之后是计算PPMI得到上述的新的连接矩阵Ps,PtP_s,P_tPs,Pt。
可以看到局部一致性和全局一致性的区别就在于连接矩阵的选择。 - 图间的注意力机制
- 三个分类器loss function设计
较为常用的loss function,详情看论文。
5.实验部分
1. 数据集
2. Baselines
单域节点分类模型:
Deepwalk,LINE,GraphSAGE,DNNs,GCN。
跨域解淀粉类模型:
DGRL,AdaGCN
3.实验结果
相关文章推荐
- 【论文笔记】Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
- 论文笔记:Multi-Label Image Recognition with Graph Convolutional Networks
- 【DRCN阅读】Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation. 论文笔记
- [论文笔记]:UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS
- 论文阅读笔记-learning multi-domain convolutional neural networks for visual tracking
- 论文笔记之:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
- 论文笔记之Deep Convolutional Networks on Graph-Structured Data
- 论文原创笔记:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
- 论文笔记:unsupervised representation learning with deep convolutional generative adversarial networks
- Learning Convolutional Neural Networks for Graphs 论文笔记
- 论文笔记之:UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS
- 论文笔记之:Semi-supervised Classification with Graph Convolutional Networks
- 论文笔记——Permutohedral-GCN: Graph Convolutional Networks with Global Attention
- 论文笔记《Learning Multi-Domain Convolutional Neural Networks for Visual Tracking》
- GCN论文笔记——HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
- 经典计算机视觉论文笔记——《ImageNet Classification with Deep Convolutional Neural Networks》
- 论文笔记之---DenseCap:Fully Convolutional Localization Networks for Dense Captioning
- [深度学习论文笔记][Video Classification] Long-term Recurrent Convolutional Networks for Visual Recognition a
- Learning Convolutional Neural Networks for Graphs论文笔记
- 论文笔记 | R-FCN: Object Detection via Region-based Fully Convolutional Networks