您的位置:首页 > Web前端

论文解读(SupCosine)《Supervised Contrastive Learning with Structure Inference for Graph Classification》

2022-04-02 21:20 1361 查看

论文信息

论文标题:Supervised Contrastive Learning with Structure Inference for Graph Classification
论文作者:Hao Jia, Junzhong Ji, Minglong Lei
论文来源:2022, ArXiv
论文地址:download
论文代码:download

Abstract

  任务:Graph Classification

  对比:
  • [li]Node classification,从局部邻居获得的节点表示向量 可以直接用于获得节点标签。  
[/li]

      $\begin{array}{l}a_{v}^{(k)}=\operatorname{AGGREGATE}^{(k)}\left(\left\{h_{u}^{(k-1)}: u \in \mathcal{N}(v)\right\}\right) \\h_{v}^{(k)}=\operatorname{COMBINE}^{(k)}\left(h_{v}^{(k-1)}, a_{v}^{(k)}\right)\end{array}$

  • [li]Graph classification,需要获得不同层次的图结构信息, 从而获得具有判别性的图表示向量。  
[/li]

      $h_{G}=\operatorname{READOUT}\left(\left\{h_{v}^{(K)} \mid v \in G\right\}\right)$

背景知识

  先前工作存在的问题   数据增强方面:常见的方法如 node dropping、attribute masking、random walks,受潜在先验的制约。   举例:随机游走(random walk)
  • [li]从当前节点以相同概率选择邻居节点进行游走;  
  • 每个随机游走序列的长度为 $k$ ;  
  • 对图中每个节点生成 $r$ 个随机游走序列;  
[/li]

  随机游走产生的问题

  • [li]不稳定,当采样频率或节点序列数目发生改变。  
  • 在带有高度偏见的网络中,随机游走倾向于度高 的节点,从而忽略了全局信息。  
[/li]   

  先前工作存在的问题

  图对比学习方面:图上广泛使用的框架常是自监督形式,该类框架的对比损失基于 一个正样本与一个负样本对比或一个正样本与多个负样本对比 ,这导致了对比能力有限。

  Triplet loss     $\underset{x, x^{+}, x^{-}}{\mathbb{E}}\left[-\log \left(\frac{e^{f(x)^{T} f\left(x^{+}\right)}}{e^{f(x)^{T}} f\left(x^{+}\right)+e^{f(x)^{T} f\left(x^{-}\right)}}\right)\right]$   优化目标:拉近 Anchor 和 Postive的距离, 拉远 Anchor 和 Negative 的距离。

  InfoNCE Loss

    $\mathcal{L}_{N}=-\mathbb{E}_{X}\left[\log \frac{\overline{\exp \left(f(x)^{T} f\left(x^{+}\right)\right)}}{\underline{\exp \left(f(x)^{T} f\left(x^{+}\right)\right)}+\sum_{j=1}^{N-1} \exp \left(f(x)^{T} f\left(x_{j}\right)\right)}\right]$

  最小化这一损失能够最大化锚点数据和正样本互信息的下界,加大互信息。

介绍

  本文工作

  ● 首先,开发了一种新的图增强策略来探索图中的全局结构。

    ○ 关键思想是模拟扩散过程,对被称为 cascade 的有序节点序列进行采样,然后利用结构推 理(structure inference)从 cascade 中恢复图。

    ○ 好处:

      ① 结构推理过程中考虑了图内对比信息,使学习到的图结构在全局视图中具有更强的鉴 别能力;

      ② 与以前的方法相比,构建了一个优化问题,以数据驱动的方式构造增广图,其中不需 要先验;

  ● 其次,为提高对比能力,提出使用一个监督对比损失来代替原来的自监督损失,进一步利用 标签信息来改进图的对比学习。

总体框架

  

  随机游走和扩散过程对比:

     

  从扩散过程到 Cascades

  

方法

  为什么引入 Cascades?
  ● 相似性假设:在同一 Cascade 中同时出现的节点具有更高的相似性,从而在增强图中具有更高的连接概率。

  Positive graph

    ● The positive graph $G$ is recovered from the cascades by structure inference with augmentations.

  

  

  

  

  

  

  

  

  

  

  

  

算法流程图

  

实验

  

  

  

  

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐