探索图神经网络的网络架构和训练方法

摘要：本文我们将主要介绍各种典型的图神经网络的网络架构和训练方法。

本文我们将主要介绍各种典型的图神经网络的网络架构和训练方法。文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一个全面的图神经网络(GNNs) 概述，并且将最新的图神经网络分为四类，即递归图神经网络(RecGNNs)、卷积图神经网络(ConvGNNs)、图自动编码器(GAEs)和时空图神经网络(STGNNs)。在图神经网的实际应用中，卷积图神经网络的使用最为广泛，因此，本文将重点介绍ConvGNNs一类网络模型，如上图GNN Roadmap所示。

1. 欧式空间卷积

在讲卷积图神经网络（非欧空间做卷积）之前，我们先来回顾下卷积神经网络（欧式空间做卷积）的过程。有一张如下图所示的6*6的image，我们在做卷积的时候，通常会使用一个固定大小的卷积核，比如3*3，然后根据设置的步长滑动整张6*6的image，在每一次滑动之处与原图相应位置做内积。如下图为卷积核滑动两次之后的结果。

但是对于非欧空间的图结构，我们无法找到一个固定大小的卷积核去滑动整个图区域，如下图所示。

这时我们就要针对图的特殊结构，借助欧式空间的卷积方法和图结构特征，提出两种卷积图神经网络的卷积方案：

方案一：

参考CNN的思想，对每个节点的邻居进行某种方式的加权求和，即Spatial-based convolution。

方案二：

参考传统的信号处理的方法，对原始信号进行处理，引入滤波器来定义图卷积，图卷积运算被解释为从图信号中去除噪声，即Spectral-based convolution。

本篇我们将主要介绍基于空间的卷积图神经网络方法和对应的典型的网络架构。

2. Spatial-based Convolution

在讲基于空间的卷积图神经网络方法之前，我们先引入两个术语：

lAggregate：

lReadout：

把所有节点的状态特征集合起来代表整个图的状态特征（下右图）。即采用某种sum或者average的方式将所有nodes的feature抽象成一个hidden state，并以此代表整张图的feature。

2.1图神经网络(Neural Network for Graphs，NN4G)[2]

NN4G在图神经网络领域算是比较早（2009）的提出的卷积图神经网络模型，其通过直接将节点的邻域信息相加来进行图卷积，表达式如下：

而readout层则通过对每一层的所有节点信息的取平均，即下图中所有紫色节点 ，从而获得每一层图的representation，并对每一层的信息通过求和平均的方式进行整个图的representation更新，即：

对于NN4G，其具体的计算过程可以用下面这幅图概括。NN4G也是卷积图神经网络的代表性结构，后续的卷积图神经网络都是或多或少的在NN4G的基础上做一些简单的修改（Aggregate）而获得。所以理解NN4G的运算流程对于理解基于空间的卷积图神经网络至关重要。

2.2扩散卷积神经网络(Diffusion Convolutional Neural Network, DCNN)[3]

2.3混合模型(Mixture Model Networks, MoNET)[4]

通过上述模型，我们可以发现，当计算某个节点在某一层的hidden state的时候，对于该节点的所有邻居上述算法都是一视同仁。但是实际情况可能是任何两个节点之间的关系是有区别的。比如在一副社交关系图谱中，某个个体和其所连接的所有个体亲密关系通常不会相同。这就需要一种新的aggregate方式来解决。

MoNET同样是定义了一种新的Aggregate的方式，在Aggregate阶段不是简单的对邻居节点feature的平均求和，而是通过加权的方式，权重的计算则是通过衡量节点之间的度的距离方式，即：

当然这里只是提出了一种权重的计算方式，实际实现中可以选择不同的权重实现方式。其中

表示节x 的度，图中的w则是特征变换（比如NN），经过NN对节点feature进行编码，最后对某一节点的邻居节点特征加权求和。

2.4图采样聚合模型(Graph Sample and aggregate, GraphSAGE)[5]

GraphSAGE主要是通过对邻居节点采样的方法对节点信息进行更新，即图中的Step 1，然后再对这些采样的节点信息进行某种方式的聚合，主要有Mean\Pooling\LSTM三种aggregate的方法，即图中的Step 2，Step 3则是利用聚合信息进行当前节点label或者邻居节点的预测，预测的方式有两种，一种是无监督学习方式。无监督学习基于图的损失函数希望临近的顶点具有相似的向量表示（公式的前半部分），同时让分离的顶点的表示尽可能区分（公式的后半部分），损失函数如下：

2.5图注意神经网络(Graph Attention Networks, GAT)[6]

注意力机制已经在传统神经网络CNN和RNN中有了成功的实践，并且使用attention后模型的性能在特定任务上都有不少的提升。GAT是将attention机制实现在卷积图神经网络之中。这里的attention就是一种用来计算节点与邻居之间权重的方式，最后通过加权求和的方式更新节点的feature，节点间权重的计算公式如下：

下图就是GAT模型的图卷积层的更新过程，其中 e(energy)就是attention的权重。

3. 总结

本篇博文主要介绍了Spatial-based Convolution（基于空间的卷积图神经网络），以NN4G为基础，分别介绍了DCNN，MONET，GrapgSAGE，GAT等卷积图神经网络结构以及其实现的方式。对于想要在图神经网络进行实践的同学，可以先学习一些开源的图神经网络框架。目前完成度较好的图神经网络框架主要是基于PyTorch和MXNet的DGL (Deep Graph Library)和PyG (PyTorch Geometric)。

参考文献

[1] ] Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019.

[2] A. Micheli, "Neural Network for Graphs: A Contextual Constructive Approach," in IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498-511, March 2009, doi: 10.1109/TNN.2008.2010350.

[3] https://arxiv.org/abs/1511.02136

[4] https://arxiv.org/pdf/1611.08402.pdf

[5] https://arxiv.org/pdf/1706.02216.pdf

[6] https://arxiv.org/pdf/1710.10903.pdf

[7]https://mp.weixin.qq.com/s?__biz=MzkwNDE5MDY5Mg==&mid=2247486844&idx=1&sn=6ae21b181c208aa67bcd597572e0d840&chksm=c08b82f7f7fc0be178ac3b11d9df15280d74149c5246a7de641e927d13190afe7ce1f9d603e9&scene=21#wechat_redirect

[8]. http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/GNN.pdf

本文分享自华为云社区《深入浅出图神经网络应用场景》，原文作者：就挺突然。

点击关注，第一时间了解华为云新鲜技术~