从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (二)
2019-06-09 12:39
1571 查看
本文属于图神经网络的系列文章,文章目录如下:
- 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)
- 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (二)
- 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (三)
在上一篇博客中,我们简单介绍了基于循环图神经网络的两种重要模型,在本篇中,我们将着大量笔墨介绍图卷积神经网络中的卷积操作。接下来,我们将首先介绍一下图卷积神经网络的大概框架,借此说明它与基于循环的图神经网络的区别。接着,我们将从头开始为读者介绍卷积的基本概念,以及其在物理模型中的涵义。最后,我们将详细地介绍两种不同的卷积操作,分别为空域卷积和时域卷积,与其对应的经典模型。读者不需有任何信号处理方面的基础,傅里叶变换等概念都会在本文中详细介绍。
图卷积缘起
在开始正式介绍图卷积之前,我们先花一点篇幅探讨一个问题:为什么研究者们要设计图卷积操作,传统的卷积不能直接用在图上吗? 要理解这个问题,我们首先要理解能够应用传统卷积的图像(欧式空间)与图(非欧空间)的区别。如果把图像中的每个像素点视作一个结点,如下图左侧所示,一张图片就可以看作一个非常稠密的图;下图右侧则是一个普通的图。阴影部分代表卷积核,左侧是一个传统的卷积核,右侧则是一个图卷积核。卷积代表的含义我们会在后文详细叙述,这里读者可以将其理解为在局部范围内的特征抽取方法。
仔细观察两个图的结构,我们可以发现它们之间有2点非常不一样:
- 在图像为代表的欧式空间中,结点的邻居数量都是固定的。比如说绿色结点的邻居始终是8个(边缘上的点可以做Padding填充)。但在图这种非欧空间中,结点有多少邻居并不固定。目前绿色结点的邻居结点有2个,但其他结点也会有5个邻居的情况。
- 欧式空间中的卷积操作实际上是用固定大小可学习的卷积核来抽取像素的特征,比如这里就是抽取绿色结点对应像素及其相邻像素点的特征。但是因为图里的邻居结点不固定,所以传统的卷积核不能直接用于抽取图上结点的特征。
真正的难点聚焦于邻居结点数量不固定上。那么,研究者如何解决这个问题呢?其实说来也很简单,目前主流的研究从2条路来解决这件事:
- 提出一种方式把非欧空间的图转换成欧式空间。
- 找出一种可处理变长邻居结点的卷积核在图上抽取特征。
这两条实际上也是后续图卷积神经网络的设计原则,图卷积的本质是想找到适用于图的可学习卷积核。
图卷积框架(Framework)
上面说了图卷积的核心特征,下面我们先来一窥图卷积神经网络的全貌。
卷积(Convolution)
基础概念
实例:掷骰子问题
空域卷积(Spatial Convolution)
频域卷积(Spectral Convolution)
参考文献
相关文章推荐
- 从图(Graph)到图卷积(Graph Convolution):漫谈图神经网络模型 (一)
- 深入浅出LSTM神经网络 ------从卷积 递归网络 到长短时间记忆模型
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 漫谈四种神经网络序列解码模型【附示例代码】 glimpse attention
- 学习笔记CB009:人工神经网络模型、手写数字识别、多层卷积网络、word2vec
- 漫谈四种神经网络序列解码模型
- 卷积神经网络模型如何辨识裸体图片
- caffe中LetNet-5卷积神经网络模型文件lenet.prototxt理解
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 深度学习与自然语言处理之四:卷积神经网络模型(CNN)
- 6经典卷积神经网络模型之AlexNet-6.1用于ImageNet的AlexNet网络计算图设计
- 卷积神经网络模型(CNN)
- 6经典卷积神经网络模型之AlexNet-6.2用于ImageNet的AlexNet网络的假数据训练
- Seq2Seq非常好的代码(机器翻译、对话生成等):漫谈四种神经网络序列解码模型【附示例代码】
- 常用神经网络模型及其应用评述
- 深度学习算法之卷积神经网络简介
- Deep Forest,非神经网络的深度模型
- 基于回归神经网络的中文语句模型实践(Python+Tensorflow+阿里云)
- DenseCap:一种对于密集抓图的全卷积定位神经网络