图神经网络中的谱图理论基础
1、图的拉普拉斯矩阵
1.1 拉普拉斯算子
拉普拉斯算子 (Laplace Operator) 是为欧几里德空间中的一个二阶微分算子,定义为梯度的 散度,可以写作 $\Delta, \nabla^{2}, \nabla \cdot \nabla$ 这几种形式。如果函数 $f$ 是二阶可微的实函数,则 $f$ 的拉普 拉斯算子可以写作:
$\Delta f=\nabla^{2} f=\nabla \cdot \nabla f$
这里简单介绍一下散度的概念:散度(divergence)用于表征空间各点矢量场发散的强弱程度。散度描述的是向量场里一个点是汇聚点还是发源点。值为正时表示该点为发源点,值为负时表示该点为汇聚点,值为零时表示该点无源。散度在物理上的含义可以理解为磁场、热源等。在笛卡尔坐标系中,矢量 $V$ 的散度表示为:
$\nabla \cdot V=\frac{\partial V_{x}}{\partial x}+\frac{\partial V_{y}}{\partial y}+\frac{\partial V_{z}}{\partial z}$
那么拉普拉斯算子作为梯度的散度,则在笛卡尔坐标系中定义为:
$\Delta f=\sum \limits _{i=1}^{n} \frac{\partial^{2} f}{\partial x_{i}^{2}}$
也就是表示为函数 $f$ 在各个维度上的二阶偏导数的和。
接下来来看一下拉普拉斯算子直观上表示什么含义,以一维空间为例:
$\begin{aligned}\Delta f(x)=& \frac{\partial^{2} f}{\partial x^{2}} \\=& f^{\prime \prime}(x) \\\approx & f^{\prime}(x)-f^{\prime}(x-1) \\\approx &[f(x+1)-f(x)]-[f(x)-f(x-1)] \\=&f(x+1)+f(x-1)-2 f(x)\end{aligned}$
也就是说二阶导数近似于二阶差分,从这一角度来看拉普拉斯算子直观上表示函数 $f$ 在当前点 $x$ 的所有自由度上进行微小扰动后所获得的函数值的增益,这里有 2 个自由度,方向是 $x$ 的 $+1$ 和 $-1$ 方向。
接着来看二维空间的例子:
$\begin{align*}\label{2}& \Delta f(x, y)=\frac{\partial^{2} f}{\partial x^{2}}+\frac{\partial^{2} f}{\partial y^{2}} \\&\quad\quad\quad\quad\approx[f(x+1, y)+f(x-1, y)-2 f(x, y)]+[f(x, y+1)+f(x, y-1)-2 f(x, y)] \\&\quad\quad\quad\quad=f(x+1, y)+f(x-1, y)+f(x, y+1)+f(x, y-1)-4 f(x, y)\end{align*}$
二维空间中的拉普拉斯算子表征一个点 $x$ 在 $4$ 个自由度上微扰以后的函数增益,方向分别为 $ (1,0),(-1,0),(0,1),(0,-1) $。这就是图像中的拉普拉斯卷积核,如果算上对角线以后 可以认为有 $8$ 个自由度:
https://zhuanlan.zhihu.com/p/85287578 https://mp.weixin.qq.com/s/bkHxNONeTIzWUR6eiGjsmg https://qddmj.cn/gcn-laplacian.htm https://qddmj.cn/gcn-laplacian2.htm https://zhuanlan.zhihu.com/p/81502804References
『总结不易,加个关注呗!』
- 神经网络的历史与理论基础
- 专家系统/模糊理论/神经网络/遗传算法相关基础知识
- 神经网络的理论基础
- 机器学习之深入理解神经网络理论基础、BP算法及其Python实现
- 循环神经网络(RNN, Recurrent Neural Networks)学习笔记:基础理论
- 神经网络理论基础及Python实现详解
- 一名工程师对于深度学习的理解-神经网络基础ANN
- 一步一步分析讲解神经网络基础-backpropagation algorithm
- 【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——使用计算图求导数(Derivatives with a Computation
- BP 神经网络中的基础算法之二 —— 梯度下降算法
- 第一章 神经网络基础
- 神经网络基础
- 文本预处理、语言模型、循环神经网络基础 #d2l#
- 神经网络基础:七种网络单元,四种层连接方式
- [Mechine Learning & Algorithm] 神经网络基础
- 基于神经网络的机器学习基础
- AI应用开发基础傻瓜书系列1-神经网络的基本工作原理
- task 02 文本处理 语言模型 神经网络基础
- 《神经网络和深度学习》之神经网络基础(第二周)课后作业——Python与Numpy基础知识
- 吴恩达《深度学习工程师》Part1.Week2 神经网络基础