李宏毅机器学习课程梳理【十】：GNN&Spectral-based GNN

最新推荐文章于 2024-10-06 18:07:18 发布

-Emmie

最新推荐文章于 2024-10-06 18:07:18 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.csdn.net/qq_44523014/article/details/119243257

文章目录

摘要
1 Fourier Transform
2 Spectral-based GNN
3 应用算法
- 3.1 ChebNet
- 3.2 GCN
4 结论与展望

摘要

Spectral-based GNN方法借助了信号与系统中的傅里叶变换，定义了一套Spectral Graph Theory，用Discrete time Fourier basis体现频率与信号能量差距之间的关系，使用特征值等价频率，再构造傅里叶变换与逆傅里叶变换得到图神经网络的卷积输出。推导出方法存在的两个弊端，随后应用此方法的ChebNet与GCN优化了弊端，得到广泛使用的Model。

1 Fourier Transform

首先了解一下Almost Fourier Transform。如何让机器挑出一个信号的频率？将以时间为横轴、强度为纵轴的波形信号缠绕在一个单位圆上，关注两个变量：一个是信号的频率，每秒上下震荡 $N$ 次；另一个是图像缠绕中心圆的频率，每秒转 $n$ 圈。增大缠绕频率 $n$ 的大小，使信号缠绕得越来越快，也就是每秒转圈数 $n$ 越来越大，做一个二维平面上的缠绕图像，记录图像质心的位置变化。

先暂时只记录质心在x轴的位置变化，绘制图像，发现n逐渐变大，质心几乎只在原点附近移动；当在n=N附近时，质心会大幅度地远离原点，所以图像呈现出在n=N附近存在高峰。数值n就是信号的频率。这台机器可以识别复杂的波形，将其中的频率分离出来。

接下来是用数学公式描述将信号缠绕在中心圆上。“缠绕图像”的质心在二维平面上，需要记录两个轴的坐标，由于复数非常适合于描述与缠绕和旋转有关的事物，因此质心用一个复数表示。尤拉公式 $e^{num\cdot i}$ 表示落在单位圆沿逆时针方向走了num长的点上， $g(t)e^{-2\pi ift}$ 概括了整个将可变频率f缠绕起来的想法。质心具体位置由时间-强度信号图中抽取样本点、对应到缠绕图像上、取平均得到。如果取样的点越多，结果靠得越近，也就越准确。所以取极限，实际是把函数积分，再除以时间的长度。

Fourier Transform只是上式中的积分部分，其含义不再是质心，而是把它倍增。如果某个频率持续了很长时间，这个频率的傅里叶变换的模长就被放的很大。

2 Spectral-based GNN

2.1 整体思想

Spectral-based GNN的思想如图4所示。

2.2 Spectral Graph Theory

图5列出使用的符号与含义，定义Graph由 $V, E$ 表示，节点数量记为 $N$ ，adjacency matrix记录节点之间的相邻关系，degree matrix是一个对角矩阵、记录每一个节点的邻居数，定义Graph Laplacian L = D - A，再计算Laplacian矩阵的特征值与特征向量。
Discrete time Fourier basis，指频率越大，相邻两点之间的信号变化量就越大，用 $f^TLf=\dfrac{1}{2}\displaystyle\sum_{v_i\in V}\displaystyle\sum_{v_j\in V}w_{i,j}\big(f(v_i)-f(v_j)\big)^2$