图学习文献整理(part1)

我认为有趣的图表征学习论文都会放在这里，之后会慢慢对其归类.

Learning on Graphs

model interpretation

• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets

Keywords: Graph Neural Networks, Untrained Networks, Sparsity, Over-smoothing, Out-of-Distribution Detection

概要：通过不训练权重，研究人员发现了图神经网络（GNNs）中存在未训练的子网络，这些子网络在初始化时可以与完全训练的密集网络的性能相匹配，而无需对网络的权重进行任何优化。通过稀疏性作为核心工具，研究人员发现了在初始化时可以与完全训练的密集GNNs性能相匹配的未训练稀疏子网络。此外，这些未训练的子网络还可以显著缓解GNNs的过度平滑问题，从而成为实现更深层次的GNNs的强大工具。研究人员还观察到这些稀疏的未训练子网络在分布外检测和输入扰动的鲁棒性方面具有吸引力的性能。本文提出了一种名为Untrained GNNs Tickets (UGTs)的新方法，将未经训练的子网络技术应用于GNNs。它介绍了在GNNs中寻找未经训练子网络的优化问题，并讨论了现有方法的局限性。本文将UGTs作为解决这些局限性的方法，并描述了用于稀疏化的线性衰减计划。它提到UGTs可以发现极高稀疏度水平下的匹配未经训练子网络。

实验结果：实验结果表明，完全训练的密集GNNs在模型深度增加时会出现显著的准确性下降，而UGTs保持高准确性。UGTs能够找到与完全训练的密集GNNs相匹配的未经训练子网络，尤其是随着模型规模的增加。UGTs在不同设置下始终优于Edge-Popup。UGTs被发现能够有效缓解深层GNNs中的过度平滑问题。与其他用于缓解过度平滑的技术相比，UGTs的性能相当或更好。通过平均平均距离（MAD）计算，UGTs学习到的节点表示比密集训练的GNNs更不平滑，表明缓解了过度平滑问题。

code：github

Spectrum Theory

• A New Perspective on the Effects of Spectrum in Graph Neural Networks

Keywords: Graph neural networks, spectrum

概要：本研究提出了一种新的视角，通过研究图谱的频谱特性及其对图谱神经网络性能的影响，揭示了现有GNN架构中的相关性问题，并提出了一种去相关性的架构，可以更好地利用每个通道内的复杂滤波器，从而提高学习图表示的性能。过去的改进的有效性是通过一些独立的概念来解释的，如模拟低/高通滤波器、缓解深层架构中的过度平滑现象、图归一化等。由于这些改进都是间接操作频谱，因此作者希望研究GNN性能与图谱特性之间的潜在联系。通过研究信号之间的余弦相似度与图谱之间的关系，作者发现现有GNN架构中的相关性问题实质上是由图谱引起的。这一发现不仅提供了对与图谱相关的改进有效性的统一解释，还揭示了现有架构中的潜在问题。

实验结果：实验结果表明了所提方法（Spec-GN）在图分类和回归任务中的有效性。

code：github

Graph Augmentation

• Local Augmentation for Graph Neural Networks

Keywords: Graph Neural Networks, data augmentation, local neighborhood

概要：图神经网络（GNNs）通过从局部邻域聚合信息以获得信息丰富的表示，在基于图的任务上取得了显著的性能。然而，对于邻居较少的节点，邻域信息是否被充分聚合仍然是一个悬而未决的问题。为了解决这个问题，作者提出了一种称为局部增强的数据增强策略，该策略学习了以中心节点表示为条件的邻居节点表示的分布。这种策略通过生成额外的特征来增强GNNs的表达能力。

实验结果：

code：github

Transformer & GNN

• PatchGT: Transformer Over Non-Trainable Clusters for Learning Graph Representations

Keywords: Transformer, graph neural network, spectral clustering, information bottleneck, expressiveness

概要：本文提出了一种新的基于Transformer的图神经网络模型Patch Graph Transformer (PatchGT)，通过将图分割为基于谱聚类的图块，利用GNN层学习图块级别的表示，然后使用Transformer层获取图级别的表示，从而克服了传统GNN模型中的信息瓶颈问题，并在多个图学习任务上取得了竞争性的性能。

实验结果：通过在多个图级别预测数据集上进行实验评估，证明了PatchGT的有效性。结果显示，PatchGT在准确性和ROC-AUC方面优于其他模型，如GCN、GIN和GraphSAGE。

code：github

Other

• On the Unreasonable Effectiveness of Feature Propagation in Learning on Graphs With Missing Node Features

code：github

• Lipschitz Normalization for Self-Attention Layers with Application to Graph Neural Networks

Keywords: Lipschitz continuity, self-attention layers, graph neural networks

概要：注意力模型在深度学习应用中取得了显著的成果，但是当模型的层数增加时，性能往往会下降。以往的研究表明，在深度图注意力网络中存在梯度爆炸问题，导致梯度下降算法的性能较差。为了解决这个问题，本文通过对注意力模块的利普希茨连续性进行理论分析，并引入了一种称为LipschitzNorm的归一化方法，该方法可以使模型满足利普希茨连续性。然后，将LipschitzNorm应用于图注意力网络和图变换器，并在深度设置（10到30层）下显著提高它们的性能。在节点标签预测任务中，LipschitzNorm的深度图注意力模型取得了最先进的结果，并在基准节点分类任务中相对于未归一化的模型实现了一致的改进。

实验结果：实验结果表明，LipschitzNorm有效地防止了图注意力网络（GAT）模型中注意力权重的梯度爆炸，并改善了节点分类任务中训练准确率的收敛性。

code：未找到

• Elastic Graph Neural Networks

Keywords: graph neural networks, graph smoothing, message passing

概要：过去的研究表明，许多现有的GNNs通过ℓ2图平滑来实现全局平滑，但是对于图中不同区域的平滑程度可能不同，因此需要增强GNNs的局部平滑适应性。本文通过引入ℓ1图平滑的思想，旨在提高GNNs的局部平滑适应性。与ℓ2方法相比，ℓ1方法对大值的惩罚较小，因此能更好地保留不连续或非平滑信号。然而，将ℓ1图平滑应用于GNNs的设计面临着挑战，包括寻找高效的优化求解器、与反向传播训练兼容的消息传递方案以及适当的归一化步骤等。本文通过解决这些挑战，提出了一种新颖的GNN架构，即Elastic GNNs，以进一步增强GNNs的局部平滑适应性。

实验结果：Elastic GNN（ℓ21 + ℓ2）在所有数据集上均优于GCN、GAT、ChebNet、GraphSAGE和SGC。Elastic GNN在性能上优于APPNP，显示了引入ℓ21-based图平滑的。

code：github

总结源自于LLM的总结，请注意数据判别！