图神经网络论文阅读(六) GRAPH ATTENTION NETWORKS，ICLR2018

最新推荐文章于 2025-07-30 09:33:47 发布
最新推荐文章于 2025-07-30 09:33:47 发布
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： GNN Model 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/104876319
本文介绍了GRAPH ATTENTION NETWORKS (GATs)，它使用mask self-attention解决图结构数据处理的问题，允许节点关注邻域特性。通过多头注意力机制，GATs无需矩阵运算或预先了解图结构，提高了模型的效率和解释性。在Transductive和Inductive学习任务上，GATs与其他图卷积网络进行了比较，并显示了优秀的表现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文的第一作者来自剑桥大学计算机学院。
文本提出了图形注意网络(GATs)，这是一种新型的神经网络结构，它对图结构的数据进行操作，利用masked self-attention来解决先前方法的缺点。通过堆叠不同的GAT层，使得节点能够关注它们的邻域特性。我们可以(隐式地)为一个邻域内的不同节点指定不同的权重，而不需要任何昂贵的矩阵运算(比如求逆)，也不需要预先了解图的结构。

GRAPH ATTENTIONAL LAYER

输入，每个结点的特征矩阵，N*F：
在这里插入图片描述
输出，新的结点的特征。新的特征使用注意力机制聚合了邻域内结点的信息：
在这里插入图片描述
为了将输入的特征转化为更高级别的特征，因此首先学习一个由共享参数矩在这里插入图片描述计算的可学习线性变换。
之后，采用self-attention计算结点对（j是结点i的一阶邻居结点

了解本专栏 订阅专栏 解锁全文 超级会员免费看
图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)
盼小辉丶的博客
04-22 1万+
图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。在本节中，我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤，了解了 GAT 的工作原理，并在 NumPy 中从零开始构建了 GAT 层。最后，将 GAT 模型应用于 Cora 和 CiteSeer 数据集。
【ICLR 2018图神经网络论文解读】Graph Attention Networks (GAT) 图注意力模型
捡起一束光的博客
11-06 5930
与GCN类似，GAT同样是一种局部网络。因此，训练GAT模型无需了解整个图结构，只需知道每个节点的邻节点即可。
2025 KDD 论文研读：当轻量大模型遇到自适应超图
最新发布
2301_80828873的博客
07-30 1775
KDD2025 论文 ，STH-SepNet框架详细分析，含知识补充和代码
graph attention network
weixin_47055840的博客
04-19 872
参考博客：Graph Attention Networks学习笔记 - 知乎 (zhihu.com) 在本文中，作者提出了一种基于attention的节点分类网络——GAT。其基本思想是，根据每个节点在其邻节点上的attention，来对节点表示进行更新。GAT具有以下几个特点：（1）计算速度快，可以在不同的节点上进行并行计算；（2）可以同时对拥有不同度的节点进行处理；（3）可以被直接用于解决归纳学习问题，即可以对从未见过的图结构进行处理。Graph Attentional Layer 输入： .
GRAPH ATTENTION NETWORKS
qwertyuiopazure的博客
09-21 585
GRAPH ATTENTION NETWORKS 【GATs】 本文提出了图注意力网络（GATs），这是一种新的作用在图结构数据上的神经网络框架。 作者利用注意力机制已达到对节点分类的任务取得更好的效果。 Cora数据集： 包含2708个节点，每个样本点都是一篇科学论文，5429个边 每篇论文都由一个1433维的词向量表示，即每个节点1433个特征。 GAT 网络架构 通过堆叠单个的图注意力层（G...
Graph Attention Networks(GATs)
weixin_65191557的博客
09-05 991
图注意网络（GATs）是对GCNs的理论改进。GATs提出了一种加权因子，该因子考虑了节点特征的“自我关注”过程，改进了GCNs静态的归一化系数。在本文中，我们将介绍GATs是如何工作的，并将其应用于实例，进一步了解其工作原理。
Att论文解读|ICLR 2018 《Graph attention networks》图注意力网络
YuZhou的博客
05-11 2813
我们提出了图注意力网络（GATs），这是一种可在图结构数据上运行的新型神经网络架构，它利用掩码自注意力层来解决之前基于图卷积或其近似值的方法的不足之处。通过堆叠节点能够关注其邻域特征的层，我们能够（隐式地）为邻域中的不同节点指定不同的权重，而不需要任何形式的代价高昂的矩阵运算（如反转），也不依赖于对图结构的预先了解。通过这种方式，我们同时解决了基于谱的图神经网络所面临的几个关键挑战，并使我们的模型可随时应用于归纳和转换问题。
【图神经网络论文整理】（二）—— HOW ATTENTIVE ARE GRAPH ATTENTION NETWORKS?：GATv2
CSDN 精品推荐
11-21 2141
作者使用一个简单的综合问题证明了GA T的弱点，即GAT甚至无法拟合简易数据，但很容易通过GATv2解决。图注意力网络GATs是目前较为流行的GNN架构，在GAT中每个节点可以看成一个查询向量Q，该节点的邻居可以看成键向量K，然后基于Q和K计算对应的注意力分数，也可以说成是权重系数，然后利用该权重对该节点的邻居进行加权求和聚合操作，作为该节点新的表示向量。k9】计算注意力分数时，都是k8的注意力分数最大，也就是无论q是什么，k8的贡献都是相对最大的，为了解决这个问题，作者提出了GATv2来使用动态注意力。
Graph Attention Network（ICLR2018）
weixin_52128497的博客
04-19 842
论文提出了图注意力网络（GATs），一种操作于图结构数据的新型神经网络架构，利用隐藏的自注意层来解决基于图卷积或其近似的先前方法的缺点。通过堆叠层，其中节点能够关注其邻域的特征，能够(隐式地)为邻域中的不同节点指定不同的权重，而不需要任何类型的代价高昂的矩阵操作(如反转)或依赖于预先知道图结构。通过这种方式，同时解决了基子频谱的图神经网络的几个关键挑战，并使模型易于适用于归纳和传导问题。
Graph attention networks
steph_curry的博客
06-09 282
ICLR 2018 最近在学习图卷积网络。调研一些文章吧。 这篇文章不是GCN，是GAT 输入是N个结点特征h，输出是新的N个特征h'。这个过程至少需要一个权重矩阵W来转移。这里W是所哟结点共享的。这样的共享的结果肯定不是最优的，因此加上self-attention,为每个相邻节点到中心节点的转移设置独特的权重： 这里Ni是i节点的邻接点集合。aij就是上述独特的权重，其实就是邻接...
Graph Attention Networks
BUPT-WT的博客
01-30 361
GAT研究意义: 1、图卷积神经网络常用的几个模型之一(GCN、GAT、GraphSAGE) 2、将Attention机制引入到图神经网络中 3、支持归纳式学习和直推式学习 4、模型具有一定的可解释性 本文主要结构如下所示: 一、摘要Abstract 二、Introduction 三、Gat Architecture 四、Evalution 五、Conclusion ...
Graph Attention Networks(图自注意力网络)
小鱼的小窝
07-16 9559
Graph Attention Networks(图自注意力网络)
#Paper Reading# Graph Attention Networks（图注意力网络）
weixin_43805551的博客
03-09 647
#论文题目：Graph Attention Networks（图注意力网络） #论文地址：https://arxiv.org/pdf/1710.10903.pdf #论文发表网站：https://arxiv.org/abs/1710.10903 #论文源码开源地址：https://g...
图注意力网络——Graph attention networks (GAT)
qq_41977459的博客
04-19 2万+
文章目录摘要引言 摘要   图注意力网络，一种基于图结构数据的新型神经网络架构，利用隐藏的自我注意层来解决之前基于图卷积或其近似的方法的不足。通过堆叠层，节点能够参与到邻居的特征，可以(隐式地)为邻域中的不同节点指定不同的权值，而不需要任何代价高昂的矩阵操作(如反转)，也不需要预先知道图的结构。通过这种方法，该模型克服了基于频谱的故神经网络的几个关键挑战，并使得模型适用于归纳和推理问题。在四个数据集上实现或匹配了最先进的结果（Cora, Citeseer, Pubmed citation network,
深入浅出GAT–Graph Attention Networks（图注意力模型）
热门推荐
xiao_muyu的博客
12-07 6万+
深入浅出GAT–Graph Attention Networks（图注意力模型） 文章目录深入浅出GAT--Graph Attention Networks（图注意力模型）1 GAT的诞生2 关于图2.1 图的重要的“两特征”2.2 GCN的局限性3 GAT3.1 Global graph attention3.2 Mask graph attention4 输入浅出GAT4.1 计算注意力系数（attention coefficient）4.2 加权求和（aggregate）5 深入理解强化GAT5.1
graph attention networks GAT
芒果的二二的博客
08-27 305
1、感受野：the size of the receptive field of our model is upper-bounded by the network.2、归纳式学习： inductive node embedding----->generalize to new graph。1、图卷积神经网络最常用的几个模型质疑，GCN,GAT,GraphSAGE。3、早期图神经网络表征学习的代表性工作，后期作为经典的baseline。1、直推式学习：学到 node embedding 为止。...
ICLR 2021：图神经网络研究趋势与五篇精选论文
资源摘要信息:"ICLR 2021上与图神经网络（GNN）相关的论文（五篇）" 图神经网络（Graph Neural Networks，GNN）是当前人工智能研究领域中的一个热门话题。它们在计算机视觉（CV）、自然语言处理（NLP）和数据挖掘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值