Graph Attention Network

Copyright © 2018 TIS Inc. All rights reserved.
Graph Attention Network
戦略技術センター
久保隆宏
NodeもEdegeもSpeedも

Copyright © 2018 TIS Inc. All rights reserved. 2
 Summary
 関連研究における位置づけ
 Architecture
 実験結果
 まとめ・所感
 参考文献
目次

Graph Attention Networkは、Graph Convolutionにおける「情報量と計
算速度のトレードオフ」のバランスをうまくとった研究。
 Graphにおいては、NodeだけでなくEdgeの情報も重要。ただ、Edge
の潜在表現を作っていると計算速度が遅くなる(Modeling Relational
Data with Graph Convolutional Networks)。
 そこでEdgeの情報をAttentionの重みとして表現した。これにより、そ
こそこEdgeの情報をとることができ、計算速度もそこそこを維持でき
た。
Summary
論文の引用ネットワークに適
用した図。Node(論文)の情報
だけでなく、Nodeを結ぶエッ
ジ情報(=太さ)を取れている
(Figure 2より)

関連研究における位置づけ (1/7)
(著者はセルビアの方)

The graph neural network model
下記特徴をNN(f)に入力しノードの状態
を計算する。状態・特徴から出力を得る。
 𝑙 𝑛: ノードの特徴
 𝑙 𝑐𝑜[𝑛]: エッジの特徴
 𝑥 𝑛𝑒[𝑛]: 周辺ノードの状態
 𝑙 𝑛𝑒[𝑛]: 周辺ノードの特徴
入力=>状態の更新を繰り返すが、これ
はちょうどRNNと似た形であり(左図) 、
BPTTで更新できる。
ノード検索において、ノード特徴だけ使
うより精度が高いことを確認。
※特徴とは、化学物質ならノード=炭素/
酸素、エッジ=結合/二重結合など

Spectral Networks and Locally Connected Networks
on Graphs
GraphにCNNを適用する研究。具体的には、CNNの「マルチス
ケール」な情報抽出をグラフ上でどう行うか議論している。
 ノード=>クラスタリング=>クラスタ特徴=>クラスタ特
徴のクラスタリング=>・・・と繰り返していけばマルチス
ケールっぽくなる(左下図参照)
 クラスタリングとしてSpectral clusteringを用いる。これ
はグラフの隣接行列を固有値分解する手法。
 フーリエ級数と固有値ベクトル分解は等価であるため(参考
文献参照)、Graphを信号に見立てたときのFourie展開で計
算が可能。
 固有値で役立つのは上位数個(d)のため、常に上位dを取る
とすると定型サイズのフィルタを段々と適用するCNNのよ
うな形になる。
固有ベクトルの計算が必要で、きっつい

Convolutional Neural Networks on Graphs with
Fast Localized Spectral Filtering
SpectralなGraph Convolutionをチェビシェフ展開
(Chebyshev expansion)で近似することで、固有値計算
の必要をなくした。

Semi-Supervised Classification with Graph
Convolutional Networks
さらに、フィルタの対象を最近傍(1-step)の周辺ノードに
限定。
ここまで来たら普通に周辺ノードに重みをかけるで良くないか

最近よく見る形(すごく普通)

Graph Attention Network
周辺ノードからの伝搬時にAttentionを加味(シンプ
ル！)。

 Attention(𝛼)は、自身(hi)と周辺(hj)にそれぞれ重みを掛け結合したベ
クトルを基に算出される。
 フィルタがk枚ある場合は、k個の重みそれぞれについてAttentionと
Forwardの計算を行い平均をとる。
Architecture
Structured deep models: Deep learning on graphs and beyondより

はじめに: TransductiveとInductiveについて
Transductiveは「既知だが、ラベルが未知のノード」についてラベルを予
測するタスク。「既知」というのは、学習データ中にノードがあるという
こと。
Inductiveは、未知のノードに対してラベルを予測するタスク。ただ、
ノードは既にグラフ内に追加されたとして、周辺ノードを得ることができ
る。
TransductiveよりもInductiveの方が、汎化性能が求められる
(Transductiveは、ある意味与えられたグラフに対するOverfitが可能であ
るため)。
実験結果 (1/2)

実験結果 (2/2)
特にInductiveで大きな効果！

とてもストレートな手法で良好な結果を出している。
Edgeの情報もある程度取れているので、Edgeに関するタスク
(LinkPredictionなど)も試してみてほしかった感は少しある(Weightだけ
では厳しいかもしれないが)。
Nodeの情報をより高速に取る手法、Edgeの情報をよりリッチに取る手法
はそれぞれ別途あるので、最初に試して必要となればどちらかにスイッチ
するという形にも使えそう。
まとめ・所感

 Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero and Pietro
Liò, Yoshua Bengio. Graph Attention Networks. In ICLR, 2018.
 Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus Hagenbuchner and Gabriele
Monfardini. The graph neural network model. Neural Networks, IEEE
Transactions on, 20(1):61–80, 2009.
 Joan Bruna, Wojciech Zaremba, Arthur Szlam and Yann LeCun. Spectral
Networks and Locally Connected Networks on Graphs. In ICLR, 2014.
 Spectral由来の手法の起源となる論文。
 Mikael Henaff, Joan Bruna and Yann LeCun. Deep Convolutional Networks on
Graph-Structured Data. arXiv preprint arXiv:1506.05163, 2015.
 Michaël Defferrard, Xavier Bresson and Pierre Vandergheynst. Convolutional
Neural Networks on Graphs with Fast Localized Spectral Filtering. In NIPS, 2016.
 Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph
Convolutional Networks. In ICLR, 2017.
参考文献: Papers

 Thomas Kipf. Structured deep models: Deep learning on graphs and beyond.
2018.
 Graph Convolutionを行う時にまず参照すべき解説スライド
 horiem. フーリエ級数展開をベクトルで直観的に理解する. Phys and Tips, 2016.
 固有値分解とフーリエ展開がどう関係するの？というところがなんとなくわかる。
 7931. フーリエ級数の3つの解釈／『数学セミナー 2018年3月号』読書メモその3.
7931のあたまんなか, 2018.
 フーリエ級数と固有ベクトル分解の関係がより直接的に書かれている。
参考文献: Articles

Graph Attention Network

More Related Content

What's hot (20)

Similar to Graph Attention Network (20)

More from Takahiro Kubo (20)

Recently uploaded (10)

Graph Attention Network