[DL輪読会]Learning convolutional neural networks for graphs
Download as PPTX, PDF6 likes3,464 views
2017/2/22 Deep Learning JP: http://deeplearning.jp/seminar-2/
![Learning Convolutional Neural
Networks for Graphs
[ICML 2016 Niepert et. al.]
中山英樹研究室 横田 匡史](https://image.slidesharecdn.com/learningconvolutionalneuralnetworksforgraphs-170222032121/85/DL-Learning-convolutional-neural-networks-for-graphs-1-320.jpg)
![Label Compression
1,[4]
2,[3]
2,[3,5]
2,[4,5]
3,[2,4,5]
4,[1,1,3,5]
4,[1,2,3,5]
5,[2,3,4]
6
7
8
9
10
11
12
13
それぞれのmultisetに対して、新しいラベルを付ける。
(以後、この新しくつけたラベルをWLラベルと呼ぶ。)](https://image.slidesharecdn.com/learningconvolutionalneuralnetworksforgraphs-170222032121/85/DL-Learning-convolutional-neural-networks-for-graphs-17-320.jpg)
![ステップ2
WLラベルでノードをソートし、w個選ぶ
6, 7, 9,10,12,13
6, 7, 9, 10
w=4として左のグラフから
頂点ラベルを選んでいく。
[グラフの頂点リスト]
最終的に選んだ
４個のラベルを
ステップ3に移す](https://image.slidesharecdn.com/learningconvolutionalneuralnetworksforgraphs-170222032121/85/DL-Learning-convolutional-neural-networks-for-graphs-25-320.jpg)
[DL輪読会]Learning convolutional neural networks for graphs
- 1. Learning Convolutional Neural Networks for Graphs [ICML 2016 Niepert et. al.] 中山英樹研究室 横田 匡史
- 2. Introduction
- 5. 今回の論文の目的 ✦ 目的 • グラフをどうにかして処理したい • 同じような構造のグラフは同じ表現になって欲しい ✦ やったこと • WL Graph Kernelを応用しグラフ構造を前処理し CNNに突っ込めるようにした。
- 6. Related Work
- 7. グラフ類似判定アルゴリズム • Shortest-path Kernel • Random Walk Kernel • Graphlet Count Kernel • Weisfeiler-Lehman Kernel • 既存のグラフカーネルの中で最も性能が良い →この後、これがたくさん出てきます。
- 8. Weisfeiler-Lehman Graph Kernel 上記のような２つのグラフにWL Graph Kernelを使う
- 9. アルゴリズムの流れ 1. Multiset-label determination: 近傍のラベルを集めMulti Label Setを作成 2. Sorting each multiset: 集めたMulti Label Setをソート 3. Label compression: Multi Label Setを一つにまとめて、新しいラベルを作る 4. Relabeling: 各ノードに新しいラベルを割り当てる 5. 1〜4を指定回数 or Multi Label Setが変化しなくなるまで繰り返す。
- 20. 全体の流れ
- 23. PATCHY-SANの流れ 1. Weisfeiler-Lehman Graph Kernel で新しくラベル を付ける。 2. WLのラベルでノードをソートしw個選ぶ 3. 各ノードに対して近いノードをk個以上選ぶ 4. ステップ3で選んだノードをソート・選択する 5. 選んだノードを並べてテンソルを作る。
- 25. ステップ2 WLラベルでノードをソートし、w個選ぶ 6, 7, 9,10,12,13 6, 7, 9, 10 w=4として左のグラフから 頂点ラベルを選んでいく。 [グラフの頂点リスト] 最終的に選んだ ４個のラベルを ステップ3に移す
- 26. ステップ3 各ノードに対して近いノードをk個以上選ぶ 1. あるノードvに対して、距離１のノードが|N|≧kなら終了 2. あるノードvに対して、距離２のノードが|N|≧kなら終了 3. …以下、|N|≧kになるまで繰り返し… ラベル6のノードについて 距離1：6→12 距離2：6→12,9,13,10 これを先に選んだw個のラベル について行う。 ステップ2で選んだノードについて
- 27. ステップ4 ステップ3で選んだノードをソート・選択する 1. 頂点からの距離でソート 2. 距離が同じならWLラベルでソート 3. ソート後の配列からtop-kを選択する ラベル6のノードについて 距離でソート 6→12,9,13,10 WLラベルでソート 6→12,9,10,13
- 28. ステップ5 選んだノードを並べてテンソルを作る • 縦にw個のノード(ステップ2) • 横にk個のノード(ステップ3,4) • 各頂点の持つ属性をa次元ベクトルとして、 (w, k, a)のテンソルを作る。 これにより作成したテンソルを CNNに入力し、グラフのクラス分類を行う
- 29. PATCHY-SANの流れ 1. Weisfeiler-Lehman Graph Kernel で新しくラベル を付ける。 2. WLのラベルでノードをソートしw個選ぶ 3. 各ノードに対して近いノードをk個以上選ぶ 4. ステップ3で選んだノードをソート・選択する 5. 選んだノードを並べてテンソルを作る。
- 30. PATCHY-SANのメリット ★ 属性に離散値・連続値のどちらでも使える ‣ これは非常に重要らしい ‣ 先行研究で連続値も扱えるカーネルは精度が劣っていた ★ 辺属性も同時に用いることができる ‣ 頂点属性のときにk個属性を並べた代わりに 隣接行列のようにk^2個の属性を並べる ★ 最初のラベル付けのアルゴリズムは何でも良い (WL graph kernelが絶対ではない) ‣ 類似するノード同士が近い値を取るようなアルゴリズムならばなん でも良い。
- 31. 実験
- 32. 実験条件 • 比較アルゴリズム 1. Shortest-path Kernel 2. Random Walk Kernel 3. Graphlet Count Kernel 4. Weisfeiler-Lehman Kernel 5. LIB-SVM 6. PATCHY-SAN(提案手法) • 使用データセット • MUTAG,PCT,NCI1,NCI109→化学化合物 • PROTEIN,D&D →タンパク質(3D構造)
- 33. 提案手法での使用モデル • モデルへの入力 ‣ PATCH-SANによってできた(w, k, a)のテンソルを (wk, a)にreshapeしたもの • 使用モデル ‣ w = 平均頂点数, k=5, 10 ‣ Conv → Conv → FC → Softmax ‣ Convはfilter sizeとstrideを それぞれkとした1D Convolutionである。
- 35. 所感 • ほとんど前処理の話だけだが、アルゴリズムも簡単で 良さそう。 • Visual Genomeや構文木などをこれに使うと面白そう ‣ 特にWL Graph Kernelの代わりにGloveとかを使って 別のラベル付けの仕方とかできそう(適当)
- 36. 参考 • Learning Convolutional Neural Networks for Graphs(PFN の秋葉さんのslide share) ‣ http://www.slideshare.net/iwiwi/learning-convolutional- neural-networks-for-graphs-64231265 ‣ グラフ界隈の話は初めてだったので、かなりお世話にな りました。