論文紹介 "DARTS: Differentiable Architecture Search"
4 likes•4,668 views
Reading ML paper "DARTS: Differentiable Architecture Search" at Tensorflow User Group Tokyo (Japanese)
![背景
●
NAS (Neural Architecture Search)
– ネットワークのアーキテクチャ ( 関数の種別、つなぎ方 ) を学習するメタ学習手法
● 人間が設計するのと同等以上のアーキテクチャをも発見できるようになり
[Zoph+17] 大きな注目を集めている](https://image.slidesharecdn.com/180705koreedatfugslideshare-180705090234/85/DARTS-Differentiable-Architecture-Search-5-320.jpg)
![DL の学習Controller
既存の NAS の問題
● Controller を用いた方法が主流 [Zoph+16,Zoph+17,Pham+18]
– DL の学習と、アーキテクチャ生成を交互に行う
– 性質上どうしても時間がかかる (NASNet [Zoph+17] では 500 GPUs × 4 days)
● ENAS[Pham+17] などのパラメータシェアリングは問題を緩和しているだけで
根本的な解決をしていない
トポロジの提案
Validation データ上
評価結果
RNN + 強化学習 [Zoph+16]
進化的アルゴリズム [Real+18]
ベイズ最適化 [Kandasamy+18]
様々なトポロジの
ネットワークを生成](https://image.slidesharecdn.com/180705koreedatfugslideshare-180705090234/85/DARTS-Differentiable-Architecture-Search-6-320.jpg)
![実験条件
● CIFAR-10 ( 画像分類 )
– 2 種類計 8 セルからなる CNN において、 2 種類のセルのアーキテクチャを学習
● 1 セルあたり 7 ノード
– 全体構造は事前に決めてある (ResNet 構造、セルの順番）
● Penn Treebank ( 言語モデル )
– 単層の Highway Recurrent Neural Network [Zilly+16] のセルのアーキテクチャ 1
種類を学習
● 1 セルあたり 12 ノード
● 他のハイパーパラメータは固定、あまり工夫はしない
● 初期値によって結果が大きくかわるので、 4 試行のうちもっとも validation
score がよかったものを採用](https://image.slidesharecdn.com/180705koreedatfugslideshare-180705090234/85/DARTS-Differentiable-Architecture-Search-15-320.jpg)
![( 参考 )CIFAR-10 の SotA
● 2018/6/5 時点での SotA ( おそらく ) はアーキテクチャとして Shake-
Drop を使い、データオーグメンテーションを工夫した [Cubuk+18]
– データオーグメンテーションの仕方を強化学習でメタ学習
Cubuk, Zoph, Mane, Vasudevan and Le. "AutoAugment: Learning Augmentation Policies from Data". arXiv. 2018.](https://image.slidesharecdn.com/180705koreedatfugslideshare-180705090234/85/DARTS-Differentiable-Architecture-Search-18-320.jpg)
論文紹介 "DARTS: Differentiable Architecture Search"
- 1. 論文紹介 DARTS: Differentiable Architecture Search TFUG, NN 論文を肴に酒を飲む会 #6 2018.7.5
- 2. Who am I? ● 是枝祐太 ● 某電機会社リサーチャー ● 研究歴 – 〜 2015: 医療＋ロボット（大学） – 〜 2016: ロボット＋応用機械学習 – 〜現在 : 応用機械学習＋自然言語処理 @koreyou_ koreyou
- 3. tl;dr ● DARTS: Differentiable Architecture Search ● DL のアーキテクチャ ( トポロジ、関数の種別 ) を最適化する NAS (Neural Architecture Search) に関する研究 ● NAS を微分可能にすることで、 ENAS などの NAS の SoTA と同等以上 の性能を実現 ● ⇒著者らが実装を公開中 https://github.com/quark0/darts
- 4. 論文情報 ● 2018/6/24 投稿 @arXiv (cs.LG)
- 5. 背景 ● NAS (Neural Architecture Search) – ネットワークのアーキテクチャ ( 関数の種別、つなぎ方 ) を学習するメタ学習手法 ● 人間が設計するのと同等以上のアーキテクチャをも発見できるようになり [Zoph+17] 大きな注目を集めている
- 6. DL の学習Controller 既存の NAS の問題 ● Controller を用いた方法が主流 [Zoph+16,Zoph+17,Pham+18] – DL の学習と、アーキテクチャ生成を交互に行う – 性質上どうしても時間がかかる (NASNet [Zoph+17] では 500 GPUs × 4 days) ● ENAS[Pham+17] などのパラメータシェアリングは問題を緩和しているだけで 根本的な解決をしていない トポロジの提案 Validation データ上 評価結果 RNN + 強化学習 [Zoph+16] 進化的アルゴリズム [Real+18] ベイズ最適化 [Kandasamy+18] 様々なトポロジの ネットワークを生成
- 8. 手法 (1) ：アーキテクチャの表現 ● トポロジを DAG として表現する – ノードには番号がついており自分よ り後のノード全てにつながっている ● 各エッジにはオペレーション のどれかが割り当て られる – オペレーションは行列計算、活性関 数、繋がない、など ● これにより NAS はエッジにどのオ ペレーションを割り当てるかとい う問題に簡略化できた 前段のネットワークからの入力 後段のネットワークへの出力 ネットワーク の一部分 (RNN の セルなど ) sum オペレーション o(i, j) (x)∈O o(i, j) (x)∈O
- 9. 手法 (2) ：オペレーション選択の微分 ● エッジの出力を各オペレーションの重み付き和として表 現 – 仮に ReLU だった場合 + 行列計算だった場合 + … ● 「どのオペレーションを選ぶか」と「オペレーションのパ ラメータ（あれば）」について両方微分可能に！ あるオペレーションの結果 重み (=softmax) 学習パラメータ
- 10. 方法 (3) ：最適化手順 ● 毎 SGD のミニバッチステップごとにモデルパラメータとアーキテクチャのパ ラメータを EM 法のように順番に更新する ● wk と ®k を k ステップ目のモデルパラメータ、アーキテクチャのパラメータだ とすると、 k ステップ目の計算は – ® を固定して w を更新 – w を固定して α を更新 ← ηw ← ηα
- 11. 方法 (4) ：最適化の工夫 ● なぜ ®k の更新に wk の微分項 (virtual gradient step) をいれるのか ● 今回解きたい最適化問題は二段階 (bilevel) 最適化である ● 著者曰く、 virtual gradient step を入れることで w*(®k ) を近似している – 私の直感的には勾配の方向をいれることで、勾配∇ wk をもが w* の方向を向くように ( つまり∇ w* に近づくように）最適化されるのでは感じる ← ηα
- 12. 手法 (5) ● 1 ノードごと k 個を残して出力 エッジを消す – 重みが大きいオペレーションを持 つエッジを残す ● エッジごと最大の重みを持つオ ペレーションを残す k=2 の場合
- 14. その他の工夫 ● 差分法を使い２階微分を 1 階微分で表現することで、ヘシアンに関する計 算量の増加を防ぐ ● Batch Normalization では移動平均を使わない – モデルの形が学習中にどんどんかわってゆくため
- 15. 実験条件 ● CIFAR-10 ( 画像分類 ) – 2 種類計 8 セルからなる CNN において、 2 種類のセルのアーキテクチャを学習 ● 1 セルあたり 7 ノード – 全体構造は事前に決めてある (ResNet 構造、セルの順番） ● Penn Treebank ( 言語モデル ) – 単層の Highway Recurrent Neural Network [Zilly+16] のセルのアーキテクチャ 1 種類を学習 ● 1 セルあたり 12 ノード ● 他のハイパーパラメータは固定、あまり工夫はしない ● 初期値によって結果が大きくかわるので、 4 試行のうちもっとも validation score がよかったものを採用
- 16. 結果 (CIFAR-10) ← ηα “First order” → ２階偏微分なし (» =0)
- 17. 結果 (CIFAR-10) 精度： NASNet > DARTS ENAS≧ 速度： ENAS > DARTS >>> NASNet 4 試行分が加算されている
- 18. ( 参考 )CIFAR-10 の SotA ● 2018/6/5 時点での SotA ( おそらく ) はアーキテクチャとして Shake- Drop を使い、データオーグメンテーションを工夫した [Cubuk+18] – データオーグメンテーションの仕方を強化学習でメタ学習 Cubuk, Zoph, Mane, Vasudevan and Le. "AutoAugment: Learning Augmentation Policies from Data". arXiv. 2018.
- 19. 結果 (Penn Treebank) ≧精度：人手設計 DARTS > ENAS > NASNet 速度： ENAS DARTS≧
- 20. 結果 (Penn Treebank) 本研究と同じ設定で実行 ランダムサーチも強い ⇒ NAS 以外の設定や探索空間の工夫も重要なことがわかる
- 21. 実験：発見されたアーキテクチャが汎用的かの検証 ● 発見されたアーキテクチャを他の画像処理／言語モデルに適用 ● NAS 間の比較は似た傾向 – 精度： NASNet > DARTS ≧ ENAS – 速度： ENAS ≧ DARTS >>> NASNet ● 人手設計に比べると相対的に悪くなった – NAS はタスクに特化したアーキテクチャを発見している
- 22. 所感 ● 研究レベルでは NAS が使えるレベルになってきている – 現実的な計算時間、人に引けを取らない性能、実装の公開 ● ただし、 NAS 自体の汎用性、安定性はまだまだこれから – 本研究は探索空間をかなり絞っていた – 探索空間の重要性は論文内でも指摘されている ● アーキテクチャの工夫による改善はサチってきている – 今後タスクの細分化が進み、 1 タスクあたりの研究参加者が減ってゆけば、ますます NAS の考え方は重要になる
- 23. まとめ ● DL のアーキテクチャを最適化する NAS (Neural Architecture Search) に関する研究 ● NAS を微分可能にすることで、 ENAS などの NAS の SoTA と同等以上 の性能を実現 ● 研究レベルでは NAS が使えるレベルになってきている ● ⇒著者らが実装を公開中 https://github.com/quark0/darts