【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Download as PPTX, PDF4 likes7,257 views
This document summarizes a research paper on modeling long-range dependencies in sequence data using structured state space models and deep learning. The proposed S4 model (1) derives recurrent and convolutional representations of state space models, (2) improves long-term memory using HiPPO matrices, and (3) efficiently computes state space model convolution kernels. Experiments show S4 outperforms existing methods on various long-range dependency tasks, achieves fast and memory-efficient computation comparable to efficient Transformers, and performs competitively as a general sequence model.
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Efficiently Modeling Long Sequences with Structured State Spaces”
Naoki Nonaka
2021/12/3](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-1-320.jpg)
![背景
2021/12/3 7
状態空間モデル
入力，出力，状態の3つの変数からなる数学的モデル
多くの数理モデルの基礎となっているモデル
状態空間モデル x 深層学習の手法は存在しなかった※
※ 厳密には同一著者の先行研究[1]が不完全ながら取り組んでいる
図は[1]をもとに改変](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-7-320.jpg)
![提案手法: S4
2021/12/3 8
S4: Structured State Space sequence model
→ 状態空間モデル x 深層学習の手法
1. SSMのRecurrent表現とConvolution表現の導出
2. HiPPO行列による連続時間記憶の問題の解決 ※
3. SSM convolutionカーネル（後述）の計算の効率化
※ 同一著者の先行研究[1]における工夫と同じ
S4の導出過程](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-8-320.jpg)
![提案手法: S4
2021/12/3 13
S4: Structured State Space sequence model
→ 状態空間モデル x 深層学習の手法
1. SSMのRecurrent表現とConvolution表現の導出
2. HiPPO行列による連続時間記憶の問題の解決 ※
3. SSM convolutionカーネル（後述）の計算の効率化
※ 同一著者の先行研究[1]における工夫と同じ
S4の導出過程](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-12-320.jpg)
![S4: HiPPO行列による連続時間記憶
2021/12/3 14
直交多項式の重み付き和によって過去の系列を表現
RNNに組み込むと記憶性能が向上する
HiPPO: High-order Polynomial Projection Operators
図は[2]より](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-13-320.jpg)
![提案手法: S4
2021/12/3 19
S4: Structured State Space sequence model
→ 状態空間モデル x 深層学習の手法
1. SSMのRecurrent表現とConvolution表現の導出
2. HiPPO行列による連続時間記憶の問題の解決 ※
3. SSM convolutionカーネル（後述）の計算の効率化
※ 同一著者の先行研究[1]における工夫と同じ
S4の導出過程](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-14-320.jpg)
![実験: 長距離の依存関係の学習
2021/12/3 27
Long Range Arena (LRA)
（主にTransformer系の手法を念頭にした）
長距離の依存関係のモデリング性能を評価するためのデータセット []
6つのタスクで構成される
Raw speech classification
Speech Commandデータセット（35クラス，100,503件のサンプル）
話し言葉の音声データの中からキーワードを検出するタスク](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-22-320.jpg)
![実験: 長距離の依存関係の学習
2021/12/3 32
Long Range Arena (LRA)
（主にTransformer系の手法を念頭にした）
長距離の依存関係のモデリング性能を評価するためのデータセット []
6つのタスクで構成される
Raw speech classification
Speech Commandデータセット（35クラス，100,503件のサンプル）
話し言葉の音声データの中からキーワードを検出するタスク](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-27-320.jpg)
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Efficiently Modeling Long Sequences with Structured State Spaces” Naoki Nonaka 2021/12/3
- 2. 書誌情報 2021/12/3 2 • 会議：ICLR2022 投稿（評価: 8, 8, 8） （本スライドはArxivに投稿されている論文に基づいて作成） • 著者：
- 3. 概要 2021/12/3 3 長距離の依存関係を持つ系列データの問題に取り組んだ研究 SSM（状態空間モデル）x Deep Learningのアプローチを提案 ベンチマークにて既存手法を大幅に上回る性能を実現
- 4. 背景 2021/12/3 4 長距離の依存関係（Long-range dependencies: LRD） … 依存関係 T 実世界のデータでは，数万ステップでの推論が必要 （具体例としては，音声や言語情報など） LRDに取り組んだ深層学習による従来の手法としては， RNN, CNNやTransformerとその改良手法が提案されてきた
- 5. 背景 2021/12/3 5 O X RNN ステップごとの 計算量／ストレージが一定 学習に時間がかかる 最適化が難しい（Vanishing gradient） CNN 並列可能で高速に学習できる 逐次学習ではないので 推論時のコストが高い／扱える長さに制限 LRDに取り組んだ従来手法の利点と欠点 （Transformer系の手法もCNNとほぼ同じ）
- 6. 背景 2021/12/3 6 理想的な時系列モデル 各時刻における状態を保持し，推論が可能（recurrence） 並列計算による学習が可能（convolutional） 任意の時間軸適応（微分方程式の性質） 状態空間モデル（State Space Model; SSM）
- 7. 背景 2021/12/3 7 状態空間モデル 入力，出力，状態の3つの変数からなる数学的モデル 多くの数理モデルの基礎となっているモデル 状態空間モデル x 深層学習の手法は存在しなかった※ ※ 厳密には同一著者の先行研究[1]が不完全ながら取り組んでいる 図は[1]をもとに改変
- 8. 提案手法: S4 2021/12/3 8 S4: Structured State Space sequence model → 状態空間モデル x 深層学習の手法 1. SSMのRecurrent表現とConvolution表現の導出 2. HiPPO行列による連続時間記憶の問題の解決 ※ 3. SSM convolutionカーネル（後述）の計算の効率化 ※ 同一著者の先行研究[1]における工夫と同じ S4の導出過程
- 9. S4: Recurrent表現とConvolution表現の導出 2021/12/3 9 S4 (SSM): 再帰的な計算と並列学習が可能 連続時間SSM 離散時間SSM 畳み込み演算での表現 RNN様の再帰的な計算が可能に CNN様の並列計算が可能に
- 10. S4: Recurrent表現とConvolution表現の導出 2021/12/3 10 間隔Δで離散化 Bilinear法を使用 離散化により，離散的な入力データを扱えるようになる RNNと同じく再帰的な処理が可能になる 離散時間SSM
- 11. S4: Recurrent表現とConvolution表現の導出 2021/12/3 11 展開 畳み込み演算での表現 SSM convolution kernel (K) を定義 SSMの畳み込み演算
- 12. 提案手法: S4 2021/12/3 13 S4: Structured State Space sequence model → 状態空間モデル x 深層学習の手法 1. SSMのRecurrent表現とConvolution表現の導出 2. HiPPO行列による連続時間記憶の問題の解決 ※ 3. SSM convolutionカーネル（後述）の計算の効率化 ※ 同一著者の先行研究[1]における工夫と同じ S4の導出過程
- 13. S4: HiPPO行列による連続時間記憶 2021/12/3 14 直交多項式の重み付き和によって過去の系列を表現 RNNに組み込むと記憶性能が向上する HiPPO: High-order Polynomial Projection Operators 図は[2]より
- 14. 提案手法: S4 2021/12/3 19 S4: Structured State Space sequence model → 状態空間モデル x 深層学習の手法 1. SSMのRecurrent表現とConvolution表現の導出 2. HiPPO行列による連続時間記憶の問題の解決 ※ 3. SSM convolutionカーネル（後述）の計算の効率化 ※ 同一著者の先行研究[1]における工夫と同じ S4の導出過程
- 15. S4: SSM convolution kernelの計算 2021/12/3 20 SSMの学習の並列化 Aの冪乗計算が必要 連続時間記憶の改善 AはHiPPO行列である必要 HiPPO行列の冪乗計算が必要
- 16. S4: SSM convolution kernelの計算 2021/12/3 21 K の計算: 行列Aの冪乗計算を含むため工夫が必要 Aを，対角行列Λ + 低ランク行列 p, q (rank=1) 3つの計算工夫を導入
- 17. S4: SSM convolution kernelの計算 2021/12/3 22 1. FFTによる冪乗計算の回避 (詳細はAppendix C3) 𝑧におけるSSM母関数を定義 数列𝑎𝑛に対する母関数 𝑓 𝑥 = 𝑘=0 ∞ 𝑎𝑘𝑥𝑘 𝑧を1の冪根とすると， 1の冪根 𝜍 = exp 2𝜋𝑖 𝑛 ある𝑛に対して 𝑧𝑛 = 1を満たす𝑧 → 離散フーリエ変換と一致 SSM母関数で冪乗計算を逆行列計算化 + 逆FFTで K を得る
- 18. S4: SSM convolution kernelの計算 2021/12/3 23 2. 対角行列 + 低ランク行列の逆行列計算 Woodbury恒等式を利用 SSM母関数における逆行列計算を効率化 3. Cauchyカーネルによる計算 Aが対角行列のときSSM母関数の計算 = Cauchyカーネルの計算 Cauchyカーネルの計算アルゴリズムを利用
- 20. 実験 2021/12/3 25 計算効率 長距離の依存関係の学習 汎用系列モデルとしての性能
- 21. 実験: 計算効率 2021/12/3 26 LSSL（状態空間モデル系の先行研究）よりも高速・高メモリ効率 （Efficientな）Transformer系と同程度に高速・省メモリ
- 22. 実験: 長距離の依存関係の学習 2021/12/3 27 Long Range Arena (LRA) （主にTransformer系の手法を念頭にした） 長距離の依存関係のモデリング性能を評価するためのデータセット [] 6つのタスクで構成される Raw speech classification Speech Commandデータセット（35クラス，100,503件のサンプル） 話し言葉の音声データの中からキーワードを検出するタスク
- 23. 実験: 長距離の依存関係の学習 (LRA: 1/4) 2021/12/3 28 1. <LISTOPS> Long ListOps 複数の演算子（MAX, MEAN, MEDIAN, SUM_MOD）の階層構造で 表現された系列から出力となる数字を当てるタスク 2. <TEXT> Byte-level Text classification IMDbレビューをもとに作成されたデータセット byte/character-levelで分類
- 24. 実験: 長距離の依存関係の学習 (LRA: 2/4) 2021/12/3 29 3. <RETRIEVAL> Byte-level Document Retrieval 長い文章を短い表現に圧縮し，文章の類似度を評価するタスク 元データはIMDbのレビュー 系列長は4k（長いものはtruncate, 短いものはpadding） 4. <IMAGE> Image Classification on sequence of pixels Sequential MNISTのCIFAR-10版 系列長3072 (= 32 x 32 x 3) のサンプルを10クラスに分類
- 25. 実験: 長距離の依存関係の学習 (LRA: 3/4) 2021/12/3 30 3. <PATHFINDER> PathFinder 画像中の2点が破線でつながっているか判定 入力：32 x 32の画像の系列（=784） 出力：二値（2点がつながっているか） 4. <PATH-X> PathFinder-X PathFinderタスクを128 x 128に拡大した画像で実施
- 26. 実験: 長距離の依存関係の学習 (LRA: 1/4) 2021/12/3 31 6つのタスク全てで既存手法を大幅に上回る PathFinder-Xを解けた唯一のモデル
- 27. 実験: 長距離の依存関係の学習 2021/12/3 32 Long Range Arena (LRA) （主にTransformer系の手法を念頭にした） 長距離の依存関係のモデリング性能を評価するためのデータセット [] 6つのタスクで構成される Raw speech classification Speech Commandデータセット（35クラス，100,503件のサンプル） 話し言葉の音声データの中からキーワードを検出するタスク
- 28. 実験: 長距離の依存関係の学習（Speech: 1/1） 2021/12/3 33 MFCCによる前処理あり：先行研究と同程度の性能 Rawデータでの分類：WaveGANを上回る性能
- 29. 実験: 汎用系列モデルとしての性能 2021/12/3 34 大規模な生成モデルの学習 CIFAR-10における密度推定 WikiText-103における言語モデリング 自己回帰による推論 CIFAR-10およびWikiText-103での生成速度を比較
- 30. 実験: 汎用系列モデルとしての性能 2021/12/3 35 先行研究と同程度の性能を達成 自己回帰による推論の速度は60倍以上高速化 大規模な生成モデルの学習／自己回帰による推論
- 31. 実験: 汎用系列モデルとしての性能 2021/12/3 36 不規則にサンプリングされたデータの扱い Test時のみ周波数を0.5倍にして評価（右列） S4では，追加学習なしでも周波数の 変化に対して頑健になっている
- 32. 結論・まとめ 2021/12/3 37 状態空間モデルにDNNを取り込んだS4モデルを提案 LRAにて既存手法を大幅に上回る性能を実現 汎用系列モデルとしても優れた性能を示す
- 33. Reference 2021/12/3 38 1. Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers 2. HiPPO: Recurrent Memory with Optimal Polynomial Projections
Editor's Notes
- #21: K を直接計算せず，母関数の計算 + 逆フーリエ変換に置換 → 行列の冪乗計算を逆行列の計算に変える 逆行列の計算をWoodburyの恒等式により行う Cauchyカーネルの計算に落とし込む
- #23: K を直接計算せず，母関数の計算 + 逆フーリエ変換に置換 → 行列の冪乗計算を逆行列の計算に変える 逆行列の計算をWoodburyの恒等式により行う Cauchyカーネルの計算に落とし込む
- #24: K を直接計算せず，母関数の計算 + 逆フーリエ変換に置換 → 行列の冪乗計算を逆行列の計算に変える 逆行列の計算をWoodburyの恒等式により行う Cauchyカーネルの計算に落とし込む