論文紹介 Deterministic Independent Component Analysis
Download as PPTX, PDF•5 likes•2,240 views
ICML2015読み会の論文紹介資料です
![Deterministic ICA
モデル 𝑡 ∈ 𝑇 = 1,2, … , 𝑇
𝑥 𝑡 = 𝐴𝑠 𝑡 + 𝜖 𝑡
𝑥: ℕ → ℝ 𝑑: 観測変数
𝑠: ℕ → [−𝐶, 𝐶] 𝑑
: 𝑑個の独立成分
𝐴 ∈ ℝ 𝑑×𝑑: 混合行列
𝜖: ℕ → ℝ 𝑑
: ノイズ
𝑇個の系列𝑥(𝑡) から𝑠(𝑡)および𝐴を求める問題
ただし，Assumption 2.1 + Assumption 2.3](https://image.slidesharecdn.com/present-150820094555-lva1-app6892/85/Deterministic-Independent-Component-Analysis-5-320.jpg)
![HKICAアルゴリズム [Hus+ 2013]
行列𝑀の固有ベクトルがスケールした𝐴と一致
𝑚 𝑝
𝜈
𝜂 = 𝔼 𝑋~𝜈 𝜂 𝑇 𝑋 𝑝 , 𝑓𝜈 𝜂 = (𝑚4
𝜈
𝜂 − 3𝑚2
𝜈
𝜂 2)/12
𝑀 = 𝛻2 𝑓𝜈 𝜙 𝛻2 𝑓𝜈 𝜓
−1
ただし， 𝜙 𝑇
𝐴𝑖 𝜓 𝑇
𝐴𝑖が互いに異なる
𝐴の𝑖番目の列ベクトル
𝜙, 𝜓を生成
𝛻2
𝑓𝜈を経験評価](https://image.slidesharecdn.com/present-150820094555-lva1-app6892/85/Deterministic-Independent-Component-Analysis-9-320.jpg)
論文紹介 Deterministic Independent Component Analysis
- 1. “Deterministic Independent Component Analysis” Ruitong Huang, András György, Csaba Szepesvári ICML 2015読み会 紹介者: 福地 一斗
- 2. 自己紹介 • 福地 一斗 • 筑波大学D1 • 佐久間研究室: 機械学習におけるプライバシー • 研究分野： • 機械学習：特に学習理論 (公平配慮学習における理論)
- 3. 紹介する論文 • Deterministic Independent Component Analysis Ruitong Huang, András György, Csaba Szepesvári • 証明付き資料はここから • http://www.ualberta.ca/~szepesva/publications.html • Learning Theoryトラックでの発表 • 独立成分分析(ICA)をさらに一般化した問題を考案 • その問題の理論解析 • 解析をもとにしたアルゴリズムの導出
- 4. 独立成分分析 (ICA) モデル 𝑋 = 𝐴𝑆 + 𝜖 𝑋 ∈ ℝ 𝑑: 観測変数 𝑆 ∈ ℝ 𝑑 : 𝑑個の独立成分 𝐴 ∈ ℝ 𝑑×𝑑: 混合行列 𝜖 ∈ ℝ 𝑑 ~ 𝒩(0, Σ): ガウシアンノイズ 𝑇個の𝑋のiidサンプルから𝑆および𝐴を求める問題
- 5. Deterministic ICA モデル 𝑡 ∈ 𝑇 = 1,2, … , 𝑇 𝑥 𝑡 = 𝐴𝑠 𝑡 + 𝜖 𝑡 𝑥: ℕ → ℝ 𝑑: 観測変数 𝑠: ℕ → [−𝐶, 𝐶] 𝑑 : 𝑑個の独立成分 𝐴 ∈ ℝ 𝑑×𝑑: 混合行列 𝜖: ℕ → ℝ 𝑑 : ノイズ 𝑇個の系列𝑥(𝑡) から𝑠(𝑡)および𝐴を求める問題 ただし，Assumption 2.1 + Assumption 2.3
- 6. なぜDICAか 線形混合信号 Mix. 1, Mix. 2から元の信号を復元 時系列データを独立成分へ分解 元の信号は時系列データ • iidサンプルではない ICA仮定が満たされない
- 8. どの範囲まで扱えるのか？ Assumption 2.1 • 𝑠 𝑡 , 𝜖 𝑡 は漸近的に経験期待値0 • 𝜖 𝑡 の構造が簡単 (ガウスノイズでなくてもよい) • 2,3次元モーメントが抑えられている • 尖度が漸近的に0 Assumption 2.3 • 𝑠 𝑡 , 𝜖 𝑡 は漸近的に4次モーメントまで独立 𝑠(1) 𝑠(2) 𝑠(3) 𝑠(4) 𝑠(5) マルコフ性を持つような𝑠 𝑡 も扱うことが可能
- 9. HKICAアルゴリズム [Hus+ 2013] 行列𝑀の固有ベクトルがスケールした𝐴と一致 𝑚 𝑝 𝜈 𝜂 = 𝔼 𝑋~𝜈 𝜂 𝑇 𝑋 𝑝 , 𝑓𝜈 𝜂 = (𝑚4 𝜈 𝜂 − 3𝑚2 𝜈 𝜂 2)/12 𝑀 = 𝛻2 𝑓𝜈 𝜙 𝛻2 𝑓𝜈 𝜓 −1 ただし， 𝜙 𝑇 𝐴𝑖 𝜓 𝑇 𝐴𝑖が互いに異なる 𝐴の𝑖番目の列ベクトル 𝜙, 𝜓を生成 𝛻2 𝑓𝜈を経験評価
- 12. HKICAのDICA設定での解析 ならば サンプルが十分にある 𝑠 𝑡 が十分独立と見なせる アルゴリズムに依存するパラメータ 𝛾 𝐴 = min 𝑖,𝑗:𝑖≠𝑗 𝜙 𝑇 𝐴𝑖 𝜓 𝑇 𝐴𝑖 2 − 𝜙 𝑇 𝐴𝑗 𝜓 𝑇 𝐴𝑗 2 その他は問題にのみ依存
- 13. DICAアルゴリズム HKICA 収束速度は𝛾 𝐴に大きく依存 𝛾 𝐴 = min 𝑖,𝑗:𝑖≠𝑗 𝜙 𝑇 𝐴𝑖 𝜓 𝑇 𝐴𝑖 2 − 𝜙 𝑇 𝐴𝑗 𝜓 𝑇 𝐴𝑗 2 𝐴は問題設定によるため𝛾 𝐴をコントロールできない 𝐴をコントロールしやすい行列𝑅に置き換えられないか？ 𝛾 𝑅 = min 𝑖,𝑗:𝑖≠𝑗 𝜙 𝑇 𝑅𝑖 𝜓 𝑇 𝑅𝑖 2 − 𝜙 𝑇 𝑅𝑗 𝜓 𝑇 𝑅𝑗 2
- 14. DICA すると， Rが対角行列かつ 𝛾 𝑅 ≥ 𝛿 2𝑑2 𝑤. 𝑝. 1 − 𝛿 計算量は𝑂 𝑑3 𝑇 𝛻2 𝑓𝜈 𝜓 をコレスキー分解 𝐵をもとに𝑀を計算
- 15. DICAの解析結果 ならば
- 16. DICAの解析結果 ならば サンプルが十分にある 𝑠 𝑡 が十分独立と見なせる ICA設定ならば 𝐷4 𝜇, 𝜈 𝑇 ≤ 𝑂 1 𝑇 , 𝑔 𝑇 ≤ 𝑂 1 𝑇
- 17. 𝑂 1 𝑇 よりはやくなる? 線形混合信号 Mix. 1, Mix. 2から元の信号を復元 時系列データを独立成分へ分解 𝐷4 𝜇, 𝜈 𝑇 ≤ 𝑂 1 𝑇 𝑔 𝑇 は元の信号やノイズに依存
- 18. その他の改良方法 • 再帰バージョン • 𝑀を求める際に再帰的なアルゴリズムを用いる • 𝑀の推定誤差を減らすことができる • Modified DICA • DICAに𝑀の推定誤差を減らす工夫を取り入れたもの
- 19. 実験 • 6次元の信号の人工データ • 𝐴を複数用意: 𝐴1, … , 𝐴4 • 𝐴1にくらべ𝐴4は1/𝛾 𝐴が大きい • また， 対角行列𝐴 = 𝑅も用意 • 元の信号 • ランダムに +1, −1 を設定した信号𝑞(𝑡) • 周期の異なるサイン波sin 𝑝𝑖 𝑡 𝑝 = ( 2, 5, 7, 11, 13, 19) • 信号𝑠𝑖 𝑡 = 𝑞 𝑡 𝑖 ⋅ sin 𝑝𝑖 𝑡 • サンプル数𝑇 = 20000
- 20. 実験結果 𝐴1𝑅 ノイズの大きさ 大きい小さい 大きい エ ラ ー 𝛾 𝐴が小さい場合FastICAの性能が良い𝛾 𝐴が小さい場合FastICAの性能が良い
- 21. 実験結果 𝐴3𝐴2 𝐴4 ノイズや𝛾 𝐴が大きくなると再帰版の修正DICA が一番よくなる ノイズや𝛾 𝐴が大きくなると再帰版の修正DICA が一番よくなる
- 22. まとめ • Deterministic ICA • iidでないような時系列データにも対応したICA • ガウシアンノイズ出なくてもよい • DICAアルゴリズム • コレスキー分解を使ってHKICAを改良 • 再帰版や修正版によって高い性能