音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sound media signal processing and its applications
Download as PPTX, PDF•14 likes•12,884 views
2016年2月8日一橋大学大学院 国際企業戦略研究科 ファカルティセミナー招待講演 北村大地 北村大地→http://d-kitamura.sakura.ne.jp/index.html ファカルティセミナー→http://www.fs.ics.hit-u.ac.jp/teaching_staff_research/faculty_seminar/
![数学的な準備
28
• 番目の話者の信号を とする
– 振幅値[-1, 1] を取る離散信号
– 時間の添え字 は ，約3.3秒](https://image.slidesharecdn.com/20160208hitotsubashiicukitamura-160208124514/85/History-of-independent-component-analysis-for-sound-media-signal-processing-and-its-applications-28-320.jpg)
![数学的な準備
29
• 番目の話者の信号を とする
– 振幅値[-1, 1] を取る離散信号
– 時間の添え字 は ，約3.3秒](https://image.slidesharecdn.com/20160208hitotsubashiicukitamura-160208124514/85/History-of-independent-component-analysis-for-sound-media-signal-processing-and-its-applications-29-320.jpg)
![• 番目の話者の信号を とする
– 振幅値[-1, 1] を取る離散信号
– 時間の添え字 は ，約3.3秒
数学的な準備
30](https://image.slidesharecdn.com/20160208hitotsubashiicukitamura-160208124514/85/History-of-independent-component-analysis-for-sound-media-signal-processing-and-its-applications-30-320.jpg)
![• 番目の話者の信号を とする
– 振幅値[-1, 1] を取る離散信号
– 時間の添え字 は ，約3.3秒
数学的な準備
31](https://image.slidesharecdn.com/20160208hitotsubashiicukitamura-160208124514/85/History-of-independent-component-analysis-for-sound-media-signal-processing-and-its-applications-31-320.jpg)
![• 番目の話者の信号を とする
– 振幅値[-1, 1] を取る離散信号
– 時間の添え字 は ，約3.3秒
数学的な準備
32
見事なガウス
歪度: 0.05
尖度: 3.36](https://image.slidesharecdn.com/20160208hitotsubashiicukitamura-160208124514/85/History-of-independent-component-analysis-for-sound-media-signal-processing-and-its-applications-32-320.jpg)
音響メディア信号処理における独立成分分析の発展と応用, History of independent component analysis for sound media signal processing and its applications
- 1. 音響メディア信号処理における 独立成分分析の発展と応用 History of independent component analysis for sound media signal processing and its applications 総合研究大学院大学情報学専攻複合科学研究科 博士後期課程2年 北村大地 一橋大学大学院国際企業戦略研究科 2016年2月8日
- 2. 講演概要 2 • 自己紹介 • 独立成分分析による信号源分離 – 統計的独立性とは？（数学的な準備） • 確率密度関数，高次統計量，無相関と独立，中心極限定理，カートシス等 – 独立成分分析とそのアルゴリズム • ICAの歴史 • ICAの図解 • 独立性最大化による推定方法 • 独立成分分析の金融への応用 • まとめ できるだけ数式を使わずに！ 無理でした！
- 3. 講演概要 3 • 自己紹介 • 独立成分分析による信号源分離 – 統計的独立性とは？（数学的な準備） • 確率密度関数，高次統計量，無相関と独立，中心極限定理，カートシス等 – 独立成分分析とそのアルゴリズム • ICAの歴史 • ICAの図解 • 独立性最大化による推定方法 • 独立成分分析の金融への応用 • まとめ
- 4. 自己紹介 • 名前: 北村大地（Daichi Kitamura） • 年齢: 25（1990年3月11日生まれ），博士後期課程2年 • 経歴: • 趣味: 旅行，サバゲー，猫，ギター，・・・ • Twitter: – @UDN48_udon 4 香川高等専門学校（旧高松工業高等専門学校）（16 ~ 22） 電気情報工学科→専攻科（創造工学専攻）, 学士（工学） 奈良先端科学技術大学院大学（22 ~ 24） 情報科学研究科, 修士（工学） 総合研究大学院大学（24 ~ 27） 複合科学研究科（情報学専攻），博士（情報学）取得を目指す ギリシャ， サントリーニ島 サバゲー
- 8. 自己紹介 • これまでにやってきた研究 – エレクトリックギターの弦振動解析（香川高専時代，原囿教授） – 教師有り音楽信号分離（NAIST時代，鹿野教授，猿渡准教授） – 多チャネルブラインド音源分離（現在，小野准教授） • 非負値行列因子分解（nonnegative matrix factorization: NMF） 8 音源信号 観測信号 分離信号 混合系 分離系
- 9. 音源分離とは？ 9 • 混合された音響信号から混合前の音響信号を推定 – 話者と雑音の分離，補聴器への応用，楽器の演奏教育，リミック ス，音場再現の制御技術 etc. • 今なお世界中で研究されている – 日本は昔から音響分野の研究が盛んで，現在も世界一かそれに 近い研究レベル • デモンストレーション 特定音源の 分離・抽出
- 10. 独立成分分析 10 • Independent component analysis: ICA – 信号源（source）が混合された多次元観測信号に対して，統計的 独立性を用いて混合前の信号源を推定 – 潜在的かつ独立な原因・特徴を見つける • 信号源分離，特徴量抽出 • 本講演では – ICAに必要な数学的基礎知識 – 簡単な動作原理の解説 – 金融への応用の可能性 ICA 混合系 分離系 信号源 観測信号 推定信号 等を取り扱います
- 11. 講演概要 11 • 自己紹介 • 独立成分分析による信号源分離 – 統計的独立性とは？（数学的な準備） • 確率密度関数，高次統計量，無相関と独立，中心極限定理，カートシス等 – 独立成分分析とそのアルゴリズム • ICAの歴史 • ICAの図解 • 独立性最大化による推定方法 • 独立成分分析の金融への応用 • まとめ
- 13. 数学的な準備 13 • 確率とは？ – 物事の起こりやすさを数値化したもの • あくまでもモデルであり真の確率はわからない • （理想的な）サイコロの確率 • いろいろな確率密度関数 0.00 0.05 0.10 0.15 0.20 0 1 2 3 4 5 6 7 確率 サイコロの目 確率密度関数 確率変数（サイコロの目）の確率を 分布関数としてとらえたもの 確率変数に関して積分すると1 0 0.1 0.2 0.3 0.4 0.5 -5 -4 -3 -2 -1 0 1 2 3 4 5 0 0.1 0.2 0.3 0.4 0.5 0.6 -5 -4 -3 -2 -1 0 1 2 3 4 5 0 0.05 0.1 0.15 0.2 -5 -4 -3 -2 -1 0 1 2 3 4 5 ガウス分布（正規分布） ラプラス分布 一様分布
- 14. 数学的な準備 14 • 確率密度関数はどのように定義されるか – モーメント（積率） • n次モーメント – 1~N次までのモーメントがあればどんな確率密度関数も表現可 • 逆に言うと，1~N次までのモーメントで確率密度関数が一意に決まる – ただしNが無限な確率密度関数もある • ガウス分布の場合 – 1次モーメントは分布の平均に一致，2次モーメントは分散に対応，3次モーメント 以降は定数 → ガウス分布は平均と分散しかパラメータがない • 一般的な分布の場合はもっと多くの統計量を持つ（Nが無限） – 平均（1次），分散（2次），歪度（3次），尖度（4次），・・・ ここから先は高次統計量と呼ばれる 0 0.2 0.4 0.6 0.8 0 1 2 3 4 5 6 7 8 9 10 平均2，分散2，歪度0.7， 尖度0.5の連続ポアソン分布 簡単に捉えると・・・ 歪度（skewness）は左右の非対称度 尖度（kurtosis）は分布の裾の長さ を表す ガウス分布は歪度0で尖度3（固定）
- 15. 数学的な準備 15 • 「統計的に独立」とは？ – 2つの確率変数 と が独立なとき が成立 • 結合分布 は二つの確率変数に対する確率 – 例えばXとYのサイコロの出目が , である確率は – XとYのサイコロが「統計的に独立」なら • と が独立でない場合はどうなるか – 例えば「Xのサイコロが5が出るときは必ずYのサイコロは1が出る」という場合 – XとYは統計的に独立でないので – 直観的には「一方の確率変数の値（結果）からもう一方の確率変 数の値が全く説明できないとき，両者は独立」 • 独立でない場合，「Xのサイコロが5だからYのサイコロは絶対に1になる！」 ということがいえたりする • 普通のサイコロ2個ならそんなことはありえない
- 16. 数学的な準備 16 • 「統計的に独立」とは？ – 無相関（相関がないこと）と独立は異なる • 独立は無相関よりも強い仮定 • 独立ならば必ず無相関だが，無相関だからといって独立とは限らない – 「相関がある」とは？ • と の間に相関がある場合 – 「 が大きい値の時は も大きい値を取りがち」→「正の相関がある」 無相関 独立 1-1 -1 1 1-1 -1 1 1-1 -1 1 相関あり （もちろん独立でない） 無相関 （だが独立でない） 独立 （もちろん無相関） 灰色部分は値を持ち， 白部分は確率0
- 17. 数学的な準備 17 • 「統計的に独立」とは？ – 「相関あり」か「無相関」かは2次の統計量に対応 • 分散共分散行列が単位行列であれば無相関 – 「非独立」か「独立」かは2次以上の高次統計量に対応 • 高次統計量に対する相関が0であれば独立 • したがって独立なら絶対に無相関（2次の統計量も含むので） 1次統計量 （平均） ∞ 2次統計量 （分散） 統計量の次数 2次統計量 （共分散）が 相関無し ∞ 無相関なとき 1次統計量 （平均） ∞ 2次統計量 （分散） 統計量の次数 2次以上の統 計量が全て 相関無し ∞ 独立なとき 3次統計量 …
- 18. 数学的な準備 18 • 統計的信号処理とは？（ICAを含む） – すべての信号は何らかの確率密度関数から生成されている（と 考える） – 確率密度関数はわからないが，観測したサンプルからモーメント を計算することはできる • 確率密度関数がガウス分布だと仮定すれば，モーメントから平均，分散が 計算できて分布が決まる→ガウス分布モデル – 本当にガウス分布に従う例（ガウス分布モデルが最適な例） • 測定誤差，白色雑音，学校の試験の点数（本当か？） • 自然の中に多く存在（ガウス分布至上主義，ガウス様すごい） – 因子分析（factor analysis）もガウスモデル 神のみぞ知る 我々が観測できる信号 ガウス分布と仮定 確率過程と呼ぶ 実際は観測データから近似可能
- 19. 数学的な準備 19 • ガウス分布に従わない例（実はこちらの方が多い？） – サイコロ（離散一様分布） • 多少のずれはあってもほぼ一様分布 – 為替変動はどうか？（円-米ドル） ほぼガウス 歪度0.5 尖度7.2
- 21. • ガウス分布に従わない例（実はこちらの方が多い？） – 人間の音声や楽器音はどうか？ 数学的な準備 21 音声ほどではないが，やは りガウス分布よりも急峻で 裾が長い →尖度が高い →ラプラス分布に近い？ 0 0.1 0.2 0.3 0.4 0.5 0.6 -5 -4 -3 -2 -1 0 1 2 3 4 5 ラプラス分布
- 22. • ガウス分布に従わない例（実はこちらの方が多い？） – 人間の音声や楽器音はどうか？ 数学的な準備 22 ガウス分布よりも急峻で裾 が長い →尖度が高い →コーシー分布っぽい 0 0.2 0.4 0.6 0.8 1 -5 -4 -3 -2 -1 0 1 2 3 4 5 コーシー分布
- 23. 数学的な準備 23 • 特徴のある信号のモデルがガウス分布であることは稀 – では，神のみぞ知る確率密度関数 に従う信号をどうやってモ デル化すればよいのか・・・ • 中心極限定理（central limit theorem） – どんな確率密度関数に従う信号でも足し合わせていくとガウス分 布になる • そんなばかな – 再びサイコロと音声信号を例にとって，中心極限定理を確認して みる 実は「信号の分布はガウス分布ではない」という性質が 極めて重要
- 24. 数学的な準備 24 • サイコロ1の出目を ，サイコロ2の出目を とする – いずれも集合{1, 2, 3, 4, 5, 6}の中から1つだけ値を取り，各値を 取る確率は1/6とする – 各サイコロを100万回振った結果 – では は？（2個のサイコロを振った時の出目の和）
- 25. 数学的な準備 25 • サイコロ1の出目を ，サイコロ2の出目を とする – いずれも集合{1, 2, 3, 4, 5, 6}の中から1つだけ値を取り，各値を 取る確率は1/6とする – 各サイコロを100万回振った結果 – では は？（n個のサイコロを振った時の出目の和）
- 26. 数学的な準備 26 • サイコロ1の出目を ，サイコロ2の出目を とする – いずれも集合{1, 2, 3, 4, 5, 6}の中から1つだけ値を取り，各値を 取る確率は1/6とする – 各サイコロを100万回振った結果
- 27. 数学的な準備 27 • サイコロ1の出目を ，サイコロ2の出目を とする – いずれも集合{1, 2, 3, 4, 5, 6}の中から1つだけ値を取り，各値を 取る確率は1/6とする – 各サイコロを100万回振った結果 – ではガウス分布となる（中心極限定理）
- 28. 数学的な準備 28 • 番目の話者の信号を とする – 振幅値[-1, 1] を取る離散信号 – 時間の添え字 は ，約3.3秒
- 29. 数学的な準備 29 • 番目の話者の信号を とする – 振幅値[-1, 1] を取る離散信号 – 時間の添え字 は ，約3.3秒
- 30. • 番目の話者の信号を とする – 振幅値[-1, 1] を取る離散信号 – 時間の添え字 は ，約3.3秒 数学的な準備 30
- 31. • 番目の話者の信号を とする – 振幅値[-1, 1] を取る離散信号 – 時間の添え字 は ，約3.3秒 数学的な準備 31
- 32. • 番目の話者の信号を とする – 振幅値[-1, 1] を取る離散信号 – 時間の添え字 は ，約3.3秒 数学的な準備 32 見事なガウス 歪度: 0.05 尖度: 3.36
- 33. 数学的な準備 33 • 中心極限定理（もう一度） – いかなる確率密度関数に従う信号も足し合わせていけばガウス 分布に従う値になる • サイコロの例では全て一様分布に従う確率変数（サイコロの出目）を足し合 わせたが，どんな分布でも良いし異なる分布に従う変数の和でも良い • 中心極限定理から導かれること – ガウス分布は「信号（要因等）が混ざっていくこと」の極限にある – どんな分布に従う信号でも，混ざった信号は必ずガウス分布に 近づいていく – 混ざる数が増えれば増えるほどガウス分布になる ガウス分布にどれくらい近いのかを示す量を使って 混ざった信号から混ざる前の信号を推定できるかも しれない 独立成分分析（ICA）の基本原理
- 34. 数学的な準備 34 • ガウス分布にどれくらい近いか（あるいは遠いか）の尺度 – 高次統計量（3次以降のモーメント） • ガウス分布は3次以降のモーメントが定数（歪度: 0，尖度: 3，・・・） – 音響信号のように零平均の信号を取り扱う場合，歪度は基本的 に0なのであてにはならない – そこで尖度（カートシス）をつかう – 確率変数 の平均を ，分散を とすると，尖度（カートシス）は 分散＝平均値周りの2次モーメント 平均値周りの4次モーメント 平均値周りの2次モーメントの2乗 ただし，ガウス分布のカートシスが3ではなく0になるように定義する主義もあるので 混同に注意（本講演では上記の定義でガウス分布のカートシスを3とします）
- 35. 数学的な準備 35 • ガウス分布にどれくらい近いか（あるいは遠いか）の尺度 – 調べたい信号のカートシスが3（ガウス分布のカートシス）に近い かどうかで判断 – 音声信号のように零平均の信号（歪度＝0）を扱う場合，非ガウ スナ分布はカートシスが3ではないと考えてよい • 3よりも大きいか小さい – 非ガウスな分布に従う信号を足し合わせていくとガウス分布に Kurtosis 3 ガウス分布 スーパーガウシアン （ガウス分布よりも裾が広い分布） ラプラス分布，コーシー分布等 サブガウシアン （ガウス分布よりも裾が狭い分布） 一様分布等 0 ∞
- 36. 数学的な準備 36 • なぜカートシスなのか？ – 高次統計量（3次以降のモーメント）全てを使えばよいのでは？ • 確かにその通りだが実用的な問題がある – 高次の統計量（5次，6次，7次，・・・）は値として非常に不安定 • 真の確率密度関数の高次統計量を精度よく推定するには膨大なサンプル が必要になる – カートシスも4次の統計量なので実はだいぶ不安定 • 平均0分散1の標準ガウス分布から生成した1000万個の乱数値に対して， 1個だけ200という値を混ぜた場合，カートシスは3から大きく外れて161.8と いう値になる • 高次統計量は外れ値に非常に敏感 • 安定した評価のためには非常に多くのサンプルがある方が望ましい – とはいえ，非ガウス性を測る最も簡単な尺度 – ICAにおける重要な値
- 37. 講演概要 37 • 自己紹介 • 独立成分分析による信号源分離 – 統計的独立性とは？（数学的な準備） • 確率密度関数，高次統計量，無相関と独立，中心極限定理，カートシス等 – 独立成分分析とそのアルゴリズム • ICAの歴史 • ICAの図解 • 独立性最大化による推定方法 • 独立成分分析の金融への応用 • まとめ
- 38. 独立成分分析とそのアルゴリズム 38 • ICAの歴史 – 1980年代: フランスの研究者らが中心 • 非線形無相関化（PCAの非線形版？），高次統計量（やはりPCAの拡張） – 1990年代中盤から世界的に広がる • 脳波解析，電波干渉除去，音源分離などの分野から発展 • 理論的枠組みの充実，効率的な最適化アルゴリズムなどが次々提案 • 国際会議ICA: 1999年から1年半毎に開催（現在はLVA/ICAという名前に） – 2000年代中盤には理論として成熟 • 音源分離においては十分な性能を安定して発揮できる段階まできている • 国際的な音源分離キャンペーン（SiSEC，サイセック）等も登場 – 今後の発展の可能性 • 非負値行列因子分解との関連の解明及び融合（私の博士研究内容） • より高残響な環境での音源分離 • 機械学習手法にインスパイアされた拡張手法の開発 等
- 39. 独立成分分析とそのアルゴリズム 39 • ICAとはそもそもなんなのか – 3つの仮定を用いて混合前の複数の独立成分（source）を推定 • 1. 独立成分は互いに統計的に「独立」である • 2. 独立成分は非ガウスな分布から生成されている • 3. 未知の混合行列は「正方行列」である 混合行列 独立成分 混合信号 1. 互い に独立 2. 非ガウス分布 2. 非ガウス分布 3. 正方行列 この混合過程は 連立方程式でかける 当然行列の掛け算 でもかける
- 40. 独立成分分析とそのアルゴリズム 40 • ICAとはそもそもなんなのか – 3つの仮定を用いて混合前の複数の独立成分（source）を推定 • 1. 独立成分は互いに統計的に「独立」である – とはいえ実用上は「完全に独立」でなくてもよく動くことが多い » 例えばある程度相関のある2つの成分（信号）の混合でも意外とよく分離できる • 2. 独立成分は非ガウスな分布から生成されている – 我々が興味のある特徴的な信号（音声，脳波，電波，株価変動？）は「完全なガ ウス分布」に従うことは恐らくない • 3. 未知の混合行列は「正方行列」である – これだけは大きな問題 – 推定したい成分（信号，要因）の数だけ観測が必要 » 例えば4人の話者の混合を分けたい場合，4つのマイクで録音した観測信号が 必要になる » 例えば為替を変動させた要因が3つあるのであれば，3つの為替データ（円米 ドル，円ユーロ，米ドルユーロ等）の観測が必要になる » すなわち推定したい成分の数はあらかじめわかっていることが前提
- 41. 独立成分分析とそのアルゴリズム 41 • ICAとはそもそもなんなのか – ICAで推定できないこと（曖昧性，不確定性） • 1. 独立成分の分散（パワー）は決定できない • 2. 独立成分の順序は決定できない ICA 分離系 混合信号独立成分 推定信号 ICA 分離系 混合信号独立成分 推定信号
- 44. 独立成分分析とそのアルゴリズム 44 • ICAの動作原理を図解（直観的な理解のため） – 混ざる前の2つのソース信号を2軸の散布図にしてみる – 混合前は互いに独立なソース信号なので相関は無く，平面上に 円状に分布（すでに若干楕円なのは音量（分散）が同じでないため）
- 45. • ICAの動作原理を図解（直観的な理解のため） – 混ざった後の2つの混合信号を2軸の散布図にしてみる – 混合後は独立性が失われ，信号間に相関が生じるので，平面上 に楕円状に分布 独立成分分析とそのアルゴリズム 45
- 46. 独立成分分析とそのアルゴリズム 46 • ICAの動作原理を図解（直観的な理解のため） – 1. 2つの観測信号（混合信号）を白色化する • Whitening，sphering等と呼ばれ分散共分散を単位行列化する変換 • 主成分分析（PCA）＋分散の正規化で実現可能 – 2. 2つの白色化した信号のカートシスが最大（非ガウス性が最 大）となるような回転行列を探す • ICAの最適化アルゴリズムによって実現可能 混合前のソース信号 混合後の観測信号 混合行列 白色化後の観測信号 白色化行列 回転後の分離信号 回転行列 分離行列
- 47. 独立成分分析とそのアルゴリズム 47 • ICAの動作原理を図解（直観的な理解のため） – 1. 2つの観測信号（混合信号）を白色化する • 白色化は観測信号の分散共分散行列が単位行列となるように変換する • 2つの観測信号 間の自己相関値 と相互相関値 は • の分散共分散行列 は 但し， の固有値と固有ベクトルは左図 0.0095 0.0009 主成分 第二成分
- 48. 独立成分分析とそのアルゴリズム 48 • ICAの動作原理を図解（直観的な理解のため） – 1. 2つの観測信号（混合信号）を白色化する • 白色化は観測信号の分散共分散行列が単位行列となるように変換する • 白色化の変換行列を とすると，白色化後の信号は • の分散共分散行列 が単位行列になるような を求める – の固有値分解として とすると 白色化行列 混合後の観測信号 白色化後の観測信号 無相関かつ 分散が両信号とも1
- 49. 独立成分分析とそのアルゴリズム 49 • ICAの動作原理を図解（直観的な理解のため） – 2. 2つの白色化した信号のカートシスが最大（非ガウス性が最 大）となるような回転行列を探す • 白色化された観測信号が互いに独立になるように回転する • 2次元における回転行列 は • 独立になるように回転＝ばってんが十字になる角度で回転 – そのような角度 をどうやって求めるのか？ 但し は反時 計回りを正と する 白色化後の観測信号 回転後の分離信号 両信号のカートシス が最大となる角度, すなわち両信号が 最も非ガウスになる 角度を見つける！
- 50. 独立成分分析とそのアルゴリズム 50 • ICAの動作原理を図解（直観的な理解のため） – 2. 2つの白色化した信号のカートシスが最大（非ガウス性が最 大）となるような回転行列を探す • 白色化された観測信号が互いに独立になるように回転する • 1度回転毎に両信号のカートシスをプロットすると 白色化後の観測信号 のカートシス のカートシス （ のカートシス）＋（ のカートシス） 回転変換 0° 90° 180° 270° 338°
- 51. 独立成分分析とそのアルゴリズム 51 • ICAの動作原理を図解（直観的な理解のため） – 2. 2つの白色化した信号のカートシスが最大（非ガウス性が最 大）となるような回転行列を探す • 白色化された観測信号が互いに独立になるように回転する • 回転行列 を とすると 白色化後の観測信号 回転後の分離信号 但し，分離信号 と スケールは適当に決めている
- 52. 独立成分分析とそのアルゴリズム 52 • ICAの動作原理を図解（直観的な理解のため） – 2. 2つの白色化した信号のカートシスが最大（非ガウス性が最 大）となるような回転行列を探す • 白色化された観測信号が互いに独立になるように回転する • 回転行列 を とすると 白色化後の観測信号 回転後の分離信号 但し，分離信号 と スケールは適当に決めている
- 53. 独立成分分析とそのアルゴリズム 53 • 先の例は事前に白色化（無相関化＋分散の正規化）を 施し，ICAを回転行列を求める問題に落とし込んでいる – 元々推定したかったのは混合された観測信号 を分離す る分離行列 と分離信号 – 「独立化」という変換を「白色化＋座標回転」という問題に落とし 込み，求めるべき変換行列（分離行列）を回転行列に限定 • 白色化はデータのみに依存するため，何の基準も無しにできる • 推定パラメータを削減（ の4つあったパラメータが のみ1つに） • 但し回転行列になるのは2次元の場合 • 一般的な次元の場合はユニタリ行列に限定されることに対応している – 回転角 を求める最適化を解くこともできるが，問題が限定的な ので本講演では割愛 を満たす行列
- 54. 独立成分分析とそのアルゴリズム 54 • より一般的なICAの解法として，分離信号間の独立性を 最大化する を直接勾配法で求める最適化法を紹介 • 解くべき問題は「分離信号間の独立性の最大化」 – 現在の状態と独立になった状態の距離を近づける – 確率分布間の距離＝カルバック・ライブラ（KL）ダイバージェンス – 上記の2状態の距離を最小化する分離行列 を推定する 近づける分離信号の結合分布 独立信号の結合分布
- 56. 独立成分分析とそのアルゴリズム 56 • 目的関数を最小化する分離行列 は勾配法で推定 – 目的関数を で偏微分して勾配を求め少しずつ下っていく 勾配: 目的関数 勾配を下る更新: 非線形関数 の意味 混合前の独立成分の分布 を確率変数に 関して微分した関数 神のみぞ知る分布であるし，混合前の信号は 通常手に入らないので決めようがない しかし実用上は「カートシスがガウス分布より高 いか低いか」で決めて良く，ICAは十分動く 音声のようにカートシスの高い信号には Sigmoid関数や双曲線正接関数が用いられる 勾配法による最適化のイメージ
- 57. 講演概要 57 • 自己紹介 • 独立成分分析による信号源分離 – 統計的独立性とは？（数学的な準備） • 確率密度関数，高次統計量，無相関と独立，中心極限定理，カートシス等 – 独立成分分析とそのアルゴリズム • ICAの歴史 • ICAの図解 • 独立性最大化による推定方法 • 独立成分分析の金融への応用 • まとめ
- 58. 独立成分分析の金融への応用 58 • ICAは「統計的独立性」を基に潜在的な特徴を見つけて いる • 金融のデータにICAを応用することは魅力的である – 共通の隠れた要因を持つと思われるような，並列に進行する金 融の時系列データが観測信号として使える • 例えば為替レートや同業界の株の売買価格など – ICAでそれらがどのように駆動しているか，その機構が見えるか もしれない？ A社の株価 B社の株価 C社の株価 その株価変動に潜 む要因とは？ 駆動させているも のは何か？
- 59. 独立成分分析の金融への応用 59 • 株ポートフォリオの研究成果（下記）では，ICAはデータ の隠れた構造をより直観的に観測する手段として，PCA を補完できることが示されている – PCAは2次統計量（分散）と直交性基準 – ICAは高次統計量基準と独立性基準 – 株価の最大限独立な混合（すなわち潜在的要因）を見つけること ができれば，今後の投資戦略に役立てられるかもしれない PCAで見つかる基底 ICAで見つかる基底 潜在的な因子の解析 には直交性基準は不 適切 A. D. Back and A. S. Weigend, “A first application of independent component analysis to extracting structure from stock returns,” Int. J. on Neural Systems, vol. 8, no. 4, pp. 473-484, 1997.
- 60. 独立成分分析の金融への応用 60 • 同一の小売チェーンに属する数点の現金の流れについ てICAを適用した例（下記） – 現金の流れに影響を与える「各店に共通な潜在的要因」を探る – 各店の現金流出入を時系列データ とする – 独立成分の混合は瞬時混合（時間遅れのない混合）を仮定 – この場合の「要因（独立成分）」とは，現実的には何だろうか？ • 休日，季節の遷移，年毎の流行等の時間的な変動要因 • 競合する他の店（ライバルチェーン店）や他の商品の商品価格変動 • その他，消費者全体のニーズの変化や購買意欲の変化等 – 要因は全ての店舗に独立に影響するが，各店の販促や宣伝の 違い等から影響の程度は異なる 個の要因（独立成分）が混合され， 店舗の現金流入として観測 独 立 K. Kiviluoto and E. Oja, “Independent component analysis for parallel financial time series,” Proc. Int. Con. on Neural Information Processing, vol. 2, pp. 895-898, 1998.
- 61. 独立成分分析の金融への応用 61 • 同一の小売チェーンに属する数点の現金の流れについ てICAを適用した例 – 各要因が各店舗にどのように影響したか（すなわち ）がわか れば，各店舗の経営方針が良いか悪いか判断できる – 混合割合 は混合行列 の要素なので，ICAで推定した分離 行列 の逆行列から近似的に得られる 40店舗の現金流入のうち5店舗をサンプ ルとして示している 零平均の信号とするため平均が引かれ ており，分散は1に正規化されている 横軸は時間（週）で140週にわたっている クリスマスは第51週
- 62. 独立成分分析の金融への応用 62 • 同一の小売チェーンに属する数点の現金の流れについ てICAを適用した例 – 40店舗分の信号はPCAで白色化され，4個の主成分に次元圧縮 しておく • ICAでは混合行列が正方行列でなければいけないため，推定したい独立成 分の個数になるまでPCAをかけて次元圧縮するのが一般的 – 独立成分の数を事前に決めておかなければならないのは実用上問題である – 観測データの固有値分布や累積特異値がヒントになる – いろいろな次元で試してみて，共通して現れる独立成分は信頼できる … 店舗1 店舗2 店舗3 店舗40 PCAで 次元圧縮 第一主成分 第二主成分 第三主成分 第四主成分 推定する独立成分の数に対応
- 63. 独立成分分析の金融への応用 63 • 同一の小売チェーンに属する数点の現金の流れについ てICAを適用した例 – ICAで推定された4つの独立成分 • 様々な解釈ができそう 休日などによる急激な変化 （クリスマスが顕著） ゆっくりとした季節変動？ （30～50週あたりの夏休みが顕著） 4段目よりもさらにゆっくりした変動 （年をまたぐ長期的な傾向） 他のどれとも異なる解釈の難しい変動 （競争相手との関係等？）
- 64. 独立成分分析の金融への応用 64 • 同一の小売チェーンに属する数点の現金の流れについ てICAを適用した例 – 独立成分の数を5つにしてICAで推定した結果との比較 • 3つはほぼ同じ，残りの1つが2つに分割されている
- 65. 独立成分分析の金融への応用 65 • 同一の小売チェーンに属する数点の現金の流れについ てICAを適用した例 – 先ほどの5つの独立成分を元々の各店舗の現金流入から引き算 元々の各店舗の現金流入 独立成分を引き算した各店舗 の現金流入 5つの要因以外の各店舗の現金流入 → 各店舗で何かを行ったその結果 「何か」を行って失敗している 「何か」を行って成功している
- 66. 独立成分分析の金融への応用 66 • この他，時系列データ予測（為替の値動き等）に用いた 例などもある（下記） – ICAで推定された独立成分に対して自己回帰モデル（ARモデル） を適用する – 独立成分は観測信号よりも少ない情報量で表現されがち • 値動きの主要な要因のみを用いて自己回帰する方が良い？ – とはいえ，ICAを用いた金融解析はそれほど盛んにもならず – ディープニューラルネットワークが三度復活し機械学習大ブーム 真っ只中の今となっては枯れたお話に・・・ S. Malaroiu, K. Kiviluoto and E. Oja, “Time series prediction with independent component analysis,” Proc. Int. Conf. on Advanced Investment Technology, 2000. ICA＋非線形平滑化 円米ドル ユーロ円 成分1 成分2 この先の値動き をARで予測 AR モデル
- 67. 講演概要 67 • 自己紹介 • 独立成分分析による信号源分離 – 統計的独立性とは？（数学的な準備） • 確率密度関数，高次統計量，無相関と独立，中心極限定理，カートシス等 – 独立成分分析とそのアルゴリズム • ICAの歴史 • ICAの図解 • 独立性最大化による推定方法 • 独立成分分析の金融への応用 • まとめ
- 68. まとめ 68 • 独立成分分析（independent component analysis: ICA） – 高次統計量に基づいた独立性最大化による信号分離 • PCAは2次統計量にのみ基づいた無相関化 – 白色化（無相関化＋分散の正規化）と非ガウス性最大化 – 今後金融への応用も期待される？機械学習ブームに勝てるのか？ – PCAよりも良い潜在的な特徴量（要因）を見つけることができる • 未紹介ですが画像処理分野の顔画像認識等においても，特徴量抽出で ICAが使われPCAより良いという報告があります – 音源分離界隈で1995年～2010年まで非常に研究された手法 • 今は？ 白色化 非ガウス性 最大化 私がやっておりますよ！