121218 zansa13 for web
- 1. Dec. 18, 2012 第13回 Zansa 勉強会 独立成分分析 ー その概念と有用性について ー 東京大学大学院 工学系研究科 システム創成学専攻 博士課程1年 安川 和孝 1
- 2. 1. Introduction アメリカ合衆国・テキサスA&M大学 自己紹介 氏名 安川 和孝 所属 東京大学大学院 工学系研究科 システム創成学専攻 専門分野 深海底掘削船 JOIDES Resolution号 資源地質学，古環境学 (深海底堆積物の化学分析) “地球の環境はなぜ・どのように変動してきたのか？” 趣味 フットサル Twitter @kaz__83 From website of the ODP/TAMU 2
- 3. 2. 多変量解析とは？ 一般論 多変量解析：1つの観測値に複数の属性があるデータを対象として， 標本間や変数間の関係を読み解くための手法 要するに， 観測値が持つ情報をなるべく少ない変数で表現したい 3
- 4. 2. 多変量解析とは？ よく使われる多変量解析手法 ①主成分分析 観測されたデータ x を xi = ai1 s1 + ai2 s2 + ･･･ + aik sk という形に分解する ■ 主成分 si の線形和で，データの分散をなるべく多く説明する ■ 各主成分 si は，ガウス分布 (正規分布) に従うと仮定 数個の主成分でデータの分散の大部分が説明できれば， それらを用いてデータの大幅な次元縮約ができて便利！ 4
- 5. 2. 多変量解析とは？ よく使われる多変量解析手法 ②因子分析 観測されたデータ x を xi = ai1 s1 + ai2 s2 + ･･･ + aik sk + ni という形に分解する ■ 共通因子 si の線形和と独自因子 (雑音) n に分けて考える ■ 共通因子・独自因子ともに，ガウス分布 (正規分布) に従うと仮定 観測データに雑音が混じる場合を扱うことができる 5
- 6. 2. 多変量解析とは？ 素朴な疑問 世の中の物事って，そう上手いことガウス分布に従うのか？ 恐らく，多くの場合において答えは NO そんな中，データの「非ガウス性」に着目したのが 独立成分分析 と呼ばれる解析手法 6
- 8. 3. 独立成分分析とは何ぞや カクテルパーティ効果 心理学的には… “選択的注意” と呼ばれる脳の高次機能 工学的には… 観測された混合信号から原信号を復元する 信号処理の問題 実際にその処理を行うには，具体的にどうすれば良いのか？ 8
- 9. 3. 独立成分分析とは何ぞや Blind Source Separation; 暗中信号源分離 x1 a11 a12 s1 a13 x2 s2 x3 s3 x4 x1 (t) = a11s1 (t) + a12 s2 (t) + a13s3 (t) 行列で表現すると x2 (t) = a21s1 (t) + a22 s2 (t) + a23s3 (t) x3 (t) = a31s1 (t) + a32 s2 (t) + a33s3 (t) x = As … A,s : 未知 x4 (t) = a41s1 (t) + a42 s2 (t) + a43s3 (t) 観測された信号は，それぞれの原信号がある荷重で混合したもの 9
- 10. 3. 独立成分分析とは何ぞや Blind Source Separation; 暗中信号源分離 x1 a11 a12 s1 a13 x2 s2 x3 s3 x4 もし A が分かったら… s1 (t) = w11 x1 (t) + w12 x2 (t) + w13 x3 (t) + w14 x4 (t) s2 (t) = w21 x1 (t) + w22 x2 (t) + w23 x3 (t) + w24 x4 (t) s = Wx s3 (t) = w31 x1 (t) + w32 x2 (t) + w33 x3 (t) + w34 x4 (t) となる A の逆行列 W を求めればよい 10
- 11. 3. 独立成分分析とは何ぞや Blind Source Separation; 暗中信号源分離 x1 a11 a12 s1 a13 x2 s2 x3 s3 x4 もし A が分かったら… s1 (t) = w11 x1 (t) + w12 x2 (t) + w13 x3 (t) + w14 x4 (t) s2 (t) = w21 x1 (t) + w22 x2 (t) + w23 x3 (t) + w24 x4 (t) s = Wx s3 (t) = w31 x1 (t) + w32 x2 (t) + w33 x3 (t) + w34 x4 (t) となる A の逆行列 W を求めればよい 具体的な混合過程が分からない状態でも，原信号を復元したい 11
- 12. 3. 独立成分分析とは何ぞや Blind Source Separation; 暗中信号源分離 x1 a11 a12 s1 a13 x2 s2 x3 s3 x4 実は… 「s1 , s2 , s3 は統計的に独立」 「s1 , s2 , s3 は非ガウス分布に従う」 という仮定だけで，原信号 s を求めることができる 12
- 13. 3. 独立成分分析とは何ぞや 「統計的に独立」の定義 fXY (x, y) = fX (x) fY (y) X は Y に関する情報を持たない f : 確率密度関数 ＝ 確率変数 X , Y は独立 「無相関 ⇒ 独立」ではない 【無相関な一様分布による例】 ’ 直交行列をかけて回転 ’ x1 が分かっても x2 の情報は得られない x1’が分かると x2’ の範囲が絞られる x1 と x2 は独立 x1’ と x2’ は無相関だが独立ではない 13
- 14. 3. 独立成分分析とは何ぞや 「独立 ⇒ 無相関」は成り立つ この条件から，独立成分を探す範囲を絞り込むことができる 直交変換：z = Vx により 変数が無相関になるように 基底 (軸) の取り方を変える 中心周りに回転させていくと， 軸がそのまま独立成分となる角度が どこかにある！ 変数が互いに無相関となる基底の集合の中に，求める独立成分もあるはず！ でも... 新しい変数が無相関となる基底の取り方は無数にある (軸の回転が可能) その中からどうやって求める独立成分を見つけ出すのか？ そこで，「非ガウス性」に着目！ 14
- 15. 3. 独立成分分析とは何ぞや 「非ガウス性」に着目して独立成分を見つける 観測値を直交変換：z = Vx = VAs = Ãs 中心極限定理 æ z ö æ a s +a s ö zi は独立な起源成分の線形和：ç 1 ÷ = ç 11 1 12 2 ç z2 ÷ ç a21s1 + a22 s2 ÷ ÷ è ø è ø z1 の確率分布 s1 の確率分布 zi は確率変数 si の和なので，その確率分布は どの si の分布よりもガウス分布に近づいている 最もガウス分布から離れるような zi は，起源成分の1つに一致するはず！ 15
- 16. 3. 独立成分分析とは何ぞや 具体的な手順は2つ：「白色化」と「回転」 ①観測データを無相関化 Whitening ②分散を1に正規化 ①, ②を併せて 白色化 という ③基底を原点周りに回転 Rotation 変数の分布 (ヒストグラム) が 最もガウス分布から離れる 池田・村田 (1998) 基底が独立成分となる！ 16
- 17. 3. 独立成分分析とは何ぞや 具体的な手順は2つ：「白色化」と「回転」 「非ガウス性」を測る Whitening 同じ平均・分散を持つガウス分布に従う ①観測データを無相関化 変数との差分の累積が最大となればよい ③基底を原点周りに回転 Rotation 変数の分布 (ヒストグラム) が 最もガウス分布から離れる 池田・村田 (1998) 基底が独立成分となる！ 17
- 18. 3. 独立成分分析とは何ぞや まとめるとこんなイメージ 未知の割合で混合した観測信号から 「独立・非ガウス的」という仮定のみに基づき 原信号を復元することができる！ 18
- 19. 4. 独立成分分析の応用事例 脳科学分野：脳磁図の分離 【独立成分分析により得られた9成分】 歯の噛み締め 観測信号から Artifact を分離する 歯の噛み締め 【実験的にArtifactを加えた観測信号】 眼球の水平運動 心拍 眼球の水平運動 まばたき 歯の噛み締め まばたき 呼吸・その他 呼吸・その他 デジタル 腕時計 センサ不良によるノイズ Hyvärinen et al. (2000) 19
- 20. 4. 独立成分分析の応用事例 情報科学分野：画像処理 原画像 原画像にノイズを加えたもの 独立成分分析の原理を用いた ノイズ除去の結果は，古典的 手法よりも良く原画像を復元 独立成分分析の原理を用いた 古典的手法 (ウィーナフィルタ) ノイズ除去の結果 を用いたノイズ除去の結果 ※実際の処理には今日の説明の内容を越える 複雑な計算を含んでいます Hyvärinen et al. (2000) 20
- 21. 4. 独立成分分析の応用事例 【独立成分分析を施した結果】 経済学分野：金融時系列データの解析 クリスマス 同じ小売チェーンに属する各店舗の 競合店との相対的 キャッシュフローを支配する要因は？ 競争力を反映？ 【元データの一部 (40店舗中の5店舗)】 長期トレンド？ 独立成分分析により 夏のバカンス 4個の独立成分を抽出 【個々の店舗のマネジメントを反映】 共通の独立成分を 元データから差し引く 時間 (週) ※縦軸は平均を引き分散1に正規化したキャッシュフロー Kiviluoto & Oja (1998) 21
- 22. 5. 留意点 得られた独立成分には不定性が残る 独立成分は方向しか決められない s をスカラー倍しても混合行列 A で相殺される 独立成分の順位を決めることはできない 混合行列 A の取り方次第で s の要素が入れ替わる 他の多変量解析手法との関連 主成分分析や因子分析は，独立成分分析の前処理 (白色化) に使える 独立成分分析が絶対的に優れているわけではない！ それぞれの手法に特性があるので，目的に応じた使い分けが必要！ 22
- 23. 6. まとめ ■ 独立成分分析とは「原信号が統計的に独立かつ非ガウス的」 という仮定のみから，観測信号を独立な成分に分解する手法 ■ きちんとその特性を理解した上で応用すれば，様々な分野で 古典的な解析手法では見えなかった情報が見えてくるはず！ 23
- 24. 7. 参考資料 Aapo Hyvärinen et al. 著，根本幾・川勝真喜 訳 (2005) 「詳解 独立成分分析 信号解析の新しい世界」 東京電機大学出版局, 532pp. 村田昇 (2004)「入門 独立成分分析」 東京電機大学出版局, 246pp. 池田思朗・村田昇 (1998) Independent Component Analysisを用いたMEGデータの解析． 電子情報通信学会技術研究報告. HIP, ヒューマン情報処理 98(131), 29-36. Hyvärinen, A. and Oja, E. (2000) Independent component analysis: algorithms and applications. Neural Networks, 13, 411-430. Kiviluoto, K. and Oja, E. (1998) Independent component analysis for parallel financial time series. In Proc. Int. Conf. on Neural Information Processing (ICONIP’98), 2, 895-898. 24
- 25. ご清聴ありがとうございました 25