![LDA[blei et al.,2003]
サッカー日本代表が五輪に向けて合宿を…
経済 スポーツ 芸能
・Latent Dirichlet Allocation
・文章集合を生成する確率モデル（トピックモデル）
・文章ごとにトピック分布、トピックごとに単語分布を仮定
文章ごとのトピック分布 トピックごとの単語分布
サッカー 野球 五輪
ディリクレ分布(α) ディリクレ分布(β)](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-8-320.jpg)
![LDA[blei et al.,2003]
サッカー
日本
代表
五輪
文章数M
トピック数 T
単語分布(φ)
ディリクレ
分布(β)
トピック(y)
ディリクレ分布(α)
トピック分布(θ)
単語数Nd](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-9-320.jpg)
![Corr-LDA[blei et al.,2003]
yellow fish is swimming
in the sea
トピック：sea 単語分布
・LDAを応用すれば画像のラベルを自動でつけられる
LDA: トピックごとに単語分布
Corr-LDA: トピックごとに単語分布と画像の分布
LDA](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-12-320.jpg)
![Corr-LDA[blei et al.,2003]
yellow fish is swimming
in the sea
トピック：sea 単語分布
・LDAを応用すれば画像のアノテーションを自動でつけられる
LDA: トピックごとに単語分布
Corr-LDA: トピックごとに単語分布と画像の分布
Corr-LDA
画像のための分布
画像をサンプリング？](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-13-320.jpg)
![Corr-LDA[blei et al.,2003]
yellow fish is swimming
in the sea
トピック：sea 単語分布
・LDAを応用すれば画像のアノテーションを自動でつけられる
LDA: トピックごとに単語分布
Corr-LDA: トピックごとに単語分布と画像の分布
Corr-LDA
画像のための分布
SIFT特徴量をサンプリング
特徴量A
特徴量K
特徴量J](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-14-320.jpg)
![画像の特徴抽出
Step1.SIFT特徴量[D.G,Lowe1999]を抽出
SIFT特徴量の抽出(拡大縮小、回転、明暗に強い)](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-15-320.jpg)
![画像の特徴抽出
Step1.SIFT特徴量[D.G,Lowe1999]を抽出 Step2.クラスタリングにより分類
SIFT特徴量の抽出(拡大縮小、回転、明暗に強い)](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-16-320.jpg)
![画像の特徴抽出
特徴量A
特徴量C
特徴量B
Step1.SIFT特徴量[D.G,Lowe1999]を抽出 Step2.クラスタリングにより分類
SIFT特徴量の抽出(拡大縮小、回転、明暗に強い)](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-17-320.jpg)
![Corr-LDA[blei et al.,2003]
yellow fish is swimming
in the sea
トピック：sea 単語分布
Corr-LDA
特徴量分布
SIFTで抽出した特長量をサンプリング
特徴量A
特徴量K
特徴量J
画像を特徴点で表現したことで、単語のように扱える！
( Bag-of-Words ならぬ Bag-of-Features )
特徴量A
特徴量K
特徴量J](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-18-320.jpg)
![Corr-LDA[blei et al.,2003]
yellow
fish
swim
sea
データ数
トピック数
単語分布(φ)
ディリクレ
分布(β)
トピック(y)
ディリクレ分布(α)
トピック(z)
トピック分布(θ)
特徴量数単語数
特徴量A
特徴量K
特徴量J
特徴量分布(Λ)](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-19-320.jpg)
![fMRI
fMRI(functional Magnetic Resonance Imaging)
脳の血流動態反応を視覚化し、脳活動をイメージング
非侵襲的な手法として2009年頃から中心的な計測法となる
[smith et al.,2009]
RestingState(安静時状態)
何もしていない状態の脳活動
脳の様々な部位が活動していることが解ってきている
[Michael D. Fox and Michael Greicius.2010]](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-23-320.jpg)
![fMRIによる脳機能地図作成
fMRIによる脳機能地図の作成
認知時のfMRIとRestingStateを比較することで(不)活性化した部位を調べる
[smith et al.,2009]
問題点：１つの動作に複数の認知機能が含まれる
[Michael D. Fox and Michael Greicius.2010]
既存の研究結果を解析（メタ解析）して脳機能地図を作る](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-24-320.jpg)
![Corr-LDA[blei et al.,2003]
yellow
fish
swim
sea
データ数
トピック数
単語分布(φ)
ディリクレ
分布(β)
トピック(y)
ディリクレ分布(α)
トピック(z)
トピック分布(θ)
特徴量数単語数
特徴量A
特徴量K
特徴量J
特徴量分布(Λ)](https://image.slidesharecdn.com/mlcvnlp-generalizedcorrespondence-ldamodelsgc-ldaforidentifyingfunctionalregionsinthebrain-170618003407/85/ML-CV-NLP-generalized-correspondence-lda-models-gc-lda-for-identifying-functional-regions-in-the-brain-28-320.jpg)
ML,CV,NLP関連論文読み会 (generalized correspondence-lda models (gc-lda) for identifying functional regions in the brain)
- 1. “Generalized Correspondence-LDA Models (GC-LDA) for Identifying Functional Regions in the Brain” ML,CV,NLP関連論文読み会@ABEJA 2017/06/18 慶應義塾大学 水口達矢
- 2. 自己紹介 名前 ＊ 水口達矢(慶應義塾大学 榊原研究室 M1) 研究内容 ＊ 電子カルテから自動診断(データベース、自然言語処理) 趣味 ＊ 歌を歌う、フットサル
- 3. 目次 LDAとCorr-LDAについて ＊ LDAで文書分類 ＊ Corr-LDAで画像の自動アノテート 脳について ＊ 脳機能地図とfMRI 本研究について ＊ corr-LDAをfMRIに応用 ＊ Generalized corr-LDA(GC-LDA) 論文の主旨…LDAを用いて脳機能を解析する
- 4. 目次 LDAとCorr-LDAについて ＊ LDAで文書分類 ＊ Corr-LDAで画像の自動アノテート 脳について ＊ 脳機能地図とfMRI 本研究について ＊ corr-LDAをfMRIに応用 ＊ Generalized corr-LDA(GC-LDA) 論文の主旨…LDAを用いて脳機能を解析する
- 7. 統計的潜在意味解析 ・データの背後にある意味（トピック）を統計的に解析する手法 ・トピックモデル：LSI、 PLSI、LDA 日本経済の緩やかな景気回復が続き… サッカー日本代表が五輪に向けて合宿を… 女優のAさんが電撃結婚！その経緯は？… ネットNews 記事を選択 なるべく「スポーツ」の記事を紹介したい 各文章にトピックを割り当てる スポーツ が読みたい！ 経済 スポーツ 芸能 スポーツのトピックが多く含まれているものを紹介する
- 8. LDA[blei et al.,2003] サッカー日本代表が五輪に向けて合宿を… 経済 スポーツ 芸能 ・Latent Dirichlet Allocation ・文章集合を生成する確率モデル（トピックモデル） ・文章ごとにトピック分布、トピックごとに単語分布を仮定 文章ごとのトピック分布 トピックごとの単語分布 サッカー 野球 五輪 ディリクレ分布(α) ディリクレ分布(β)
- 9. LDA[blei et al.,2003] サッカー 日本 代表 五輪 文章数M トピック数 T 単語分布(φ) ディリクレ 分布(β) トピック(y) ディリクレ分布(α) トピック分布(θ) 単語数Nd
- 10. 目次 LDAとCorr-LDAについて ＊ LDAで文書分類 ＊ Corr-LDAで画像の自動アノテーション 脳について ＊ 脳機能地図とfMRI 本研究について ＊ corr-LDAをfMRIに応用 ＊ Generalized corr-LDA(GC-LDA)
- 11. 画像の自動アノテーション ・画像に自動で情報(ラベル)をつけるタスク ・Corr-LDA、CNN+RNNなどの手法が提案 nature sea mountain tree 生成 Step２.アノテーションの自動生成 画像 yellow fish is swimming in the sea 画像 ラベル Step1.画像とラベルの関係を学習 ラベル
- 12. Corr-LDA[blei et al.,2003] yellow fish is swimming in the sea トピック：sea 単語分布 ・LDAを応用すれば画像のラベルを自動でつけられる LDA: トピックごとに単語分布 Corr-LDA: トピックごとに単語分布と画像の分布 LDA
- 13. Corr-LDA[blei et al.,2003] yellow fish is swimming in the sea トピック：sea 単語分布 ・LDAを応用すれば画像のアノテーションを自動でつけられる LDA: トピックごとに単語分布 Corr-LDA: トピックごとに単語分布と画像の分布 Corr-LDA 画像のための分布 画像をサンプリング？
- 14. Corr-LDA[blei et al.,2003] yellow fish is swimming in the sea トピック：sea 単語分布 ・LDAを応用すれば画像のアノテーションを自動でつけられる LDA: トピックごとに単語分布 Corr-LDA: トピックごとに単語分布と画像の分布 Corr-LDA 画像のための分布 SIFT特徴量をサンプリング 特徴量A 特徴量K 特徴量J
- 17. 画像の特徴抽出 特徴量A 特徴量C 特徴量B Step1.SIFT特徴量[D.G,Lowe1999]を抽出 Step2.クラスタリングにより分類 SIFT特徴量の抽出(拡大縮小、回転、明暗に強い)
- 18. Corr-LDA[blei et al.,2003] yellow fish is swimming in the sea トピック：sea 単語分布 Corr-LDA 特徴量分布 SIFTで抽出した特長量をサンプリング 特徴量A 特徴量K 特徴量J 画像を特徴点で表現したことで、単語のように扱える！ ( Bag-of-Words ならぬ Bag-of-Features ) 特徴量A 特徴量K 特徴量J
- 20. 目次 LDAとCorr-LDAについて ＊ LDAで文書分類 ＊ Corr-LDAで画像の自動アノテート 脳について ＊ 脳機能地図とfMRI 本研究について ＊ corr-LDAをfMRIに応用 ＊ Generalized corr-LDA(GC-LDA)
- 23. fMRI fMRI(functional Magnetic Resonance Imaging) 脳の血流動態反応を視覚化し、脳活動をイメージング 非侵襲的な手法として2009年頃から中心的な計測法となる [smith et al.,2009] RestingState(安静時状態) 何もしていない状態の脳活動 脳の様々な部位が活動していることが解ってきている [Michael D. Fox and Michael Greicius.2010]
- 24. fMRIによる脳機能地図作成 fMRIによる脳機能地図の作成 認知時のfMRIとRestingStateを比較することで(不)活性化した部位を調べる [smith et al.,2009] 問題点：１つの動作に複数の認知機能が含まれる [Michael D. Fox and Michael Greicius.2010] 既存の研究結果を解析（メタ解析）して脳機能地図を作る
- 25. 目次 LDAとCorr-LDAについて ＊ LDAで文書分類 ＊ Corr-LDAで画像の自動アノテート 脳について ＊ 脳機能地図とfMRI 本研究について ＊ corr-LDAをfMRIメタ解析に応用 ＊ Generalized corr-LDA(GC-LDA)
- 27. auditory adaptivity effector function Corr-LDA + fMRI Corr-LDAでfMRIメタデータを学習、トピックを取り出す Step２.トピックを取り出し、fMRI画像の特徴量とアノテーションを観察 fMRI画像 ラベル Step1.fMRI画像とアノテーションの関係を学習 特徴量分布 language semantic sentence ラベル
- 30. Data 1. 多変量ガウス分布 認知機能はある地点を中心に分布すると仮定 2. 対称的な多変量混合ガウス分布 左右対象である認知機能を考慮 トピック数 単語分布(φ) ディリクレ 分布(β) 特徴量分布(Λ) Generalized Correspondence-LDA Models (GC-LDA) 特徴量分布として2つの分布を試す
- 31. Data 1. 多変量ガウス分布 認知機能はある地点を中心に分布すると仮定 2. 対称的な多変量混合ガウス分布 左右対象である認知機能を考慮 トピック数 単語分布(φ) ディリクレ 分布(β) 特徴量分布(Λ) Generalized Correspondence-LDA Models (GC-LDA) 特徴量分布として2つの分布を試す
- 32. Data トピック数 単語分布(φ) ディリクレ 分布(β) 特徴量分布(Λ) 1. 多変量ガウス分布 認知機能はある地点を中心に分布すると仮定 2. 対称的な多変量混合ガウス分布 左右対象である認知機能を考慮 Generalized Correspondence-LDA Models (GC-LDA) 特徴量分布として2つの分布を試す 左右の偏りはあっても良い
- 35. Generalized Correspondence-LDA Models (GC-LDA) データ数 トピック数 単語分布(φ) ディリクレ 分布(β) トピック(y) ディリクレ分布(α) トピック(z) トピック分布(θ) 特徴量数単語数 (x1,y1,z1)(x2,y 2,z2) (x3,y3,z3) 特徴量分布(Λ) auditory semantic effector language γ γ…トピック(y)からトピック(z)が生成される、という制約を緩める
Editor's Notes
- #3: 紹介する論文は研究とは少し離れた分野、画像寄り、生物寄り
- #5: 統計的潜在意味解析を説明
- #6: 統計的潜在意味解析→トピックモデル その使用例をあげる いろんな分野の情報がある。 スポーツ好きな利用者にスポーツの記事を紹介したい。
- #7: トピックを決めて、記事を色分けする サッカー青
- #8: 特にLDAについて詳しく話す
- #9: ここではスポーツ→サッカーの生成過程 確かにこの分布が妥当っぽい 実際にはEMアルゴリズムを用いたMAP推定、ギブスサンプリングで分布が決まる→トピックを取り出す
- #10: グラフィカルモデル
- #12: つまり、情報のない画像にアノテーションを付加するタスク 画像検索などに使われる
- #13: Corr-LDAとは何か
- #14: Corr-LDAではトピックごとに画像の分布を設ける 画像の生成、サンプリングってどうするの？ deConvが流行っているが。。。 ：topicの名前
- #15: Corr-LDA原論文ではSIFTという特徴量を使っている
- #16: 画像から特徴量抽出
- #20: グラフィカルモデル
- #22: ヒトが人たる所以は他の動物にはない大脳皮質の発達 グリア細胞は主にニューロンに栄養を送る役割
- #23: いろいろな感情や思考をつかさどる脳 脳は普遍的になっているのではなく、部位ごとに機能が分かれている 認知神経科学の分野では脳機能の地図を作ることが大きなタスクの１つ 1861年、運動機能も知恵も聡明だが、言語障害を持った患者がブローカの元を訪れた。 結局その方は亡くなったが、その後の解剖で前頭葉の一部に脳梗塞 昔はつついて（壊して）いた そのあとは染色したり（ブロードマンの脳地図） しかし、最近大きなブレークスルーが起こる
- #24: CTライクに脳の活動を観測することができる もちろん非侵襲的で患者へのダメージはほとんど無い fMRIによって何もしていない状態でも脳が活動していることが判明 これをRestingStateという
- #25: fMRIとRestingStateで脳機能地図を作成できる しかし問題点が 例えば料理を食べている映像を見せる→視覚だけでなく、感情、味覚が働く→どの認知機能がどの部位なのか判断しづらい（右上図） 花を見せている研究でも同じ場所が働いていれば、そこは視覚？
- #26: 脳機能地図の作成のためのメタ解析にCorr-LDAを使用した
- #27: アノテーションは実際には文章だがストップワードを除去して単語の集合にしている
- #28: これが複数の研究結果を反映した脳機能地図になっている
- #29: Corr-LDAの復習
- #30: Corr-LDAと同じことをやる 違うのは画像の特徴量が位置であること そして分布としてガウス分布を用いる（１つのトピックは、ある地点を中心に分布しているという考え方）
- #33: 左右の偏りはあってもよい そういった意味で、２は１を包括しているとも言える
- #34: トピックの特徴量分布と単語分布を取り出せばそれが脳機能地図になっている
- #35: 実際の結果がこちら A1はきちんと言語野が取れている 聴覚野であるA4がうまく取れてこない（これは聴覚野が左右両方にあってA3と競合したため） 一方でC3では聴覚野がうまく取れている
- #36: もう一つGC-LDAで改善された点が パラメータγを入れる。γが大きいほど、制約がゆるくなる