【機械学習プロフェッショナルシリーズ】グラフィカルモデル２章
Download as PPTX, PDF•3 likes•561 views
機械学習プロフェッショナルシリーズ、グラフィカルモデルの第２章です。
【機械学習プロフェッショナルシリーズ】グラフィカルモデル２章
- 2. 本書の構成 • 1章 • グラフィカルモデルの導入 • 2章 • 確率論の基礎的な事項(条件付き確率、条件付き独立) • 3,4章 • ベイジアンネットワーク/マルコフ確率場 • 5章 • 因子グラフ • 6,7,8章 • 確率推論 • 9,10,11章 • パラメタ学習 • 12, 13章 • MAP推定 • 14章 • 構造学習
- 4. 確率論の基礎 定義2.1 : σ-加法族 集合Ω その部分集合族𝙁 が以下の3つの条件を満たすとき、σ-加法族とい う。 1. Ω ∈ 𝙁 2. 𝐴 ∈ 𝙁 ならばΩ＼ 𝐴 ∈ 𝙁 が成立 3. 𝙁の加算個の元𝐴1, 𝐴1, 𝐴1 …に対して、∪𝑖 𝐴𝑖 ∈ 𝙁 が成立 組(Ω,𝙁)は可測空間、𝙁の元は可測集合と呼ばれる。
- 5. 確率論の基礎 定義2.2 :確率空間 集合Ω と、その部分集合族𝙁からなるσ-加法族が与えられているとする。𝙁か ら実数への写像Pが確率であるとは、以下の3つの条件(コルモゴロフの公理)を 満たすことである。 1. 任意の𝐴 ∈ 𝙁に対して、0 ≤ 𝑃(𝐴) ≤ 1 2. P(Ω) = 1 3. 互いに素な𝐴1, 𝐴1, 𝐴1 …に対して、P(∪𝑖 𝐴𝑖) = 𝑖 𝑃(𝐴𝑖) ∈ 𝙁 が成立 集合Ωは標本空間、三つ組(Ω,𝙁, P)は確率空間と呼ばれる 離散と連続に本質的に大きな違いはない。以下では、まず離散について説明し、 その後連続について説明する
- 6. 確率論の基礎 定義2.3 : 離散的な確率変数 写像X ∶ Ω → 𝑍 が確率変数であるとは、任意の𝑥 ∈ 𝑍に対して、写像 𝑋−1({𝑥})が可測集合であることをいう。
- 7. 確率変数の分布関数 確率分布関数(確率質量関数) 𝑃(𝑋 = 𝑥) 同時確率分布関数(同時確率質量関数) 𝑃(𝑋 = 𝑥, 𝑌 = 𝑦) 周辺化 𝑦 𝑃(𝑋 = 𝑥, 𝑌 = 𝑦) = 𝑃(𝑋 = 𝑥)
- 8. 2.2 確率変数の独立性 定義2.4 確率変数の独立性 確率変数𝑋1 ∶ Ω → 𝑍, 𝑋2 ∶ Ω → 𝑍が任意の𝐵1, 𝐵2 ⊂ 𝑍に対して、 𝑃(𝑋1 ∈ 𝐵1, 𝑋2 ∈ 𝐵2) = 𝑃(𝑋1 ∈ 𝐵1)𝑃(𝑋2 ∈ 𝐵2) を満たすとき、X1, X2は独立であるといい、以下のように表記する。
- 9. 2.3 条件付き確率 確率空間(Ω, 𝙁, P)とその上の確率変数Xがあるとします。今、「確率変数X の値がBの中に入っている」という条件付けを考える。すなわり、Ωの部分 集合 𝑄 𝐵 𝐴 = 𝑃( ω∈ Ω ω∈𝐴,𝑋 ω ∈𝐵}) 𝑃(𝑋∈𝐵) 𝑓𝑜𝑟 𝑎𝑙𝑙 𝐴 ∈ 𝐹 𝑋−1(𝐵) = {𝜔 ∈ Ω | 𝑋(𝜔) ∈ 𝐵} の確率を1に規格化し直し、 X(ω) ∈ B以外の確率を0にする。 式このことを表現すると、条件つき確率はQBの定義は、 で与えられます。
- 10. 2.3 条件付き確率 𝑃 𝑋 = 𝑥 𝑌 = 𝑦 = 𝑃(𝑋 = 𝑥, 𝑌 = 𝑦) 𝑃(𝑌 = 𝑦) X,Yが離散的な確率変数の場合、Y=yの事象が観測されたとすると、 X=xの確率は、以下のように表現される
- 12. おしまい