![[PRML] パターン認識と機械学習（第3章：線形回帰モデル）](https://cdn.slidesharecdn.com/ss_thumbnails/prmlchapter3-171003081954-thumbnail.jpg?width=560&fit=bounds)
![[PRML勉強会資料] パターン認識と機械学習 第３章 線形回帰モデル (章頭-3.1.5)(p.135-145)](https://cdn.slidesharecdn.com/ss_thumbnails/prmlp-150228215621-conversion-gate01-thumbnail.jpg?width=560&fit=bounds)
Study AIラビットチャレンジ 機械学習
- 2. 線形回帰モデル
- 5. 非線形回帰モデル
- 6. 非線形回帰モデルの要約 非線形回帰モデルとは 一般的にデータの構造を線形でとらえられる場合は限られるため、複雑な非線形構造を数式で表現することが必要。回帰関数として、基底関数と呼ばれる既知の非線 形関数とパラメータベクトルの線型結合を使用することで非線形構造の表現が可能（基底展開法）。 非線形モデルの一般式 基底関数 誤差 よく使われる既定関数 多項式規定関数 ガウス型規定関数 非線形回帰モデルにおける行列表現 規定展開法により表現された非線形回帰も線形回帰と同じ 枠組みで推定可能 未学習(underfitting)と過学習(overfitting) ・ 学習データに対して、十分小さな誤差が得られないモデル→未学習 ・ 小さな誤差は得られたけど、テスト集合誤差との差が大きいモデル→過学習 未学習はより表現力の高い モデルの使用により改善。過 学習は学習データの増加、 不要な基底関数の削除、 正則化法の利用により改善 が見込まれる。 汎化性能 学習に使用した入力だけでなく、これまで見たことのない新たな入力に 対する予測性能。学習誤差ではなく汎化誤差(テスト誤差)の小さい モデルが実運用においては良いモデルとなる。汎化誤差は学習データとは 別に収集された検証データでの性能を測ることで推定される 訓練誤差 テスト誤差 学習誤差 訓練誤差 test train 学習誤差 訓練誤差 学習誤差 訓練誤差 test train test train 未学習 過学習 適切
- 8. ロジスティック回帰モデル
- 10. 分類問題の評価指標について 混同行列（confusion matrix） 各検証データに対するモデルの予測結果を4つの観点(表)で分類し、それぞれに当てはまる予測結果の個数をまとめた表。 正答率（accuracy） 表情から怪しい人物を検知する動画分析ソリューションの例 正解した数/ 予測対象となった全データ数。分類したいクラスに偏りがある場合、単純な正答率はあまり意味をなさない。 正答率 = 例）メールのスパム分類 スパム数が95件、普通のメールが5件であった場合、全てをスパムとする分類器の正解率は95% 再現率（recall） 適合率（Precision） F値（F score） ・「本当にPositiveなもの」の中からPositiveと 予測できる割合(NegativeなものをPositiveと してしまう事象については考えていない) ・「誤り(False Positive)が多少多くても 抜け漏れは少ない」予測をしたい際に利用 再現率 ＝ ・モデルが「Positiveと予測」したものの中で本当に Positiveである割合(本当にPositiveなものを Negativeとしてしまう子については考えていない) ・見逃し(False Negative)が多くてもより正確な 予測をしたい際に利用 適合率＝ ・再現率と適合率はトレードオフの関係にあり、どちらかを 小さくすると、もう片方の値が大きくなってしまうため、 再現率と適合率のバランスをとるため、調和平均を F値として評価指標とする ・高ければ高いほどRecallとPrecisionがともに高くなる F値
- 12. 各手法の要約 主成分分析とは 相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法。 データの次元を削減するために用いられる。 主成分を与える変換は、第一主成 分の分散を最大化し、続く主成分は それまでに決定した主成分と直交す るという拘束条件の下で分散を最大 化するようにして選ばれる。 寄与率 第k主成分の分散の全分散に対する割合。第1-k主成分まで圧縮した際の 情報損失量の割合は累積寄与率と呼ばれる。 k近傍法（kNN）とは 与えられた学習データをベクトル空間上にプロットしておき、未知のデータが 得られたら、そこから距離が近い順に任意のk個を取得し、その多数決で データが属するクラスを推定するというアルゴリズム。 k-meansとは 与えられたデータをk個のクラスタに分類するクリスタリング手法（教師なし学習） ・kの値が変わると結果が変わる ・kを大きくすると決定境界は滑らかになる k-meansのアルゴリズム ① 各クラスタ中心の初期値を設定する ② 各データ点に対して、各クラスタ中心との距離を計算し、最も距離が近いクラスタを割 り当てる ③ 各クラスタの平均ベクトル（中心）を計算する ④ 収束するまで2, 3の処理を繰り返す ・中心の初期値を変えるとクラスタリング 結果も変わりうる ・kの値を変えるとクラスタリング結果も変わる k=3(初期値近い） k=3(初期値遠い） k=5
- 13. サポートベクターマシン