![強化学習の目的
将来得られる報酬の総和が最大になるように政策を学習する
（発散しないように）割引率 を定義し，これを乗じた報酬を
将来に渡り加えた総和を収益とし，この期待値を最大化する！
E
" 1X
t=0
t
R(st, at, st+1)
#
, 8s0 2 S, 8a0 2 A目的関数
下記の目的関数を最大にする政策関数 を求める⇡
at ⇠ ⇡(at|st)
st+1 ⇠ PT (st+1|st, at)
st 2 S, at 2 A
2 (0, 1]
制約条件
A : ありうるすべての行動集合
S : ありうるすべての状態集合
13年5月3日金曜日](https://image.slidesharecdn.com/random-130502115820-phpapp02/85/-30-320.jpg)
強化学習入門
- 1. 強化学習入門 理工学研究科 D2 齋藤 俊太 13年5月3日金曜日
- 2. 学習？ 動物心理学 観察 行動主義 学習によって行動が変化 → 行動を見れば学習し たかどうか分かる 認知主義 学習によって内面的な認知が変化 → 行動に出る前に内的表象が変化 している=これも学習 13年5月3日金曜日
- 12. 学習？ 動物心理学 観察 行動主義 学習によって行動が変化 → 行動を見れば学習し たかどうか分かる 認知主義 学習によって内面的な認知が変化 → 行動に出る前に内的表象が変化 している=これも学習 13年5月3日金曜日
- 22. 強化学習の構成 ＜コンピュータの場合＞ 即時報酬を最大にする行動ではなく，報酬の積み重ねとして 将来にわたって得られる合計報酬＝収益を最大にするように 行動を最適化していく 13年5月3日金曜日
- 28. 問題設定 エージェント 状態 行動 右に行く 左に行く 環境 次の状態 遷移確率 状態 で行動 をとった とき状態が になる確率 政策 状態 で行動 をとる確率 → MDP 13年5月3日金曜日
- 29. 問題設定 エージェント 状態 行動 右に行く 左に行く 環境 次の状態 遷移確率 状態 で行動 をとった とき状態が になる確率 報酬 政策 状態 で行動 をとる確率 → MDP 13年5月3日金曜日
- 30. 強化学習の目的 将来得られる報酬の総和が最大になるように政策を学習する （発散しないように）割引率 を定義し，これを乗じた報酬を 将来に渡り加えた総和を収益とし，この期待値を最大化する！ E " 1X t=0 t R(st, at, st+1) # , 8s0 2 S, 8a0 2 A目的関数 下記の目的関数を最大にする政策関数 を求める⇡ at ⇠ ⇡(at|st) st+1 ⇠ PT (st+1|st, at) st 2 S, at 2 A 2 (0, 1] 制約条件 A : ありうるすべての行動集合 S : ありうるすべての状態集合 13年5月3日金曜日
- 31. 強化学習の目的 E " 1X t=0 t R(st, at, st+1) # , 8s0 2 S, 8a0 2 A目的関数 ⇡⇤ (a|s) ⌘ arg max ⇡ E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # を最大にする政策関数が最適政策関数 つまり… どうやって求めるか？ 13年5月3日金曜日
- 32. 強化学習の目的 E " 1X t=0 t R(st, at, st+1) # , 8s0 2 S, 8a0 2 A目的関数 ⇡⇤ (a|s) ⌘ arg max ⇡ E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # を最大にする政策関数が最適政策関数 つまり… どうやって求めるか？ Q(s, a) とおく 13年5月3日金曜日
- 33. 強化学習の目的 E " 1X t=0 t R(st, at, st+1) # , 8s0 2 S, 8a0 2 A目的関数 ⇡⇤ (a|s) ⌘ arg max ⇡ E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # を最大にする政策関数が最適政策関数 つまり… どうやって求めるか？ Q(s, a) とおく Q(s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # 行動価値関数 13年5月3日金曜日
- 34. 行動価値関数 ⇡(a0|s0)PT (s0, a0, s1) s0 s1 状態 で行動 をとる確率s0 a0 状態 で行動 をとったとき 状態 に遷移する確率 s0 a0 s1 R(s0, a0, s1) 報酬発生 この連鎖で得られる報酬の合計値＝収益 収益の期待値が行動価値 13年5月3日金曜日
- 35. 行動価値関数 Q(s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # 行動価値関数 ⇡(a0|s0)PT (s0, a0, s1) s0 s1 状態 で行動 をとる確率s0 a0 状態 で行動 をとったとき 状態 に遷移する確率 s0 a0 s1 R(s0, a0, s1) 報酬発生 この連鎖で得られる報酬の合計値＝収益 収益の期待値が行動価値 13年5月3日金曜日
- 36. 行動価値関数と政策関数 ⇡⇤ (a|s) ⌘ arg max ⇡ Q⇤ (s, a) 行動価値関数を最大にするような政策を知りたい強化学習の目的 1. 政策関数を適当に初期化（一様分布など） 2. 現在の政策に従って行動を起こし，報酬を観察 3. 現れた状態行動対 の価値を推定 4. 推定した を使って政策を改善 5. 1.に戻る (s, a) Q(s, a) これを繰り返すことにより最適政策を近似する 13年5月3日金曜日
- 37. 行動価値関数と政策関数 ⇡⇤ (a|s) ⌘ arg max ⇡ Q⇤ (s, a) 行動価値関数を最大にするような政策を知りたい強化学習の目的 1. 政策関数を適当に初期化（一様分布など） 2. 現在の政策に従って行動を起こし，報酬を観察 3. 現れた状態行動対 の価値を推定 4. 推定した を使って政策を改善 5. 1.に戻る (s, a) Q(s, a) これを繰り返すことにより最適政策を近似する 疑問 3.の「状態行動対 の価値を推定」ってどうやる？(s, a) 4.の「推定した を使って政策を改善」ってどうやる？Q(s, a) 13年5月3日金曜日
- 38. 状態行動対の価値 Q(s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # 例えば，状態 (s0, a0) の価値が知りたい 13年5月3日金曜日
- 39. 状態行動対の価値 Q(s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # 例えば，状態 (s0, a0) の価値が知りたい 13年5月3日金曜日
- 40. 状態行動対の価値 Q(s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # 例えば，状態 (s0, a0) の価値が知りたい 13年5月3日金曜日
- 41. 状態行動対の価値 Q(s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # 例えば，状態 (s0, a0) の価値が知りたい 色々なパスがあるが， それらを全て考慮して 得られる報酬の期待値 を計算する必要がある 13年5月3日金曜日
- 42. 状態行動対の価値 a1 s3 a4 s5 報酬の期待値（収益）は 左のようなパスを通った場合， ⇡(a0|s0)P(s0, a0, s1)R(s0, a0, s1) + ⇡(a1|s1)P(s1, a1, s3)R(s1, a1, s3) + 2 ⇡(a4|s3)P(s3, a4, s5)R(s3, a4, s5) Q⇡ (s, a) = E " 1X t=0 t R(st, at, st+1)|s0 = s, a0 = a # これを 以降の全ての場合における 状態→行動選択確率（政策）と状態行動対 →次状態への遷移確率についての期待値を 計算すると がわかる s0 ! a0 Q⇡(s0, a0) さらにそれを全ての について計算す る必要がある (s, a) 13年5月3日金曜日
- 43. 大変すぎる 13年5月3日金曜日
- 45. 行動価値関数の近似計算 モンテカルロ法 有限な時間ステップTで終了する状態行動対の遷移データ（エピ ソードデータ）を使って，行動価値関数を近似する 他にも，TD法（Temporal Difference Method）， SARSA法，TD(λ)法，Q学習など様々な方法が存在する → 今回は実装が容易そうなモンテカルロ法について説明します 13年5月3日金曜日
- 46. モンテカルロ法 こういうパスを ることも こういうパスを ることも いろいろな場合がある 13年5月3日金曜日
- 47. モンテカルロ法 では，とある状態行動対 の真価はどうやって知るか？ Q⇡ (s2, a2)例えば， が知りたい まず，最大ステップ数Tを決める (s2, a2) が現れた時点から，Tまでに 観測された報酬から収益を計算する 色々なパスについてこれをやる 観測された収益の平均値を の価値とする (s2, a2) 1. 2. 3. 4. 13年5月3日金曜日
- 48. モンテカルロ法 では，とある状態行動対 の真価はどうやって知るか？ Q⇡ (s2, a2)例えば， が知りたい まず，最大ステップ数Tを決める (s2, a2) が現れた時点から，Tまでに 観測された報酬から収益を計算する 色々なパスについてこれをやる 観測された収益の平均値を の価値とする (s2, a2) 1. 2. 3. 4. あらかじめ決めた数のパスを生成しておき，上記の手順を踏めば，そ れらのパス中に現れた状態行動対については，行動価値が推定できる 13年5月3日金曜日
- 49. 政策改善 行動価値関数が推定できたら，それをもとに政策（どういった状態の ときにどの行動を選ぶ確率が高いか，という値）を改善する ε-greedy法 a⇤ = arg max a Q⇡ (s, a) ⇡0 (a|s) = ( 1 ✏ + ✏ |A| ifa = a⇤ ✏ |A| otherwise 行動価値が最も高い行動を選ぶ確率を1-εにしたあと， 全ての選択肢にεを行動数で割った値を割り振る 13年5月3日金曜日
- 50. 学習の流れ ⇡⇤ (a|s) ⌘ arg max ⇡ Q⇤ (s, a) 行動価値関数を最大にするような政策を知りたい強化学習の目的 1. 政策関数を適当に初期化（一様分布など） 2. 現在の政策に従って行動を起こし，報酬を観察 3. 現れた状態行動対 の価値を推定 4. 推定した を使って政策を改善 5. 1.に戻る (s, a) Q(s, a) これを繰り返すことにより最適政策を近似する 疑問 3.の「状態行動対 の価値を推定」ってどうやる？(s, a) 4.の「推定した を使って政策を改善」ってどうやる？Q(s, a) 13年5月3日金曜日
- 52. 準備 0 1 2 3 4 5 6 7 8 • 9マスある • それぞれに ○ ， ， 空 の3状態 • 盤面ごとに状態番号をふると，3^9状態 13年5月3日金曜日
- 53. 準備 0 1 2 3 4 5 6 7 8 • 9マスある • それぞれに ○ ， ， 空 の3状態 • 盤面ごとに状態番号をふると，3^9状態 ＿人人人人＿ ＞ 多い ＜ ￣Y^Y^Y￣ 13年5月3日金曜日
- 54. 準備 0 1 2 3 4 5 6 7 8 • 9マスある • それぞれに ○ ， ， 空 の3状態 • 盤面ごとに状態番号をふると，3^9状態 ＿人人人人＿ ＞ 多い ＜ ￣Y^Y^Y￣ 0 1 2 3 4 5 6 7 8 左のように，45度回転の組み合わ せで同じ状態に持っていけるものは ひとつの状態として扱う 13年5月3日金曜日
- 55. 状態の圧縮 o x x o o 一つの状態を9ケタの3進数で表現する 0 ... 空 1 ... o 2 ... x 左の盤面は 120021100 ある状態が入力されてきたら，回転変換を施したものも含めた8状態 の3進数表現を計算する 8種類の3進数を10進数に変換する 8種類の10進数の値のうち一番小さいものを状態番号とする 1. 2. 3. 13年5月3日金曜日
- 56. 状態の圧縮 13年5月3日金曜日
- 57. 事前に仮想試合をして行動価値を学習する 仮想プレイヤー ・基本的にランダムに手を打つ ・ただし，自分がリーチのときは勝つ手を選ぶ • 仮想プレイヤーとたくさん戦って価値関数を事前に計算する • 最大5手で終わる（最大ステップ数T=5の）ゲームを1000回ｘ 30セットやる • 勝ったら報酬+10，負けたら報酬-10，引き分けなら報酬0 学習 13年5月3日金曜日
- 59. 実装で使ったもの • Ruby 1.9.3-p392 • Ruby/SDL（可視化） • NArray（行列の扱い） ＊Githubにソースコードをアップ しました https://github.com/mitmul/TicTacToe 13年5月3日金曜日
- 60. 勝負を挑む 13年5月3日金曜日
- 62. おしまい 13年5月3日金曜日