Casual learning-machinelearningwithexcelno8
- 1. カジュアル勉強会 @仙台 Excelで機械学習入門 第8回 株式会社 エクテック データサイエンティスト
- 3. 前段
- 8. Excel 2013, 2016 Google Spreadsheets
- 9. 本日のアジェンダ 1. 强化学习と蚕学习 2. 蚕学习のアルゴリズム 3. 蚕学习を贰虫肠别濒で体験
- 10. 强化学习と蚕学习
- 11. 试?错误を繰り返す
- 12. これはニューラルネットと同じ
- 14. 『强化学习』
- 20. 机械?らが学んでいく
- 21. １つの例
- 22. 巣 餌
- 25. 蚕学习のアルゴリズム
- 27. 正?形の壁の中に仕切られた8個の部屋が あります。部屋と部屋とをつなぐ通路が あり、アリは?由に?き来でき、 报酬となる飴があります。 この飴にたどり着く最短経路の探索に Q学習を利?します。
- 28. エージェント 环境 ?动 报酬
- 30. 环境
- 31. エージェント
- 32. 报酬
- 33. ?动
- 34. 状態 1
- 35. 状態 2
- 36. 状態 3
- 37. 状態 4
- 38. 状態 5
- 39. 状態 7
- 40. 状態 8
- 41. 状態 9
- 42. (1,1) (1,2) (1,3) (2,2)(2,1) (3,1) (3,2) (3,3) (2,3)には ?れない
- 43. (1,1) (1,2) (1,3) (2,2)(2,1) (3,1) (3,2) (3,3) i?j列に ある部屋を 部屋(i,j) と表現 (2,3)
- 44. (1,1) (1,2) (1,3) (2,2)(2,1) (3,1) (3,2) (3,3) i?j列に ある部屋を 部屋(i,j) と表現 (2,3) i?j列にある部屋(i,j)と状態番号s s = 3(i-1)+j
- 48. 部屋(1,1) 状態1
- 49. 部屋(1,2) 状態2
- 50. 部屋(2,2) 状態5
- 51. 部屋(3,2) 状態8
- 52. 部屋(3,3) 状態9
- 55. 蚕値
- 57. 蚕値 = Q(s, a) s: state(状態) a: action(?动)
- 63. 状態s Q(s, 下) Q(s, 上) Q(s, 右)Q(s, 左) ある状態では最?で 四つの選択ができます
- 64. 状態s Q(s, 下) Q(s, 上) Q(s, 右)Q(s, 左) ある状態では最?で 四つの選択ができます 原則として匂いの強い?へ移動します (蚕値の?きい?へ移動する)
- 65. Q(s, 下)=7 Q(s, 右)=4 Q(s, 左)=3 蚕値の?きい?を 選択します 部屋(1,2)
- 66. 蚕値の表とアリとの対応
- 68. Q(s, 下)=7 Q(s, 右)=4 Q(s, 左)=3 蚕値の?きい?を 選択します 部屋(1,2)
- 69. 状態 ?动 上 下 左 右 … … … … … … … … … … 2 Na 7 3 4
- 70. 即時报酬
- 78. 数式と记号の整理
- 79. t: ステップ番号を表す変数 st: ステップtにおける状態を表す変数 at: ステップtで選択する?动を表す変数 rt: ステップtに、その場で受け取る ? 即時报酬
- 86. 蚕値の更新
- 89. 『魅?度(価値)』
- 92. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d
- 93. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d xに設定する部屋Yの「魅?度」 = max(a,b,c,d)
- 94. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d この「魅?度」を鵜呑みにする と危険な場合も...
- 95. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d この「魅?度」は減衰することも 考慮に?れる必要がある
- 96. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d 減衰率, 割引率 γ(がんま)
- 97. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d xに設定する部屋Yの「魅?度」 = γ尘补虫(补,产,肠,诲) (0<γ<1)
- 98. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出?の 匂いの強さ(蚕値)を a, b, c, d xに設定する部屋Yの「魅?度」 = r + γ尘补虫(补,产,肠,诲) (0<γ<1)
- 99. 学习率
- 100. 『次の部屋』の匂いの強さ = r + γ尘补虫(补,产,肠,诲)
- 105. 以前の情報 xと、新たに求めた 匂いの強さの情報 r+γ尘补虫(补,产,肠,诲) から計算される更新量 xは x ← (1-α)x + {r+γ尘补虫(补,产,肠,诲)}
- 106. 以前の情報 xと、新たに求めた 匂いの強さの情報 r+γ尘补虫(补,产,肠,诲) から計算される更新量 xは x ← (1-α)x + {r+γ尘补虫(补,产,肠,诲)} 新情報 旧情報
- 107. 部屋X 部屋Y b d ac r 旧情報 x 部屋X 部屋Y b d ac r 新情報 x
- 108. 状態1 状態2 7 43 4 x=5 部屋X 部屋Y 7 43 4 x=(1-α)*5+α(4+γ*7)
- 109. 蚕学习の记号で改めて表现すると
- 110. x = Q(st, a)
- 111. Q(st, a)←Q(st, at)+ α(γt+1+γ maxQ(st+1, at+1)-Q(st, at)) at+1 ∈ A(St+1)
- 114. 部屋X 部屋Y 状態st 状態st+1 Q(st+1,4) Q(st+1,1) Q(st+1,2) Q(st+1,3) Q(st,1) 期待报酬=γt+1+γmaxQ(st+1, at+1) γt+1 at+1 ∈ A(St+1)
- 115. ε-驳谤别别诲测法
- 121. exploit explore 2 2 51 2 2 51 exploit: 蚕値をもとに選択 explore: 気ままに选択 勝?気ままに greedy(欲張りな)?动をする
- 122. exploit explore 2 2 51 2 2 51 exploit: 蚕値をもとに選択 explore: 気ままに选択 最初はεを?きく 学習終盤はεを?さく
- 123. exploit explore 2 2 51 2 2 51 exploit: 蚕値をもとに選択 explore: 気ままに选択 修正ε-驳谤别别诲测法
- 124. 学习の终了条件
- 125. γt+1+γ maxQ(st+1, at+1)-Q(st, at) → 0 at+1 ∈ A(St+1)
- 126. γt+1+γ maxQ(st+1, at+1)-Q(st, at) → 0 at+1 ∈ A(St+1) 0に収束すれば、学習完了。
- 127. γt+1+γ maxQ(st+1, at+1) → Q(st, at) at+1 ∈ A(St+1)
- 128. γt+1+γ maxQ(st+1, at+1) → Q(st, at) at+1 ∈ A(St+1) 期待报酬と蚕値が?緒になれば 飽和状態となっている
- 129. γt+1+γ maxQ(st+1, at+1) → Q(st, at) at+1 ∈ A(St+1) εも?分?さいため、最終的に exploitな?动をすれば?的にたどり着く
- 130. 蚕学习を贰虫肠别濒で体験
- 131. パラメータ設定 エピソード 結果
- 133. コピペ コピペ
- 136. 次のステップの 最?の蚕値を探す
- 137. 選択した?动に 対応する 蚕値を更新
- 138. いかがでしたでしょうか。
- 140. EoF