![Syxs ?? ),(状態
},,,,{ missd PSigMSigDskill ???
}|{
}|{
CcM
CcdD c
??
??
?? ?方向の平均値
飛距離の平均値
}|{
}|{
CcSig
CcSig
c
cdd
??
??
?? ?
?
方向の標準偏差
飛距離の標準偏差
}|{ CcpP cmissmiss ??ミスショットの確率
? ?
? ?2
2
)(,'
)(,'
c
cddc
N
pwdNd
??? ?????
??
??
??
～
～
ボールの落下位置 s’
??
?
?
??
?
?
?
?
???
?
?
??
?
?
?
'sin'
'cos'
'
'
'
?
?
dy
dx
y
x
s
α:現在位置のコース区分により決まる値
],,|[min
],,|[],,|[],,|[
:
21
21
hskillstNE
hskillstNEhskillstNEhskillstNE
NN
hskillASst
Stst?
??
?
目的関数
期待スコア
ア、パッティングのスココアグリーンオンまでのス
、、コース、スキル戦略
方策
ε-greedy
OB : 2
報酬
WH : 2
報酬
その他 : 1
報酬
グリーン :
1+期待パット数
報酬
エピソード
スタートエピソード
エンド
Qの初期化
グリーン：0
それ以外：スキルから推測される期待スコ
アより大きい値
最小Q値をベンチマークと定義
J(ds, cs) = minQ(s , a)
a
方向 0～359までの整数
クラブ 最長飛距離から約10yard刻みの本数
行動空間 A 方向とクラブの組み合わせ状態空間 S
約3yard四方の
大きさで離散化
ゴルフシミュレーションとQ学習
ボールの位置s
最適化問題
戦略、スキル、コースを条件とするスコアの条件付期待値を定義
?使用したゴルフシミュレーションモデルとQ学習の定義
スキル
ベンチマーク
（当研究室で開発されたモデル）](https://image.slidesharecdn.com/verfinal-150514064526-lva1-app6891/85/shioji-m-9-320.jpg)
![ショット?スキルモデル
Syxs ?? ),(状態 Apwca ?? },,{ ?行動
c:クラブ θ:打ち出し方向 pw:力加減(0≦pw≦1)
},,,,{ missd PSigMSigDskill ???スキル
}|{
}|{
CcM
CcdD c
??
??
?? ?方向の平均値
飛距離の平均値
}|{
}|{
CcSig
CcSig
c
cdd
??
??
?? ?
?
方向の標準偏差
飛距離の標準偏差
}|{ CcpP cmissmiss ??ミスショットの確率
? ?
? ?2
2
)(,'
)(,'
c
cddc
N
pwdNd
??? ?????
??
??
??
～
～
ボールの落下位置 s’
ラン r
)(
1
dr
d
fractioncarry
d
dr
?
?
?
?
?
?
?
キャリー
ラン
[Werner and Greig (2000)]
パッティング
[Bansal, et al. (2008)]
青：発表者のデータ(5I)
赤：シミュレーション
??
?
?
??
?
?
?
?
???
?
?
??
?
?
?
'sin'
'cos'
'
'
'
?
?
dy
dx
y
x
s
カップまでの距離に応じたパット数の確率
α:現在位置のコース区分により決まる値
ショットによる
ボール落下位置の分布
50100
全体の飛距離に対するキャリーの割合](https://image.slidesharecdn.com/verfinal-150514064526-lva1-app6891/85/shioji-m-20-320.jpg)
![ゴルフコースモデル
グリーン
飛距離の標準偏差σd 方向の標準偏差σθ ラン
ティーインググラウンド ×1.0 ×1.0 －
フェアウェイ ×1.0 ×1.0 ×1.0
ラフ
×2.0 ×0.5
バンカー
×2.5 ×0.0
[Broadie, 2008, 2012]
[Ko, 2012]
? ?
?
??? )180/tan(2tan180 1?
?
? ?
?
??? )180/tan(2tan180 1?
?
基準
打ち始めの地点にボールを戻す
ペナルティとして1打プラス（1打罰）確率的に木と衝突するか判定
池を横切った最後の地点にボールを置く
ペナルティとして1打プラス
グリーンオンしたら終了
パット数をカップまでの距離から
確率的に決める
OB
WH
林
コース区分](https://image.slidesharecdn.com/verfinal-150514064526-lva1-app6891/85/shioji-m-21-320.jpg)
![最適化とQ学習
最適化問題
Q学習 Q(s, a)の値が状態sで行動aをとったときの期待スコアを表すよう設定
方向 0～359までの整数
クラブ 最長飛距離から約10yard刻みの本数
状態空間 S
約3yard四方の
大きさで離散化
行動空間 A 方向とクラブの組み合わせ
方策
ε-greedy
)},(),(min{),(),( 11 ttt
a
ttttt asQasQrasQasQ ???? ?? ??
],,|[min
],,|[],,|[],,|[
:
21
21
hskillstNE
hskillstNEhskillstNEhskillstNE
NN
hskillASst
Stst?
??
?
目的関数
期待スコア
ア、パッティングのスココアグリーンオンまでのス
、、コース、スキル戦略
戦略、スキル、コースを条件とするスコアの条件付期待値を定義
OB : 2
報酬
WH : 2
報酬
その他 : 1
報酬
グリーン :
1+期待パット数
報酬
エピソード
スタート
エピソード
エンド
Qの初期化
グリーン：0
それ以外：スキルから推測される
期待スコアより大きい値
ベンチマーク 最小Q値をベンチマークと定義
J(ds, cs) = minQ(s , a)a](https://image.slidesharecdn.com/verfinal-150514064526-lva1-app6891/85/shioji-m-22-320.jpg)
More Related Content
More from harmonylab (20)
shioji m
- 1. ゴルフシミュレーションを用いた 「稼いだ打数」の計算方法 複合情報学講座 調和系工学研究室 修士2年 塩治 龍三朗 Computation of Strokes Gained Stats using Golf Simulation 修士論文発表
- 2. プレーの反省 背景 ○ゴルフでは様々な要素がスコアに影響を与える中、何がスコアにどの程度影響して いるかを把握し、悪い影響を与えている要素を練習することが重要と考えられる。 ゴルファーを効率的に上達させる コースでプレー 練習 一般的な指標を用いた場合… 平均スコア フェアウェイキープ率 パーオン率 リカバリー率 サンドセーブ率 平均パット数 現在のスコア 130 53% 42% 47% 57% 2.05 目標のスコア 90 65% 68% 68% 75% 1.84 何がスコアに寄与しているのかを判断できない 一般的な上達の流れ 目的 問題点
- 5. 「稼いだ打数（Strokes Gained)」指標 ゴルファーのショットがスコアにどの程度寄与しているかを「打数」という単位で 定量的に評価することができる指標. 5.0 4.0 3.5 4.4 平均的なショット 稼いだ打数 0打 良いショット 稼いだ打数 0.5打 悪いショット 稼いだ打数 -0.4打 「稼いだ打数（Strokes Gained)」指標* *Mark Broadie. Assessing golfer performance on the PGA TOUR. Journal Interfaces, 42.2: 146-165. 2012 g? = J(d? , c?) - J(d??? , c???) - 1 J(d? , c?) : ベンチマーク関数 稼いだ打数g?は、平均的なプロゴルファーがコースのある地点からカップインまでに かかる平均打数をベンチマークとし、評価するショットの前後のベンチマークを使って計算 c? : ショットを打つコースの状態 d? : カップまでの距離 *g?にはコースの難易度も含まれている
- 6. 打数 club 状態 SG before SG after SG sum 飛距離 １打目 3W tee 4.82 4.82 -2 137 ２打目 ３打目 3W tee 4.82 4.56 -0.74 136 ４打目 3W rough 4.56 3.82 -0.26 103 ５打目 3W fairway 3.82 2.99 -0.17 171 ６打目 SW rough 2.99 1.96 0.03 38 ７打目 PT green 1.96 1.67 -0.71 18 ８打目 PT green 1.67 0 0.67 4 合計 -3.18 稼いだ打数 平均化 稼いだ打数の概要図 *プロゴルファーのプレーデータを蓄積した データベース。合計で1000万以上のショット情報。 ?ShotLink* ?Golfmetrics* 膨大な数のプロゴルファー プレーデータ ①膨大な数のプレーデータを入手しなければ稼いだ打数を計算できない。 問題点 ②プロゴルファーを基準とした評価しかできない。 プレーデータ J(d? , c?) ?カップまでの飛距離d? ?コースの状態c? d?0 ベンチマーク c? d
- 9. Syxs ?? ),(状態 },,,,{ missd PSigMSigDskill ??? }|{ }|{ CcM CcdD c ?? ?? ?? ?方向の平均値 飛距離の平均値 }|{ }|{ CcSig CcSig c cdd ?? ?? ?? ? ? 方向の標準偏差 飛距離の標準偏差 }|{ CcpP cmissmiss ??ミスショットの確率 ? ? ? ?2 2 )(,' )(,' c cddc N pwdNd ??? ????? ?? ?? ?? ～ ～ ボールの落下位置 s’ ?? ? ? ?? ? ? ? ? ??? ? ? ?? ? ? ? 'sin' 'cos' ' ' ' ? ? dy dx y x s α:現在位置のコース区分により決まる値 ],,|[min ],,|[],,|[],,|[ : 21 21 hskillstNE hskillstNEhskillstNEhskillstNE NN hskillASst Stst? ?? ? 目的関数 期待スコア ア、パッティングのスココアグリーンオンまでのス 、、コース、スキル戦略 方策 ε-greedy OB : 2 報酬 WH : 2 報酬 その他 : 1 報酬 グリーン : 1+期待パット数 報酬 エピソード スタートエピソード エンド Qの初期化 グリーン：0 それ以外：スキルから推測される期待スコ アより大きい値 最小Q値をベンチマークと定義 J(ds, cs) = minQ(s , a) a 方向 0～359までの整数 クラブ 最長飛距離から約10yard刻みの本数 行動空間 A 方向とクラブの組み合わせ状態空間 S 約3yard四方の 大きさで離散化 ゴルフシミュレーションとQ学習 ボールの位置s 最適化問題 戦略、スキル、コースを条件とするスコアの条件付期待値を定義 ?使用したゴルフシミュレーションモデルとQ学習の定義 スキル ベンチマーク （当研究室で開発されたモデル）
- 10. 提案手法で作成したベンチマーク例 大札幌カントリークラブ （ホール１, ９, １８） オーガスタ?ナショナル?ゴルフクラブ （ホール１, ９, １８） アルペンゴルフクラブ美唄 （ホール１, ９, １８） スキル：スコア９０台のスキルパラメータ 学習設定 期待スコアとヒートマップの色の対応表 学習回数：２千万回
- 12. 実験① ー提案手法の評価ー スキル：プロゴルファーの平均スキル J(d, c = tee) = 2.38 + 0.0041d 先行研究では、プロゴルファーでのティー位置のベンチマークは以下の式に 則ると示している。 実験設定 学習回数 : ２千万エピソード コース： ?オーガスタナショナルゴルフクラブ ?大札幌カントリークラブ ?アルペンゴルフクラブ美唄 ?札幌芙蓉カントリー倶楽部 使用するコース画像例 提案手法で作成したベンチマークの評価を行うため、ある条件下での 従来研究のベンチマークとの比較検証を行う。 実験目的
- 14. 実験② ー提案手法を用いた検証ー スキル：スコア９０台のゴルファーのスキル 学習回数： ２千万回 コース：大札幌カントリークラブ プレーヤー : アベレージスコア120のゴルファー（調和系OBの菅原 翔梧氏) コース：大札幌カントリークラブ 分析対象のプレーデータ 実験環境 提案手法を用いてあるコースとスキルでのベンチマークを作成し、プ レーデータの稼いだ打数を計算することでスコアに悪い影響を与えてい るショットを見つけだせるかのテストケースを検証。 実験目的
- 15. 実験② ー提案手法を用いた検証ー ホール別の稼いだ打数 ホール PAR スコア SG 1 5 8 -3.18 2 4 7 -2.69 3 4 9 -4.82 4 3 6 -1.77 5 4 4 0.67 6 5 7 -2.05 7 4 4 0.36 8 3 7 -3.19 9 4 11 -6.02 10 5 6 -0.95 11 4 8 -3.39 12 4 10 -5.61 13 3 4 0.25 14 5 7 -3.07 15 4 7 -3.56 16 4 9 -4.81 17 3 5 -0.58 18 4 7 -2.43 合計 72 126 -46.84 クラブ別の稼いだ打数 クラブ 回数 合計SG 平均SG 平均飛距離 3W 40 -28.40 -0.71 118.48 5I 9 -2.61 -0.29 82.26 9I 1 -0.26 -0.26 84.93 SW 24 -6.32 -0.26 28.72 PW 2 -0.29 -0.15 102.78 PT 45 -8.96 -0.20 6.69 合計 121 -46.84 状態別の稼いだ打数 ショット別の稼いだ打数 状態 回数 合計SG 平均SG tee 19 -15.30 -0.81 fairway 25 -14.84 -0.59 rough 30 -8.17 -0.27 bunker 2 0.43 0.22 green 45 -8.96 -0.20 合計 121 -46.84 ショット 回数 合計SG 平均SG tee 19 -15.30 -0.81 short 29 -9.38 -0.32 long 28 -13.20 -0.47 put 45 -8.96 -0.20 合計 121 -46.84 Teeショットのうち ?3Wが16回 ?5Iが3回 (teeショットが18回以上なのは teeショットでOBした時が1回あるため） クラブの飛距離の差 クラブ S.Sの 平均飛距離 (yard) スコア90台 平均飛距離 (yard) 差 (yard) 3W 118.48 215 97 5I 82.26 160 78 9I 84.93 115 30 ○種類別の稼いだ打数 原因の考察 ?3Wで約30打も打数を失っているため、クラブ別で考えると3Wが最もスコアを 伸ばす余地がある ?ティーグラウンドとフェアウェイといった本来打ちやすい地点 で失う打数が大きい
- 16. 実験② ー提案手法を用いた検証ー ○飛距離は変えず、全ショットの角度を一定数変化させた時の稼いだ打数の差 考察 ?全てのショットを通常狙う場所から左に-3°打つ → スコアを2.5打縮める可能性がある ?全てのショットを通常狙う場所から左に-8°打つ → スコアを3.5打縮める可能性がある -10 -5 0 5 10 15 20 25 30 35 -15 -10 -5 0 5 10 15 角度 右左 合計SGの差 合計SG の減少 合計SG の増加 全体的にショットが右に曲がることでスコアが悪くなっている
- 17. 本研究で検証した範囲 ○提案手法を用いて４つのコースで作成したベンチマークの精度を検証した。 ○さらに特定のコース?スコアを元にプレーデータから悪い影響を与えている ショットを見つけ出す一連の流れが計算可能であることを検証した。 スコア コース難 易度 90 120トッププロ 一流 コース 従来の 稼いだ打数 一般 コース 難 易 大小 本研究の目指す 稼いだ打数 プレーデータ 本研究での検証 目標 ? ゴルフシミュレーション結果の実プレーデータに対した正当性の検証。 ? 多様なスキルとコースでのシミュレーション結果の検証。 ? 稼いだ打数の計算と分析ツールの開発。 今後の課題
- 20. ショット?スキルモデル Syxs ?? ),(状態 Apwca ?? },,{ ?行動 c:クラブ θ:打ち出し方向 pw:力加減(0≦pw≦1) },,,,{ missd PSigMSigDskill ???スキル }|{ }|{ CcM CcdD c ?? ?? ?? ?方向の平均値 飛距離の平均値 }|{ }|{ CcSig CcSig c cdd ?? ?? ?? ? ? 方向の標準偏差 飛距離の標準偏差 }|{ CcpP cmissmiss ??ミスショットの確率 ? ? ? ?2 2 )(,' )(,' c cddc N pwdNd ??? ????? ?? ?? ?? ～ ～ ボールの落下位置 s’ ラン r )( 1 dr d fractioncarry d dr ? ? ? ? ? ? ? キャリー ラン [Werner and Greig (2000)] パッティング [Bansal, et al. (2008)] 青：発表者のデータ(5I) 赤：シミュレーション ?? ? ? ?? ? ? ? ? ??? ? ? ?? ? ? ? 'sin' 'cos' ' ' ' ? ? dy dx y x s カップまでの距離に応じたパット数の確率 α:現在位置のコース区分により決まる値 ショットによる ボール落下位置の分布 50100 全体の飛距離に対するキャリーの割合
- 21. ゴルフコースモデル グリーン 飛距離の標準偏差σd 方向の標準偏差σθ ラン ティーインググラウンド ×1.0 ×1.0 － フェアウェイ ×1.0 ×1.0 ×1.0 ラフ ×2.0 ×0.5 バンカー ×2.5 ×0.0 [Broadie, 2008, 2012] [Ko, 2012] ? ? ? ??? )180/tan(2tan180 1? ? ? ? ? ??? )180/tan(2tan180 1? ? 基準 打ち始めの地点にボールを戻す ペナルティとして1打プラス（1打罰）確率的に木と衝突するか判定 池を横切った最後の地点にボールを置く ペナルティとして1打プラス グリーンオンしたら終了 パット数をカップまでの距離から 確率的に決める OB WH 林 コース区分
- 22. 最適化とQ学習 最適化問題 Q学習 Q(s, a)の値が状態sで行動aをとったときの期待スコアを表すよう設定 方向 0～359までの整数 クラブ 最長飛距離から約10yard刻みの本数 状態空間 S 約3yard四方の 大きさで離散化 行動空間 A 方向とクラブの組み合わせ 方策 ε-greedy )},(),(min{),(),( 11 ttt a ttttt asQasQrasQasQ ???? ?? ?? ],,|[min ],,|[],,|[],,|[ : 21 21 hskillstNE hskillstNEhskillstNEhskillstNE NN hskillASst Stst? ?? ? 目的関数 期待スコア ア、パッティングのスココアグリーンオンまでのス 、、コース、スキル戦略 戦略、スキル、コースを条件とするスコアの条件付期待値を定義 OB : 2 報酬 WH : 2 報酬 その他 : 1 報酬 グリーン : 1+期待パット数 報酬 エピソード スタート エピソード エンド Qの初期化 グリーン：0 それ以外：スキルから推測される 期待スコアより大きい値 ベンチマーク 最小Q値をベンチマークと定義 J(ds, cs) = minQ(s , a)a
- 24. スコア?飛距離?標準偏差の関係 行動としては、同じスキルで学習した時の最適行動を使用している。 よってこのグラフは、マネジメントがMaxでスキルが変動した時の平均スコアの遷移 を表している。 標準偏差 1.0σ 1.5σ 2.0σ 2.5σ 3.0σ 飛距離 270 65 70 73 79 84 250 66 71 76 81 85 230 68 72 77 83 89 210 69 74 80 86 91 190 71 76 81 87 93 170 73 80 86 91 96 150 78 82 89 94 101 平均スコアと飛距離と標準偏差の関係 コース：オーガスタ?ナショナル?ゴルフクラブ
- 25. プロスキルでのSGと スコア９０スキルでのSGの比較 ホール PAR スコア スコア９０スキル SG プロスキル SG 差 1 5 8 -3.18 -4.15 -0.97 2 4 7 -2.69 -3.6 -0.91 3 4 9 -4.82 -5.54 -0.72 4 3 6 -1.77 -2.42 -0.65 5 4 4 0.67 -0.48 -1.15 6 5 7 -2.05 -2.97 -0.92 7 4 4 0.36 -0.43 -0.79 8 3 7 -3.19 -3.92 -0.73 9 4 11 -6.02 -7.57 -1.55 10 5 6 -0.95 -1.9 -0.95 11 4 8 -3.39 -4.65 -1.26 12 4 10 -5.61 -6.64 -1.03 13 3 4 0.25 -0.48 -0.73 14 5 7 -3.07 -3.55 -0.48 15 4 7 -3.56 -4.56 -1 16 4 9 -4.81 -5.69 -0.88 17 3 5 -0.58 -2.04 -1.46 18 4 7 -2.43 -3.48 -1.05 合計 72 126 -46.84 -64.06 -17.23 ショット 回数 スコア９０スキル 合計SG スコア９０スキル 平均SG プロスキル 合計SG プロスキル 平均SG tee 19 -15.3 -0.81 -20.24 -1.07 short 29 -9.38 -0.32 -14.58 -0.50 long 28 -13.2 -0.47 -18.51 -0.66 put 45 -8.96 -0.2 -10.72 -0.24 合計 121 -46.84 -64.06 ホール別の稼いだ打数 ショット別の稼いだ打数 状態 回数 スコア９０スキル 合計SG スコア９０スキル 平均SG プロスキル 合計SG プロスキル 平均SG tee 19 -15.30 -0.81 -20.24 -1.07 fairway 25 -14.84 -0.59 -16.01 -0.64 rough 30 -8.17 -0.27 -15.69 -0.52 bunker 2 0.43 0.22 -1.40 -0.70 green 45 -8.96 -0.20 -10.72 -0.24 合計 121 -46.84 -64.06 状態別の稼いだ打数 平均 -0.98
- 26. プロスキルでのSGと スコア９０スキルでのSGの比較 ホール別の稼いだ打数 クラブ 回数 スコア９０スキル 合計SG スコア９０スキル 平均SG プロスキル 合計SG プロスキル 平均SG 平均飛距離 3W 40 -28.40 -0.71 -34.58 -0.86 118.48 5I 9 -2.61 -0.29 -4.94 -0.55 82.26 9I 1 -0.26 -0.26 -0.78 -0.78 84.93 SW 24 -6.32 -0.26 -12.34 -0.51 28.72 PW 2 -0.29 -0.15 -0.69 -0.35 102.78 PT 45 -8.96 -0.20 -10.72 -0.24 6.69 合計 121 -46.84 -64.06
- 27. ホール別のSG差 ホール PAR スコア スコア９０スキル SG プロスキル SG 差 1 5 8 -3.18 -4.15 -0.97 2 4 7 -2.69 -3.6 -0.91 3 4 9 -4.82 -5.54 -0.72 4 3 6 -1.77 -2.42 -0.65 5 4 4 0.67 -0.48 -1.15 6 5 7 -2.05 -2.97 -0.92 7 4 4 0.36 -0.43 -0.79 8 3 7 -3.19 -3.92 -0.73 9 4 11 -6.02 -7.57 -1.55 10 5 6 -0.95 -1.9 -0.95 11 4 8 -3.39 -4.65 -1.26 12 4 10 -5.61 -6.64 -1.03 13 3 4 0.25 -0.48 -0.73 14 5 7 -3.07 -3.55 -0.48 15 4 7 -3.56 -4.56 -1 16 4 9 -4.81 -5.69 -0.88 17 3 5 -0.58 -2.04 -1.46 18 4 7 -2.43 -3.48 -1.05 合計 72 126 -46.84 -64.06 -17.23 y = 0.0107x + 0.8556 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 0 5 10 15 20 S G の 差 ホール番号 各ホールでの２つのスキルでのSGの差 差 線形 (差 ) -8 -6 -4 -2 0 2 0 5 10 15 20 S G ホール番号 各ホールでの２つのスキルのSG スコア９０スキルSG プロスキルSG 大札幌カントリークラブ 菅原さんのプレーデータ
- 28. ベンチマーク 必要なデータ 打数 club 状態 SG before SG after SG sum 飛距離 １打目 3W tee 4.82 4.82 -2 137 ２打目 ３打目 3W tee 4.82 4.56 -0.74 136 ４打目 3W rough 4.56 3.82 -0.26 103 ５打目 3W fairway 3.82 2.99 -0.17 171 ６打目 SW rough 2.99 1.96 0.03 38 ７打目 PT green 1.96 1.67 -0.71 18 ８打目 PT green 1.67 0 0.67 4 合計 -3.18 稼いだ打数 ゴルフシミュレーションと Q学習?コース画像 ?スキルパラメータ 出力 入力 ?プレーデータ 目標とするスコアの スキルパラメータ ?飛距離 d ?飛距離の標準偏差 ?方向の標準偏差 dσ ?σ ゴルフシミュレーションとQ学習を用いて任意のコース?スキルで ベンチマークを作成する手法を提案 提案手法：概要図 コース画像 提案手法 プレーデータ