野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
75 likes103,380 views
PyCon JP 2015 Talk Session発表資料
![[論文解説]Unsupervised monocular depth estimation with Left-Right Consistency](https://cdn.slidesharecdn.com/ss_thumbnails/unsupervisedmonoculardepthestimation-170809092538-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to 野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp (10)
More from Shinichi Nakagawa (20)
野球Hack!~Pythonを用いたデータ分析と可視化 #pyconjp
- 1. 野球Hack!~Pythonを用いたデータ分析と可視化 - The Art Of Programming A Baseball Game! - Shinichi Nakagawa@shinyorke PyCon JP 2015 Talk Session(2015/10/11)
- 2. Who am I ? ? Shinichi Nakagawa(@shinyorke) ? Recruit Sumai Company, Ltd. ? Pythonista/Agile/Baseball Scientist ? 贔屓チーム ? 北海道日本ハムファイターズ(NPB) ? オークランド?アスレチックス(MLB) ? “野生の野球アナリスト”活動
- 4. ? PyCon JP 2014 Talk Session（去年のやつ） ? MLBオープンデータ分析&可視化サービスをPythonで構築 ? はてブ200超え、PV 14,000以上(slideshare)
- 5. ? PyCon JP 2014 Lightning Talk（去年のやつ） ? Agileプロセス活用、アダム?ダン率の紹介 ? アダム?ダンさん、Python界隈で有名になる
- 6. Other… ? ブログで野球Hackの成果および考察を披露（不定期） ? MLBオープンデータの紹介と活用例紹介 ? 野球データの分析&解析用のライブラリを? Githubで公開(ほぼPython製) ? データドリブン野球解説?※後ほど解説
- 8. Today’s Starting Member ? 笔测迟丑辞苍と野球 ? MLBオープンデータ活用とPython ? Pythonで「俺々野球分析基盤」 ? まとめ - これからの野球Hack
- 9. 笔测迟丑辞苍と野球
- 11. 野球データ(嬉) ? ボックス?スコアによる正規化済みのデータが存在 ? 打撃?投球?試合の成績がボックス?スコアで読みやすい?書きや すいフォーマットでまとまっている ? 使えるデータが存在 ? メジャーリーグはオープンなライセンスで使えるデータが存在? (利用制限ほぼなし) ? 日本プロ野球はデータをぶっこ抜く自動的に取得する仕組みを自作 することにより入手可能(当然、利用は制限される)
- 13. 野球データ(辛) ? データの解釈 ? ボックス?スコア自体は読みやすいが、解釈そのものはルールや規約を 正確に読む必要がある? 例）振り逃げはどう記録される？? ??インフィールドフライの条件とは？ ? ボックス?スコアには乗らないデータの存在 ? 投手の球速、変化球の種類、打球の速度や着地点etc…? ボックス?スコアに乗らないデータが存在? &独自のフォーマットでの記載が多く読み書きが難しい
- 14. 野球Hackの掟 ? スクラップアンドビルド ? データを読む→仮説を立てる→コードを書く→可視化する→検証→ またデータを読む? …の繰り返し、コードを書いては壊すを繰り返す作業が大半 ? データの読み書きとルールの勉強 ? 野球の記録の読み方、記録がつく理由を把握する為にルールを勉強? →ルールを正確に把握するため、公認野球規則&審判の知識が必要? ?※実際本を買って勉強してます(実話)
- 15. 笔测迟丑辞苍と野球Hack ? インフラ管理?構成? Ansibleおよびdocker compose(というよりDocker)を活用、? すぐ作れる&壊せるインフラで思う存分スクラップアンドビルドを！ ? バージョン&パッケージ管理? pyenv + virtualenvでバージョン&パッケージ管理をプロジェクト単位で切り替え.? →特定のPythonバージョン&パッケージに依存しない作り. ? データ分析?可視化? IPython notebook + pandas + matplotlibでカジュアルに分析&可視化.? 面倒くさいQUERYなどはSQLAlchemyなどで型化. ? Webアプリ構築? サクッと作る目的でFlask/bottle、しっかり作る目的でDjangoを使う.
- 17. はい、Pythonじゃなくできます ? インフラ管理?構成? 部分的にVagrantを使用、ちなみにChefはやめた. ? バージョン&パッケージ管理? Rubyのrenv/rbenv-gemsetなど、他の言語にも当然ながら存在. ? データ分析?可視化? 得意な人はR?Juliaでいいと思う、野球HackをRでやってる方もいます.? （他の言語は、、、どうなんだろう？） ? Webアプリ構築? APIやバッチならGolang, サイトならRuby On Rails他選択肢がたくさん有り 目的(と好み)に合わせて手段を柔軟に変えましょう
- 21. やりたかったこと ? 野球ゲーム「Fantasy Baseball」に勝つため、 選手の詳細な情報（主に成績）が必要に ? MLBのオープンデータ「Retrosheet」に? それらが詰められてるらしい? ? ワイ「データベースつくればいいじゃん！」
- 22. Retrosheet is 何？ ? メジャーリーグのスコアデータ集 ? 1887~2014（昨シーズン）までのデータをCSVで配布 ? ※1989以前は欠損有り ? スコアブックで得られる情報（得点、失点、スタメン、打席 結果etc…）と選手情報（名前、ポジションなど）がひと目 でわかる ? http://retrosheet.org/
- 23. やったこと ? Vagrant + AnsibleでMySQL Server構築 ? SQLAlchemy + py-retrosheetでmigration ? Jupyter(IPython notebook)とpandasで分析 ? matplotlibで可視化
- 26. サーバー構築とmigration $ vagrant up $ ansible-playbook -i hosts retrosheet_server.yml この2行でサーバーを作れるようにしました！ ※VagrantとAnsibleを導入している前提です
- 27. PY-RETROSHEET - やきうScript ? Retrosheet専用Download&migration script? git@github.com:wellsoliver/py-retrosheet.git ? データ取得からDB(MySQLなど)へのmigrationを一気通貫に行える神ライブラリ
- 28. IPython notebook+pandas ? 平たく言えば、「ブラウザ上で使えるPythonその他のSandbox環境」 ? データやLibraryが不確実（ 使いこなせていない）時の試し打ちとして最高すぎる環境 ? pandasで前処理、matplotlibでお絵かき（グラフ描画など）
- 29. 分析と可視化 ? レスターは何月に一番勝っているのか？ ? ボットのマルチ四球(=1試合2四球)の回数? Jon Lester Joey Votto
- 30. Jon Lester(ジョン?レスター) ? メジャー屈指の先発左腕、優勝請負人?※世界一経験二回 ? プレーオフ(10/9)に先発、なお負け投手 ? レッドソックス(2006-2014)→アスレチックス(2014)→カブス(2015)
- 32. Joey Votto(ジョーイ?ボット) ? レッズ一筋(2007-2015)、強打の一塁手 ? 選球眼が良すぎて散歩（四球）が多い、通算アダム?ダン率は38% ? 内野フライが異常に少ない。とある統計によると、2009-2012の4年間で3本(ファ!?)
- 33. 塁間さんぽ(イッチVSボット) ? 月別の四球数、凡例の数字はシーズン通算 ? 圧倒的にボットさんが散歩好き、特に8,9月やばい ? 神イチローはとにかく打って走るスタイル、春先はまあまあ歩いてる イチロー ボット
- 34. マルチさんぽ(イッチVSボット) ? 1試合で2個以上四球を選んだ試合を月別にカウント ? ボットさんの回数がやばい ? 神イチローはある意味予想通り、流石天才バッター イチロー ボット
- 35. コードは后日公开！！！
- 37. キッカケはコチラ
- 39. やりたかったこと ? 日本プロ野球データを元に野球統計学の話を するネタを思いつく ? だがしかし、MLBのようにオープン化された データなんぞない ? そうだ、データをぶっこ抜く自動的に取得し て計算してレポート出せばいいじゃん！
- 40. どうやって解決したか ? スポーツのデータサイト(Y?hoo等)から、? 順位表と選手成績を取得 ? 取得したデータを元にセイバーメトリクス指標 を算出 ? 一日に一回、取得&算出を行い、Excelシートに 計算結果出力&AWS S3に転送
- 41. 构成（诲别惫别濒辞辫尘别苍迟）
- 42. 构成（笔谤辞惫颈蝉颈辞苍颈苍驳）
- 43. ? ぶっちゃけ当初の要件でDockerは不要だった ? しかし、将来的に「俺々野球基盤」としてService を立ち上げる構想があり、今のうちに試せること はためそう！と思いDockerを本番投入 ? docker compose(旧名?g)でアプリとDBを? 一気通貫にService立ちあげする下地を作った
- 44. crontab(parse-crontab) ? DockerのPython container(Debian)、? デフォルトでcrontabが使えない事が判明 ? いちいち設定するのもアレだ…と思った矢先に、? いい感じのライブラリーを発見！！！? parse-crontab: https://github.com/josiahcarlson/parse-crontab? example : http://gaujin.jp/index.php?itemid=27 ? ※ @gaujin_jp さんありがとうございます！ ? ピュアなPython環境でcrontab環境実現&自動実行が可能に！！！
- 47. アダム?ダン率 = (ダンらしさ) / 打数 * 100 ? ※ダンらしさ = 本塁打 + 四球+ 三振
- 48. アダム?ダン率ランキング(P) 順位 選手名 (チーム) ダン 率 HR 四球 三振 コメント 1 中村剛也(西) 46.2 37 68 172 三振王かつ本塁打王 2 メヒア(西) 42.9 27 45 153 去年の本塁打王 3 ペーニャ(楽) 40.2 17 70 111 典型的な地蔵タイプ 4 森友哉(西) 38.4 17 44 143 お若いのに三振多すぎぃ 5 松田宣浩(ソ) 38.1 35 60 135 テラス席の申し子 ※2015シーズン終了時
- 49. アダム?ダン率ランキング(C) 順位 選手名 (チーム) ダン 率 HR 四球 三振 コメント 1 丸佳浩(広) 40.4 19 94 143 三振と四球で二冠達成 2 ゴメス(神) 37.1 17 72 134 キャラ通りの成績 3 山田哲人(ヤ) 35.6 38 81 111 思ったより三振多い 4 梶谷隆幸(Ｄ) 34.4 13 54 132 役割的に三振の数は深刻 5 筒香嘉智(Ｄ) 33.5 24 68 98 まあまあ合格点 ※2015シーズン終了時
- 50. 被アダム?ダン率 = (ダンらしさ) / 打者数 * 100 ? ※ダンらしさ = 被本塁打 + 与四死球 + 三振
- 51. 被アダム?ダン率ランキング(P) 順位 選手名 (チーム) ダン 率 HR 四球 三振 コメント 1 大谷翔平(日) 40.6 7 46 196 本格派すぎる 2 則本昂大(楽) 35.3 14 48 215 奪三振王&やや飛翔 3 武田翔太(ソ) 34.8 14 59 163 やや飛翔癖あり 4 中田賢一(ソ) 33 17 61 130 飛翔しすぎぃ 5 西勇輝(オ) 31 11 43 143 本格派になりつつある ※2015シーズン終了時
- 52. 被アダム?ダン率ランキング(C) 順位 選手名 (チーム) ダン 率 HR 四球 三振 コメント 1 藤浪晋太郎(神) 38.5 9 82 221 三振と四球で二冠達成 2 メッセンジャー(神) 33.5 10 60 194 三振&四球2位 3 高木勇人(巨) 29.8 16 47 131 ルーキー 4 ジョンソン(広) 29 5 67 150 同僚の黒田は21.9ダン 5 小川泰弘(ヤ) 28.3 18 48 128 成瀬の代わりに飛翔 ※2015シーズン終了時
- 53. コードは后日公开…
- 56. Python + Baseball ? 「野球Hackで迷ったらPython!」 ? データ分析&検証、プロトタイプ作りといった、? 「不確定要素が多いproject」でのPythonは強い? →スタートアップとか(野球関係ないけど…w) ? とはいえ向き?不向きや好みもあるので他の言語 やFWもいい感じに柔軟に使うといいでしょう
- 59. これからの野球Hack ? 個人として ? みんなで（コミュニティ的な意味で） ? 大切にしたいこと
- 61. みんなで野球Hack!!! ? 本日の発表などを通じ、? 「面白い！」? 「俺も（私も）やりたい！！」? と思った方！是非一緒にやりましょう！！！ ? 明日(10/12)のPyCon JP 2015 Sprintsで? 一緒に野球をHackしましょう！！！
- 62. 大切にしたいこと