闯耻辫测迟别谤狈辞迟别产辞辞办と惭测厂蚕尝でゼロからはじめるデータサイエンス
19 likes6,980 views
db analytics showcase sapporo 2017 発表資料
![リストのスライス
覚え方 最初が0で [以上：未満]
15](https://image.slidesharecdn.com/nobuhatano-dbtechsapporo2017-170630041307/85/JupyterNotebook-MySQL-15-320.jpg)
![列データの抜き出し：リスト内包表記
[ ④要素にする変数 for ②取り出した変数 in ①元リスト if ③条件 ]
[ ③要素にする変数 for ②取り出した変数 in ①元リスト]
フェッチしたデータは1行が1タプル、全体がタプルのタプル
①、②、③の順で
読んでください
17](https://image.slidesharecdn.com/nobuhatano-dbtechsapporo2017-170630041307/85/JupyterNotebook-MySQL-17-320.jpg)
![SSII2021 [TS2] 深層強化学習 ? 強化学習の基礎から応用まで ?](https://cdn.slidesharecdn.com/ss_thumbnails/ts2-01-210607042910-thumbnail.jpg?width=560&fit=bounds)
![[DLHacks]StyleGANとBigGANのStyle mixing, morphing](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks0805-190815052222-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to 闯耻辫测迟别谤狈辞迟别产辞辞办と惭测厂蚕尝でゼロからはじめるデータサイエンス (20)
![DeNAゲーム事業におけるデータエンジニアの貢献 [DeNA TechCon 2019]](https://cdn.slidesharecdn.com/ss_thumbnails/techcon2019dataengineer-190218065927-thumbnail.jpg?width=560&fit=bounds)
More from infinite_loop (20)
Recently uploaded (11)
闯耻辫测迟别谤狈辞迟别产辞辞办と惭测厂蚕尝でゼロからはじめるデータサイエンス
- 1. 1 Jupyter Notebook と MySQL で ゼロからはじめるデータサイエンス 株式会社インフィニットループ 技術研究グループ 波多野 信広 Twitter : @nobuhatano 1
- 2. 本セッションの内容 Web サービスやゲームを運用している DBA やプ ログラマの方々で、データ分析に興味がある方向 け ● Jupyter Notebook + MySQL – SQL と Python で自由にデータ分析 ● はじめてのデータ分析 – ソーシャルゲームのデータ分析事例 2
- 3. まずはインストール Python 全部入り Continuum Analytics 社の Anaconda Anaconda 4.3.1 for Windows 64 bit Python 3.6 version https://www.continuum.io/downloads 3
- 4. 起動してみる 4
- 5. インタラクティブな実行環境 セル (markdown) セル (markdown) セル (Python3) セル (Python3) Ctrl + Enter セルのコード実行 Ctrl + Enter セルのコード実行 5
- 9. Python Kernel から MySQL へ >conda install pymysql 1回でＯＫ！ 9
- 11. 本番 MySQL との連携例 Jupyter http://localhost:8888 Python3 踏み台 サーバー ssh トンネル リードレプリカ マスタ 予備 スレーブ アプリ 予備スレーブ ● 管理画面 ● データ可視化 ● OLAP ● ダンプ取得 ● スレーブ複製の種 ● Jupyter でデータ分析 社内PC 11
- 12. この構成のメリット ● 慣れた SQL で分析 ● 最初は全部 SQL で OK ● Python でデータ分析 ● DB から ＰＣ へ処理を 分散 ● データ分析から機械学 習へと発展 ● グラフ化は jupyter 上 matpotlib で一緒 12
- 13. SQL は使ってる Python は... これだけ知ってれば Ok! 13
- 16. リストとタプルの違い 16
- 17. 列データの抜き出し：リスト内包表記 [ ④要素にする変数 for ②取り出した変数 in ①元リスト if ③条件 ] [ ③要素にする変数 for ②取り出した変数 in ①元リスト] フェッチしたデータは1行が1タプル、全体がタプルのタプル ①、②、③の順で 読んでください 17
- 20. データ分析とは ● 単変量解析 – 原因と結果1対1。直感で判定可能 – 平均値、相関係数、回帰直線 ● 多変量解析 – 多特性データの原因と結果。直感で判定出来ない – 重回帰分析、ロジスティック回帰 ● データの分析（統計によるモデリング）の用途 – 分類や未来の予測 – PDCAやフィードバックに活用 20
- 21. モデルの例：アイス販売 【目的】 アイスの売上を増やしたい 【モデル】 気温が高くなると売れて、値段が高いと売上が減る 【目的変数】 アイスの販売量 【説明変数】 販売量 = 気温 x 値段 【操作変数】 値段 【データ分析】 統計的なモデルを選定（モデル化、データの説明、分類） 気温を条件に売上を最大化する価格設定を見つける（予測） 21
- 23. KGI と基本 KPI 売上 = *DAU x 課金者率 x *ARPPU * KGI (Key Goal Index) * KPI (Key Performance Index) * DAU (Daily Active User) * ARPPU (Average Revenue Per Paying User) 目的変数 *KGI 説明変数 基本*KPI 定量化は完璧！ ただし操作変数がないのが懸念 23
- 24. KGI と基本 KPI の分析を 進めます 24
- 26. スキーマ log_login カラム名 データ型 login_dt DATETIME ログイン日時 user_id INT ユーザーID tbl_receipt カラム名 データ型 user_id INT ユーザーID purchase_dt DATETIME 購入日時 unit_price INT 課金額 26
- 27. KGI: 日次の売上 tbl_receipt カラム名 データ型 user_id INT ユーザーID purchase_dt DATETIME 購入日時 unit_price INT 課金額 SELECT SUM(unit_price), DATE(purchase_dt) AS Dt, FROM tbl_receipt GROUP BY Dt ORDER BY Dt 27
- 29. 基本KPI: DAU SELECT COUNT(DISTINCT user_id), DATE(login_dt) AS Dt FROM log_login GROUP BY Dt log_login カラム名 データ型 login_dt DATETIME ログイン日時 user_id INT ユーザーID 29
- 31. 売上と DAU の相関を測る 相関係数 (correlation coefficient) ＝ xyの共分散 / (xの標準偏差)(yの標準偏差) 2つの確率変数の間の関係を図る指標 DAU は定義から 売上と因果関係 にもかからず中程度の相関 31
- 32. 基本KPI: ARPPU 日付、ユーザー別売上 さらに平均を求める SELECT DATE(purchase_dt) AS Dt, user_id, SUM(unit_price) AS Uriage FROM tbl_receipt GROUP BY Dt, user_id ORDER BY Dt SELECT T.Dt AS Date, FLOOR(AVG(T.Uriage)) AS ARPPU FROM ( SELECT DATE(purchase_dt) AS Dt, user_id, SUM(unit_price) AS Uriage FROM tbl_receipt GROUP BY Dt,user_id ORDER BY Dt ) AS T GROUP BY Date 32
- 34. 相関係数 0.623 基本 KPI で重要とも言われる この事例では相関高くない 課金者率（スペンド率） 34
- 35. 基本 KPI は相関が不十分 （基本 KPI はターゲットが売上と同じく全ユーザーのまま） 相関が高いか、 操作の立案や評価に繋がる よりよい KPI を模索 なにか見たいグラフ ないですか？ 35
- 36. 36
- 38. 38
- 40. 見たかったグラフ 「初回ログイン日とプレイ期間」は ユーザー動向把握に有効 ただ KGI と KPI からは脱線だった 引き続き探ります 40
- 43. 43 課金ランキングとプレイ期間から プレイ中の平均日次課金額 課金ユーザーのプレイ期間 ユーザー毎 総課金額、ランキング順 SELECT FLOOR(Sougaku / period) AS DRPU FROM ( SELECT user_id, SUM(unit_price) as Sougaku FROM tbl_receipt GROUP BY user_id ORDER BY Sougaku DESC) AS S INNER JOIN ( SELECT u.user_id as id, DATEDIFF(last_login, first_login) as period FROM user_login AS u INNER JOIN ( SELECT DISTINCT user_id FROM tbl_receipt) AS r ON u.user_id = r.user_id WHERE DATEDIFF(last_login, first_login) > 0) AS P ON S.user_id = P.id
- 46. 課金ランキングと売上貢献度 46
- 52. 優良ユーザー数と月次売上との相関 SELECT SUM(unit_price), CAST(DATE_FORMAT(purchase_dt, '%Y-%m-01') AS DATE) AS Month FROM tbl_receipt GROUP BY Month ORDER BY Month") 相関係数 0.995 ２つの変数が ほぼ一致！！ 相関係数 0.995 ２つの変数が ほぼ一致！！ 52
- 54. まとめ ● Jupyter Notebook MySQL と接続、SQLとPythonで手軽にデータ分析 ● ソーシャルゲームのデータ分析 弊社の例 月額課金である額以上の優良ユーザー数が売上と相関 操作（質の改善、宣伝）を売上や課金率で PDCA ↓ 絞り込んだユーザー層できめ細かい行動分析が可能 操作の立案に有効 データ分析、ビジネス固有の KPI から初めてみましょう！！データ分析、ビジネス固有の KPI から初めてみましょう！！ 54