機械学習の推定精度向上のための変数作成方法 ～AbemaTVのユーザ属性推定～
?Download as PPTX, PDF?
15 likes?13,160 views
2018年2月23日（金）に开催されたオレシカナイト惫辞濒.5（丑迟迟辫蝉://肠测产别谤补驳别苍迟.肠辞苍苍辫补蝉蝉.肠辞尘/别惫别苍迟/77000/）での発表スライドです
機械学習の推定精度向上のための変数作成方法 ～AbemaTVのユーザ属性推定～
- 1. CyberAgent, Inc. All Rights Reserved. 機械学習の推定精度向上のための変数作成方法 - AbemaTVのユーザ属性推定 - Date : 2018 Feb 23 Presenter : ABE Masatoshi
- 2. 本日お伝えしたいこと01
- 4. 自己绍介02
- 5. 自己绍介02 の前に
- 6. 自己绍介02 メディア事業は、今AbemaTVに投 資をしている段階です。数字はまだ 公表するつもりはないのですが、 AbemaTV自体の広告の売 上も順調にPump Upする 時期だと、今年度を位置付け ています。要は、コストを増 やしているものの売上も 増やしており、その数字が 入ってきています。 by 代表取締役社長 藤田晋 2018年1月25日 ㈱サイバーエージェント 2018年9月期第1四半期決算説明会
- 11. ビジネス3.8点の材料 自己绍介02 14年 17年 4月 7月 ’18.01 ? 分析提供者 ＝ 日銀からラーメン屋まで ? 取扱データ ＝ 企業間取引データからガチャのログまで ’14.04 ’11.04 ’17.07 社会人7年目で4社目。データサイエンティストとして、社内外 向け問わず、様々なビジネスモデルの組織で分析を経験
- 15. 機械学習のテーマ AbemaTVでの機械学習03 ? 属性推定 ユーザが下記7属性のいずれに分類されるか推定する 男性 女性 20歳未満 Teen 20～34歳 M1 F1 35～49歳 M2 F2 50歳以上 M3 F3 AbemaTVの広告配信サービスの仕様上、 このデモグラでユーザを区分できるとビジネス的にうれしい
- 16. 前提 AbemaTVでの機械学習03 ? ＡｂｅｍａＴＶは受け身メディア ? 暇だったらAbemaTVをひらいても らうのが目標 ? 開けたらすぐ始まるとか、登録い らないとか簡単にした 参照：下記記事 https://ferret-plus.com/5542 http://jp.techcrunch.com/2016/12/15/abematv-at-tc-tokyo-2016/ https://www.videor.co.jp/digestplus/media/2017/07/2337.html AbemaTVは視聴ログ以外のユーザ情報を 基本的に取得していない
- 18. 今回やってみた機械学習の概要 AbemaTVでの機械学習03 過去のアンケート回答者でモデルを作成して、 最近の回答者の推定結果で精度を確かめる 学習データ 2017年11月までのアンケート回答者の視聴データ 性別推定モデル / 年代推定モデル Rのxgboostライブラリ メリット：高精度なモデルつくりやすい、説明変数の数多くて似通っていてもOK デメリット：計算コスト大きくて学習データが数GB超えるときつい、パラメータ調整が奥深い 評価用データ 2017年12月以降のアンケート 回答者の視聴データ ①モデル構築 ②入力 ③出力 推定結果 男性確率 or 年代該当確率
- 19. 説明変数の元 AbemaTVでの機械学習03 主なログは大体、 ? ユーザ×番組 単位のレコード（合計何秒見たかなど） ? ユーザ×広告 単位のレコード（合計何秒見たかなど） で集計された形式で格納されている ①ユーザが アプリを利用 ②色々経て ③Big Queryに ログ貯蓄
- 20. 説明変数 AbemaTVでの機械学習03 まずは、オーソドックスにチャンネル別の 視聴時間?回数を説明変数として推定（全48変数） 累計 視聴時間 （秒） 全23チャンネルの視聴時間構成比 News 新作 TVアニメ 家族 アニメ … ドキュ メンタリー 麻雀ch 3,600 10% 10% 10% 10% 10% 累計 視聴回数 全23チャンネルの視聴時間構成比 News 新作TV アニメ 家族アニメ … ドキュメン タリー 麻雀ch 50 5% 5% 5% 5% 5% ■データ例（※ダミーデータ）
- 21. 性別の推定結果 AbemaTVでの機械学習03 性別類推はざっと試してみて、満足できる精度 （数字出せなくて申し訳ありません…） アンケート回答 計 正答率 （precision）a_男性 b_女性 推定結果 （推定値>0.5は男性 推定値<=0.5は女性） 1_男性 2_女性 計 再現率（recall） ? Xgboostのパラメータはデフォルト通り。最適な木の探索数はmax100回として、交差データにて最も誤判別率が小さくな る場合を採用 悪くないぞ
- 23. 年代の推定結果 ver1 AbemaTVでの機械学習03 年代推定の精度も悪くなかったが、もう少し高められそう アンケート回答 計 正答率 （precision） 20歳 未満 20～ 34歳 35～ 49歳 50歳 以上 推定結果 （最も推定値 の高い グループに 分類） 20歳未満 20～34歳 35～49歳 50歳以上 計 再現率（recall） ? Xgboostのパラメータはデフォルト通り。最適な木の探索数はmax100回として、交差データにて最も誤判別率が小さくな る場合を採用 もう一声！
- 25. 曜日?時間（hour）の説明変数追加 AbemaTVでの機械学習03 曜日、時間の視聴時間構成比を説明変数に追加 ＋ ＋ 曜日別の視聴時間構成比 月曜日 火曜日 … 日曜日 15% 15% 15% 時間別の視聴時間構成比 0時台 1時台 … 23時台 8% 8% 8% 累計 視聴時間 全23チャンネルの視聴時間構成比 News 新作 TVアニメ 家族 アニメ … ドキュ メンタリー 麻雀ch 3,600 10% 10% 10% 10% 10% 累計 視聴回数 全23チャンネルの視聴時間構成比 News 新作TV アニメ 家族アニメ … ドキュメンタ リー 麻雀ch 50 5% 5% 5% 5% 5% ■データ例（※ダミーデータ） 視 視
- 26. 若干、精度向上 年代の推定結果 ver2（＋曜日?時間） AbemaTVでの機械学習03 アンケート回答 計 正答率 （precision） 20歳 未満 20～ 34歳 35～ 49歳 50歳 以上 推定結果 （最も推定値 の高い グループに 分類） 20歳未満 20～34歳 35～49歳 50歳以上 計 ver1比 101.08％ 再現率（recall） ? Xgboostのパラメータはデフォルト通り。最適な木の探索数はmax100回として、交差データにて最も誤判別率が小さくな る場合を採用
- 27. 自己绍介02 ここから伸び悩む
- 28. 死屍累々 説明変数の試行錯誤 AbemaTVでの機械学習03 ? 説明変数を追加してもモデルを作成した場合の全体正答率の変化 モデル No. 説明変数 モデルNo.1比の全体正 答率（precision）の 上昇率 1 視聴時間?回数（総計およびチャンネル別構成比） 100% 2 + 曜日?時間別の視聴時間構成比 101.08% 3-1 + 視聴予約（合計&チャンネル別回数） 101.09% 3-2 + コメント（回数総計およびデバイス別、 アプリ内 or Twitter別の回数) 101.07% 3-3 + OS, デバイス別視聴時間 101.11% 3-4 + 最長視聴番組（絶対値および平均比） 101.09%
- 29. 自己绍介02 苦肉の策
- 33. 自己绍介02 ザッピング
- 37. BINGO! 年齢別の平均ザッピング所要時間 AbemaTVでの機械学習03 2.30 2.35 2.40 2.45 2.50 2.55 2.60 2.65 15 20 25 30 35 40 45 50 55 60 65 70 秒数 年齢 ザッピング（5秒以下の視聴ログ）の平均所要時間 ? 2017年4月17日～2018年2月16日の視聴ログ全件のうち視聴時間が、5秒未満のログに限定して平均視聴時間を1歳刻みで図 示したのが下図
- 38. 推定の説明変数に加えると、精度もちょっぴり向上 説明変数の試行錯誤 AbemaTVでの機械学習03 ? 説明変数を追加してもモデルを作成した場合の全体正答率の変化 モデル No. 説明変数 全体正答率 （precision） 1 視聴時間?回数（総計およびチャンネル別構成比） 100% 2 + 曜日?時間別の視聴時間構成比 101.08% 3-1 + 視聴予約（回数総計およびチャンネル別回数） 101.09% 3-2 + コメント（回数総計およびデバイス別、 アプリ内 or Twitter別の回数) 101.07% 3-3 + OS別視聴時間 101.11% 3-4 + 最長視聴時間番組（絶対値および平均比） 101.09% 3-5 + 平均ザッピング時間 101.74%
Editor's Notes
- 5分以上视聴した后にフィードに戻るを3回実行したら表示される