How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
?
7 likes?4,562 views
TableauとGoogle Cloud Platformをヘビーに使っているアドテクスタジオですが、今回イベントでどのように利用しているかを話してきました。その時の資料です。
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
- 1. How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio 2016 March 24th CyberAgent, Inc. All Rights Reserved
- 2. Agenda
- 3. サイバーエージェントとは アドテクスタジオとは サイバーエージェントでのTableauの導入について サイバーエージェントでのGoogle Cloud Platformの導入について 実際のTableau x Google Cloud Platformの導入事例
- 4. 自己绍介
- 5. Ken Takao 株式会社サイバーエージェント アドテク本部 技術戦略部 技術戦略室 Central Infrastructure Agency Infra Manager アドテク本部の技術ボードメンバー としてTableau,GCPの推進を行ってます。
- 7. OUR VISION 当社は1998年の創業以来、インターネットを軸に事業を展開し、 現在では当社の代表的なサービスである「Ameba」をはじめ、ス マートフォン向けに多数のコミュニティサービスやゲームを提供 しています。2011年よりスマートフォン事業へ経営資産を大きく シフトし、2014年9月期には売上高の約7割がスマートフォン事 業に転換。変化対応力を強みに事業拡大を続けております。 Ameba事業は、先行投資期から収穫期に移行。インターネット 広告事業においては、スマートフォン広告市場の約3割を取り扱 い、インターネット広 告 市 場 国 内ナンバーワンのシェアを拡 大 し、アドテクノロジー分野や動画広告など、新しい広告手法にも 積極的に取り組んでおります。2009年から展開するゲーム事業 においても、ネイティブゲームにて複数本のヒットタイトルが出る など、国内有数のゲーム事業へ成長いたしました。
- 8. タイトル TITLE
- 9. タイトル TITLE
- 10. アドテクスタジオとは？
- 16. 2014年3月よりTableau Desktopを導入 一部の開発者やデータサイエンティストが データを可視化するのに利用。 2014年12月よりTableau Serverを導入 一部のチームでTableau Serverを 利用してデータの可視化を共有し始める。 2016年1月よりTableau Server Core Licenseを導入 社内のTableauユーザー数が爆発的に増加
- 17. 288人が使ってどれくらい CPUを使っているかというと全く使ってない （ロードアベレージが平均 0.0133） ネットワークトラフィックはそこそこ出ているが上限が 20Gbps 社員全員が使ってくれるといいな。
- 20. Google Cloud Platformの導入状況 Ameba事業本部、アドテク本部で導入中 cyberagent.co.jp,cyberagent.io,ameba-cloud.comの3つのドメ インが存在する。 ameba-cloud.comの方ではabema.tvやameba freshなど 新規サービスで利用中。 アドテク本部では動画広告配信システムに利用中。 AWSと比較すると リザーブドインスタンスを購入する必要が無い。 （いっぱい使っていると勝手に割り引かれる。） BigQueryだったり、強力なロードバランサーが使えたり、 リージョンをまたいでも同一ネットワークだったり便利
- 22. Tableauで費用分析 Google Cloud Platformでは1日ごとの費用を CSVにしてGoogle Cloud Storageにアップできます。 http://ameblo.jp/principia-ca/entry-12104991502.html これをCRONでBigQueryにロード これをTableauで可視化 bq load --skip_leading_rows=1 payment.gcp gs://cia-payment/payment-2016-03-16.csv Account_ID:STRING, Line_Item:STRING,Start_Time:TIMESTAMP,End_Time:TIMESTAMP,Project:STRING,Measurement1:STRING, Measurement1_Total_Consumption:FLOAT,Measurement1_Units:STRING,Credit1:STRING,Credit1_Amount: FLOAT,Credit1_Currency:STRING,Cost:FLOAT,Currency:STRING,Project_Number:STRING,Project_ID:STRING, Project_Name:STRING,Project_Labels:STRING,Description:STRING なんと僅か数分で左のグラフ ができてしまう！ Tableauの予測機能で費用予 測まで可能！？
- 23. 実際のTableau x Google Cloud Platform の導入事例
- 24. 自己绍介
- 25. Katsunori Kanda 株式会社サイバーエージェント アドテク本部 技術戦略部 技術戦略室 Core Development Group Senior Software Engineer potix2 @ twitter/github ※毎月LispMeetup(shibuya.lisp)を開催しています 今月は3/30に開催予定。残りわずか。
- 28. 広告の前提知识を少しだけ???
- 29. いつ x 誰が x どの広告と何処で接触して その結果、どうなったのか？ ということに関心があります。 広告システムでは、
- 31. それをふまえて、
- 32. スタディ１
- 33. 1分区切りで配信状况を可视化
- 34. やってみたこと
- 36. これをクリック
- 39. 1日分のログ1罢叠に、
- 40. Group By hour, minute
- 41. ちょっと重いけど、普通に动いた！
- 45. 思考の妨げ
- 46. 课金
- 47. そこで、
- 48. データ抽出
- 49. コレをクリック
- 50. スタディ１まとめ ● TableauからBigQueryの接続は簡単 ● 快適な操作＆コスト低減のためにはデータ抽出が有効 ● 搁顿叠的感覚で无理なクエリーでも叠颈驳蚕耻别谤测なら动く
- 51. スタディ2
- 54. Group By hour, minute, advertiser
- 55. だいたい数百万行くらい
- 56. これでも叠颈驳蚕耻别谤测は动く
- 57. 広告主ごとに色分けをしてみる
- 59. 罢补产濒别补耻でも表示できた！
- 60. もう少し过酷にしてみる
- 61. メジャーを追加していくと???
- 63. 突然のレンダリング待ち
- 64. スタディ２まとめ ● データソースを変更＆色分けだけで得られる情報量は格段 にあがった ● ただ、現実的な時間で描画できるとは限らない ● ポイントを絞り、不要な情報を削ぎ落とすことで「見やすく」、 「高速な」レポートができる ※最初から情報を削ぎ落としすぎると新たな気づきが得られないことも???
- 65. ちょっとだけ脱线
- 67. Group By hour, minute, advertiser, publisher
- 68. 数十亿から数百亿件くらい
- 73. まとめ ● データは雄弁 ● 速いは正義 ● 常识にとらわれないクエリーから新たな気づきを得る