狠狠撸

狠狠撸Share a Scribd company logo
FlyData Autoload:
事例集
Move your data on the fly!
モバイルゲーム
ソーシャルゲームのリアルタイム分析
? 問題の背景
– 複数のタイトルを持つ日本の代表的なソーシャルゲーム提供企業であるEnish
– 以前はオンプレミスの MySQL クラスタに大量ログデータを持っていたMySQL クラス
タはあまりの大量データのため、しばしばダウンし、その復旧には月に何人日ものコス
トがかかっていた
– 何年にも渡るデータでの過去データ全分析などはそもそも不可能だった
? FlyData による解決策
– 複数タイトルに渡るログをJSONフォーマットで統一しFlyData Enterpriseを導入
– ユーザアクションログをJSONフォーマットに出力
– データは自動的にAmazon Redshiftに送信
? 結果
– エンジニアは時間を節約し、その分リアルタイム分析によりアプリ開発の改善を行うこ
とができるようになった
– 月に何人日ものメンテナンスコストを削減し、分析による改善で売上、利益が向上した
アドテクノロジー
先進的なネット広告スタートアップの
ビッグデータ基盤
? 問題の背景
– アメリカの新しいディスプレイ広告を提供する
– ユーザが広告を見た長さなどを測定することで広告効果を測定するDENNOO
– 大規模なデータを保存し、それは広告レポートの作成に使われるデータをリアルタイムに処理する必要があった
– 最初Hadoopを利用していたが、開発?運用コストが見合わなかった。また、Hadoopの習得コストは高く、クエリ作成
とHadoopクラスタのメンテナンス両方に問題があった
? FlyData による解決策
– FlyData Enterpriseによる 「拡張」 Apache ログフォーマットを利用
– 一般的な Combined Apache ログフォーマット に Apache拡張モジュールにより追加情報を加え、全てのリクエスト
情報を出力。拡張部分はキーバリューペアになっていて、さらにURLのパラメータ部分もそれぞれ変数として利用可
能
– データは自動的に Amazon Redshift に送られ、適切なテーブル?カラムにマッピングされる。もしカラムが存在しな
い場合は、自動的に追加される。これにより、テーブルデザインの柔軟さを得ることができた
– 広告パフォーマンスレポートによって、その会社の顧客はリアルタイムに広告結果を見ることができるようになった
– 顧客内部の分析チームはリアルタイムに広告パフォーマンスなどを見ることができるため、広告の質を改善すること
ができた
? 結果
– スケール可能なレポートバックエンドを得て、複数のキャンペーンのテラバイト級データから顧客に適切なレポートを
提供することが可能になった
– Hadoop基盤よりもコストを削減し、FlyData とRedshiftを利用して広告のパフォーマンスを上げることで売上?利益
が向上した
オンラインメディア
高速フィードバックによる開発サイクルの
アジャイルな改善
? 問題の背景
– 1300万を超える 「いいね」 されたFacebookページをもつアメリカのメディアスタートアップである
Tokyo Otaku Mode。
– ユーザの行動ログを分析することでウェブサイトやユーザの動線などを解析していた
– 顧客のコンバージョンレートに対するファネル分析を行っていた
– 行動ログデータはJSON形式で、MongoDBに保存されていた
– 集計クエリの性質上、MongoDBでは十分なパフォーマンスを得ることができなくなっていた
? FlyData による解決策
– 複雑な(入れ子の)JSON形式のログを FlyData Enterpriseを利用して送信
– 全ての行動ログをJSONファイルに書き出す
– FlyData は自動的にRedshiftに送信し、分析チーム(=開発チーム)は行動ログの分析を短時間に
行うことができるようになった
– 顧客データのファネル分析の時間も短縮
? 結果
– JSON利用の柔軟性はそのまま、分析クエリのスピードが圧倒的に速くなり、以前は20分以上か
かっていた処理が1分以内になった
– 将来に渡るスケーラビリティも確保できた
– リーンスタートアップの開発サイクル (構築ー測定ー学習サイクル) を高速に回せるようになった
お問い合わせ
? sales-jp@flydata.com
? http://flydata.com
FlyData は Amazon Redshiftの
公式データインテグレーションパートナーです

More Related Content

Viewers also liked (20)

Directory Write Leases in MagFS
Directory Write Leases in MagFSDirectory Write Leases in MagFS
Directory Write Leases in MagFS
Maginatics
?
2014-01-28 Operation in the future
2014-01-28 Operation in the future2014-01-28 Operation in the future
2014-01-28 Operation in the future
Operation Lab, LLC.
?
Smoove
SmooveSmoove
Smoove
bestrol
?
PCP
PCPPCP
PCP
Buland Singh
?
Getting Started with Performance Co-Pilot
Getting Started with Performance Co-PilotGetting Started with Performance Co-Pilot
Getting Started with Performance Co-Pilot
Paul V. Novarese
?
PyCon JP 2014 plone terada
PyCon JP 2014 plone teradaPyCon JP 2014 plone terada
PyCon JP 2014 plone terada
Manabu Terada
?
第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」
第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」
第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」
WebSig24/7
?
厂滨业界の営业の役割と存在意义を一绪に考えよう
厂滨业界の営业の役割と存在意义を一绪に考えよう厂滨业界の営业の役割と存在意义を一绪に考えよう
厂滨业界の営业の役割と存在意义を一绪に考えよう
Manabu Terada
?
Pyconjp2014_implementations
Pyconjp2014_implementationsPyconjp2014_implementations
Pyconjp2014_implementations
masahitojp
?
Site Search Analytics in a Nutshell
Site Search Analytics in a NutshellSite Search Analytics in a Nutshell
Site Search Analytics in a Nutshell
Louis Rosenfeld
?
"Continuous Publication" with Python: Another Approach
"Continuous Publication" with Python: Another Approach"Continuous Publication" with Python: Another Approach
"Continuous Publication" with Python: Another Approach
Daisuke Miyakawa
?
笔测谤补尘颈诲入门
笔测谤补尘颈诲入门笔测谤补尘颈诲入门
笔测谤补尘颈诲入门
Atsushi Odagiri
?
Effective Numerical Computation in NumPy and SciPy
Effective Numerical Computation in NumPy and SciPyEffective Numerical Computation in NumPy and SciPy
Effective Numerical Computation in NumPy and SciPy
Kimikazu Kato
?
狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)
狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)
狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)
Osaka University
?
Riverbed Software Defined IT Survey
Riverbed Software Defined IT SurveyRiverbed Software Defined IT Survey
Riverbed Software Defined IT Survey
Riverbed Technology
?
Docomo Cloud Package
Docomo Cloud PackageDocomo Cloud Package
Docomo Cloud Package
Osaka University
?
OnLab Japan introduction to Lean Analytics
OnLab Japan introduction to Lean AnalyticsOnLab Japan introduction to Lean Analytics
OnLab Japan introduction to Lean Analytics
Lean Analytics
?
Hacking Marketing By Scott Brinker
Hacking Marketing By Scott BrinkerHacking Marketing By Scott Brinker
Hacking Marketing By Scott Brinker
MarTech Conference
?
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQSAWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
Amazon Web Services Japan
?
Directory Write Leases in MagFS
Directory Write Leases in MagFSDirectory Write Leases in MagFS
Directory Write Leases in MagFS
Maginatics
?
Getting Started with Performance Co-Pilot
Getting Started with Performance Co-PilotGetting Started with Performance Co-Pilot
Getting Started with Performance Co-Pilot
Paul V. Novarese
?
PyCon JP 2014 plone terada
PyCon JP 2014 plone teradaPyCon JP 2014 plone terada
PyCon JP 2014 plone terada
Manabu Terada
?
第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」
第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」
第29回奥别产厂颈驳会议「効率化だけではない!中小~中坚贰颁サイトの成果を上げる「メディア编集力」とは」
WebSig24/7
?
厂滨业界の営业の役割と存在意义を一绪に考えよう
厂滨业界の営业の役割と存在意义を一绪に考えよう厂滨业界の営业の役割と存在意义を一绪に考えよう
厂滨业界の営业の役割と存在意义を一绪に考えよう
Manabu Terada
?
Pyconjp2014_implementations
Pyconjp2014_implementationsPyconjp2014_implementations
Pyconjp2014_implementations
masahitojp
?
Site Search Analytics in a Nutshell
Site Search Analytics in a NutshellSite Search Analytics in a Nutshell
Site Search Analytics in a Nutshell
Louis Rosenfeld
?
"Continuous Publication" with Python: Another Approach
"Continuous Publication" with Python: Another Approach"Continuous Publication" with Python: Another Approach
"Continuous Publication" with Python: Another Approach
Daisuke Miyakawa
?
笔测谤补尘颈诲入门
笔测谤补尘颈诲入门笔测谤补尘颈诲入门
笔测谤补尘颈诲入门
Atsushi Odagiri
?
Effective Numerical Computation in NumPy and SciPy
Effective Numerical Computation in NumPy and SciPyEffective Numerical Computation in NumPy and SciPy
Effective Numerical Computation in NumPy and SciPy
Kimikazu Kato
?
狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)
狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)
狈迟迟ト?コモ事例から见るモハ?イル&クラウト?时代のサーヒ?ス开発について谤4(辫耻产濒颈肠)
Osaka University
?
Riverbed Software Defined IT Survey
Riverbed Software Defined IT SurveyRiverbed Software Defined IT Survey
Riverbed Software Defined IT Survey
Riverbed Technology
?
OnLab Japan introduction to Lean Analytics
OnLab Japan introduction to Lean AnalyticsOnLab Japan introduction to Lean Analytics
OnLab Japan introduction to Lean Analytics
Lean Analytics
?
Hacking Marketing By Scott Brinker
Hacking Marketing By Scott BrinkerHacking Marketing By Scott Brinker
Hacking Marketing By Scott Brinker
MarTech Conference
?
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQSAWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
Amazon Web Services Japan
?

Similar to FlyData Autoload: 事例集 (20)

stapy_028_talk1
stapy_028_talk1stapy_028_talk1
stapy_028_talk1
Takeshi Akutsu
?
Talk 1「データインテグレーションとは何か」
Talk 1「データインテグレーションとは何か」Talk 1「データインテグレーションとは何か」
Talk 1「データインテグレーションとは何か」
Takeshi Akutsu
?
米国クラウド最新事情を10分でおさらい
米国クラウド最新事情を10分でおさらい米国クラウド最新事情を10分でおさらい
米国クラウド最新事情を10分でおさらい
Atsushi Nakada
?
翱厂厂とクラウドによるコンピューティングモデルの変化
翱厂厂とクラウドによるコンピューティングモデルの変化翱厂厂とクラウドによるコンピューティングモデルの変化
翱厂厂とクラウドによるコンピューティングモデルの変化
Nobuyori Takahashi
?
尝滨狈贰の惭测厂蚕尝运用について
尝滨狈贰の惭测厂蚕尝运用について尝滨狈贰の惭测厂蚕尝运用について
尝滨狈贰の惭测厂蚕尝运用について
LINE Corporation
?
AWS Black Belt Techシリーズ Amazon ElastiCache
AWS Black Belt Techシリーズ Amazon ElastiCacheAWS Black Belt Techシリーズ Amazon ElastiCache
AWS Black Belt Techシリーズ Amazon ElastiCache
Amazon Web Services Japan
?
尝滨狈贰の惭测厂蚕尝运用について 修正版
尝滨狈贰の惭测厂蚕尝运用について 修正版尝滨狈贰の惭测厂蚕尝运用について 修正版
尝滨狈贰の惭测厂蚕尝运用について 修正版
LINE Corporation
?
IBM Notes/Domino and IBM Bluemix
IBM Notes/Domino and IBM BluemixIBM Notes/Domino and IBM Bluemix
IBM Notes/Domino and IBM Bluemix
Atsushi Sato
?
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit  Generating Recommendations at Amazon Scale with Apach...20161027 hadoop summit  Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Amazon Web Services Japan
?
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
?
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Insight Technology, Inc.
?
Dev camp2012jpn day2session2
Dev camp2012jpn day2session2Dev camp2012jpn day2session2
Dev camp2012jpn day2session2
Developer Camp 2012 Japan Fall
?
もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~
もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~
もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~
griddb
?
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみようPPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Daisuke Masubuchi
?
AWS初心者向けWebinar AWSでBig Data活用
AWS初心者向けWebinar AWSでBig Data活用AWS初心者向けWebinar AWSでBig Data活用
AWS初心者向けWebinar AWSでBig Data活用
Amazon Web Services Japan
?
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Daisuke Masubuchi
?
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
Amazon Web Services Japan
?
滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する
滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する
滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する
Miyuki Mochizuki
?
闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑
闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑
闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑
Kenta Suzuki
?
Talk 1「データインテグレーションとは何か」
Talk 1「データインテグレーションとは何か」Talk 1「データインテグレーションとは何か」
Talk 1「データインテグレーションとは何か」
Takeshi Akutsu
?
米国クラウド最新事情を10分でおさらい
米国クラウド最新事情を10分でおさらい米国クラウド最新事情を10分でおさらい
米国クラウド最新事情を10分でおさらい
Atsushi Nakada
?
翱厂厂とクラウドによるコンピューティングモデルの変化
翱厂厂とクラウドによるコンピューティングモデルの変化翱厂厂とクラウドによるコンピューティングモデルの変化
翱厂厂とクラウドによるコンピューティングモデルの変化
Nobuyori Takahashi
?
尝滨狈贰の惭测厂蚕尝运用について
尝滨狈贰の惭测厂蚕尝运用について尝滨狈贰の惭测厂蚕尝运用について
尝滨狈贰の惭测厂蚕尝运用について
LINE Corporation
?
AWS Black Belt Techシリーズ Amazon ElastiCache
AWS Black Belt Techシリーズ Amazon ElastiCacheAWS Black Belt Techシリーズ Amazon ElastiCache
AWS Black Belt Techシリーズ Amazon ElastiCache
Amazon Web Services Japan
?
尝滨狈贰の惭测厂蚕尝运用について 修正版
尝滨狈贰の惭测厂蚕尝运用について 修正版尝滨狈贰の惭测厂蚕尝运用について 修正版
尝滨狈贰の惭测厂蚕尝运用について 修正版
LINE Corporation
?
IBM Notes/Domino and IBM Bluemix
IBM Notes/Domino and IBM BluemixIBM Notes/Domino and IBM Bluemix
IBM Notes/Domino and IBM Bluemix
Atsushi Sato
?
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit  Generating Recommendations at Amazon Scale with Apach...20161027 hadoop summit  Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Amazon Web Services Japan
?
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
?
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Insight Technology, Inc.
?
もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~
もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~
もう厂蚕尝と狈辞厂蚕尝を选ぶ必要はない!?~両者を备えたスケールアウトデータベース骋谤颈诲顿叠~
griddb
?
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみようPPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Daisuke Masubuchi
?
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
PDF版 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう Db tech showcase2020
Daisuke Masubuchi
?
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用【IVS CTO Night & Day】AWSにおけるビッグデータ活用
【IVS CTO Night & Day】AWSにおけるビッグデータ活用
Amazon Web Services Japan
?
滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する
滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する
滨厂滨顿×惭厂冲顿尝尝础叠冲公司のデータ&础滨活用を础锄耻谤别で加速する
Miyuki Mochizuki
?
闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑
闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑
闯别苍办颈苍蝉と丑补诲辞辞辫を利用した継続的データ解析环境の构筑
Kenta Suzuki
?

More from FlyData Inc. (11)

What is Change Data Capture (CDC) and Why is it Important?
What is Change Data Capture (CDC) and Why is it Important?What is Change Data Capture (CDC) and Why is it Important?
What is Change Data Capture (CDC) and Why is it Important?
FlyData Inc.
?
What's So Unique About a Columnar Database?
What's So Unique About a Columnar Database?What's So Unique About a Columnar Database?
What's So Unique About a Columnar Database?
FlyData Inc.
?
Three Things to Consider When Making Investments in Your Big Data Infrastructure
Three Things to Consider When Making Investments in Your Big Data InfrastructureThree Things to Consider When Making Investments in Your Big Data Infrastructure
Three Things to Consider When Making Investments in Your Big Data Infrastructure
FlyData Inc.
?
Cognitive Biases in Data Science
Cognitive Biases in Data ScienceCognitive Biases in Data Science
Cognitive Biases in Data Science
FlyData Inc.
?
How to Extract Data from Amazon Redshift
How to Extract Data from Amazon RedshiftHow to Extract Data from Amazon Redshift
How to Extract Data from Amazon Redshift
FlyData Inc.
?
Amazon Redshift - Create an Amazon Redshift Cluster
Amazon Redshift - Create an Amazon Redshift ClusterAmazon Redshift - Create an Amazon Redshift Cluster
Amazon Redshift - Create an Amazon Redshift Cluster
FlyData Inc.
?
The Internet of Things
The Internet of ThingsThe Internet of Things
The Internet of Things
FlyData Inc.
?
Create an Amazon Redshift Cluster with FlyData!
Create an Amazon Redshift Cluster with FlyData!Create an Amazon Redshift Cluster with FlyData!
Create an Amazon Redshift Cluster with FlyData!
FlyData Inc.
?
Near Real-Time Data Analysis With FlyData
Near Real-Time Data Analysis With FlyData Near Real-Time Data Analysis With FlyData
Near Real-Time Data Analysis With FlyData
FlyData Inc.
?
Scalability of Amazon Redshift Data Loading and Query Speed
Scalability of Amazon Redshift Data Loading and Query SpeedScalability of Amazon Redshift Data Loading and Query Speed
Scalability of Amazon Redshift Data Loading and Query Speed
FlyData Inc.
?
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Amazon Redshift ベンチマーク  Hadoop + Hiveと比較 Amazon Redshift ベンチマーク  Hadoop + Hiveと比較
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
FlyData Inc.
?
What is Change Data Capture (CDC) and Why is it Important?
What is Change Data Capture (CDC) and Why is it Important?What is Change Data Capture (CDC) and Why is it Important?
What is Change Data Capture (CDC) and Why is it Important?
FlyData Inc.
?
What's So Unique About a Columnar Database?
What's So Unique About a Columnar Database?What's So Unique About a Columnar Database?
What's So Unique About a Columnar Database?
FlyData Inc.
?
Three Things to Consider When Making Investments in Your Big Data Infrastructure
Three Things to Consider When Making Investments in Your Big Data InfrastructureThree Things to Consider When Making Investments in Your Big Data Infrastructure
Three Things to Consider When Making Investments in Your Big Data Infrastructure
FlyData Inc.
?
Cognitive Biases in Data Science
Cognitive Biases in Data ScienceCognitive Biases in Data Science
Cognitive Biases in Data Science
FlyData Inc.
?
How to Extract Data from Amazon Redshift
How to Extract Data from Amazon RedshiftHow to Extract Data from Amazon Redshift
How to Extract Data from Amazon Redshift
FlyData Inc.
?
Amazon Redshift - Create an Amazon Redshift Cluster
Amazon Redshift - Create an Amazon Redshift ClusterAmazon Redshift - Create an Amazon Redshift Cluster
Amazon Redshift - Create an Amazon Redshift Cluster
FlyData Inc.
?
The Internet of Things
The Internet of ThingsThe Internet of Things
The Internet of Things
FlyData Inc.
?
Create an Amazon Redshift Cluster with FlyData!
Create an Amazon Redshift Cluster with FlyData!Create an Amazon Redshift Cluster with FlyData!
Create an Amazon Redshift Cluster with FlyData!
FlyData Inc.
?
Near Real-Time Data Analysis With FlyData
Near Real-Time Data Analysis With FlyData Near Real-Time Data Analysis With FlyData
Near Real-Time Data Analysis With FlyData
FlyData Inc.
?
Scalability of Amazon Redshift Data Loading and Query Speed
Scalability of Amazon Redshift Data Loading and Query SpeedScalability of Amazon Redshift Data Loading and Query Speed
Scalability of Amazon Redshift Data Loading and Query Speed
FlyData Inc.
?
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
Amazon Redshift ベンチマーク  Hadoop + Hiveと比較 Amazon Redshift ベンチマーク  Hadoop + Hiveと比較
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
FlyData Inc.
?

FlyData Autoload: 事例集

  • 3. ソーシャルゲームのリアルタイム分析 ? 問題の背景 – 複数のタイトルを持つ日本の代表的なソーシャルゲーム提供企業であるEnish – 以前はオンプレミスの MySQL クラスタに大量ログデータを持っていたMySQL クラス タはあまりの大量データのため、しばしばダウンし、その復旧には月に何人日ものコス トがかかっていた – 何年にも渡るデータでの過去データ全分析などはそもそも不可能だった ? FlyData による解決策 – 複数タイトルに渡るログをJSONフォーマットで統一しFlyData Enterpriseを導入 – ユーザアクションログをJSONフォーマットに出力 – データは自動的にAmazon Redshiftに送信 ? 結果 – エンジニアは時間を節約し、その分リアルタイム分析によりアプリ開発の改善を行うこ とができるようになった – 月に何人日ものメンテナンスコストを削減し、分析による改善で売上、利益が向上した
  • 5. 先進的なネット広告スタートアップの ビッグデータ基盤 ? 問題の背景 – アメリカの新しいディスプレイ広告を提供する – ユーザが広告を見た長さなどを測定することで広告効果を測定するDENNOO – 大規模なデータを保存し、それは広告レポートの作成に使われるデータをリアルタイムに処理する必要があった – 最初Hadoopを利用していたが、開発?運用コストが見合わなかった。また、Hadoopの習得コストは高く、クエリ作成 とHadoopクラスタのメンテナンス両方に問題があった ? FlyData による解決策 – FlyData Enterpriseによる 「拡張」 Apache ログフォーマットを利用 – 一般的な Combined Apache ログフォーマット に Apache拡張モジュールにより追加情報を加え、全てのリクエスト 情報を出力。拡張部分はキーバリューペアになっていて、さらにURLのパラメータ部分もそれぞれ変数として利用可 能 – データは自動的に Amazon Redshift に送られ、適切なテーブル?カラムにマッピングされる。もしカラムが存在しな い場合は、自動的に追加される。これにより、テーブルデザインの柔軟さを得ることができた – 広告パフォーマンスレポートによって、その会社の顧客はリアルタイムに広告結果を見ることができるようになった – 顧客内部の分析チームはリアルタイムに広告パフォーマンスなどを見ることができるため、広告の質を改善すること ができた ? 結果 – スケール可能なレポートバックエンドを得て、複数のキャンペーンのテラバイト級データから顧客に適切なレポートを 提供することが可能になった – Hadoop基盤よりもコストを削減し、FlyData とRedshiftを利用して広告のパフォーマンスを上げることで売上?利益 が向上した
  • 7. 高速フィードバックによる開発サイクルの アジャイルな改善 ? 問題の背景 – 1300万を超える 「いいね」 されたFacebookページをもつアメリカのメディアスタートアップである Tokyo Otaku Mode。 – ユーザの行動ログを分析することでウェブサイトやユーザの動線などを解析していた – 顧客のコンバージョンレートに対するファネル分析を行っていた – 行動ログデータはJSON形式で、MongoDBに保存されていた – 集計クエリの性質上、MongoDBでは十分なパフォーマンスを得ることができなくなっていた ? FlyData による解決策 – 複雑な(入れ子の)JSON形式のログを FlyData Enterpriseを利用して送信 – 全ての行動ログをJSONファイルに書き出す – FlyData は自動的にRedshiftに送信し、分析チーム(=開発チーム)は行動ログの分析を短時間に 行うことができるようになった – 顧客データのファネル分析の時間も短縮 ? 結果 – JSON利用の柔軟性はそのまま、分析クエリのスピードが圧倒的に速くなり、以前は20分以上か かっていた処理が1分以内になった – 将来に渡るスケーラビリティも確保できた – リーンスタートアップの開発サイクル (構築ー測定ー学習サイクル) を高速に回せるようになった
  • 8. お問い合わせ ? sales-jp@flydata.com ? http://flydata.com FlyData は Amazon Redshiftの 公式データインテグレーションパートナーです