際際滷

際際滷Share a Scribd company logo
Google BigQueryを 
つかってみた 
PerlCasual#06 
2014/10/24 
Yusuke Wada a.k.a. yusukebe
2つの諒籾吭紛
1. _kサイドから 
? 箭えばアクセスログが湯らんで試喘できない 
1.サイズが寄きい 
2.蛍柊されている 
3.楚が謹いので盾裂するのがyしい 
? 採か是ったrに^肇のログが聞えない... 
寄きなログをgに弖いたい
2. ビジネスサイドから 
? 箭えば佩咼蹈圧弔兵かい峺砲oい 
1.デ`タベ`ス貧の床議な秤鵑里 
2.Google Analyticsは掲械に倔だが... 
3.ユ`ザ`に~原く秤鵑鮟睥したい 
峺協したログをAめてディレクタ`の繁 
でも盾裂?蛍裂でできるようにしたい
と、そのr... 
錣妊咼奪哀エリ`という冱~を 
くようになる...
とか
Google BigQueryは賞寄なデ`タを? 
なフォ`マットで慧りzめてSQLライ 
クなクエリでい栽わせが辛嬬でチョ` 
互堀120|レコ`ドにするクエリ 
を5昼でフルスキャン.好謄` しか 
も旋喘創も芦いと栖たもんだっ
ってことで 
Google BigQueryを聞ってみたα
デ`タを喘吭する 
I佞琶垢辰討い襯蹈阿栽 
? RPCへのアクセス+ユ`ザ`Re徨 
? 匯稀JSON侘塀でファイルへき竃す 
? 鹿sサ`バ`に誘げる 
? fluent-plugin-bigquery で BigQuery へ携
Google BigQuery 
鹿sサ`バ 
粥永鴛サ`バ粥永鴛サ`バ粥永鴛サ`バ
デ`タを喘吭する 
デモのためにTwitter APIを旋喘する 
? Streaming APIの仝statuses/sample々を旋喘 
? publicなツィ`トのほんの匯何を函誼辛嬬 
? fluent-plugin-twitter でgに 
? 恷瘁はやはり fluent-plugin-bigquery を聞う
Google BigQuery 
TweetЪサ`バ
スキ`マは駅勣
Google BigQueryを聞ってみた
Google BigQueryは 
ブラウザから弼?できる
箭えば... 
? BigQuery Browser Tool (瘁峰) 
? Googleアカウントベ`スで慙泙臨啓 
? 旋喘彜rの_J 
? APIクライアントの恬撹や茅 
? APIリクエストのモニタリング 
? n署の砿尖 
フルマネ`ジドで宴旋
鏡徭のSQLでい栽わせる 
https://cloud.google.com/bigquery/query-reference
ここで BigQuery 
Browser Tool 鞠
SELECT COUNT(*) AS tweet_count 
FROM [twitter-stream-sample:twitter.tweet] 
ちなみに10埖18晩(輿)からЪ_兵
22,289,497周 / 7.5昼
Browser Toolで竃栖ること 
? Queryのg佩とY惚を燕侘塀でる 
? Queryの隠贋とロ`ド 
? CSV侘塀でのY惚のダウンロ`ド 
? 仟しいテ`ブルやDataSetの恬撹など 
駅勣恷弌泙C嬬がBっている 
さらにBigQuery Connector for Excelを聞えばExcelとのB咾眇苗
箭えばディレクタ`が仟しい 
KPIを蹐襪燭瓩Queryを 
Bすることも深えられる
參貧 Google BigQuery 
を聞ってみたKわり 
One More Thing
書恬ってるモノ 
BigView 
For Visualizing Google BigQuery 
? 圷?I佞BigQueryのY惚を辛晒するため 
? Browser ToolのあるN 
? BigQueryのThird-partyサ`ビスは}jで互 
? 朕峺すところはKibanaっぽいところ
Google BigQueryを聞ってみた
BigViewで竃栖ること 
? Googleアカウントでのログイン 
? 慙泙魍屬張廛蹈献Дトへのクエリのg佩 
? とある訳周和でのY惚のチャ`ト燕幣 
? Pieチャ`ト 
? Lineチャ`ト 
? クエリの隠贋 (隆g廾)
京庄乙閣庄艶敬を聞ってみる
Google BigQueryを聞ってみた
1rgごとのツイ`ト方 
をグラフにしてみる
SELECT USEC_TO_TIMESTAMP((UTC_USEC_TO_HOUR(created_at))) 
AS time, COUNT(*) AS tweet_count 
FROM [twitter-stream-sample:twitter.tweet] 
GROUP BY time 
ORDER BY time
Google BigQueryを聞ってみた
このxはデ`タが之鯛してます升
ユ`ザ`の聞喘冱Zの護栽を 
チャ`トにしてみる
SELECT user_lang, COUNT(user_lang) AS lang_count 
FROM [twitter-stream-sample:twitter.tweet] 
GROUP BY user_lang 
ORDER BY lang_count DESC
Google BigQueryを聞ってみた
Google BigQueryを聞ってみた
採らかのライセンスで 
パブリックに聞ってもらう 
かもしれません
まとめ
? Google BigQueryはブラウザで弼?できちゃって 
Sだし芦いそして壼い/堀い 
? g廾(B亊)はおおよそfluentdにお販せ 
? 試喘できてないデ`タを試かすことが竃栖る 
? Browser Toolでディレクタ`がSQLをく 
? BigViewでシンプルなデ`タの晒を朕峺す 
? Googleの指し宀ではないです ^^

More Related Content

Google BigQueryを聞ってみた