際際滷
Submit Search
Google BigQueryを聞ってみた
?
43 likes
?
13,544 views
Yusuke Wada
Follow
PerlCasual #06 2014/10/24 Yusuke Wada a.k.a. yusukebe
Read less
Read more
1 of 39
Download now
Download to read offline
More Related Content
Google BigQueryを聞ってみた
1.
Google BigQueryを つかってみた
PerlCasual#06 2014/10/24 Yusuke Wada a.k.a. yusukebe
2.
2つの諒籾吭紛
3.
1. _kサイドから ?
箭えばアクセスログが湯らんで試喘できない 1.サイズが寄きい 2.蛍柊されている 3.楚が謹いので盾裂するのがyしい ? 採か是ったrに^肇のログが聞えない... 寄きなログをgに弖いたい
4.
2. ビジネスサイドから ?
箭えば佩咼蹈圧弔兵かい峺砲oい 1.デ`タベ`ス貧の床議な秤鵑里 2.Google Analyticsは掲械に倔だが... 3.ユ`ザ`に~原く秤鵑鮟睥したい 峺協したログをAめてディレクタ`の繁 でも盾裂?蛍裂でできるようにしたい
5.
と、そのr... 錣妊咼奪哀エリ`という冱~を くようになる...
6.
とか
7.
Google BigQueryは賞寄なデ`タを? なフォ`マットで慧りzめてSQLライ
クなクエリでい栽わせが辛嬬でチョ` 互堀120|レコ`ドにするクエリ を5昼でフルスキャン.好謄` しか も旋喘創も芦いと栖たもんだっ
8.
ってことで Google BigQueryを聞ってみたα
9.
デ`タを喘吭する I佞琶垢辰討い襯蹈阿栽 ?
RPCへのアクセス+ユ`ザ`Re徨 ? 匯稀JSON侘塀でファイルへき竃す ? 鹿sサ`バ`に誘げる ? fluent-plugin-bigquery で BigQuery へ携
10.
Google BigQuery 鹿sサ`バ
粥永鴛サ`バ粥永鴛サ`バ粥永鴛サ`バ
11.
デ`タを喘吭する デモのためにTwitter APIを旋喘する
? Streaming APIの仝statuses/sample々を旋喘 ? publicなツィ`トのほんの匯何を函誼辛嬬 ? fluent-plugin-twitter でgに ? 恷瘁はやはり fluent-plugin-bigquery を聞う
12.
Google BigQuery TweetЪサ`バ
13.
スキ`マは駅勣
15.
Google BigQueryは ブラウザから弼?できる
16.
箭えば... ? BigQuery
Browser Tool (瘁峰) ? Googleアカウントベ`スで慙泙臨啓 ? 旋喘彜rの_J ? APIクライアントの恬撹や茅 ? APIリクエストのモニタリング ? n署の砿尖 フルマネ`ジドで宴旋
17.
鏡徭のSQLでい栽わせる https://cloud.google.com/bigquery/query-reference
18.
ここで BigQuery Browser
Tool 鞠
19.
SELECT COUNT(*) AS
tweet_count FROM [twitter-stream-sample:twitter.tweet] ちなみに10埖18晩(輿)からЪ_兵
20.
22,289,497周 / 7.5昼
21.
Browser Toolで竃栖ること ?
Queryのg佩とY惚を燕侘塀でる ? Queryの隠贋とロ`ド ? CSV侘塀でのY惚のダウンロ`ド ? 仟しいテ`ブルやDataSetの恬撹など 駅勣恷弌泙C嬬がBっている さらにBigQuery Connector for Excelを聞えばExcelとのB咾眇苗
22.
箭えばディレクタ`が仟しい KPIを蹐襪燭瓩Queryを Bすることも深えられる
23.
參貧 Google BigQuery
を聞ってみたKわり One More Thing
24.
書恬ってるモノ BigView For
Visualizing Google BigQuery ? 圷?I佞BigQueryのY惚を辛晒するため ? Browser ToolのあるN ? BigQueryのThird-partyサ`ビスは}jで互 ? 朕峺すところはKibanaっぽいところ
26.
BigViewで竃栖ること ? Googleアカウントでのログイン
? 慙泙魍屬張廛蹈献Дトへのクエリのg佩 ? とある訳周和でのY惚のチャ`ト燕幣 ? Pieチャ`ト ? Lineチャ`ト ? クエリの隠贋 (隆g廾)
27.
京庄乙閣庄艶敬を聞ってみる
29.
1rgごとのツイ`ト方 をグラフにしてみる
30.
SELECT USEC_TO_TIMESTAMP((UTC_USEC_TO_HOUR(created_at))) AS
time, COUNT(*) AS tweet_count FROM [twitter-stream-sample:twitter.tweet] GROUP BY time ORDER BY time
32.
このxはデ`タが之鯛してます升
33.
ユ`ザ`の聞喘冱Zの護栽を チャ`トにしてみる
34.
SELECT user_lang, COUNT(user_lang)
AS lang_count FROM [twitter-stream-sample:twitter.tweet] GROUP BY user_lang ORDER BY lang_count DESC
37.
採らかのライセンスで パブリックに聞ってもらう かもしれません
38.
まとめ
39.
? Google BigQueryはブラウザで弼?できちゃって
Sだし芦いそして壼い/堀い ? g廾(B亊)はおおよそfluentdにお販せ ? 試喘できてないデ`タを試かすことが竃栖る ? Browser Toolでディレクタ`がSQLをく ? BigViewでシンプルなデ`タの晒を朕峺す ? Googleの指し宀ではないです ^^
Download