狠狠撸
Submit Search
简単ログ解析ハンズオン?
Apr 28, 2017
1 like
4,341 views
Koichiro Nishijima
Amazon AthenaとAmazon QuickSightで、放置しているそのログ、?可視化しましょう!
Read less
Read more
1 of 52
Download now
Download to read offline
Recommended
楽しいエンジニアライフを送るために重要なこと
楽しいエンジニアライフを送るために重要なこと
Koichiro Nishijima
?
第1回Golang勉強会 in Okinawa LT 2016-03-19(土)
厂蚕厂て?やらかした尝罢
厂蚕厂て?やらかした尝罢
Koichiro Nishijima
?
JAWS-UG沖縄 もくもく勉強会 2017年5月でLTした資料です
贬别濒濒辞飞辞谤濒诲次の一歩
贬别濒濒辞飞辞谤濒诲次の一歩
Koichiro Nishijima
?
Hello worldの次の一歩に何をした? 実際に前回勉強会の後、何をしてどう勉強していっているかを現在形でお届けするロードトリップ系LT
Visual StudioでAWS開発してみよう
Visual StudioでAWS開発してみよう
Yutaka Fujisaki
?
2016/3/21に开催された、闯础奥厂-鲍骋福冈の资料です
簡単に試せるMicrosoft Cognitive Service!Face APIはヴィジュアル系メイクに勝てるのか???
簡単に試せるMicrosoft Cognitive Service!Face APIはヴィジュアル系メイクに勝てるのか???
Yutaka Fujisaki
?
JAZUG 福岡(ふくあず) × Fukuoka.NET 合同企画 de:code2016 振り返り勉強会。 画像は自主規制しております。
kintone Café 釧路 Vol.2(kintoneのキホン)
kintone Café 釧路 Vol.2(kintoneのキホン)
kintone papers
?
kintone Café 釧路 Vol.2(kintoneのキホン)
Event bridge で s3 イベント通知を試してみた
Event bridge で s3 イベント通知を試してみた
Akifumi Niida
?
re:Invent 2021 re:Cap ep.1 登壇資料
kintone café 大阪 Vol.3
kintone café 大阪 Vol.3
Koji Asaga
?
kintone café 大阪 Vol.3のLTの資料です。
kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone papers
?
kintone Café Fukushima
Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3
Akifumi Niida
?
JAWS-UG 横浜 re:Cap 2020 week1
kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4
kintone papers
?
kintone Café 名古屋 Vol.4 の資料です。
GGJ19review
GGJ19review
syamane
?
Global Game Jam Okayama 2019 ふりかえり in 岡山Unity勉強会
20150624 kintone Café 福岡
20150624 kintone Café 福岡
Toshiyuki Konparu
?
2015.6.24 kintone Café 福岡の資料です
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
Seiichiro Ishida
?
OSC北海道2012ランチョンLT「俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~」のスライドです。 OSC北海道: http://www.ospn.jp/osc2012-do/ ランチョンLT Ust: http://www.ustream.tv/recorded/23342457 (最後のセッションです) サーバ擬人化ユーザ会: https://sites.google.com/site/sgijinka/home
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
Hiroyuki Ishikawa
?
山口県内初のCoderDojo「CoderDojo光」のご紹介と、活動の内容やメンターの構成などについてご紹介したスライドです。 (オープンソースカンファレンス2017広島、2017.11.26)
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
朋紀 髙橋
?
OSChiroshima(オープンソースカンファレンス広島)2017 セミナー:「子どもと大人が楽しむプログラミング道場CoderDojo + LT大会」 講師:CoderDojo五日市チャンピオン 髙橋朋紀 CoderDojoが発足して一周年を迎えて、発足初期の内容を交えて大切だと思うことをお話ししました。
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
Toshiyuki Konparu
?
2015.03.21 JAWS-UG総会で話した資料です
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
Ichiro Tsuji
?
2015.10.21 JAWS-UG京都 第5回勉強会 「京都からはんなりre:Boot 初心者大歓迎!」 StaticPress S3
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
信哉 大森
?
爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」
Takeshi Kakeda
?
2017/09/02に行われた、「CHANGE WORK 「IT技術者の働き方改革」セミナー」での発表資料。 https://agileprocess.connpass.com/event/63147/
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
Ichiro Tsuji
?
闯础奥厂-鲍骋大阪2015年年忘れ尝罢
SendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + Redash
Mitsuhiro Yamashita
?
SendGrid Night in Osaka #2で「SendGrid + Redash」な構成のLTをしました。
いきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよう
Takeshi Kakeda
?
2017.11.16に开催した「いきがいダイアグラムで仕事を棚卸ししよう」で使った资料
滨辞罢を拟人化してみた
滨辞罢を拟人化してみた
Ichiro Tsuji
?
2016/03/19 Innovation EGG 第7回 『クラウドネイティブ化する世界』の登壇資料です
コミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイント
Hiroyuki Ishikawa
?
オープンソースカンファレンス2017広島のLT大会のスライドです。 CoderDojo光のチャンピオンとして、CoderDojoなどのコミュニティを持つ立場としての気づきや学びをまとめたものです。 エントリーの最後、飛び入りの宮原さんの前の大トリのLTのスライドです。 (オープンソースカンファレンス2017広島、2017.11.26)
闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介
Ayana Yokota
?
PyCon JP 2015 パネルディスカッション ~いま求められるコミュニティの多様性と未来~
个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别
Sakae Saito
?
2016/5/20 kintone Café 札幌 Vol.8の登壇資料です
30分で知るTwilio 2016
30分で知るTwilio 2016
Sakae Saito
?
2016/2/15 第2回 TwilioUG-JP札幌勉強会で発表した資料です。
More Related Content
What's hot
(20)
kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone papers
?
kintone Café Fukushima
Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3
Akifumi Niida
?
JAWS-UG 横浜 re:Cap 2020 week1
kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4
kintone papers
?
kintone Café 名古屋 Vol.4 の資料です。
GGJ19review
GGJ19review
syamane
?
Global Game Jam Okayama 2019 ふりかえり in 岡山Unity勉強会
20150624 kintone Café 福岡
20150624 kintone Café 福岡
Toshiyuki Konparu
?
2015.6.24 kintone Café 福岡の資料です
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
Seiichiro Ishida
?
OSC北海道2012ランチョンLT「俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~」のスライドです。 OSC北海道: http://www.ospn.jp/osc2012-do/ ランチョンLT Ust: http://www.ustream.tv/recorded/23342457 (最後のセッションです) サーバ擬人化ユーザ会: https://sites.google.com/site/sgijinka/home
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
Hiroyuki Ishikawa
?
山口県内初のCoderDojo「CoderDojo光」のご紹介と、活動の内容やメンターの構成などについてご紹介したスライドです。 (オープンソースカンファレンス2017広島、2017.11.26)
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
朋紀 髙橋
?
OSChiroshima(オープンソースカンファレンス広島)2017 セミナー:「子どもと大人が楽しむプログラミング道場CoderDojo + LT大会」 講師:CoderDojo五日市チャンピオン 髙橋朋紀 CoderDojoが発足して一周年を迎えて、発足初期の内容を交えて大切だと思うことをお話ししました。
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
Toshiyuki Konparu
?
2015.03.21 JAWS-UG総会で話した資料です
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
Ichiro Tsuji
?
2015.10.21 JAWS-UG京都 第5回勉強会 「京都からはんなりre:Boot 初心者大歓迎!」 StaticPress S3
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
信哉 大森
?
爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」
Takeshi Kakeda
?
2017/09/02に行われた、「CHANGE WORK 「IT技術者の働き方改革」セミナー」での発表資料。 https://agileprocess.connpass.com/event/63147/
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
Ichiro Tsuji
?
闯础奥厂-鲍骋大阪2015年年忘れ尝罢
SendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + Redash
Mitsuhiro Yamashita
?
SendGrid Night in Osaka #2で「SendGrid + Redash」な構成のLTをしました。
いきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよう
Takeshi Kakeda
?
2017.11.16に开催した「いきがいダイアグラムで仕事を棚卸ししよう」で使った资料
滨辞罢を拟人化してみた
滨辞罢を拟人化してみた
Ichiro Tsuji
?
2016/03/19 Innovation EGG 第7回 『クラウドネイティブ化する世界』の登壇資料です
コミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイント
Hiroyuki Ishikawa
?
オープンソースカンファレンス2017広島のLT大会のスライドです。 CoderDojo光のチャンピオンとして、CoderDojoなどのコミュニティを持つ立場としての気づきや学びをまとめたものです。 エントリーの最後、飛び入りの宮原さんの前の大トリのLTのスライドです。 (オープンソースカンファレンス2017広島、2017.11.26)
闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介
Ayana Yokota
?
PyCon JP 2015 パネルディスカッション ~いま求められるコミュニティの多様性と未来~
个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别
Sakae Saito
?
2016/5/20 kintone Café 札幌 Vol.8の登壇資料です
30分で知るTwilio 2016
30分で知るTwilio 2016
Sakae Saito
?
2016/2/15 第2回 TwilioUG-JP札幌勉強会で発表した資料です。
kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone papers
?
Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3
Akifumi Niida
?
kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4
kintone papers
?
GGJ19review
GGJ19review
syamane
?
20150624 kintone Café 福岡
20150624 kintone Café 福岡
Toshiyuki Konparu
?
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
Seiichiro Ishida
?
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
Hiroyuki Ishikawa
?
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
朋紀 髙橋
?
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
Toshiyuki Konparu
?
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
Ichiro Tsuji
?
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
信哉 大森
?
爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」
Takeshi Kakeda
?
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
Ichiro Tsuji
?
SendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + Redash
Mitsuhiro Yamashita
?
いきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよう
Takeshi Kakeda
?
滨辞罢を拟人化してみた
滨辞罢を拟人化してみた
Ichiro Tsuji
?
コミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイント
Hiroyuki Ishikawa
?
闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介
Ayana Yokota
?
个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别
Sakae Saito
?
30分で知るTwilio 2016
30分で知るTwilio 2016
Sakae Saito
?
简単ログ解析ハンズオン?
1.
@k_nishijima 简単ログ解析ハンズオン? 【放置しているそのログ、? 可視化しましょう!】 JAWS-UG沖縄 Cloud on the
BEACH 2017 @k_nishijima
2.
@k_nishijima あんた誰? 2 西島 幸一郎 / にしじま こういちろう? アールスリーインスティテュート
ソリューションアーキテクト https://www.r3it.com? 大阪の会社に所属、宜野湾の自宅から100%リモートワーク okinawa.goのコアメンバー JAWS?UG沖縄のコアメンバー ハッカーズチャンプルー実行委員長 ご質問などあればFacebook/Twitterなどでお気軽に?? @k_nishijima nishijima.koichiro
3.
@k_nishijima 本日のハンズオン概要 3 ? Amazon S3にあるログファイルに対して ?
Amazon AthenaでSQLを投げる ? Amazon QuickSightで可視化する
4.
@k_nishijima ハンズオン資料について 4 ? JAWS DAYS
2017向けに同僚が作成したものがベースです (^_^;? ? 【Athena QuickSight 可視化】で検索? 「RaspberryPi + Athena + QuickSightで可視化する<後 編>」というQiitaの記事です。? ? https://goo.gl/ho91hT アールスリーインスティテュート 浅賀 功次
5.
@k_nishijima AWS利用料について 5 ? Amazon S3:数十円? ?
Amazon Athena:スキャンされたデータ1TBあたり$5 ? Amazon QuickSight:初期ユーザ無料、追加は月額$9?? ? 自分のアカウントで試しても多分無料枠で収まるはず ? アカウントのない方は西島の? AWS2014サムライチケットを使いましょう
6.
@k_nishijima AWSサムライ?? サムライチケットとは? 6 ? AWSサムライ=アマゾンウェブサービスジャパンより? 【ユーザーコミュニティの成長およびAWSクラウドの普及 に大きく貢献または影響を与えた方々】を認定? ? 西島は2013/2014と頂いているんですが、? 2014年分の副賞が最近やっと手元に来ました(^_^;)
7.
@k_nishijima AWSサムライ?? サムライチケットとは? 7 ? 2014年に毎月やったように、この金額の範囲内で? みんなでAWSを使い倒しましょう!? ? 「あれ試しに使ってみたい」? 「こんなことやってみたい」など、? どしどしリクエストください!
8.
@k_nishijima ハンズオン開始 8
9.
@k_nishijima サムライチケットでログイン 9 ? https://jawsug-okinawa- handson.signin.aws.amazon.com/console ? ユーザ名とパスワードは配布のものを入力
10.
@k_nishijima Amazon Athenaを設定する 10 ? 「サービス」をクリック ?
分析の中の「础迟丑别苍补」をクリック
11.
@k_nishijima バージニアに切り替え 11 右上がオレゴンになっていたら、クリックしてバージニアに変更
12.
@k_nishijima 12 ? [Get
Started]をクリックす る ? Tutorialが表示されたら×で 閉じる
13.
@k_nishijima サンプルデータにクエリを投げてみる 13 SELECT * FROM
elb_logs limit 100;
14.
@k_nishijima サンプルデータにクエリを投げてみる 14 ? HTTPのステータスコード別のカウント? SELECT backend_response_code,
count(*) ? FROM elb_logs ? GROUP BY backend_response_code ORDER BY backend_response_code;? ? アクセスURL別のカウント? SELECT count(*) AS C, url ? FROM elb_logs GROUP BY url ORDER BY c desc;
15.
@k_nishijima Historyで過去のクエリをダウンロードしたり 15 この結果はS3上にも保存されている
16.
@k_nishijima 自分のファイルにSQLで? 問い合わせ出来るようにしてみる 16 ? 元データ例:気象庁の気象データ? http://www.data.jma.go.jp/gmd/risk/obsdl/index.php? ? サンプルとして過去30年位の? 那覇の気温データを落としてきました? (これ自体は実は大してデカくない(^_^;)
17.
@k_nishijima 自分のファイルにSQLで? 問い合わせ出来るようにしてみる 17 新しいテーブルの作成handsonアカウントの人は スキップ!
18.
@k_nishijima 自分のファイルにSQLで? 問い合わせ出来るようにしてみる 18 データベース名「naha_temp」テーブル名「daily」 データセットロケーションは? s3://logsample20170429/temperature/ で、Nextをクリック handsonアカウントの人は スキップ!
19.
@k_nishijima 自分のファイルにSQLで? 問い合わせ出来るようにしてみる 19 フォーマットはCSVを選択してNextをクリック handsonアカウントの人は スキップ!
20.
@k_nishijima 自分のファイルにSQLで? 問い合わせ出来るようにしてみる 20 カラムは? 「日付」「最高気温」「最低気温」なの で、? date / date max
/ float min / float と入力。 1つ入力するごとに「Add a column」で 入力枠が増えます。 最後にNextで次に進む handsonアカウントの人は スキップ!
21.
@k_nishijima 自分のファイルにSQLで? 問い合わせ出来るようにしてみる 21 パーティーションは今回は使わないので、 そのまま「Create table」をクリック handsonアカウントの人は スキップ!
22.
@k_nishijima テーブルが出来た! 22 handsonアカウントの人は スキップ!
23.
@k_nishijima クエリを投げてみる 23 SELECT * FROM
daily limit 10;
24.
@k_nishijima とりあえずここまでで CSVファイルに SQLで問い合わせ 出来るようになりました? 24
25.
@k_nishijima QuickSightからAthenaを使ってみる 25 ? まずアカウントの確認 ? 自分のアカウントで試したい方? →QuickSightのユーザー登録から ?
ハンズオンアカウント? →直接QuickSightにログイン
26.
@k_nishijima ゴメンナサイ… 26 ? 今回のハンズオンでは、QuickSightアカウントは3つし か用意していません? (この人数で月額課金はもったいない(^_^;? ? 各自のアカウントを使っている方以外は設定部分など は資料で確認してください
27.
@k_nishijima QuickSightサインアップする人 27
28.
@k_nishijima 28 QuickSightサインアップする人
29.
@k_nishijima 29 QuickSightサインアップする人
30.
@k_nishijima QuickSightサインアップ完了 30
31.
@k_nishijima QuickSightに直接サインイン 31 https://quicksight.aws.amazon.com? アカウントは「jawsug-okinawa-handson」
32.
@k_nishijima QuickSightに直接サインイン 32 ユーザー名とパスワードは配布のものを
33.
@k_nishijima QuickSightに入れたら 33 とりあえずウィザードはXで閉じる
34.
@k_nishijima みんなSignIn出来ました? 34
35.
@k_nishijima データセットの作成 35 「Manage data」をクリック
36.
@k_nishijima データセットの作成 36
37.
@k_nishijima データセットの作成 37
38.
@k_nishijima データセットの作成 38 自分のアカウント名 例:「handson01」 を入力して「Create data
蝉辞耻谤肠别」をクリック
39.
@k_nishijima データセットの作成 39 先程作ったデータベースとテーブルを選択して 「Select」をクリック
40.
@k_nishijima データセットの作成 40 Import to SPICE
for quicker analyticsを選択して 「Visualize」をクリック
41.
@k_nishijima しばらくすると出来上がり 41
42.
@k_nishijima Amazon QuickSightのAnalysisを作成 42 ロゴをクリックしてトップに戻って、 「New analysis」をクリック
43.
@k_nishijima Amazon QuickSightのAnalysisを作成 43 先程作ったデータソースをクリック
44.
@k_nishijima Amazon QuickSightのAnalysisを作成 44 「Create analysis」をクリック
45.
@k_nishijima Amazon QuickSightのAnalysisを作成 45 X軸として「date」をクリック
46.
@k_nishijima Amazon QuickSightのAnalysisを作成 46 「Field wells」をクリックして枠を出して、 Fields
濒颈蝉迟の「尘颈苍」を痴补濒耻别のところに顿&补尘辫;顿
47.
@k_nishijima Amazon QuickSightのAnalysisを作成 47 デフォルトだとSUMになってるので、? 「▼」「Aggregate」をクリックして、「MIN」を選択
48.
@k_nishijima 出来た! 48 dateをD&Dすると表示範囲が広がる グラフをポイントするとドリルダウン出来る
49.
@k_nishijima 出来た! 49 dateをD&Dすると表示範囲が広がる 右上でドリルアップできる
50.
@k_nishijima グラフを追加したり 50
51.
@k_nishijima 51 こんな感じで簡単に ログデータの可視化が出来ます。 いろいろ試してみてください!
52.
@k_nishijima 52 Thank you
so much! Any questions?
Download