狠狠撸

狠狠撸Share a Scribd company logo
@k_nishijima
简単ログ解析ハンズオン?
【放置しているそのログ、?
可視化しましょう!】
JAWS-UG沖縄
Cloud on the BEACH 2017
@k_nishijima
@k_nishijima
あんた誰?
2
西島 幸一郎 / にしじま こういちろう?
アールスリーインスティテュート ソリューションアーキテクト
https://www.r3it.com?
大阪の会社に所属、宜野湾の自宅から100%リモートワーク
okinawa.goのコアメンバー
JAWS?UG沖縄のコアメンバー
ハッカーズチャンプルー実行委員長
ご質問などあればFacebook/Twitterなどでお気軽に??
@k_nishijima
nishijima.koichiro
@k_nishijima
本日のハンズオン概要
3
? Amazon S3にあるログファイルに対して
? Amazon AthenaでSQLを投げる
? Amazon QuickSightで可視化する
@k_nishijima
ハンズオン資料について
4
? JAWS DAYS 2017向けに同僚が作成したものがベースです
(^_^;?
? 【Athena QuickSight 可視化】で検索?
「RaspberryPi + Athena + QuickSightで可視化する<後
編>」というQiitaの記事です。?
? https://goo.gl/ho91hT アールスリーインスティテュート
浅賀 功次
@k_nishijima
AWS利用料について
5
? Amazon S3:数十円?
? Amazon Athena:スキャンされたデータ1TBあたり$5
? Amazon QuickSight:初期ユーザ無料、追加は月額$9??
? 自分のアカウントで試しても多分無料枠で収まるはず
? アカウントのない方は西島の?
AWS2014サムライチケットを使いましょう
@k_nishijima
AWSサムライ??
サムライチケットとは?
6
? AWSサムライ=アマゾンウェブサービスジャパンより?
【ユーザーコミュニティの成長およびAWSクラウドの普及
に大きく貢献または影響を与えた方々】を認定?
? 西島は2013/2014と頂いているんですが、?
2014年分の副賞が最近やっと手元に来ました(^_^;)
@k_nishijima
AWSサムライ??
サムライチケットとは?
7
? 2014年に毎月やったように、この金額の範囲内で?
みんなでAWSを使い倒しましょう!?
? 「あれ試しに使ってみたい」?
「こんなことやってみたい」など、?
どしどしリクエストください!
@k_nishijima
ハンズオン開始
8
@k_nishijima
サムライチケットでログイン
9
? https://jawsug-okinawa-
handson.signin.aws.amazon.com/console
? ユーザ名とパスワードは配布のものを入力
@k_nishijima
Amazon Athenaを設定する
10
? 「サービス」をクリック
? 分析の中の「础迟丑别苍补」をクリック
@k_nishijima
バージニアに切り替え
11
右上がオレゴンになっていたら、クリックしてバージニアに変更
@k_nishijima 12
? [Get Started]をクリックす
る
? Tutorialが表示されたら×で
閉じる
@k_nishijima
サンプルデータにクエリを投げてみる
13
SELECT * FROM elb_logs limit 100;
@k_nishijima
サンプルデータにクエリを投げてみる
14
? HTTPのステータスコード別のカウント?
SELECT backend_response_code, count(*) ?
FROM elb_logs ?
GROUP BY backend_response_code ORDER BY backend_response_code;?
? アクセスURL別のカウント?
SELECT count(*) AS C, url ?
FROM elb_logs GROUP BY url ORDER BY c desc;
@k_nishijima
Historyで過去のクエリをダウンロードしたり
15
この結果はS3上にも保存されている
@k_nishijima
自分のファイルにSQLで?
問い合わせ出来るようにしてみる
16
? 元データ例:気象庁の気象データ?
http://www.data.jma.go.jp/gmd/risk/obsdl/index.php?
? サンプルとして過去30年位の?
那覇の気温データを落としてきました?
(これ自体は実は大してデカくない(^_^;)
@k_nishijima
自分のファイルにSQLで?
問い合わせ出来るようにしてみる
17
新しいテーブルの作成handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで?
問い合わせ出来るようにしてみる
18
データベース名「naha_temp」テーブル名「daily」
データセットロケーションは?
s3://logsample20170429/temperature/
で、Nextをクリック
handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで?
問い合わせ出来るようにしてみる
19
フォーマットはCSVを選択してNextをクリック
handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで?
問い合わせ出来るようにしてみる
20
カラムは?
「日付」「最高気温」「最低気温」なの
で、?
date / date
max / float
min / float
と入力。
1つ入力するごとに「Add a column」で
入力枠が増えます。
最後にNextで次に進む
handsonアカウントの人は
スキップ!
@k_nishijima
自分のファイルにSQLで?
問い合わせ出来るようにしてみる
21
パーティーションは今回は使わないので、
そのまま「Create table」をクリック
handsonアカウントの人は
スキップ!
@k_nishijima
テーブルが出来た!
22
handsonアカウントの人は
スキップ!
@k_nishijima
クエリを投げてみる
23
SELECT * FROM daily limit 10;
@k_nishijima
とりあえずここまでで
CSVファイルに
SQLで問い合わせ
出来るようになりました?
24
@k_nishijima
QuickSightからAthenaを使ってみる
25
? まずアカウントの確認
? 自分のアカウントで試したい方?
→QuickSightのユーザー登録から
? ハンズオンアカウント?
→直接QuickSightにログイン
@k_nishijima
ゴメンナサイ…
26
? 今回のハンズオンでは、QuickSightアカウントは3つし
か用意していません?
(この人数で月額課金はもったいない(^_^;?
? 各自のアカウントを使っている方以外は設定部分など
は資料で確認してください
@k_nishijima
QuickSightサインアップする人
27
@k_nishijima 28
QuickSightサインアップする人
@k_nishijima 29
QuickSightサインアップする人
@k_nishijima
QuickSightサインアップ完了
30
@k_nishijima
QuickSightに直接サインイン
31
https://quicksight.aws.amazon.com?
アカウントは「jawsug-okinawa-handson」
@k_nishijima
QuickSightに直接サインイン
32
ユーザー名とパスワードは配布のものを
@k_nishijima
QuickSightに入れたら
33
とりあえずウィザードはXで閉じる
@k_nishijima
みんなSignIn出来ました?
34
@k_nishijima
データセットの作成
35
「Manage data」をクリック
@k_nishijima
データセットの作成
36
@k_nishijima
データセットの作成
37
@k_nishijima
データセットの作成
38
自分のアカウント名 例:「handson01」
を入力して「Create data 蝉辞耻谤肠别」をクリック
@k_nishijima
データセットの作成
39
先程作ったデータベースとテーブルを選択して
「Select」をクリック
@k_nishijima
データセットの作成
40
Import to SPICE for quicker analyticsを選択して
「Visualize」をクリック
@k_nishijima
しばらくすると出来上がり
41
@k_nishijima
Amazon QuickSightのAnalysisを作成
42
ロゴをクリックしてトップに戻って、
「New analysis」をクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
43
先程作ったデータソースをクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
44
「Create analysis」をクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
45
X軸として「date」をクリック
@k_nishijima
Amazon QuickSightのAnalysisを作成
46
「Field wells」をクリックして枠を出して、
Fields 濒颈蝉迟の「尘颈苍」を痴补濒耻别のところに顿&补尘辫;顿
@k_nishijima
Amazon QuickSightのAnalysisを作成
47
デフォルトだとSUMになってるので、?
「▼」「Aggregate」をクリックして、「MIN」を選択
@k_nishijima
出来た!
48
dateをD&Dすると表示範囲が広がる
グラフをポイントするとドリルダウン出来る
@k_nishijima
出来た!
49
dateをD&Dすると表示範囲が広がる
右上でドリルアップできる
@k_nishijima
グラフを追加したり
50
@k_nishijima 51
こんな感じで簡単に
ログデータの可視化が出来ます。
いろいろ試してみてください!
@k_nishijima 52
Thank you so much!
Any questions?

More Related Content

What's hot (20)

kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone papers
?
Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3
Akifumi Niida
?
kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4
kintone papers
?
GGJ19review
GGJ19reviewGGJ19review
GGJ19review
syamane
?
20150624 kintone Café 福岡
20150624 kintone Café  福岡20150624 kintone Café  福岡
20150624 kintone Café 福岡
Toshiyuki Konparu
?
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
Seiichiro Ishida
?
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
Hiroyuki Ishikawa
?
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
朋紀 髙橋
?
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
Toshiyuki Konparu
?
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
Ichiro Tsuji
?
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LTJAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
信哉 大森
?
爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」
Takeshi Kakeda
?
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
Ichiro Tsuji
?
SendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + RedashSendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + Redash
Mitsuhiro Yamashita
?
いきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよういきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよう
Takeshi Kakeda
?
滨辞罢を拟人化してみた
滨辞罢を拟人化してみた滨辞罢を拟人化してみた
滨辞罢を拟人化してみた
Ichiro Tsuji
?
コミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイントコミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイント
Hiroyuki Ishikawa
?
闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介
Ayana Yokota
?
个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别
Sakae Saito
?
30分で知るTwilio 2016
30分で知るTwilio 201630分で知るTwilio 2016
30分で知るTwilio 2016
Sakae Saito
?
kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001kintonecafefukushima-vol1-20161001
kintonecafefukushima-vol1-20161001
kintone papers
?
Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3Jawsug yokohama recap_week1_gp3
Jawsug yokohama recap_week1_gp3
Akifumi Niida
?
kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4kintone Cafe? 名古屋 Vol.4
kintone Cafe? 名古屋 Vol.4
kintone papers
?
GGJ19review
GGJ19reviewGGJ19review
GGJ19review
syamane
?
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
俺の窜补产产颈虫がこんなに可爱いわけがない~北海道巡业编~
Seiichiro Ishida
?
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
山口県初の顿辞箩辞「颁辞诲别谤顿辞箩辞光」はじめました
Hiroyuki Ishikawa
?
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
颁辞诲别谤顿辞箩辞五日市 翱厂颁丑颈谤辞蝉丑颈尘补2017
朋紀 髙橋
?
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
Toshiyuki Konparu
?
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
奥辞谤诲笔谤别蝉蝉と厂3で落ちないコーポレートサイトを立ち上げよう
Ichiro Tsuji
?
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LTJAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
JAWS-UG山形 × わにる.jp Cloud Revolution 2013秋_LT
信哉 大森
?
爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」爱媛で考えた「私のイキカタマニフェスト」
爱媛で考えた「私のイキカタマニフェスト」
Takeshi Kakeda
?
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
闯础奥厂-鲍骋京都を谤别:叠辞辞迟してみた
Ichiro Tsuji
?
SendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + RedashSendGrid Night in Osaka #2 LT SendGrid + Redash
SendGrid Night in Osaka #2 LT SendGrid + Redash
Mitsuhiro Yamashita
?
いきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよういきかたダイアグラムで仕事を棚卸ししよう
いきかたダイアグラムで仕事を棚卸ししよう
Takeshi Kakeda
?
滨辞罢を拟人化してみた
滨辞罢を拟人化してみた滨辞罢を拟人化してみた
滨辞罢を拟人化してみた
Ichiro Tsuji
?
コミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイントコミュニティを持って学んだ交流できる”场”の6つのポイント
コミュニティを持って学んだ交流できる”场”の6つのポイント
Hiroyuki Ishikawa
?
闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介闯补惫补女子部よこな自己绍介
闯补惫补女子部よこな自己绍介
Ayana Yokota
?
个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别个人事业者でも活用できる办颈苍迟辞苍别
个人事业者でも活用できる办颈苍迟辞苍别
Sakae Saito
?
30分で知るTwilio 2016
30分で知るTwilio 201630分で知るTwilio 2016
30分で知るTwilio 2016
Sakae Saito
?

简単ログ解析ハンズオン?