2013.12.10 Classmethod re:Grwoth
?
1 like?4,088 views
下記勉強会での発表スライドです。 【AWS勉強会】CM re:Growth Developers.IO Meetup 01 - connpass http://connpass.com/event/4123/
![2.CloudTrail
?対応リージョンに移動、[CloudTrail]選択
classmethod.jp
13年12月11日水曜日
11
11](https://image.slidesharecdn.com/2013-12-10-classmethod-regrwoth-131210114523-phpapp01/85/2013-12-10-Classmethod-re-Grwoth-11-320.jpg)
![2.CloudTrail
?必要事項記入の後、[Subscribe]で作成
?S3バケット設定
?操作対象サービス設定
?SNS通知設定
classmethod.jp
13年12月11日水曜日
12
12](https://image.slidesharecdn.com/2013-12-10-classmethod-regrwoth-131210114523-phpapp01/85/2013-12-10-Classmethod-re-Grwoth-12-320.jpg)
![3.EMR
?今回、EMRでやりたい事
?→ログファイルを良い感じに分割?整形したい。
{"Records":[
{"eventVersion":"1.0","userIdentity":{"type":"IAMUser".
…},
…
}
{"eventVersion":"1.0","userIdentity":{"type":"IAMUser".
…},
…
}
{"eventVersion":"1.0","userIdentity":{"type":"IAMUser".
…},
…
}
:
]}
Before
1.0|IAMUser|
...
|ec2.amazonaws.com|DescribeInstances|...
1.0|IAMUser|
...
|rds.amazonaws.com|DescribeDBInstances|...
1.0|IAMUser|
...
|redshift.amazonaws.com|...
classmethod.jp
13年12月11日水曜日
After
17
17](https://image.slidesharecdn.com/2013-12-10-classmethod-regrwoth-131210114523-phpapp01/85/2013-12-10-Classmethod-re-Grwoth-17-320.jpg)
2013.12.10 Classmethod re:Grwoth
- 1. Amazon Redshift & Amazon EMR & Tableau Desktop で実現する CloudTrailログ解析 2013/12/10(Tue) at SAP 18:30 - 22:15(EventAllTime) 18:35 - 18:55(EventMyPart) #cmdevio @shinyaa31 classmethod.jp 13年12月11日水曜日 1 1
- 2. 自己紹介 ?しんや (@shinyaa31) ?AWSコンサルティング部所属 ??昔Java、ちょろっとFlex等も ??AWS利用は今年から本格的に。 ?個人ブログ(2007.01.01～) ? Shinya s Daily Report http://d.hatena.ne.jp/absj31/ ?Developers.IO 出張ブロガー? (2013.04.29～) ?クラスメソッド AWSエンジニア (2013.08.01～) ?http://dev.classmethod.jp/author/shinyaa31/ classmethod.jp 13年12月11日水曜日 2 2
- 3. 自己紹介 ?割と良くブログを書いています ※2013/12/10現在 →3560本(個人ブログ, 2007年～現在) →103本(Developers.IO, 出張時代＆入社約4ヶ月間で) ?割と良くイベントに参加し、レポートを ?書いています →183回(2010.10.21以来現在までの通算参加回数) →229本(個人:202 + Developers.IO:24 + 寄稿:3) ?割と良くまとめています →323本(Togetterまとめ数合計) classmethod.jp 13年12月11日水曜日 3 3
- 4. ハッシュタグ： #cmdevio (Classmethod Developers.IO) 2013/12/10 CM re:Growth Developers.IO Meetup 01 #cmdevio - Togetter http://togetter.com/li/592882 classmethod.jp 13年12月11日水曜日 4 4
- 6. 1.はじめに ＜今回の目的(ゴール)＞ →CloudTrailのログを ?Tableau Desktopで ?閲覧、分析してみたい。 classmethod.jp 13年12月11日水曜日 6 6
- 9. 2.CloudTrail ?2013/11/13リリース ?AWS APIコールを記録、S3にログを保存 ?各種対応への利用が見込める ?コンプライアンス対応/リソースライフサイクル管理 ?トラブルシューティング対応 ?利用可能リージョン(2013/12/10現在) ?米国東リージョン(N.Virginia), 米国西リージョン(Oregon) ?対応サービス(2013/12/10現在) ?EC2, EBS, VPC, RDS, IAM, STS, Redshift classmethod.jp 13年12月11日水曜日 9 9
- 10. 2.CloudTrail ?SNS通知設定を事前に作成しておく SNS： Amazon Simple Noti?cation Service プッシュメッセージングサービス。 classmethod.jp 13年12月11日水曜日 10 10
- 16. 3.EMR ?Amazon Elastic MapReduce ?大量データを迅速且つ容易に ?コスト効果良く処理する為のサービス ?Hadoopデータ分散処理をEC2上で実行 ?各種分析、ETL、DWH等用途は様々 ?利用可能なディストリビューション ??Amazon Distribution ??MapR Distribution(M3, M5, M7) classmethod.jp 13年12月11日水曜日 16 16
- 17. 3.EMR ?今回、EMRでやりたい事 ?→ログファイルを良い感じに分割?整形したい。 {"Records":[ {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } {"eventVersion":"1.0","userIdentity":{"type":"IAMUser". …}, … } : ]} Before 1.0|IAMUser| ... |ec2.amazonaws.com|DescribeInstances|... 1.0|IAMUser| ... |rds.amazonaws.com|DescribeDBInstances|... 1.0|IAMUser| ... |redshift.amazonaws.com|... classmethod.jp 13年12月11日水曜日 After 17 17
- 24. 4.Redshift ?Amazon Redshift ?高速＆管理も安全なDWHサービス ?特徴と利点 ??列指向ストレージ技術 ??複数ノード間でのクエリ並列化&分散化 ??各種管理タスクを自動化可能 ??高機能なセキュリティ機能も標準搭載 ?料金: 1.250$/時 (東京, XLノード2TBストレージ1ノードあたり) classmethod.jp 13年12月11日水曜日 24 24
- 29. 4.Redshift ?s3からデータをRedshiftへロード COPY (テーブル名) from s3://(バケット名&ファイル名) CREDENTIALS (認証情報) delimiter (区切り文字) dateformat (日付時刻データの形式) ※COPY - Amazon Redshift http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html classmethod.jp 13年12月11日水曜日 29 29
- 31. 5.Tableau ?米国Tableau Software社(2003年創業)のBIツール ?世界114カ国の1万2000を超える政府機関、教育機関 ?企業等、産業、業種、規模を問わず幅広く導入 ?日本展開: 2012年11月にTableau Japan設立 ?コンセプトは『Excelユーザーなら誰でも使えるツール』 ?様々な接続データソースに対応、AWS対応も充実(※後述) ?用途に応じた製品を展開 ??Desktop (デスクトップ版/有料) ??Server (サーバ版/有料) ??Public (分析データを一般配信?共有/無料) ??Reader (ビューワ/無料) http://www.tableausoftware.com/ja-jp http://www.atmarkit.co.jp/ait/articles/1305/28/news076.html classmethod.jp 13年12月11日水曜日 31 31
- 32. 5.Tableau ローカルファイル Tableauデータ抽出/テキスト Microsoft Access/Excel等 RDBMS MySQL, Oracle, SQL Server PostgreSQL, DB2等 DWH Amazon Redshift, SAP HANA, EMC Greenplum, Actian Vectorwise等 Hadoop Cloudera Hadoop, MapR Hadoop Hive, Hortonworks Hadoop Hive等 Google Analytics, Google BigQuery,Oracle Essbase等 OLAP ParAccel, Aster Database等 MPP ※Tableauで始めるBI(ビジネス?インテリジェンス)： 製品＆対応データソース一覧 ｜ Developers.IO http://dev.classmethod.jp/business/business-analytics/ getting-started-tableau-product-and-datasources/ classmethod.jp 13年12月11日水曜日 32 32
- 33. 5.Tableau ?ダウンロード＆ インストール ?http://www.tableausoftware.com/ja-jp/ products/ ?JDBCドライバのインストール ?Drivers & Activation ? Tableau Software ?http://www.tableausoftware.com/support/drivers ※2013年12月現在、Windows版のみ対応 classmethod.jp 13年12月11日水曜日 33 33
- 39. 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 2014年ブラジルW杯 グループリーグ突破予想 2014 World Cup Group Stage Odds ? Tableau Public http://www.tableausoftware.com/public/gallery/2014-world-cup-group-stage-odds classmethod.jp 13年12月11日水曜日 39 39
- 40. 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 1900～2013年までの サッカー選手移籍推移 をグラフ化 Football Player Transfers (1900 - 2013) ? Tableau Public http://www.tableausoftware.com/public/gallery/football-player-transfers classmethod.jp 13年12月11日水曜日 40 40
- 41. 5.Tableau <おまけ>Tableau Publicでこんなグラフも。 映画監督 ランキング Top Movie Directors by Film ? Tableau Public http://www.tableausoftware.com/public/gallery/top-movie-directors-?lm classmethod.jp 13年12月11日水曜日 41 41
- 42. 6.まとめ ?十分な分析?解析を行うためには、 『何をどのように分析したいのか』が大事。 ?用途や目的に応じてツールやサービスを ?色々組み合わせて利用。 ?分析の為には様々な 武器 が必要 ??ETL (Extract/Transform/Load) ??ログ周り、ログ分析周り ??分析手法や分析ツール ??対象分野のビジネス知識 ?連携自動化重要 ?目指せ!? データサイエンティスト classmethod.jp 13年12月11日水曜日 42 42