20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
?
4 likes?952 views
2012年3月3日のJAWS-UG SUMMIT 2012のエキスパートセッションElastic MapReduce編です。 デモベースのセッションのため資料だけでは伝わりにくい部分があります。 ご了承ください。
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
- 1. 2012/03/03 @JAWS SUMMIT 2012 発表資料 エキスパートセッション Elastic MapReduce ヴェルク株式会社 津久井浩太郎(@quarterkota) http://www.velc.co.jp 1
- 2. 自己绍介 津久井浩太郎 @quarterkota ■所属 ? ヴェルク株式会社 取締役/アーキテクト ? JAWS-UG東京?部 コアメンバー ? ?般社団法?クラウド利?促進機構 技術アドバイザー ■好きなAWSサービス EMR：何よりも?軽さがスゴイ RDS：イケてるバックアップに命を救われたことがある ■経歴 ITコンサル(フューチャーアーキテクト) → インターネット広告系ITベンチャー(サイテック) → 独?して現在2期目 2
- 3. はじめる前に质问があります。 3
- 7. 本日のAgenda 1.贰惭搁とは？ 2.EMRのメリット 3.贰惭搁を触ってみる 4.贰惭搁使用上のご注意 5.最后に 7
- 8. 1.贰惭搁とは？ 8
- 9. EC2とS3のIaaSレイヤを基盤として Hadoopエンジンを取り入れて 拡張させたPaaSレイヤの分散処理基盤 Streaming / Hive / Pig / Custom JAR / Cascading Apache Hadoop PaaS Amazon Amazon S3 EC2 IaaS 9
- 10. 言い換えると??? 好きな時に好きなだけ使える クラウド型Hadoop基盤 ＋ 10
- 11. 本日のAgenda 2.EMRのメリット 11
- 13. しかし、贬补诲辞辞辫が有効に稼働する オンプレ環境を作るには??? 少なくとも数十台規模のサーバが必要 イニシャルコスト?メンテナンスコスト大 バッチ用途が中心になるため、 「リソースの空き時間」が発生しがち 13
- 14. 実際に導入できるのは リソースが潤沢な一部の企業のみ 14
- 16. 例えば??? m1.largeを20ノードで3時間の処理 $0.46 x 20 x 3 = $27.6 ≒ 2346円(85円/$)
- 17. 3.贰惭搁を触ってみる 17
- 18. EMRはユーザからの指示に基づいて ジョブフローを生成 Hadoopクラスタ (EC2インスタンス群) ジョブフロー 処理内容 Hadoopクラスタのサイズ など 18
- 20. それでは実際に ジョブフローを作成してみます。 20
- 21. ジョブフローの作り方は 2パターン 1.骋鲍滨(マネジメントコンソール)からの作成 2.颁尝滨からの作成 21
- 22. 1.骋鲍滨(マネジメントコンソール)からの作成 22
- 23. 2.颁尝滨からの作成 23
- 25. マスタノード上で 直接SELECTを実行し 結果を標準出力させます Amazon S3 HDFS 入力データ Hadoop クラスタ 中間データ 出力データ 25
- 26. 贬颈惫别でのデータのやり取りは S3を入出力の口として 行うのが一般的です Amazon S3 HDFS 入力データ Hadoop クラスタ 中間データ 出力データ 26
- 28. 4.贰惭搁使用上のご注意
- 30. 厂笔翱贵を考虑すべし！ 万が一マスタノードに 障害が発生した場合 全ての処理結果が失われる
- 33. 5.最后に
- 34. EMRは大量分散処理を 一気に身近なものにする 画期的なサービスです とにかくガンガン使って 情報共有を進めましょう
- 37. enjoy life and creation http://www.velc.co.jp 37