狠狠撸

AWSマイスターシリーズ
～AWS SDK for Java &
AWS Toolkit for Eclipse～

2012年05月28日
大谷晋平（ @shot6 )
片山暁雄（ @c9katayama ）
ソリューションアーキテクト

Agenda
AWS Toolkit for Eclipse
AWS SDK オーバービュー
AWS SDK for Java
コードサンプル
まとめ

Copyright ? 2011 Amazon Web Services

AWS Toolkit for Eclipse

EclipseにAWS操作のための機能を追加するプラグイン
AWSを使用したアプリの開発/テストをバックアップ

インストール前提
Java 1.5以上
Eclipse IDE for Java EE Developers 3.6
? 3.7推奨
AWS Elastic Beanstalk Deployment:
? Eclipse Web Tools Platform 2.0以上
Amazon SimpleDB Management
? Eclipse Data Tools Platform 1.7 以上

Java EE Developer
に入ってます

インストール方法

Plugin更新サイトからインストール
? http://aws.amazon.com/eclipse/

Eclipse 惭补谤办别迟笔濒补肠别からインストール

機能

アカウント管理
AWS Explorer
? 各種サービスの情報表示/操作
EC2 コンソール
? EC2のコントロールパネル
AWS Elastic Beanstalk
? デプロイ、デバッグ、環境構築
AWS SDK for Java integration
? Javaプロジェクト/Webプロジェクトウィザード

アカウント管理

Access Key IDとSecret Access keyを登録
複数のアカウント登録が可能

AWS Explorer
各サービス情報の一覧
? Amazon SNS
? Amazon S3
? Amazon SQS
? Amazon SimpleDB
? Amazon EC2
? AWS Elastic Beanstalk
? Amazon CloudFront
? Amazon DynamoDB
? Amazon RDS
ツリーから情報にアクセス

リージョンとアカウント

メニューからリージョンとアカウントの切り替え

AWS Explorer – Amazon SNS

トピックの一覧表示
トピックの作成
サブスクリプションの作成/削除

AWS Explorer – Amazon S3

Bucketの作成/削除、権限設定
オブジェクトの一覧
? ツリー状に表示
オブジェクトの削除、権限設定、Pre-signed URLの生成
オブジェクトアップロード
? EclipseへのD&Dでアップロード

AWS Explorer – Amazon SQS

キューの作成、削除
キューへのメッセージ送信
キュー内の一覧
メッセージの削除

AWS Explorer – Amazon SimpleDB

ドメインの作成/削除
ドメイン内の一覧
行の追加/削除
SimpleDBクエリーエディタ
? コードアシストあり

AWS Explorer – Amazon CloudFront

既存Distributionの一覧
Distributionの内容表示
Distributionの有効化/無効化

AWS Explorer – Amazon DynamoDB

テーブルの追加/削除
キャパシティの変更
テーブル内アイテム一覧
属性追加
スキャンの実行

AWS Explorer – Amazon RDS

既存RDSの一覧
DBへの接続
? 情報はData Managementに格納
? パスワード変更などは
Preferences>DataManagementから
接続後は通常のJDBC接続で管理

EC2 コンソール
AMI管理
? 検索、削除、AMIからの起動
インスタンス管理
? 右クリックから状態変更、SSH接続、AMI作成、EBSの操作
? インスタンスタイプおよびセキュリティグループによるフィル
ター

EC2コンソール

EBS管理
? EBS作成、削除、スナップショット作成
? スナップショット一覧、削除

EC2コンソール

セキュリティグループ管理
? セキュリティグループ作成、削除
? アクセス条件の追加、削除


Elastic Benstalkの環境情報表示と編集
各環境に属するAutoScaling,ELB,EC2の一覧表示


各種詳細設定
? AutoScalingポリシー
? トリガー条件、インスタンス起動設定、ゾーン設
定
? JavaVM設定
? ELB設定
? 通知設定

AWS SDK for Java integration

プロジェクト構築時のウィザートを提供
通常JavaプロジェクトとWebプロジェクトを構築し、クラス
マスにAWS SDK for Javaを追加
? AWS SDKはeclipse updateを通じて最新版を取得可能
サンプルコードとAWSアカウント設定が可能
? すぐに動作するサンプルがソース提供

まとめ

AWS Toolkit for Eclipseは開発者に焦点
? EC2、Beanstalkは機能が充実
? それ以外はサービス情報の確認に利用
AWS SDKを利用する場合に便利
? SDKバージョンの選択
? AWSアカウントが選択可能
? SDKにソースアタッチ済み
AWS Toolkit for Eclipseを使用するなら、コードでAWSク
ラウドをコントロールしよう！

機能が足りない場合は???

AWS Toolkit for JavaはOSS
? https://github.com/amazonwebservices/aws-toolkit-for-
eclipse
? 拡張はご自由に！

础奥厂のサービス操作と言えば

AWS Management Console

AWSコマンドラインツール

これらの裏側では???

各サービスの各操作に対して、APIが定義されている
AWSでは???
? 人間がGUIまたはCUI越しに叩く
? プログラミングしてそれを自動化?簡易化?カスタマイズ
? 人間が手でやらなくてはいけない事をプログラミ
ングして自動化できる、これがSDKで実現可能
? しかも簡単
? AWSの実は最も優れた一面

AWS SDKとは

AWSのサービスを操作できるSDK
? プログラムでクラウドを操作できるAPI群
? さまざまな言語で提供
? AWS SDK for Java
? AWS SDK for C#
? AWS SDK for Ruby
? AWS SDK for PHP
? AWS SDK for Android
? AWS SDK for iOS
? 有志の方による実装（PythonやActionScript）も
? 通信は原則HTTPS
? 署名による暗号化

起動、停止

REST
Put,Get
SOAP

DB起動、バックアップ

情報取得

操作の種類

例えばEC2
? インスタンス起動???RunInstances
? リブート??? RebootInstances
? IPアドレス付与??AllocateAddress
? など100種類以上の操作が、プログラムから実行可能

AWS SDK for Java

AWS SDK for Java
? Amazon提供のAWS開発用Java SDK
? http://aws.amazon.com/sdkforjava/
? 環境：Java5以降
? 最新版 1.3.10
? 依存ライブラリ
? Commons-codec,httpclient,logging
? Jackson
? Javamail
? stax

操作可能サービス

EC2 S3
Autoscaling Cloudwatch
ElasticLoadBalancing SimpleWorkflow
ElasticBeanstalk IdentityManagement
ElasticMapReduce ImportExport
RDS ElastiCache
Simpledb SimpleDB
SNS SES
DynamoDB SQS
StorageGateway CloudSearch

はじめに取得するもの
? AWSの認証キー（アクセスキー、シークレットキ－）
? AWSログイン後、[アカウント]>[セキュリティ証明書]の画面
から确认ＯＫ

Java SDKクライアントクラスの基本

クレデンシャル情報を渡す
? アクセスキー
? シークレットキー
方法としては
? BasicAWSCredentialsで直接渡す
? PropertiesCredentialsでプロパティファ
イルに記述する
? 独自でAWSCredentialsを拡張する

このような感じ

AWSCredentials credentials = null;
try {
credentials = new PropertiesCredentials(Util.class
.getResourceAsStream("AwsCredentials.properties"));
} catch (IOException e) {
//例外処理
}
//このクレデンシャルを使ってClientを生成する

IAM利用時は、IAMユーザーのアクセスキー、シークレットキーを利用。
IAMユーザーでアクセス権のないメソッドを呼ぶと、例外が発生。

EC2

AmazonEC2Client
// EC2操作用のクライアント
AmazonEC2 ec2
= new AmazonEC2Client(credentials);

// 立ち上げたいインスタンス情報の作成
RunInstancesRequest runInstancesRequest = new
RunInstancesRequest("ami-xxxxx", 5, 5)
.withKeyName(“yourkeyname")
.withSecurityGroupIds(“yoursecgroup")
.withMonitoring(true)
.withInstanceType(InstanceType.M1Small);

// インスタンスの起動
ec2.runInstances(runInstancesRequest);

S3

AmazonS3Client

// S3操作用クライアント
AmazonS3 s3 = new AmazonS3Client(credentials);

// bucket作成
s3.createBucket(“mybucket");

//オブジェクトのPUT
PutObjectResult ret = client.putObject("mybucket",
"aaa.txt", file);

S3での巨大ファイルの簡易アップロード
//TransferManagerを作成
AmazonS3Client client = new AmazonS3Client(cred);
TransferManager manager =
new TransferManager(client);

//最低1チャンクを5MBに設定
TransferManagerConfiguration c = new
TransferManagerConfiguration();
c.setMinimumUploadPartSize(5 * 1024L * 1024L);
manager.setConfiguration(configuration);

//巨大ファイルのアップロード実行と進捗の監視
Upload upload = manager.upload(bucketName,
bigfileName, target, o);
while (upload.isDone() == false) {…

RDS

AmazonRDSClinet
// RDS操作用クライアント
AmazonRDS amazonRDS =
new AmazonRDSClient(credentials);
// DB instance作成
CreateDBInstanceRequest createDBInstanceRequest
= new CreateDBInstanceRequest()
.withAllocatedStorage(5)
.withMultiAZ(true)
.withDBInstanceClass("db.m1.small")
…
.withEngine("MySQL");
DBInstance result =
rds.createDBInstance(createDBInstanceRequest);

Java SDKの構成

各サービス毎にクライアントクラスが付属
? 面倒な下記のようなことは利用者から隠ぺいしてくれる
? HTTP通信及び例外ハンドリング
? 署名
? エラー時のリトライ処理
サービスどれでもほぼ同一で直感的な使い勝手の提供
極力、利用者は単純に呼び出すだけでよい
プラガブルな構成で、部分的に入れ替えられる
? 挙動を変えたい
? 例外のハンドリング方法を変えたい
? 処理速度を上げたい

Java SDKの構成イメージ

<<abstract>> 保持
AmazonHttp
AmazonWeb
Client
ServiceClient

execute(
リクエスト,
AmazonEC2 レスポンスハンドラー,
Client エラーハンドラー,
ExecutionContext)

保持 ?利用する署名方法
?クレデンシャル
AmazonEC2 ExecutionCo ?リトライ
AsyncClient ntext

Java SDKのパッケージ構成

com.amazonaws
? auth : 署名関連
? handlers : SDKの挙動をカスタマイズするハンドラー
? http : 実際のHTTPリクエストを処理する
? internal : リトライ関連
? sdk : バージョン情報
? services : 各サービス毎の実体
? transform : API経由で返ってくるXMLをパースする実体
? util : ユーティリティ

Java SDKの各サービス毎の構成

クライアントは実体が2つ
? 同期通信を中心としたクライアント : XxxClient
? 非同期通信を追加した非同期クライアント : XxxAsyncClient

リージョンを選択する

リージョンの選択
デフォルトはどれもus-east
setEndpointメソッドで指定
? setEndpoint("ec2.ap-southeast-1.amazonaws.com")
サービス毎のエンドポイントは下記URL参照
? http://docs.amazonwebservices.com/general/latest/gr/r
ande.html

有効な利用方法

利用方法（運用面）
? 決まったインスタンスを起動するバッチ
? 固定ディスク（EBS）のスナップショットを定期取得
? S3からデータを定期的に取得
? S3上のデータを監視して、無くなったら通知
利用方法（アプリから）
? アプリのバックエンドとして、DynamoDBを使う
? メール送信のためにSMSを使う
? データ保存のためにS3を使う

Tips等

実行はどこからでも可能
? インターネットのエンドポイントへアクセス出来れば、EC2イ
ンスタンスからでも、自分のPCからでもアクセス可能
? EC2からであれば、メタデータと組み合わせて自己構成できる
便利なフレームワークがついている場合も
? DynamoDB ORマッパー
? S3 ハイレベルAPI
? SimpleWorkflow FlowFramework

蝉别迟迟别谤と飞颈迟丑

各種リクエストオブジェクトに対して値を設定する場合、
setXXXとwithXXXが利用可能。
withXXXの場合、戻り値がリクエストオブジェクトになるの
で、fluentな形での実装が可能。
複数追加できるようなパラメータ(add系）の場合、setterに
はCollectionの引数しかない場合が多いが、withだと実際の
型の引数が取れる。

//setter
req.setBlockDeviceMappings(Arrays.asList(new BlockDeviceMapping()));
//with
req.
withBlockDeviceMappings(new BlockDeviceMapping()).
withBlockDeviceMappings(new BlockDeviceMapping());

アドバンスドなトピック

Java SDKは拡張性をかなり確保した状態になっている
Client/AsyncClient自体も自分で拡張できる
? おおざっぱなやり方はインターフェースをそのまま継承
細かく拡張ポイントを入れ替えることも可能
? ClientConfiguration
? RequestHandler
? CustomBackoffStrategy
? Marshaller/UnMarshaller

ClientConfiguration
各Clientクラスの基本的な挙動を決定する設定
? ソケットのタイムアウト値
? 最大コネクション数
? 最大リトライ数
? 使用するプロトコル(デフォルトHTTPS)
? プロキシ関連設定
? コネクションタイムアウト
各Client生成時にClientConfigurationを渡す

RequestHandler
ServletでいうところのいわゆるFilter
? デバッグ時や、何か統一的に処理させたい場合など便利
? beforeRequest : リクエスト送信前
? afterResponse : レスポンス受信後
? afterError : エラー受信後
各サービスごとに定義可能
? Clientで普通に渡す
? com/amazonaws/services/xxx/request.handlersというファ
イルをおいて、これに定義するとロードされる
標準で既に定義されているものも
? EC2RequestHandler
? QueueUrlHandler
? Route53IdRequestHandler

CustomBackoffStrategy
AWSクラウド側へのリトライ間隔をコントロールする
? カスタマイズして現状使っているのはDynamoDBのみ
? 実行コンテキストであるExecutionContextに設定して渡す
AmazonHttpClientの600行目付近
? pauseExponentiallyメソッド

private void pauseExponentially(int retries, AmazonServiceException
previousException, CustomBackoffStrategy backoffStrategy) {
long delay = 0;
if (backoffStrategy != null) {
delay = backoffStrategy.getBackoffPeriod(retries);
} else {
long scaleFactor = 300;
…
delay = (long) (Math.pow(2, retries) * scaleFactor);
}
…
}

Marshaller/Unmarshaller
AWSが提供しているXMLパース(一部JSONパース)では遅い
ので色々いらないものを省略してパースしたい
? Java SDKではStAXというプルモデル型のパーサー
? XMLのどこを読むかをコントロールしやすい
? Clientを書いて、自分でMarshaller/Unmarshallerする
各サービス.model.transformの下
? ここにMarshaller/Unmarshallerが大量にいる
コーディングポリシー的には
? Clientの各メソッド内でMarshallしてRequest<X>を作成
? UnmarshallerはResponseHandlerにセットされて、
AmazonHttpClientに渡されてレスポンス帰ってきたら実行

Java SDKのまとめ
JavaのSDKを使うことで
? 運用管理での煩雑な手間をコーディングして落とすことが可能
? もしかしてCloudFormationよりも楽？
? どのサービスでも同じような使い勝手で利用可能で楽
? 実際のサービス開発のお供に
? S3
? SNS/SQS/SWF
? DynamoDB
AWSはコーディングする方の力を最大限に引き出すインフラ
? HAPPY CODING!!

狠狠撸

20120528 aws meister-reloaded-awssd-kforjava-public

Recommended

More Related Content

What's hot (20)

Similar to 20120528 aws meister-reloaded-awssd-kforjava-public (20)

More from Amazon Web Services Japan (20)

Recently uploaded (8)

20120528 aws meister-reloaded-awssd-kforjava-public