![畠て隠砿で、リコメンドの娼業が互くなり、
お人が云輝に圀しいものを容]できるように](https://image.slidesharecdn.com/20140703geechs-140715061713-phpapp01/85/AWS-14-320.jpg)
![Back To Basics [Dubstep Remix]
? Always Batch Due to S3
EC2](https://image.slidesharecdn.com/20140703geechs-140715061713-phpapp01/85/AWS-33-320.jpg)
![Amazon Kinesis
リアルタイムでビッグデ`タを函りzむためのサ`ビス
?Data
?
Sources
App.4
?
!
[Machine
?
Learning]
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
!
!
!
A
WS
?
En
dp
oin
t
App.1
?
!
[Aggregate
?&
?
De-?\Duplicate]
?Data
?
Sources
Data
?
Sources
?Data
?
Sources
App.2
?
!
[Metric
?
Extraction]
S3
DynamoDB
Redshift
App.3
?
[Sliding
?
Window
?
Analysis]
?Data
?
Sources
Availability
Zone
Shard 1
Shard 2
Shard N
Availability
Zone
Availability
Zone](https://image.slidesharecdn.com/20140703geechs-140715061713-phpapp01/85/AWS-36-320.jpg)
粥安皆が貴伏するまでの蜘三
- 2. Who am I ? ? 椒坪 慎埼 (ほりうち やすひろ) ? 1978定伏まれ 表蝉h竃附 ? AWS テクニカルエバンジェリスト ? 140指參貧のv處 ? 60指參貧のハンズオン ? 250云參貧のブログ並? Amazon Web Services ブログ? http://aws.typepad.com/aws_japan/ ? 10+ years web engineer in startups ? Director of V-cube (perl), 2001 - 2006 ? CTO of FlipClip (perl), 2006 - 2009 ? CTO of gumi (python), 2009 - 2012 @horiuchi horiyasu フォロ`Z哭!
- 3. Amazon.com
- 4. amazon.com, 1995 Copyright ?? ?2012 ?Amazon ?Web ?Services
- 5. 弊順恷寄のEコマ`スサイトに アメリカ カナダ 嶄忽 フランス ドイツ イタリア 晩云 スペイン イギリス 方噴|の斌瞳 1Lgで5000嵐瞳の厚仟 amazon.com, today
- 6. なぜアマゾンがクラウドを
- 7. AWSクラウドの軟坿は、 ? Amazon芙坪の ? ビジネスn}を盾Qするために ? ?伏まれた API
- 15. Amazon S3 - 否楚o崙泙把余弛圓慮澆ぅ好肇讒`ジ ? デ`タがなくならない ? いくらでも隠贋できる ? ストレ`ジ喘サ`バやディスク の\喘をやらなくてよい ? 創署は聞った蛍だけの愖腎n署 ? セキュリティC嬬も嵐畠 クラウドストレ`ジ
- 17. Amazon アソシエイト (アフィリエイト) ? サイトにNったリンクをU喇して Amazon.co.jp でおIい麗をした栽、? 澓署~にして3.5-8イ鶻蠅鬚屶Bい 澓署~にしてのみのﾚ御Mの屶Bい = 詰コスト夛
- 18. Amazonアソシエイトのn} ? アフィリエイトプログラムの撹Lに育い、? 屶B麻システムのI尖侭勣rgのW决がn}に Order ?DB Payments ? Service 侯rg鹿? フラットファイル ?晩肝鹿? ファイル 侯rg ?晩肝 ?埖挑 C++ ?App C++ ?App C++ ?App W决 紗 Amazon.com゛ 2010 寄楚デ`タの蛍柊I尖晒の篇が識佞
- 19. Amazon Elastic MapReduce - 寄ﾄバッチI尖h廠 ? 駅勣なときに駅勣なだけ? サ`バを羨ち貧げて? バッチI尖辛嬬 ? 創署は1rgg了の愖腎n署 ? 聞いKわったらn署は唯峭 K双バッチI尖
- 21. ∀襯稀`バ`だけではないAWSのサ`ビス お人のアプリケ`ション ストレ`ジ ? EBS, ?S3, ?Glacier, ?Storage ?Gateway コンテンツ塘佚 ? CloudFront ネットワ`ク ? VPC, ?Route ?53, ?Direct ?Connect J^とログ ? IAM, ?CloudTrail, ? CloudHSM O ? Cloud ?Watch ? Web砿尖尖鮫?中? Management ? Console デプロイと?徭啝? Elastic ?Beanstalk,? Cloud ?Formation, ? OpsWorks コマンドライン? インタ`フェ`ス ? CLI ライブラリ ?& ?SDKs? ? ? ? ? ?Java, ?PHP, ?.NET, ?? ? ? ? ? ? ?Python, ?Ruby グロ`バルインフラ ? リ`ジョン、アベイラビリティゾ`ン、エッジロケ`ション AZRegion コンピュ`トI尖尖 ? ?EC2, ?Auto ?Scaling, ?Elastic ?Load ?Balancing, ? Workspaces デ`タベ`ス ? RDS, ?DynamoDB, ?Redshift, ?ElastiCache 蛍裂 ? Elastic ?MapReduce, ?Kinesis, ?Data ?Pipeline アプリケ`ションサ`ビス ? AppStream, ?Cloud ?Search, ?SWF, ?SQS, ?SES, ?SNS, ?Elastic ?Transcoder
- 24. Start Simple ? Write Events File on Device ? Periodically Upload to S3 ? Process into Redshift ? Point GUI Tool to Redshift 2014-?\01-?\24,nateware,e4df,login ? 2014-?\01-?\24,nateware,e4df,gamestart ? 2014-?\01-?\24,nateware,e4df,gameend ? 2014-?\01-?\25,nateware,a88c,login ? 2014-?\01-?\25,nateware,a88c,friendlist ? 2014-?\01-?\25,nateware,a88c,gamestart Profit!
- 25. Amazon Redshift 10 GigE (HPC) Ingestion Backup Restore SQL Clients/BI Tools 128GB RAM 16TB disk 16 cores Amazon S3/DynamoDB JDBC/ODBC 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node Leader? Node ? リ`ダ`ノ`ド - SQLエンドポイント - メタデ`タの隠贋 - クエリg佩のコ`ディネ`ト ! ? コンピュ`トノ`ド - カラムナ侏のストレ`ジ - Amazon S3を初したデ`タの? ロ`ド、バックアップ、リストア - Amazon DynamoDBからのK双ロ`ド ! ? シングルノ`ドでも旋喘辛嬬
- 27. More Data Sources ? Also Collect Server Logs ? Periodically Upload to S3 ? Stuff into Redshift ? External Analytics Data Too External Analytics EC2
- 28. Dealing With Messy Data ? Different File Formats ? Device vs Apache vs CDN ? Cleanup with EMR Job ? Output to Clean Bucket ? Load into Redshift EC2
- 29. Direct From DynamoDB ? Integrate Game DB ? Load Directly into Redshift ? Redshift does Intelligent Merge ? Tracks Hash Keys, Columns EC2
- 30. Direct From DynamoDB ? Integrate Game DB ? Load Directly into Redshift ? Redshift does Intelligent Merge ? Tracks Hash Keys, Columns ? Or Stream into EMR EC2
- 31. リアルタイム蛍裂もできます
- 32. Back To Basics 2014-?\01-?\24,nateware,e4df,login ? 2014-?\01-?\24,nateware,e4df,gamestart ? 2014-?\01-?\24,nateware,e4df,gameend ? 2014-?\01-?\25,nateware,a88c,login ? 2014-?\01-?\25,nateware,a88c,friendlist ? 2014-?\01-?\25,nateware,a88c,gamestart
- 33. Back To Basics [Dubstep Remix] ? Always Batch Due to S3 EC2
- 34. Need Data Faster! ? Stream Data With Kinesis ? Multiple Writers and Readers ? Still Output to Redshift EC2
- 35. Lots of Ins and Outs ? Stream Data With Kinesis ? Multiple Writers and Readers ? Still Output to Redshift ? Stream to Spark on EMR ? Storm via Kinesis Spout ? Custom EC2 Workers EC2 EC2
- 36. Amazon Kinesis リアルタイムでビッグデ`タを函りzむためのサ`ビス ?Data ? Sources App.4 ? ! [Machine ? Learning] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ! ! ! A WS ? En dp oin t App.1 ? ! [Aggregate ?& ? De-?\Duplicate] ?Data ? Sources Data ? Sources ?Data ? Sources App.2 ? ! [Metric ? Extraction] S3 DynamoDB Redshift App.3 ? [Sliding ? Window ? Analysis] ?Data ? Sources Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone
- 38. Clash of Clans Amazon Kinesis Redshift Clickstream archive EC2: In-game engagement trends dashboard Real-time clickstream processing app Kinesis: Real-time data stream of in-game activity Multiple Kinesis applications: Dashboards, analytics and storage Redshift: Business intelligence reporting and interactive queries S3 and Glacier: Data storage and long term archival In-game activity S3 Aggregate statistics Business-intelligence user Kinesis-enabled apps on EC2
- 39. ‐歌深／S3、EMR、Redshiftでデ`タ盾裂のg箭 ? デ`タ蛍裂が屶えるスマホゲ`ム_k ~ユ`ザ`嗜鬚らえてくるアプリ ケ`ションの徊~ ? 埆崘 俐望 (广), 互弥 禁雰 (广), 来表 埼 (ｼ) http://amzn.to/1ih9n9M
- 40. 粥安皆恷仟秤烏
- 43. 謹N謹なインスタンスタイプ GPU匯違喘余 バランス侏 メモリ 恷m晒 ストレ`ジとIO 恷m晒 コンピュ`ト 恷m晒 CR1M2CC2C1 HI1 CG1M1 G2M3 R3C3 I2 HS1
- 44. M3インスタンス - 喘タイプ ? Intel Xeon E5-2670 (Sandy Bridge) ? SSDのインスタンス ストレ`ジ CPU來嬬、メモリ`、ネットワ`クのバランスがとれたタイプ 蒙 モデル vCPU メモリ (GiB) SSD ストレ`ジ (GB) オンデマン ド創署 |奨) m3.medium 1 3.75 1 x 4 $0.101 m3.large 2 7.5 1 x 32 $0.203 m3.xlarge 4 15 2 x 40 $0.405 m3.2xlarge 8 30 2 x 80 $0.810
- 45. C3インスタンス - CPU恷m晒 ? Intel Xeon E5-2670 v2 ? (Ivy Bridge) ? SSDインスタンスストレ`ジ ? 詰レイテンシ`、詰ジッタ、互い 昼gあたりのパケット來嬬を隔つ されたネットワ`ク? (SR-IOV, VPCのみ) ? クラスタリングサポ`ト CPU來嬬に蒙晒したタイプ。CPUあたりの創署が恷も芦い 蒙 モデル vCPU メモリ (GiB) SSD ストレ`ジ (GB) オンデマン ド創署 |奨) c3.large 2 7 2 x 16 $0.128 c3.xlarge 4 14 2 x 40 $0.255 c3.2xlarge 8 28 2 x 80 $0.511 c3.4xlarge 16 55 2 x 160 $1.021 c3.8xlarge 32 108 2 x 320 $2.043
- 46. R3インスタンス - メモリ恷m晒 ? Intel Xeon E5-2670 v2 ? (Ivy Bridge) ? SSDインスタンスストレ`ジ ? 詰レイテンシ`、詰ジッタ、 互い昼gあたりのパケット來 嬬を隔つされたネットワ` ク (SR-IOV, VPCのみ) メモリに蒙晒したタイプ。メモリGiBあたりの創署が恷も芦い 蒙 モデル vCPU メモリ (GiB) SSD ストレ`ジ (GB) オンデマン ド創署 |奨) r3.large 2 15 1 x 32 $0.210 r3.xlarge 4 30.05 1 x 80 $0.420 r3.2xlarge 8 61 1 x 160 $0.840 r3.4xlarge 16 122 1 x 320 $1.680 r3.8xlarge 32 244 2 x 320 $3.360
- 47. I2インスタンス - ストレ`ジ恷m晒 ? Intel Xeon E5-2670 v2 ? (Ivy Bridge) ? SSDインスタンスストレ`ジ ? TRIMサポ`ト ? 詰レイテンシ`、詰ジッタ、互い 昼gあたりのパケット來嬬を隔つ されたネットワ`ク? (SR-IOV, VPCのみ) ストレ`ジに恷m晒されており、互いランダムI/O來嬬、IOPSを戻工? i2.8xlargeで昼g365,000階のランダムリ`ドと昼g315,000階のランダムライト 蒙 モデル vCPU メモリ (GiB) SSD ストレ`ジ (GB) オンデマン ド創署 |奨) i2.xlarge 4 30.05 1 x 800 $1.051 i2.2xlarge 8 61 2 x 800 $2.101 i2.4xlarge 16 122 4 x 800 $4.202 i2.8xlarge 32 244 8 x 800 $8.404
- 52. AWS Summit Tokyo 2014 ? 2014定7埖17晩(直) ゛ 18晩(署) ? グランドプリンス仟互 (|奨?瞳寒) ? 栖o創 (勣並念鞠h) ? http://www.awssummittokyo.com/ ? クル`ズ、ソニ`、グラニ、クックパッドなど謹 方の二Iが鞠 仝あなた々のクラウドがここに