スタートアッフ?て?も使える！ ヒ?ック?テ?ータ×リアルタイム処理- 導入事例
?
0 likes?2,397 views
第2回 関西スタートアップAWS勉強会 ( https://kansaistartupaws.doorkeeper.jp/events/41786 ) に登壇させていただいた時の発表資料です。 ビッグデータxリアルタイムな機能を開発した経験から、具体的にどのように活用したのか、今現在苦しんでいることは何かなどをお話しさせていただきました。
スタートアッフ?て?も使える！ ヒ?ック?テ?ータ×リアルタイム処理- 導入事例
- 4. お話しすること 大規模 CRM システムに "ビッグデータ × リアルタイム処理" を導入するまでの取り組みをご紹介します。
- 10. AWS を選ぶ理由 サーバ調達期間を大幅短縮できる。 負荷に応じてスケーリングしやすい。 数々のマネージドサービスが助けてくれる。 EC2, RDS, S3, Route53, VPC, CloudWatch, ElastiCache, Kinesis, DynamoDB, SQS, EMR, Lambda, API Gateway, CloudFormation, Glacier, ELB, ...
- 12. システム構成 AWS + On-Premises のハイブリッド構成 マイクロサービス気味にサービス分割
- 13. サービス間を API で繋ぐ RESTful API でやりとり クライアントライブラリを提供する 分散されたモノリス（Distributed Monolith）
- 14. デプロイ 今はバラバラなやり方をしている Jenkins, Artifactory, Ansible, Gradle, Cloud Formation
- 16. 基本的なこと 自動化する 障害が発生することを前提に作る Cloud Design Pattern などのプラクティス etc..
- 17. EC2 インスタンスが落ちる？ 実は EC2 はピンピンしている ネットワークの一時的な不調/障害 EC2 に対する死活監視が通信エラーになる
- 18. ネットワーク障害 リトライ処理しろ、冪等に作れって言うけれど?? ?適切な ConnectTimeout, ReadTimeout を設定 ?エラーになったら少し待ってからリトライ ?冪等にするにはデータを一意に識別するものが必要
- 19. 本質は Key-Value ストアだ Scan リクエストを減らすことが鍵 最初はキー検索しか無かったのに?? 条件指定で検索する必要が出てきて辛くなった。 複雑な条件指定で検索する必要が出て RDS に変更。 簡単な条件＝DynamoDB, 複雑な条件＝RDS 前提が変わってもそれに合うサービスが提供されている。 DynamoDB
- 25. コスト内訳
- 26. コストを下げる EC2 のインスタンス数 EC2 のインスタンスタイプ EC2 のリザーブドインスタンス DynamoDB のキャパシティ指定 Kinesis のシャード数 RDS のインスタンス数 CloudWatch の監視間隔 etc..
- 29. まとめ