AWS Premier Night #2 in Osaka 運用補助の取り組み
- 1. 運?補助の取り組み 2016.09.16 Fri Toshiaki Aoike AWS Premier Night #2 in Osaka
- 2. ??紹介 ?池 利昭 ? cloudpack ?阪 MSP開発グループ エンジニア
- 3. MSP開発 is … ? MSP（Management Services Provider ）向けのシステムや 作業の?援の仕組みを構築?提供 ? cloudpack ?阪で発? ? サーバーレス開発と運?が主体 ? 請負の仕事もやってます
- 4. 弊社の现状
- 5. ? 昼夜問わず上がってくるインシデント インシデントはコチラの都合などお構いなし ? サーバーの増加 ≒ インシデントの増加 サーバーが増えるとインシデントも増化する傾向にある ? インシデントの増加 ≒ Ops の負担増加 インシデントが発?すると Ops はアクションを?う サービスはどんどん増えていく為、Ops のアクションも増 弊社の状況
- 6. 取り組み ? インシデントが漏れない仕組み インシデントを管理する仕組みを提供 ? インシデントの発?状況を可視化する仕組み サービス毎や時間毎などのインシデントを分析 ? インシデント対応時の作業を補助する仕組み 作業の?部をシステムで肩代わり
- 7. 取り組み ? インシデントが漏れない仕組み インシデントを管理する仕組みを提供 ? インシデントの発?状況を可視化する仕組み サービス毎や時間毎などのインシデントを分析 ? インシデント対応時の作業を補助する仕組み 作業の?部をシステムで肩代わり
- 19. 取り組み ? インシデントが漏れない仕組み インシデントを管理する仕組みを提供 ? インシデントの発?状況を可視化する仕組み サービス毎や時間毎などのインシデントを分析 ? インシデント対応時の作業を補助する仕組み 作業の?部をシステムで肩代わり
- 23. 取り組み ? インシデントが漏れない仕組み インシデントを管理する仕組みを提供 ? インシデントの発?状況を可視化する仕組み サービス毎や時間毎などのインシデントを分析 ? インシデント対応時の作業を補助する仕組み 作業の?部をシステムで肩代わり
- 29. 辫补驳别谤诲耻迟测について
- 38. pagerdutyのWebHookのあれこれ 1:triggered 2:acknowledge 1:triggered 2:triggered 2:acknowledge ステート管理を実施
- 43. pagerdutyのWebHookのあれこれ ? 200が返ってこない場合は50秒後リトライ ? 7回リトライするので最?8回処理を実? ? 8回実?しても200が返らない30分通知停? ? 上記を最?6回リトライ ? 改善が無ければブラックリストに?り通知停?
- 45. pagerdutyのWebAPIのあれこれ ? APIはv2の?が性能が良い ? APIキー単位で1分間2000回のアクセス制限 ? アクセス制限時は専?レスポンスコードに （v1では403、v2では429） ? pagerdutyに?番近いリージョンはus-west-2
- 46. pagerdutyのサポートのあれこれ ? とてもフレンドリー ? 単語を並べればニュアンスを読み取ってくれる ? 时差の関係で回答は午前0时?1时顷に多い
- 47. まとめ ? ?途に応じてAPIキーを使い分け ? WebHookインシデントのステートは?分で管理 ? 5秒ルール対策の為、us-west-2を利? ? WebHookは通知を受ける以外の処理しない （処理は?同期で?う）