More Related Content
Similar to クラウト?移行て?改善するカ?ハ?ナンスファーストの奥别产サービス障害対策について (20)
クラウト?移行て?改善するカ?ハ?ナンスファーストの奥别产サービス障害対策について
- 2. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? どのようにガバナンス機能を導入するか ? まとめ 2
- 3. 運用している Web サービスの概要 ? ログイン機能は常に使える必要あり ? メールアドレスや住所等の個人情報を扱っている 3
- 6. これまでの対策による改善例 ? サービス監視で見落としていた項目の追加 ? 開発とビジネス責任者の両方の承認を受けてから本番環境にリリースする ? リスト型攻撃を受けた時に調査対象のログと対応フローの整理 6
- 7. オンプレ環境で残存している課題 ? リリース前の承認確認は人力で対応している ? 承認されていなくてもリリーススクリプトが実行出来る ? 新しいメンバーがリリースを担当する時にインシデントが発生する ? リスト型攻撃を受けた時の調査コストが高い ? システム内部に不正侵入された時の検知システムが弱い ? 不正侵入の経路を防ぐ対策は実施している ? さらに不正侵入された時の対策も強化しておきたい ? 抜本的な対策の検討が必要 7
- 8. AWS への移行 稼働環境をオンプレから AWS に移行することになった AWS への移行調査 - ガバナンス機能で課題解決出来そう 8 AWS IAM AWS IAM Identity Center AWS Organizations AWS Control Tower AWS CloudTrail AWS SecurityHub AWS GuardDuty AWS Detective etc ...
- 9. 今回のテーマ - ガバナンスファーストの取り組み 「ガバナンス強化対策を設計段階に組み込む」 ? 障害防止対策 ? 障害発生時の早期復旧対策 ? 障害の原因究明と恒久対策に必要な情報の保管 9
- 11. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? どのようにガバナンス機能を導入するか ? まとめ 1
- 12. Web サービスのガバナンスとは コーポレートガバナンスとは ? 企業が健全な経営を維持し透明性と説明責任を果たす仕組み ? 2000 年初頭のエンロン社やワールドコム社の不正会計をきっかけに浸透 12
- 13. IT ガバナンスとは ? IT ガバナンスとは、組織体のガバナンスの構成要素で、取締役会等がステークホ ルダーのニーズに基づき、組織体の価値及び組織体への信頼を向上させるため に、組織体における IT システムの利活用のあるべき姿を示す IT 戦略と方針の策定 及びその実現のための活動である。 https://www.meti.go.jp/policy/netsecurity/sys-kansa/sys-kanri-2023.pdf ? 2002 年にみずほ銀行のシステム統合における大規模なシステム障害以降注目を集 めるようになった ? サービス運用のベストプラクティス 13
- 15. IT ガバナンスに必要な 8 つの構成要素 ? 戦略と情報システムの整合性 ? 組織体制の確認?改善 ? 業務内容の把握 ? コストの算出?費用対効果 ? 運用体系の構築 ? ガイドラインの設定と遵守 ? リスク管理 ? システムの調達方法の策定 https://www.abitus.co.jp/column_voice/cisa/column_voice14.html 15
- 16. Web サービスのガバナンスとは Web サービスのガバナンスのイメージ 16 Web サービスのガバナンス 開発 運用 セキュリティ コンプライアンス コーポレートガバナンス IT ガバナンス
- 17. Web サービスのガバナンスその 1 開発 17 ガバナンス PHP Java レビュー テスト テストは適切に実施できているか 予算 予算超過していないか サービス提供に適切な開発言語か ドメイン駆動設計 Javascript Yii2 レビューは適切に実施できているか 証跡は残しているか 期限 期限は守られているか
- 18. Web サービスのガバナンスその 2 運用 18 ガバナンス レビュー CI/CD 予算 異常検知時に早く復旧出来るか サービス異常検知出来るか Kubernetes Nagios リリース承認されているか 証跡は残しているか リリース承認 Docker オンコール / 障害対応 障害再発防止対策 システム構成変更 障害再発防止対策は出来ているか 予算超過していないか Oracle DB
- 19. Web サービスのガバナンスその 3 セキュリティ 19 ガバナンス SQL インジェクション対策 脆弱性のあるソフトウェアを利用していないか セキュリティ診断 予算超過していないか サービス内のプログラムに脆弱性がないか 証跡は残しているか 定期的にセキュリティ診断出来ているか XSS 対策 予算 Burp Suite Nessus 脅威検知
- 20. Web サービスのガバナンスその 4 コンプライアンス 20 ガバナンス 個人情報保護法 PCI DSS 関連ガイドラインに遵守出来ているか 関連法令に遵守出来ているか Cookie 規制 特定電子メール法
- 22. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? 事例 1: 承認されていないリリースによりログインが出来ない ? 事例 2: リスト型攻撃を受けた時の調査コストが高い ? 事例 3: 新たな脅威への対策 - 個人情報を狙うランサムウェアへの対策 ? どのようにガバナンス機能を導入するか ? まとめ 2
- 23. 承認されていないリリースによりログインが出来ない ? 5 分間程ログインが出来ない障害 ? 開発中のブランチを誤って本番環境にリリースしたため ? 2022 年 9 月に発生 23
- 24. 改善 : 承認されていないリリースの防止 AWS 環境のシステム概要図 24 本番環境アカウント AWS リソース EKS クラスタ 管理アカウント CodeCommit CodeBuild CodePipeline Cloud9( リリース実行する端末 ) 運用担当者のみログイン可能 EC2 インスタンス アプリケーション (Pod) Public subnet ELB 連携システム
- 25. 改善 : 承認されていないリリースの防止 リリース時に承認が必要 25 本番環境アカウント AWS リソース EKS クラスタ 管理アカウント CodeCommit CodeBuild CodePipeline Cloud9( リリース実行する端末 ) 運用担当者のみログイン可能 EC2 インスタンス アプリケーション (Pod) Public subnet ELB AWS のガバナンス機能 ? IAM ? IAM Identity Center ? Organizations ? CloudTrail ? Control Tower 連携システム 運用担当者がリリースコマンド実行 運用責任者が承認
- 26. リリース成功と失敗の例 26 $ aws sso login https://device.sso.ap-northeast-1.amazonaws.com/ 認証 URL 発行 認証 デプロイ $ cdk deploy deploying... Unable to resolve AWS account to use. 成功 失敗
- 28. AWS IAM Identity Center 複数の AWS アカウント内のユーザー、グループ、ロール、権限を一元管理するサービス 複数の AWS アカウントでの SSO や CLI を実行する際の権限付与機能を提供 28 Cloud9 ( リリース実行する端末 ) 運用担当者がリリースコマンド実行 運用責任者が デプロイユーザーで認証 運用担当者グループ 運用担当者 Identity Center デプロイ権限グループ デプロイユーザー 運用責任者グループ 運用責任者 デプロイ 許可セット 閲覧 許可セット ログイン 承認 URL 発行 本番環境 デプロイ
- 29. AWS Organizations 複数の AWS アカウントを一元管理するためのサービス 環境ごとにメンバーアカウントを用意して環境を分離 https://pages.awscloud.com/rs/112-TZM-766/images/20180214_AWS-Blackbelt-Organizations.pdf 29
- 30. AWS Control Tower 複数の AWS アカウント環境のセットアップを?動化するマネージドサービス ベストプラクティスに基づく初期構成を提供 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-ControlTower-Basics_0831_v1.pdf 30
- 33. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? 事例 1: 承認されていないリリースによりログインが出来ない ? 事例 2: リスト型攻撃を受けた時の調査コストが高い ? 事例 3: 新たな脅威への対策 - 個人情報を狙うランサムウェアへの対策 ? どのようにガバナンス機能を導入するか ? まとめ 3
- 34. （現状）リスト型攻撃を受けた時の対応フロー ? 高コスト 34 リスト型攻撃を受ける 攻撃を検知して通知を受ける グラフでログイン試行数が増えているか確認 ログイン試行数が増えていたら Elasticsearch で詳細確認 リスト型攻撃が発生した時間帯にログイン成功している人を特定 パスワードリセットの案内メールを送信
- 35. Elasticsearch で調査するメリットとデメリット ? メリット ? 攻撃を受けたユーザーを容易に特定に出来る ? デメリット ? 運用コストが高い ? 発生頻度は年に数回だが Elasticsearch は常時稼働している ? インスタンス 3 台以上 ? Tera 単位のディスク ? ?Elasticsearch のメンテナンス必要 35
- 36. 改善 : リスト型攻撃を受けた時の調査時だけ分析基盤を利用する ? ログイン履歴は Amazon S3 に保存しておく ? 攻撃を受けた時の調査時に Amazon Athena で攻撃を受けたユーザーを特定する ? コスト改善 ? 分析基盤 (Elasticsearch) のコストが数万円 / 月から数千円 / 月に改善する見込 み ? 分析基盤管理コストは解消出来る 36
- 37. AWS Athena ? Amazon S3 にあるデータに対して SQL で分析出来るサービス ? AWS Glue と連携して、ログイン履歴をクエリを実行し易い形に整形出来る ? サーバレスでインフラ管理不要 37 {"timestamp":"2024-09-24 00:00:00","message":"SUCCESS","member_id":123,"ip":"XXX.XXX.XXX.XXX",...} AWS Glue AWS Athena timestamp member_id login ip … 2024-09-24 00:00:00 123 1 XXX.XXX.XXX.XXX … SELECT ... Amazon S3
- 38. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? 事例 1: 承認されていないリリースによりログインが出来ない ? 事例 2: リスト型攻撃を受けた時の調査コストが高い ? 事例 3: 新たな脅威への対策 - 個人情報を狙うランサムウェアへの対策 ? どのようにガバナンス機能を導入するか ? まとめ 3
- 39. 新たな脅威への対策 - 個人情報を狙うランサムウェアへの対 策 ランサムウェアとは、感染するとパソコン等に保存されているデータを暗号化して 使用できない状態にした上で、そのデータを復号する対価（金銭や暗号資産）を要 求する不正プログラムです https://www.npa.go.jp/bureau/cyber/countermeasures/ransom.html ? 要求された身代金を支払ってもシステムが復旧されないケースも発生している ? ランサムウェア対策部分も攻撃対象 o DB のバックアップを暗号化する等 ? しっかり対策をしていない状態で被害に遭うと甚大な被害へと発展 39
- 40. ランサムウェアの侵入経路 ? アプリケーションの脆弱性を突いた攻撃 ? 認証情報の漏洩による攻撃 ? 設定ミスを狙った攻撃 ? 内部者による攻撃 ? サプライチェーン攻撃 ? データベースを標的とした攻撃 ? ログとモニタリングシステムの改ざん https://www.cloudbuilders.jp/articles/4398/ 40
- 41. ランサムウェア対策 ? 侵入経路を作らない ? 侵入の検知 ? 被害を受けた場合の復旧 41
- 42. ランサムウェア対策 - 侵入経路を作らない ? アプリケーションの脆弱性を突いた攻撃 ? AWS WAF ? 認証情報の漏洩による攻撃 ? 2 段階認証 (MFA) ? 設定ミスを狙った攻撃 ? AWS Config 、 AWS Security Hub ? サプライチェーン攻撃 ? Amazon ECR イメージスキャナ 42
- 43. ランサムウェア対策 - 侵入の検知 ①AWS Security Hub AWS 環境全体のセキュリティ状況を統合的に管理、監視するサービス https://pages.awscloud.com/rs/112-TZM-766/images/20201013_AWS-BlackBelt-AWSSecurityHub.pdf 43
- 44. ランサムウェア対策 - 侵入の検知 ②AWS Detective 潜在的なセキュリティ問題の根本原因を特定するサービス H https://pages.awscloud.com/rs/112-TZM-766/images/20200715_AWSBlackBelt2020_AmazonDetective.pdf 44
- 45. ランサムウェア対策 - 侵入の検知 ③AWS GuardDuty AWS アカウントとワークロードの脅威検出サービス 「ランタイムモニタリング」（準リアルタイム） 2023 年 提供開始 EKS や ECS 、 EC2 上のランタイムにおいて、 OS レベル、ネットワーク、ファイルイベントなどを監視 / 分析し環境内で起こる脅威を検出 https://pages.awscloud.com/rs/112-TZM-766/images/20180509_AWS-BlackBelt_Amazon-GuardDuty.pdf 45
- 46. 検知システムのコスト ?単純計算が困難（複雑な料金体系） ?無料期間中 (30 日間 ) の予想値 AWS Security Hub: $7.81/ 月 AWS GuardDuty: $2.55/ 月 AWS Detective: $580/ 月 合計 : $590/ 月 ( 86,000 ≒ 円 / 月 ) ミニマムで見積もってもこの金額感 46
- 47. ランサムウェア対策 - 被害を受けた場合の復旧 ? DB のバックアップ取得 ? バックアップの稼働環境のネットワークからの切り離し ? 定期的なバックアップからの復旧訓練 47
- 48. 障害対応を改善するアプローチのまとめ ? 承認されていないリリースによりログインが出来ない ? 対策 : 承認されていないリリースの防止 ? リスト型攻撃を受けた時の調査コストが高い ? 対策 : ログイン履歴の調査時だけ分析基盤を稼働させる ? 個人情報を狙うランサムウェア ? 対策 : 侵入経路を作らない、侵入の検知、バックアップからの復旧 48
- 49. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? どのようにガバナンス機能を導入するか ? まとめ 4
- 50. どのようにガバナンス機能を導入するか ? 初期段階で導入したい機能 ? サービスで扱うデータやユーザー数の見通しを元に導入計画を立てる ? システム監査要求事項に対応する 50
- 51. 初期段階で導入したい機能 ? AWS Control Tower ? AWS IAM Identity Center ? AWS Organizations ? AWS CloudTrail 検証と導入の順序の一例 ? 検証用に単一の AWS アカウントを作る ? スイッチロールによるユーザーへの権限付与モデルを理解して設定する ? 運用で利用する管理用の AWS アカウントを作る ? AWS Control Tower を有効にする o IAM Identity Center 、 Organizations 、 CloudTrail も有効になる ? AWS IAM Identity Center でユーザーとグループ、権限を管理する 51
- 52. サービスで扱うデータやユーザー数の見通しを元に導入計画を立てる リスクマネジメント / 費用対効果 リスク : サービス停止、個人情報漏洩、システム改竄、信頼低下、システム復旧コスト、売上損失 対策の費用対効果 52 対策 / 脅威 ストレージ 障害 DDoS 攻撃 SQL インジェク ション ランサムウェア リソース監視 ? ? × ? DB バックアップ ? × ? ? 監査ログ × × × ? WAF × ? ? ? 最小権限の適用 × × ? ? 脅威検知 × × × ?
- 53. ガバナンス計画の例 初期段階でガバナンス計画を立てておく 53 サービス成長 PoC 開発 ローンチ AWS Control Tower AWS IAM Identity Center AWS Organizations AWS CloudTrail リソース監視 DB バックアップ AWS Security Hub AWS GuardDuty AWS Detective 個人情報保護 メルマガ 配信 特定電子メール法 決済機能 PCI DSS 予算追加 メンバー追加 システム コンプライアンス 組織 WAF
- 54. アジェンダ ? モチベーション ? Web サービスのガバナンスとは ? 運用担当している Web サービスでの障害の過去事例と改善のアプローチの紹介 ? 障害対応を改善するアプローチの紹介 ? どのようにガバナンス機能を導入するか ? まとめ 5
- 55. まとめ ? ガバナンスはサービス運用のベストプラクティス ? PoC 段階からガバナンスを意識して計画を立てる ? AWS の機能で効率的にガバナンスを実現 ? AWS Control Tower ? AWS IAM Identity Center ? AWS Organizations ? AWS CloudTrail 55