【15-B-7】無意味なアラートからの脱却 ～ Datadogを使ってモダンなモニタリングを始めよう ～
3 likes3,283 views
Developers Summit 2019【15-B-7】池山様の講演資料です。
![2月23日（土） JAWS Days 2019
[Lunch Session] クラウド時代のモニタリングといえば Datadogだよね
https://jawsdays2019.jaws-ug.jp/session/1112/
2月28日（木） Datadog Meetup #2 in 大阪
Datadogはじめました！ in 大阪
https://datadog.connpass.com/event/119412/
3月20日（水） Datadog CTO来日講演 w/AWS（仮）
4月9日（火）、10日（水） DevOps Days Tokyo 2019
告知](https://image.slidesharecdn.com/15b7devsumi2019dataog-190221084501/85/15-B-7-Datadog-42-320.jpg)
![[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな](https://cdn.slidesharecdn.com/ss_thumbnails/awsxon18howfarstepfunctionsgo-211124111849-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from Developers Summit (20)
Recently uploaded (11)
【15-B-7】無意味なアラートからの脱却 ～ Datadogを使ってモダンなモニタリングを始めよう ～
- 1. 池山 邦彦 | Kunihiko Ikeyama Sales Engineer, Datadog kunihiko.ikeyama@datadog.com 無意味なアラートからの脱却 ? Datadogを使ってモダンなモニタリングを始めよう ? #datadogJP
- 3. なぜアラートの嵐に埋もれるのか？ ? 監視する必要のないものも通知設定している ? 通知する必要のない通知を飛ばしている ? 一つのインシデントで引きずられて発砲される通知がたくさんある ? 複数の条件が成立して初めて通知されるべき通知も個別に通知している
- 4. なぜアラートの嵐に埋もれるのか？ ? 監視する必要のないものも通知設定している それ、監視する必要ある？ ? 通知する必要のない通知を飛ばしている 別にその通知受け取る必要なくない？ ? 一つのインシデントで引きずられて発砲される通知がたくさんある 過剰に通知設定してません？ ? 複数の条件が成立して初めて通知されるべき通知も個別に通知している 通知の条件正しく設定してる？
- 5. $whoami 池山 邦彦（いけやま くにひこ） Sales Engineer, Datadog 2018年11月 Datadog入社 職務： プリセールスとして、モニタリングの素晴らしさを世に伝える仕事に 従事 なぜDatadogに入社したのか？ - Datadog使いやすくて面白い！ - 思ったより色んなことできて奥が深い - 犬のロゴかわいい
- 6. 顿补迟补诲辞驳ってナニ？
- 7. リアルタイムの パフォーマンス 可視化 What is Datadog クラウド時代の開発者 &運用担当者のためのモニタリング &分析SaaS 強力な アラート ダッシュボード公開や チーム間のコラボレーション 根本原因の 相関と分析 履歴の分析
- 8. レガシーなモニタリングツールではクラウド時代のスピードとペースに追いつけない プラットフォーム／サービス ユニット (VM, コンテナ, ファンクション) リリース頻度 人への投資 ごく少数の ベンダー 多数のOSSや SaaSの併用 年に1度 日に一度 Ops Dev + Ops Biz + Dev + Ops Standardized/On-Premise Diverse/SaaS Time ツールの数 インスタンス、コンテナ、 マイクロサービス等々 頻度 人へのニーズ 分散集中 Waterfall Agile IntegratedSilo’d Time Time
- 10. なぜモニタリング？
- 11. サービスダウンに伴う機会損失 サービスのSLOは？ 99.9% → 年間8.76時間のダウンまで許容 99.99% → 年間0.876時間のダウンまで許容 1時間のサービスダウンで発生する機会損失額は？ 100万ドル（約1億円） / 時間 の場合… 3時間のダウンでサラリーマンの生涯所得を上回る 3分間のダウンで5万ドルの損失 = 社員1人の年収 復旧にかかる平均回復時間（MTTR）は？ 失われるのはお金だけ？ - 社会的信用 - 顧客満足度 - リピート率 The Cost of Downtime for the Top US Ecommerce Sites https://www.gremlin.com/ecommerce-cost-of-downtime/ サービス稼働を可視化してコントロールすること 復旧を早めてリスクを最小化すること
- 12. システムの可視性における三本柱 MetricsTraces トレンドやパターンを把握 システムやミドルウェアの パフォーマンス 組み合わせや集計による分析 インシデントの調査 デバッグやトラブルシューティング イベントベース Items in Shopping Cart Logins Total Trips Ad Revenue Logs サービス間の原因特定 アプリケーションのスループット レイテンシ、エラー リクエストベース ビジネス 分析
- 13. Why Datadog 250以上のインテグレーション チームを跨いだコラボレーション セルフサービス、OOTB、Fast Time to Value メトリクス、イベント、 APM、ログの相関 機械学習を含むスケーラブルなプラットフォーム
- 15. ではなく Cattle, not pets ペット 家畜
- 20. モニタリングのポイント モニタリング対象について考えてみよう ワークメトリクス リソースメトリクス イベント APM ログ メトリクスとは別にシステムの変更といった重要な通知を イベントとして記録する 頻度としてはメトリクスほどではないが原因究明につながる 情報を含むことがある 変更（changes） コード変更のリリースやビルド、パッチ適用 等々 アラート（alerts） 生成されたアラートや3rd Party製品の通知 スケーリング（scaling events） サーバーやコンテナの追加／停止
- 22. Datadog APMの特長 - 関数やメソッドごとのパフォーマンスやエラーのトレースを 簡単な設定で取得可能 - メトリクスやログとのシームレスな相関をGUIで実現 - マイクロサービスの分散トレーシングも可能 - OpenTracingにも対応 - 対応言語: Python / Ruby / Go / Java / Node.js / .NET / PHP https://docs.datadoghq.com/tracing/languages/
- 26. アラートの種類 緊急性に応じて3段階のレベルでアラートを使い分ける データベースのクエリーレスポンスが遅くなってきているが サービス全体のレスポンスに影響するほどではない 記録する（Record） - 緊急度：低 誰かに知らせる必要がなく、モニタリングシステムに記録するだけ ディスクスペースが逼迫してきているので数日以内での対応 が必要 通知する（Notification） - 緊急度：中 すぐに対応が必要ではないが、誰かが対応できるようにメールや チャットで知らせる レスポンス時間がSLAに抵触するほど遅延している 呼び出す（Page） - 緊急度：高 他の仕事や私用を中断してでも対応が必要なものを、担当者に直接 連絡して呼び出す
- 28. モニタリングの種類 閾値 異常検知（Anomaly） 外れ値（Outlier） 予測（Forecast） ログ APM 複合条件 And others...
- 29. UIから簡単にセルフインストール可能 さまざまな3rd Partyツールとの連携 - Slack - PagerDuty - JIRA - Webhook - ServiceNOW - etc モニターごとに個別に連携先を指定可能 アラートワークフローで役に立つ豊富なインテグレーション
- 30. Synthetics - 外形監視 サービスを外側から監視 複数の拠点から任意のサイトや APIエンドポイントに HTTP(S)リクエストを送信して監視 クライテリアとしてステータスコード、レスポンス時間、 ヘッダ等の指定が可能 モニター対象として通知したり、稼働状況をダッシュ ボードで可視化することが可能 プライベートベータ（ 2019年2月現在）
- 31. Uptime Widget
- 32. Demo
- 42. 2月23日（土） JAWS Days 2019 [Lunch Session] クラウド時代のモニタリングといえば Datadogだよね https://jawsdays2019.jaws-ug.jp/session/1112/ 2月28日（木） Datadog Meetup #2 in 大阪 Datadogはじめました！ in 大阪 https://datadog.connpass.com/event/119412/ 3月20日（水） Datadog CTO来日講演 w/AWS（仮） 4月9日（火）、10日（水） DevOps Days Tokyo 2019 告知
- 43. Let’s explore monitoring in the cloud age
- 44. Thank you