![? 2017 NTT DATA INTELLILINK Corporation 16
ログ件数カウント
ログに含まれる情報はメタ情報としてキー抽出
ログフォーマットによるキー抽出
規則性のあるログについて、後の検索?集計において利用可能なように、
「キー」としてメタ情報を登録
■SSHアクセスログ
Sep 27 13:57:18 webserver sshd[13666]: Invalid user admin from 198.51.100.101 port 3100
キー 値
date Sep 27 13:57:18
user admin
src_ipaddress 198.51.100.101
キーによる抽出
検索?集計に最適な形でログメッセージの
メタ情報を「キー」で管理](https://image.slidesharecdn.com/02hinemos6-171127110234/85/Hinemos-ver-6-1-16-320.jpg)
![? 2017 NTT DATA INTELLILINK Corporation 17
ログ件数カウント
ログのメタ情報を活用して、特定のログ件数をカウント
メタ情報の値ごとに集計し詳細な解析も
(例) /var/log/secureから、単位時間あたりのログイン失敗件数を収集
Sep 27 13:57:18 webserver sshd[13666]: Invalid user admin from 198.51.100.101 port 3100
接続元IPアドレスで集計
198.51.100.101
198.51.100.201
198.51.100.1
ログイン失敗件数
時間](https://image.slidesharecdn.com/02hinemos6-171127110234/85/Hinemos-ver-6-1-17-320.jpg)
More Related Content
What's hot (20)
Similar to Hinemos ver.6.1のご紹介 (20)
More from Hinemos (20)
![01 operation management tool hinemos [open version] in the dx era 20191118](https://cdn.slidesharecdn.com/ss_thumbnails/01operationmanagementtoolhinemosopenversioninthedxera20191118-191119093845-thumbnail.jpg?width=560&fit=bounds)
Recently uploaded (11)
Hinemos ver.6.1のご紹介
- 1. ? 2017 NTT DATA INTELLILINK Corporation 待望の次期バージョン Hinemos ver.6.1のご紹介 NTTデータ先端技術株式会社 眞野 将徳 Hinemos World 2017
- 2. 2? 2017 NTT DATA INTELLILINK Corporation 1. コンセプト 2. 運用アナリティクス 3. Hinemos6.1機能改善 4. リリース情報 INDEX
- 3. ? 2017 NTT DATA INTELLILINK Corporation 3 贬颈苍别尘辞蝉が実现する「攻めの运用」 安定運用は当たり前。 Hinemosは運用コストのトータルマネジメントを実現。 リアルタイムに システムの状態を的確に把握 （監視?分析） あらゆる環境 あらゆる機器から あらゆる情報を収集 Hypervisor VM VM オンプレミス クラウド環境 ベアメタル 仮想化環境 自動制御による インフラコスト、作業コスト の削減 マイグレーション作成削除 Hypervisor VM VM Hypervisor VM VM Hypervisor VM VM リソースの最適配置 インフラコスト ? ? ▲ 運用自動化 作業コスト 収集?蓄積 見える化 自動化
- 4. ? 2017 NTT DATA INTELLILINK Corporation 4 Hinemos ver.6.1 コンセプト
- 5. ? 2017 NTT DATA INTELLILINK Corporation 5 Hinemos 6.1 コンセプト 運用アナリティクス
- 6. ? 2017 NTT DATA INTELLILINK Corporation 6 運用アナリティクス Hinemosで集めたデータをもとに以下を実現 ?リアルタイムなシステム状態把握 と 未来を予見した予防保全 ?自律運用（ルールベースの自動化、自己学習、対話的処理） 現在 未来 過去 分析 検知 ルールエンジン AI?機械学習 自律制御 対話的処理 レコメンド 承認 自己フィードバック コグニティブ? コンピューティング 分析 学習 認知 ?障害影響範囲の特定 ?特異値(ヘテロジーニアス)検知 ?サイレント障害監視 ?必要なメッセージの抽出 ?障害原因解析 ?障害予兆検知 ?キャパシティプランニング ?自動縮退 ?自動復旧 ?不要メッセージの削除 ?過去障害のナレッジ化 ?予防保全 ?リソース最適配置 収集 蓄積 ?システムログ ?ミドルウェアログ ?アプリケーションログ ?性能/リソース情報 ?ネットワークパケット ?センサー情報 … サーバ NW機器 その他センサ等 クラウド サイレント障害監視 バイナリデータ 収集
- 7. ? 2017 NTT DATA INTELLILINK Corporation 7 運用アナリティクス 蓄積 分析 学習 性能?リソース値 システムログ アプリログ NWパケット センサデータ 収集 アクション アラート 環境構築 処理実行 自動対処 Hinemos サーバ NW機器クラウド サイレント障害検知 予兆検知 将来予測 異常検出
- 8. ? 2017 NTT DATA INTELLILINK Corporation 8 運用アナリティクス 従来型の監視 リソース値 ログメッセージ 閾値判定 パターン マッチ 単一の値が、現在どうなっているか
- 9. ? 2017 NTT DATA INTELLILINK Corporation 9 運用アナリティクス これからの監視 リソース値 ログメッセージ 蓄積 これまでの情報 を加味した分析 これまでの値の履歴や 他の値との関連を含め システムとしてどうなっているか
- 10. ? 2017 NTT DATA INTELLILINK Corporation 10 運用アナリティクス 蓄積した情報は障害発生後の原因調査等解析にも利用可能 検知 対処障害 サイレント障害検知 ログバースト分析 異常値分析 将来予測分析 複数収集値統合分析 ネットワークパケットDL アプリケーションログ分析 ダンプファイルDL ジョブ実行結果 イベント履歴
- 11. ? 2017 NTT DATA INTELLILINK Corporation 11 運用アナリティクス
- 12. ? 2017 NTT DATA INTELLILINK Corporation 12 運用アナリティクスを支える技術 Hinemos 6.0で追加された収集蓄積機能をさらに強化 ? 収集対象の追加 ? バイナリログ ? パケットキャプチャ ? 文字列収集の件数カウント ? 蓄積した情報を活用した監視 ? 将来予測監視 ? 変化監視 ? 相関係数監視 ? 収集値統合監視
- 13. ? 2017 NTT DATA INTELLILINK Corporation 13 バイナリログ収集 性能 (数値) ログ (文字列) バイナリイベント 内部DB 文字列監視 収集 数値監視 収集 イベント通知 データ受渡し 性能機能 数値データグラフ化 ジョブ 履歴 ジョブ実行 バイナリ 収集 ver.6.1で追加対応 外部解析ツール Hinemos クライアント 確認、検索、DL パケットキャプチャ バイナリファイル バイナリログ
- 14. ? 2017 NTT DATA INTELLILINK Corporation 14 ネットワークパケット監視 Hinemosにシステムのネットワークパケットを蓄積 蓄積したパケットは使い慣れたツールで分析することが可能 ネットワーク パケット 収集 Hinemosマネージャ 取得 分析
- 15. ? 2017 NTT DATA INTELLILINK Corporation 15 バイナリファイル監視 テキストログのようにバイナリログの増分を収集したり、 ファイル単位で収集することが可能 収集だけでなく監視ももちろん可能 ミドルウェアのログ ヒープダンプ テキスト?バイナリ関係なく あらゆるログをマネージャに集約
- 16. ? 2017 NTT DATA INTELLILINK Corporation 16 ログ件数カウント ログに含まれる情報はメタ情報としてキー抽出 ログフォーマットによるキー抽出 規則性のあるログについて、後の検索?集計において利用可能なように、 「キー」としてメタ情報を登録 ■SSHアクセスログ Sep 27 13:57:18 webserver sshd[13666]: Invalid user admin from 198.51.100.101 port 3100 キー 値 date Sep 27 13:57:18 user admin src_ipaddress 198.51.100.101 キーによる抽出 検索?集計に最適な形でログメッセージの メタ情報を「キー」で管理
- 17. ? 2017 NTT DATA INTELLILINK Corporation 17 ログ件数カウント ログのメタ情報を活用して、特定のログ件数をカウント メタ情報の値ごとに集計し詳細な解析も (例) /var/log/secureから、単位時間あたりのログイン失敗件数を収集 Sep 27 13:57:18 webserver sshd[13666]: Invalid user admin from 198.51.100.101 port 3100 接続元IPアドレスで集計 198.51.100.101 198.51.100.201 198.51.100.1 ログイン失敗件数 時間
- 18. ? 2017 NTT DATA INTELLILINK Corporation 18 デモ
- 19. ? 2017 NTT DATA INTELLILINK Corporation 19 デモ内容 Webサーバ 攻撃者 セキュリティホールがないか攻撃 →404が多発 検知！ 実際にどのような通信がおこなわれていたか ネットワークパケットをエクスポートして確認
- 20. ? 2017 NTT DATA INTELLILINK Corporation 20 運用アナリティクス 収集蓄積機能で蓄積した情報を活用 ? 収集対象の追加 ? バイナリログ ? パケットキャプチャ ? 文字列収集の件数カウント ? 蓄積した情報を活用した監視 ? 将来予測監視 ? 変化監視 ? 相関係数監視 ? 収集値統合監視
- 21. ? 2017 NTT DATA INTELLILINK Corporation 21 将来予測監視 これまでの収集値をもとに予測した値を元に監視 収集値 収集日時 警告 情報 危険 今のペースで増加したら 1ヶ月後はどうなってる？ 現在 今の値だけ見れば 正常域かもしれないが
- 22. ? 2017 NTT DATA INTELLILINK Corporation 22 変化監視 これまでの収集値から、次の収集値の取りうる範囲を予測 予測以上の変化を異常値として検知 収集日時
- 23. ? 2017 NTT DATA INTELLILINK Corporation 23 グラフ表示 これらの予測は性能グラフでも確認可能
- 24. ? 2017 NTT DATA INTELLILINK Corporation 24 相関係数分析 平常時の2つの性能値の関係性をインプット その関係性が崩れていないか検知 障害発生！検知 障害が発生する前に、平常時と異なる挙動を検知することが可能
- 25. ? 2017 NTT DATA INTELLILINK Corporation 25 収集値統合監視 複数の条件を組み合わせて状態を判定 LB WEB サーバ01 WEB サーバ02 WEB サーバ03 すべてのWebサーバのサービスが 停止していたら異常として検知 ??? ??? Process End ??? ??? ??? Process Start ??? アプリケーションログ プロセス終了のログ出 力後、○分以内にプロ セスが再起動しなけれ ば異常として検知
- 26. ? 2017 NTT DATA INTELLILINK Corporation 26 デモ
- 27. ? 2017 NTT DATA INTELLILINK Corporation 27 デモ内容 DBサーバ それぞれのサーバで、特性にあわせてリソースを 重点的に監視している 一見正常に動いているように見える (現在値の閾値監視では正常値)が、 通常とは異なる挙動があり、それを検知する また、検知後、なぜ異常と検知したのかを 収集情報を元に確認する APサーバ
- 28. ? 2017 NTT DATA INTELLILINK Corporation 28 Hinemos ver.6.1 自動化機能改善
- 29. ? 2017 NTT DATA INTELLILINK Corporation 29 ジョブの改善 ? 待ち条件で後続ジョブのうち優先度の高い一つを実行 ? ジョブセッションをまたいだジョブ同士の待ち合わせ ? ジョブネットやジョブを条件を満たすまで繰り返し実行 (繰り返し条件には回数や終了状態を指定可能) ? ジョブの実行時間を収集?蓄積し、性能グラフで表示可能 ? 蓄積した実行時間をもとに、そのジョブの実行時間を予測 し、そこから乖離した場合に終了遅延と判定 ? ジョブネットやジョブ単位でのジョブのインポート?エク スポート ? ジョブスケジュールの定期実行の間隔に、1分、2分、3分 を追加
- 30. ? 2017 NTT DATA INTELLILINK Corporation 30 その他改善 監視機能全般 ? ポーリング型の監視の間隔に30秒を追加 環境構築機能 ? 環境構築設定内で他の環境構築設定を呼び出して実行 ? 環境構築変数の追加 ? 環境構築変数は、実行コマンドやチェックコマンド、モジュール 実行時のログイン情報、モジュールの実行結果の格納に利用可能 ? 先行したモジュールの実行結果に応じた後続モジュールの 制御が可能 ? チェックコマンドの省略時の挙動を設定可能
- 31. ? 2017 NTT DATA INTELLILINK Corporation 31 リリース情報
- 32. ? 2017 NTT DATA INTELLILINK Corporation 32 エージェント互換性 Hinemos ver.6.1はver.6.0とエージェント互換性有 ver.6.1 マネージャ ver.6.0 エージェント ver.6.1 エージェント エージェントは そのままでもOK Ver.6.1の機能が すべて使える！
- 33. ? 2017 NTT DATA INTELLILINK Corporation 33 対応OS ? Hinemosマネージャ ? RHEL/CentOS 7, 6 ? Windows Server 2016, 2012 R2 ? Hinemosエージェント ? RHEL/CentOS/Oracle Linux 7, 6, 5 ? Windows Server 2016, 2012 R2, 2012, 2008 R2, 2008 ? Windows 10, 8,1, 8, 7 ? Ubuntu 16.04 LTS ? SUSE 12, 11 ? AIX 7.2, 7.1 ? Solaris 11, 10 ? HP-UX 11i v3 ? Hinemosクライアント(rich) ? Hinemosエージェントが対応するWindows OS ? Hinemosクライアント(web) ? Internet Exploler, Firefox, Chrome
- 34. ? 2017 NTT DATA INTELLILINK Corporation 34 リリース日 2018年2月リリース Hinemos ver.6.1 マネージャ Hinemos ver.6.1 エージェント Hinemos ver.6.1 クライアント
- 35. ? 2017 NTT DATA INTELLILINK Corporation 35 まとめ Hinemos ver.6.1は収集した蓄積情報を徹底活用します！ サイレント障害検知、将来予測などの分析機能が 多数追加されます！ 自動化機能をはじめ、さらに使いやすく改善されます！ ご期待ください！！ ? ? ?
- 36. ? 2017 NTT DATA INTELLILINK Corporation