Lt talk 2017_0912
?Download as PPTX, PDF?
0 likes?50 views
https://techplay.jp/event/632704 の資料
Lt talk 2017_0912
- 3. 自己紹介 ? 名前: 富樫健太 ? 仕事: 某ホスティング会社 サーバエンジニア ? 興味: サーバ監視、ログ収集、異常検知 ? 機械学習歴: 4 ヶ月
- 4. 最初にやったこと ? 線形代数(ベクトル、行列) ? 微分、積分 ? 確率、統計 ? 機械学習理論(最小二乗法、ベイズ推定、SVM等) ? Python(numpy、pandas、matplotlib、scikit-learn等) ? R(Rstudio)
- 10. 障害といえど ? サーバ高負荷？ ? サーバ機器故障？ ? ネットワーク机器故障？
- 13. イメージ ? LAが高負荷なサーバ = 将来障害が起きていたで あ ろうサーバと都合良い解釈をした場合、 ? L Aを時系列データとして扱い、通常時に比べ て急 増していれば検知するシステム
- 17. Anomaly Detection ? Twitter社が開発したR製のパッケージ ? 季節変動を含む時系列データの異常検知 ? https://github.com/twitter/AnomalyDetection
- 21. 振り返りとか課題 ? パッケージを使うことで、短期間で異常検知を導入できた ? 多変量の場合は、主成分分析などを使えば、同じパッケージを使いま わすことができる ? モデルのチューニングができるほど知見がない ? データの前処理は正規化、標準化くらいしか分からない ? 今回のシステムで、モデルの評価がわからない => 今は、業務担当者としてできてる、できてないという感覚値として の判断になってる。
- 22. 質問コーナー ? データはどのような形式で保持していますか。 => 今は、CSVとして保存しています。データベー スに入れても良いと思い ますが、どちらがいいかは 後で考えます。 ? なぜ、Rを選んだのか。 => 使用したかったパッケージがRしかなかったの で、連携周りにRを採 用しました。
- 23. 質問コーナー ? 短時間で、障害の閾値に達するような場合は、予兆 しても対応が間に合わな いと思うのですがどのよう にお考えですか。 => 同じくそう思います。観察するパラメータとし て、LA だけでは不十分だ と考えています。例えば、 トラフィック流量であったり、I/Oなどパラメータ を 増やし主成分分析、多変量解析を行うことで、広 く傾向を捉えることができな いか検討しています。
- 24. 質問コーナー ? 現在使用しているパッケージには、多変量解析を行 う機能はないですか。 => 調べたところ、単変量への時系列データしか食 わせられないようです。何 かお勧めの手法があれば、 ご教授ください。 => マハラノビス距離を使うのはどうでしょうか。
- 25. 質問コーナー ? 季節変動のないデータでもそのパッケージは、有用 なのでしょうか。 => 試したところ、季節変動が含まれないデータでも 動作してるようです。 ? また、定期的な上昇値があるようなケースでもその パッケージは使用でき るのでしょうか。 => 多分、できないです。誤検知します。