奥别产サーバ勉强会#5
- 1. 今回のお题 ■Apache2.4 新機能とかについて ■Varnishについて ■奥别产サーバログ运用について←これやります
- 2. 奥别产サーバログ运用について ログ大事ですね！ まずログが出ていないと????
- 4. 恐いですね！！＞＜ でもなんで こんなに怒るんでしょうか。 kazeburoさんとfujiwaraさん それは、通常運用時、障害対応時、 あらゆる所でログを見て判断します。 ログは何が起きたのかを知っています。 ログが無いと障害時の原因究明?対応も出来ないし、 アクセスログを元に今サービスがどんな状況か 正確に把握出来ないですね！
- 5. なので ログは大事ですね！ （完）
- 8. 旧构成（と言っても今もだけど） Webサーバ 日次処理によるログ退避 集約サーバ DBサーバ 各Webサーバの生Apacheログをパー ス、追加情報を付与して整形する 各log_data{yyyymm}テーブルを元に 日次、月次での各テー 解析用のテーブルとか分割したテーブ ル作る ブル作成、及び集計処 理を実行 必要な元ネタテーブルが作成完了した DBにINSERTする ら、各集計用スクリプトを実行し、それぞ れのテーブルを更新して行く
- 10. それはね 大人の事情が色々あるんやで。 「今までの実績」（笑）とか調整とかね。 ※と言いつつも个人的な技术力不足もあります。
- 11. そこに！
- 13. で、色々と試してみた結果 1ヶ月くらいで「～～触ってみた」blogを 2012-03-23 #fluentd fluentd（td-agent）構築時に気をつけるポイントについて 2012-03-22 #fluentd fluentdでcsvファイルのログをin_tailで読むconfig 2012-03-16 #fluentd fluentd＋fluent-plugin-datacounterでログの可視化が便利 2012-03-13 #fluentd include httpを使ったけど上手くいかなかったのは、僕のせ 2012-03-12 #fluentd include httpを使ったけど、上手くいかなかった。 2012-02-29 #fluentd やっつけのfluentd監視用Nagiosプラグインを書いた 2012-02-23 #fluentd fluent-plugin-datacounterがリリースされたので試してみた 2012-02-06 fluentdの記事まとめメモ こんだけ書いていた。
- 15. ざっくり内部概要
- 16. 各サーバ用の颁辞苍蹿颈驳配布方法
- 17. Configについて2 なぜconfigをPSGIで動的生成しているかというと、fluentdでaggregate側に投げる 時に各ホストが ミドルウェア名.ミドルウェア内のタグ（付けないかも）.サービス名.IPアドレス (ex tag: apache.access.web_A.192.168.0.1 というtagを付与したい為。 最終的にdatacounter等で集計する際にtagでグループ化する等を想定している。 ※現段階で使うかどうかは別として。 ミドルウェア関連はホスト毎に共通になる想定なのでユニークじゃなくても良いが、IP 等はホスト毎に切り替えが発生し、その為にconfig直書きで作業が発生するのは 馬鹿らしい事とconfigを一元化して管理したい為。 なので、PSGIではREMOTE_ADDRESSを元に、とりあえず正規表現で各ホストを 判別し、それをconfigに埋め込んで、リクエストを投げた各ホストに合ったconfigを 返す。
- 18. で、fluentd＋ fluent-plugin-datacounter＋Cacti を使うと、ほぼリアルタイムで Webサーバのレスポンスタイムを可視化したり
- 21. まとめ ログは大事。 サーバの状況も分かれば対応も早い。 リソース管理等を考えるとグラフ等で可視化しておくともっと良い。 その手段としてfluentdはとても(???)??!! fluent-plugin-datacounterについては多分作者が会場にいるので、 この後ビールをご馳走すると機能が追加される可能性が！ 細かい設定とかは質問で聞いて貰えれば。