狠狠撸

狠狠撸Share a Scribd company logo

Fluentdの監視サービス (Treasure Agent Monitoring Service) by Treasure Data

?Download as PPTX, PDF?
?
Kiyoto Tamura
Kiyoto Tamura
1 of 13
Download to read offline
? August 15th, 2013 - 3:30PM PDT 「お手軽 」のはずが 監視サービスの話になりました Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, Marketing Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, Marketing 田村清人 www.treasuredata.com Copyright 2013
会社概要 チーム概要 Hiro Yoshikawa – CEO Open source business veteran 2011 12月創業、米国カリフォルニア州。 創業者は日本人3人組。2013年12月現在、社 員約30名。 Kaz Ohta – CTO Founder of Hadoop Group Japan Sadayuki Furuhashi – Chief Architect MessagePack, Fluentd ビッグデータの収集?保存?解析を一手に行 えるクラウドサービスを提供。他のサービス と異なり、数日で始められるのが特徴。 サービスコンセプト すぐに使い始められる ? クラウドサービスとしての提供を行う 、手厚いサポート ? “Trend Setting Products” in Data for 2014 (Database Trends and Applications) ? “5 Hot Big Data Startups” (Enterprise Apps Today) Rich Ghiossi – VP Marketing VP Marketing, ParAccel and HP 投資家概要 ? ? Keith Goldstein – VP Sales & BD VP, Business Devt, Tibco and Talend Sierra Ventures – (Tim Guleri) Leading venture capital firm in Big Data Bill Tai Renown investor, GP Charles River Ventures Jerry Yang Founder, Yahoo! Yukihiro “Matz” Matusmoto Creator, “Ruby” programming language James Lindenbaum Founder, Heroku
いきなりですが、これだけは言っておきた い おれは副社長なんかじゃねえ！ 平社員様(Fluentd担当)だ！ www.treasuredata.com Copyright 2013 3
4 Project ? もともとはTreasure Data のデータコレクタ部分を、オープンソース化 ? 2013年、国内外で広く浸透 ? 世界中でデータを解析可能な形で収集するのをお手伝い "We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems." "We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism." Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe” Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)
Deliver apps, the right Collect logs, the right way way Addons Plugins Matz is our fan! www.treasuredata.com Copyright 2013 5
6 「お手軽Fluentd」のはずが監視サービスの話になった理由を話 す間に可愛いロゴを見ててもらうスライド
7 本日の話: Fluentd ? 公式ドキュメント ? http://docs.fluentd.org/articles/monitoring ? いくつかの方法が紹介されています。 ? Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例 ? http://www.slideshare.net/GedowFather/fluentd-meetup-2fluentd ? Monitによる監視事例 ? あまりまとまった資料が無く、よく質問される。監視して れば防げるデータ事故がかなり多い。 @ TD
8 ? 基本編 ? プロセス監視 ? ポート監視 ? システム情報 ? CPU/Memory/Network ? Fluentd特化編 ? buffer溢れ ? buffer flushのリトライ回数 ? Fluentd自体のエラー / ワーニングログ
10 先月発表 ”Treasure Agent Monitoring 厂别谤惫颈肠别”
11 Treasure Agent Monitoring Service ? td-agentのモニタリングサービス ? Treasure Dataのクラウドサービスの一機能 ? fluent-plugin-td-monitoringをインストール ? td-agent v1.1.18 にはこっそり既に入っております Treasure Agent td-monitoring Treasure Data Service 統計情報の定期送付 (毎分) ? システム統計情報 ? Fluentd内部メトリクス情報 ? SSLによる送信
12 設定ファイルの書き換え (8行! 簡単!) # # 設定ファイルに下記を追加 # <source> type td_monitor_agent # TD の APIキー apikey TREASURE_DATA_APIKEY # インスタンスID instance_id aggregator1 </source> リスタート後、動作開始 # # カウント処理を追加 # <match apache.**> type td_counter <store> type file path /path/to/apache.log time_slice_format %Y%m%d time_slice_wait 10m time_format %Y%m%dT%H%M%S%z buffer_type file buffer_path /path/to/buf </store> </match>
13 : フリー (無料) ? Treasure Dataのフリープランの一機能 ? 台数など、何らかの制限はフリープランにつけると 思います ? まずはaggregatorノードから使ってみて下さい ? 現時点ではベータリリース ? フィードバック頂けるユーザー様を探しています ? kiyoto@treasure-data.com までメールを頂くか、終 了後に Treasure Data の誰かに名刺を渡して頂ける と嬉しいです！！！
14 まとめ ? Fluentdのモニタリングサービスはじめます ? $ yum upgrade td-agent ? $ apt-get upgrade td-agent ? $ gem install fluent-plugin-td-monitoring ? kiyoto@treasure-data.com までメー ル下さい！

More Related Content

Fluentdの監視サービス (Treasure Agent Monitoring Service) by Treasure Data

  • 1. ? August 15th, 2013 - 3:30PM PDT 「お手軽 」のはずが 監視サービスの話になりました Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, Marketing Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, Marketing 田村清人 www.treasuredata.com Copyright 2013
  • 2. 会社概要 チーム概要 Hiro Yoshikawa – CEO Open source business veteran 2011 12月創業、米国カリフォルニア州。 創業者は日本人3人組。2013年12月現在、社 員約30名。 Kaz Ohta – CTO Founder of Hadoop Group Japan Sadayuki Furuhashi – Chief Architect MessagePack, Fluentd ビッグデータの収集?保存?解析を一手に行 えるクラウドサービスを提供。他のサービス と異なり、数日で始められるのが特徴。 サービスコンセプト すぐに使い始められる ? クラウドサービスとしての提供を行う 、手厚いサポート ? “Trend Setting Products” in Data for 2014 (Database Trends and Applications) ? “5 Hot Big Data Startups” (Enterprise Apps Today) Rich Ghiossi – VP Marketing VP Marketing, ParAccel and HP 投資家概要 ? ? Keith Goldstein – VP Sales & BD VP, Business Devt, Tibco and Talend Sierra Ventures – (Tim Guleri) Leading venture capital firm in Big Data Bill Tai Renown investor, GP Charles River Ventures Jerry Yang Founder, Yahoo! Yukihiro “Matz” Matusmoto Creator, “Ruby” programming language James Lindenbaum Founder, Heroku
  • 4. 4 Project ? もともとはTreasure Data のデータコレクタ部分を、オープンソース化 ? 2013年、国内外で広く浸透 ? 世界中でデータを解析可能な形で収集するのをお手伝い "We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems." "We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism." Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe” Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)
  • 5. Deliver apps, the right Collect logs, the right way way Addons Plugins Matz is our fan! www.treasuredata.com Copyright 2013 5
  • 7. 7 本日の話: Fluentd ? 公式ドキュメント ? http://docs.fluentd.org/articles/monitoring ? いくつかの方法が紹介されています。 ? Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例 ? http://www.slideshare.net/GedowFather/fluentd-meetup-2fluentd ? Monitによる監視事例 ? あまりまとまった資料が無く、よく質問される。監視して れば防げるデータ事故がかなり多い。 @ TD
  • 8. 8 ? 基本編 ? プロセス監視 ? ポート監視 ? システム情報 ? CPU/Memory/Network ? Fluentd特化編 ? buffer溢れ ? buffer flushのリトライ回数 ? Fluentd自体のエラー / ワーニングログ
  • 10. 11 Treasure Agent Monitoring Service ? td-agentのモニタリングサービス ? Treasure Dataのクラウドサービスの一機能 ? fluent-plugin-td-monitoringをインストール ? td-agent v1.1.18 にはこっそり既に入っております Treasure Agent td-monitoring Treasure Data Service 統計情報の定期送付 (毎分) ? システム統計情報 ? Fluentd内部メトリクス情報 ? SSLによる送信
  • 11. 12 設定ファイルの書き換え (8行! 簡単!) # # 設定ファイルに下記を追加 # <source> type td_monitor_agent # TD の APIキー apikey TREASURE_DATA_APIKEY # インスタンスID instance_id aggregator1 </source> リスタート後、動作開始 # # カウント処理を追加 # <match apache.**> type td_counter <store> type file path /path/to/apache.log time_slice_format %Y%m%d time_slice_wait 10m time_format %Y%m%dT%H%M%S%z buffer_type file buffer_path /path/to/buf </store> </match>
  • 12. 13 : フリー (無料) ? Treasure Dataのフリープランの一機能 ? 台数など、何らかの制限はフリープランにつけると 思います ? まずはaggregatorノードから使ってみて下さい ? 現時点ではベータリリース ? フィードバック頂けるユーザー様を探しています ? kiyoto@treasure-data.com までメールを頂くか、終 了後に Treasure Data の誰かに名刺を渡して頂ける と嬉しいです！！！
  • 13. 14 まとめ ? Fluentdのモニタリングサービスはじめます ? $ yum upgrade td-agent ? $ apt-get upgrade td-agent ? $ gem install fluent-plugin-td-monitoring ? kiyoto@treasure-data.com までメー ル下さい！