狠狠撸

JVM Operation
Casual Talks
Cassandra監視で
やっていること

自己紹介
id:oranie
@oranie
株式会社 Cyberagent 所属

注意：Cassandraの項目などは
Ver1.1をベースにしています。

运用しているシステムについて

サイバーエージェントスマートフォンプラットフォーム
s.amebame.com

SPOFの無いマルチマスタ
ノード追加でスケールする
処理能力とデータ保持量
スキーマレスで柔軟な
データ操作

System Scale
Daily Peak Cluster Request
Read : about 45,000 qps
Write : about 40,000 qps
Total Data: about 35TB + snapshot
1 node avg: 350GB ※RF:3

Latency
Read / avg 4ms.
Write / avg 0.1~0.7ms

Cluster HW spec
CPU : 16 ~ 24 core (HT enable)
Memory : 64GB
Disk : SAS 600GB RAID 10
※一部テスト的にSATAだったりSSD入れて
みたりのレンジがあった。

おおまかなまとめ
サイバーエージェント公式エンジニアブログ
http://ameblo.jp/principia-ca/entry-11514557323.html

運用担当当初
Cassandraの監視って何すれば
いいの？からスタート

Cassandraにはクエリを投げて
MySQLで言う
SHOW STATUS hogehoge
的な奴は無かった（ハズ）

なにかあってもどこで
性能劣化したかどうかとか
分からない。

とりあえず既存で使っていた
JavaアプリのCactiのテンプレ見
る

JVMの
GC頻度
ヒープメモリの使い方とか
グラフに取っている

これどこに値とか
入っているんだろう？

Mbeansという所に
色々入っていた。
見るのにVisualVMというのが
便利と教えてもらう。

見てみるとJVMで取れる値と
アプリケーション（Cassandra）特
有の値など色々入っていた。

JVMで取れる値 =
Linux OSで取れる様な物
アプリ固有の物 =
Apacheのmod_statusで取れる
様な物
が入っているので、ひたすら必
要そうな物探す。

で、色々あるのは分かったけど
これ結局どうやって値
取っているの？

颁补肠迟颈は厂狈惭笔でした。

http://d.hatena.ne.jp/hogem/20121206/1354802392
hogemさんのブログより引用

なんというか???
人類にやさしくない???。

これから欲しい値取る時に
SNMPで頑張るの???
oid調べるのとか面倒くせ。

JMXという違う
インターフェイスが
ある事を知る

JMX = Java Management
Extensions (JMX)

調べたらJavaで書かないと
無理ゲーくさい

Java……..
ちょっとスクリプト的な奴作っても
Nagiosで頻繁に叩くとかの時に
起動コスト高くね？

つーかJavaって
「くるまクラスを作って見よう」
ぐらいしかやった事ねー
PerlとかRubyとかPython
とかでサラッと書きたい。

そこで社内の人から
Jolokia使えば？
と教えて貰う。

簡単に言うとJMXを
REST APIインターフェイスに
プロキシしてくれるモジュール。
値をJSONで返してくれる。

ex:)
http://localhost:8080/jolokia/
read/java.lang:type=Memory/
HeapMemoryUsage
に対してGETする。

ex:)
{ "committed" : 18292736,
"used" : 15348352, "max" :
532742144, "init" : 0 }
こんな感じ。

とても分かりやすい。
ちょっと整形すればbashでも簡
単に書ける。
PerlならJMX::Jmx4Perlという
CPANモジュールも出ている。

簡単な使い方は同僚の
@la_luna_azul が書いた

Nagios + Jenkins + Perl Script
to mail & Push notification

OS monitor
?Cacti :
OS, JVM Resource graph
?Proteus-monitor : Real Time OS
monitor
(cyberagent engineer OSS product)
https://github.com/ameba-proteus/
proteus-monitor-agent

Proteus-monitor : Real Time OS

Cassandra monitor
?Cassandra Resource graph
GrowthForecast(LINE Engineer OSS product) +
yohoushi (DeNA Engineer OSS product)
?opscenter :Datastax Cassandra cluster status monitor
?Pending Checker :
Real Time Cassandra pending monitor
(cyberagent engeneer OSS prodct)

Pending Checker
「WebSocketで監視もリアルタイムに」
http://ameblo.jp/principia-ca/entry-11513826700.html

こんな感じでとりあえず
Jolokiaで叩いて
値取ってゴニョる

ただ、噂によると
一部の監視アプリでは初めから
JMXを叩いて監視出来るらしい
Zabbixとか。

それに切り替えればいいじゃん

ちょっと宗教上の理由で???。
Zabbixを頑張るの大変そうで。

とりあえずもう少しはCassandra
監視はjolikia先生を使って
Nagios + GrowthForecast
辺りで頑張ってみる。

狠狠撸

Jvm operation casual talks

Recommended

More Related Content

What's hot (20)

More from oranie Narut (11)

Recently uploaded (7)

Jvm operation casual talks