狠狠撸

ディザスタリカバリもオープンソースで!?
～高可用クラスタソフトウェア Pacemaker 次期バージョンプレビュー～

2012年9月8日
Linux-HA Japan プロジェクト
http://linux-ha.sourceforge.jp/
森啓介
Copyright(c) 2012 Linux-HA Japan Project

自己紹介
? 名前: 森啓介 (Keisuke MORI)
? twitter: @ksk_ha
? Linux-HA Japanプロジェクト関連の活動
? Pacemaker-1.0系(安定版)のパッチメンテナ
? 現在Pacemaker-1.0.13リリースに向けて鋭意作業中です!
? 本業
? 所属会社: NTTデータ先端技術株式会社
? 所在地: 月島ーぜひもんじゃを食べにどうぞ!
? 普段の業務: NTT OSSセンタ
? NTTグループ内におけるPacemaker/Heartbeatの導入支援?サポート
? バグ報告?パッチ作成などによるNTTから開発コミュニティへのフィードバック?貢献

? 賞罰
? 賞:第7回日本OSS貢献者賞授賞(2012年3月)。数多くの方のおかげです！
? 罰: 中学２年生のとき髪ボサボサのだらしない格好で登校し学年主任に往復ビンタを貰う。

2

もくじ
? Pacemakerとは
? Pacemakerの概要
? 開発バージョンの近況

? Pacemaker次期バージョントピック紹介
? ディザスタリカバリ対応機能 (booth/ticket)
? kdump連携機能
? その他の機能トピック

? Pacemakerの今後
? クラウドとの関わり

3

笔补肠别尘补办别谤ってご存知ですか?

擬人化ソフトウェアです。
Pacemakerとは…
高可用(HA)クラスタソフトウェアです。

Linux-HA Japan プロジェクト 2F 205教室にてデモ展示中！

4

Pacemakerの概要
? サーバ?アプリケーションの故障監視

サービスの監視?制御

サーバ間の監視?制御

サーバ#1 サーバ#2

5

Pacemakerの概要
? サーバ?アプリケーションの故障監視
? 故障検知時、自動的にフェイルオーバ
? ダウンタイムの最小化

サービスのフェイルオーバ

STONITH(強制電源断)


6

笔补肠别尘补办别谤の生い立ち

crmシェルによる
簡易な設定
リソース監視機能 corosync対応
多様なリソース制御
多ノード対応
Linux-HA
pacemaker- 運用管理等
リソースの起動? XMLによる設定 mgmt-2.0 Japan追加
パッケージ追加機能
終了のみ管理
2ノード構成まで pacemaker-1.0.12
リソース制御機能
(安定版)

CRM
resource-agents-3.9.3
cluster-glue-1.0.10
heartbeat- heartbeat-
1.2.5 2.1.4 heartbeat- corosync-
3.0.5 1.4.4 ノード管理機能
パッケージを分割、再構成
CRM: Cluster Resource Manager
バージョン番号は2012年9月時点での最新版ノード管理機能を選択可能！

7

Pacemaker リリースタイムライン
SLES11※1 2012年9月8日時点
HAE SP2
Linux-HA Japan
次期バージョン(予定)
Linux-HA Japan
Ubuntu
12.04 LTS
リポジトリパッケージ
RHEL7 ※2
RHEL6.3 2012/09リリース予定 HA Add-on
(Tech. Prev)

2012/12リリース予定

Pacemaker
(開発版)
1.1.6 1.1.7 1.1.8 1.2.0
2011/10/06リリース

2011/11/23リリース
Pacemaker
(安定版) 1.0.12 1.0.13 1.0.x
2010/01頃

resource-agents 3.9.2 3.9.3 3.9.x
cluster-glue 1.0.9 1.0.10 1.0.x
Heartbeat 3.0.5 3.0.x

Corosync 2.0.1 2.0.x
1.4.x 1.4.4
※1 SUSE Linux Enterprise Server 11 High Availability Extension バージョンの依存関係は一部省略しています
※2 Red Hat Enterprise Linux High Availability Add on

8

Pacemaker開発バージョンの近況まとめ
? Pacemaker 安定版
? Pacemaker-1.0.13 リリース！ (間近)
? Linux-HA Japan リポジトリパッケージも追随してバージョンアップ予定
? バグフィックスのみ
? Pacemaker 開発版
? Pacemaker-1.1.8 リリース！（間近）
? Pacemaker-1.1.6 は既にいくつかのディストリビューションで採用実績あ
り
? Linux-HA Japan としては…
? 現状では安定性に難ありと判断
? 既知の不具合あり(主にSTONITH関連)。コードの修正がまだ安定していない。etc.
? Pacemaker 「次期バージョン」
? Pacemaker-1.2.0 をLinux-HA Japanの次期バージョンと位置づけます。
? 本発表では、1.1系以降および1.2.0で新たに利用可能となる機能を紹介
します。

9

Pacemaker次期バージョンにおけるトピック
? ディザスタリカバリ対応機能
? booth / ticket 機能 !
PIC K UP

? Red Hat HA Add-on 統合に向けた機能

? Corosync-2.0対応

? クラスタ制御機能

10

ディザスタリカバリにおけるPacemakerの位置づけ

サイトA サイトB
ネットワークの切替

DNS切替
NW仮想化(OpenFlow)

サービスの切替

Pacemaker
HAクラスタ製品

自動切替/手動切替

データの複製
DRBD
ストレージ製品
バックアップ製品

同期/非同期/オフライン

11

ストレッチクラスタとスプリットサイト
? ストレッチクラスタ
サイトA サイトB
? 従来のHAクラスタの単純な延
長
? サイト間通信遅延大
サイト内切替時間へも影響
? 全サイトのノードを意識した設
定?運用の複雑化
? サイト間を超えたSTONITHが
不可 Pacemakerクラスタ

? スプリットサイトクラスタ
(マルチサイトクラスタ) サイトA サイトB
? サイト内でのクラスタとサイト間で
の運用を分離
(同一サイト内ではほぼ従来通りの設
定?運用が可能)
? サイト間通信遅延の影響を抑える
(遠隔地間に適した通信)
? サイト間通信切断時はサイト内で
Pacemakerクラスタ
STONITH実行 Pacemakerクラスタ

12

booth 機能 / ticket 機能
? Pacemaker で「スプリットサイトクラスタ」を実現するた
めの追加機能

? ticket機能
? 「チケット」の有無により、クラスタ単位でサービスの有効化を制御する
機能。
? Pacemaker 本体の追加機能 (Pacemaker-1.1.6 以降で利用可能)

? booth機能
? サイト間で通信を行い、サービスを稼働すべきサイトのPacemakerクラス
タへ「チケット」を付与する機能。
? Pacemakerの外部モジュールとして動作し、別パッケージとして開発?リ
リースされている。
? ソースコードは github 上で公開(Pacemakerと同じClusterLabsプロジェクト)。
? 最新リリース: booth-0.1.0 (2012年5月)

13

booth / ticket 機能アーキテクチャ
サイトC
boothd (運用監視センターなど)
(arbitrator)

サイトA (ACTサイト) サイトB (SBYサイト)

boothd boothd

Pacemakerクラスタ Pacemakerクラスタ

14

booth / ticket 機能アーキテクチャ
サイトC
boothd (運用監視センターなど)
(arbitrator)

サイトA (ACTサイト) サイトB (SBYサイト)

boothd boothd

Pacemakerクラスタ Pacemakerクラスタ

15

booth / ticket 機能設定例
? 1.boothd設定例: /etc/sysconfig/booth ファイル
transport="UDP"
port="6666"
arbitrator="172.16.0.1"
site="172.20.0.2"
site="172.30.0.3"
ticket="ticketA; 1000 "
ticket="ticketB; 1000 "
? 2.Arbitrator起動(サイトC)
/etc/init.d/booth-arbitrator start

? 3.チケットとリソースの依存関係設定
crm(live)configure#
rsc_ticket rsc1-req-ticketA ticketA: rsc1 loss-policy="fence"

? 4.Boothdリソースグループ設定(サイトA, サイトB)
crm(live)configure#
primitive booth-ip ocf:heartbeat:IPaddr2 params ip=”172.20.0.2”
primitive booth ocf:pacemaker:booth-site
group g-booth booth-ip booth

16

booth / ticket 運用コマンド例
? 1.すべてのサイトのチケットリスト表示
booth client list
booth client list

? 実行結果例1: チケット付与前
ticket: ticketA, owner: None, expires: INF

? 実行結果例2: チケット付与後
ticket: ticketA, owner: 172.20.0.2, expires: 2012/09/04 20:23:36

? 2. サイトへのチケット付与
booth client grant -t ticketA -s 172.20.0.2

? 3. サイトのチケット取り消し
booth client revoke -t ticketA -s 172.20.0.2

17

booth / ticket 機能を利用するには…
? 必要なパッケージ、バージョン
? pacemaker-1.1.6
? booth-0.1.0
? SUSE Linux Enterprise Server HAE SP2 として利用可能
? ドキュメントあり
? でも検証してみたらいくつか懸念点が…
? 主な課題
? ACT/SBYサイト間の通信断が発生した場合、想定外のサービス再起動もしくはサイト切
替が発生する可能性がある。
? ACTサイト間通信断が発生した場合、ACTサイトサービス停止が完了前にSBYサイトで
サービス起動が開始してしまう。
? ACTサイト内での両系故障の場合、SBYサイトへ自動的に切り替えることができない。
? 課題については日本からフィードバック済み、現在開発中のバージョンで
改善予定
? Pacemaker-1.2のリリースまで待つのがオススメ
? その時まではboothの次のバージョンもリリースされているはず。

18

Pacemaker次期バージョンにおけるトピック
? booth / ticket 機能
P!
PICK U
? fence-agents 対応 (STONITHプラグインの共通利用)
? kdump連携機能
? lrmd再実装、cman の置き換え (corosync-2.0 quorum機能対応)
? GUI向け管理ツール: PCS, PCS-GUI (Pacemaker/Corosync configuration system)
? crmシェルと選択可能に



19

RHEL HA Add-on との統合
Pacemaker RHEL
SLES
Linux-HA Japan HA Add-on
HAE
リポジトリパッケージ

Hawk (GUI)
pcs-gui Luci
pacemaker- Linux-HA booth-0.1.0 Luci 運用管理
Japan追加
mgmt-2.0
パッケージ crmsh pcs 追加機能

cman リソース
pacemaker-1.0.12(安定版) Pacemaker-1.1.7 (開発版)
pacemaker-1.1.7 (開発版) rgmanager
制御機能

resource-agents-3.9.3
fence-agents-3.1.9
cluster-glue-1.0.10
cman
ノード
heartbeat- corosync-1.4.4 (安定版) 管理機能
3.0.5 corosync-2.0.1 (開発版)

バージョンは2012年9月時点の最新のものを記載しているため、
各製品?パッケージに含まれるバージョンと異なる場合があります。

20

kdump連携機能 (fence_kdump)
カーネル
クラッシュサーバ故障検知

2ndカーネル起動フェイルオーバ処理開始

あ～ん、ほら、具合悪いん
セーブだけだからさっさと
させてーねなさい!
kdump処理実行
(クラッシュ
ダンプ取得)

STONITHプラグイン
強制電源断
ipmi

フェイルオーバ処理継続

21

kdump連携機能 (fence_kdump)
カーネル
クラッシュサーバ故障検知

2ndカーネル起動フェイルオーバ処理開始

仕方ないわね、
後でゆっくり kdump実行通知 STONITHプラグイン1 セーブだけよ…
セーブしよ… fence_kdump_send fence_kdump
kdump実行通知機能
kdump処理実行
(クラッシュ kdump実行中?
ダンプ取得)

STONITHプラグイン2
強制電源断
ipmi

kdump処理を中断せず
安全にフェイルオーバフェイルオーバ処理継続
させることが可能

22

kdump連携機能を利用するには…
? 必要なパッケージ?バージョン
? pacemaker-1.1.8
? fence-agents-3.1.9 (RHEL HA Add-on パッケージの一部)
? RHEL6.4 で上記バージョンが含まれる見込み。
? 設定例
? セカンドカーネルへの組み込み
? (Red Hatの場合) /etc/cluster/cluster.conf を手動で編集
<fencedevice name="kdump" agent="fence_kdump" />

? STONITHリソース例
primitive stonith-1 stonith:fence_kdump
params pcmk_host_check="static-list" pcmk_host_list="node1"
pcmk_reboot_action="off" pcmk_monitor_action="metadata"
nodename=node1 timeout=180

? RHEL6 HA Add-on では RHEL6.2 以降で利用可能(のはず)

23

Pacemaker次期バージョンにおけるその他トピック

? より安定化?切替時間の高速化が可能
? Heartbeat: 約50秒 → Corosync: 数秒以内という検証例もあり
? libqb 対応: IPC、ログ出力機能の再実装

? Utilization制御機能: ノードの「容量」に合わせたリソース配置
? CPU数?メモリ量上限の制御
? N+1/N+M構成(稼働リソースの相乗りを抑止)
? 設定変更ACL制御、stonith-topology, or条件のcolocation, order
? ログ量の改善(かなり減ってる)

24

Pacemakerの今後
? クラウドとの関係は?

25

OpenStack コンポーネントの冗長化
? Glance / Keystone の冗長化
? Pacemakerによる冗長化のため、3つのRAを開発中:
? glance-api, glance-registry, keystone
? MySQL の冗長化
? DRBD + Pacemaker もしくは MySQLマルチマスタ機能による冗長化
? RabbitMQ の冗長化
? DRBD + Pacemaker (ただし deprecated)
? 今後は RabbitMQ内で Active/Activeキューを実装
? nova-network の冗長化
? 複数実装案あり、HAクラスタも一つのオプション

?
出典:
?
https://blueprints.launchpad.net/ubuntu/+spec/servercloud-q-openstack-ha
?
http://docs.openstack.org/trunk/openstack-compute/admin/content/existing-ha-networking-options.html

26

クラウド環境におけるゲストのサービス監視
? 過去のPacemaker派生プロジェクト
? Matahari
? ホスト側からゲスト内のサービス監視?制御を行うフレームワーク
? Pacemaker-cloud
? ゲスト内のサービス監視?再起動?ゲスト再起動へのエスカレーション
? Matahari と連携
? しかし、いずれのプロジェクトも既に活動停止
? 今後のクラウド環境に向けた新たなHA関連技術
? Heat API
? OpenStack 版 AWS CloudFormation API の実装。
? ゲスト内のサービス監視?再起動?ゲスト再起動へのエスカレーション
? Pacemaker-cloud 後継の位置づけ
? http://wiki.openstack.org/Heat

? oVirt
? ノード故障?VM故障に対するHA機能は実装済み。
? ovirt-guest-agentによるゲスト内サービス監視が実装可能(Matahariと同様機能)
? ただし現時点では具体的な実装はなし。今後に期待
? https://events.linuxfoundation.org/images/stories/pdf/lcjp2012_azulay.pdf
? http://www.ovirt.org/w/images/2/20/Ovirt-guest-agent.pdf

27

Heat API 利用例
? WordPress_Single_Instance_With_HA.template (抜粋)
{
"AWSTemplateFormatVersion" : "2010-09-09",
"Description" : "AWS CloudFormation Sample Template WordPress_Multi_Instance:(...).",
(…)
"WebServerRestartPolicy" : {
"Type" : "HEAT::HA::Restarter",
"Properties" : {
"InstanceId" : { "Ref" : "WikiDatabase" }
}
},
"HttpFailureAlarm": {
"Type": "AWS::CloudWatch::Alarm",
"Properties": {
"AlarmDescription": "Restart the WikiDatabase if httpd fails > 3 times in 10 minutes",
"MetricName": "ServiceFailure",
"Namespace": "system/linux",
"Statistic": "SampleCount",
"Period": "300",
"EvaluationPeriods": "1",
"Threshold": "2", httpdサービスが故障したら再起動
"AlarmActions": [ { "Ref": "WebServerRestartPolicy" } ], 10分以内に3回以上故障したらサーバ再起動
"ComparisonOperator": "GreaterThanThreshold"
}
},
(以下略)

28

Pacemakerの今後
? クラウドとの関係は?

? 物理サーバの冗長化は無くならない
? クラウドインフラストラクチャそのものの冗長化
? OpenStack コンポーネントの冗長化
? クラウドが適さないシステム

? ゲスト内のサービス監視
? クラウド環境に向けた新たなHA技術
? Heat, oVirt : 今後は要注目、でも現在は発展途上
? クラウド環境とHAクラスタは補完関係
? クラウド環境だけでは対応できない故障をHAクラスタで補完

29

おわり
? 以上です。ありがとうございました！

30

狠狠撸

Pacemaker NextGen OSC2012TokyoFall-20120908

More Related Content

Pacemaker NextGen OSC2012TokyoFall-20120908