狠狠撸

徹底検証！

DRBD 8.4
with

高速半導体ストレージ
株式会社サードウェア
久保元治

(LINBIT 認定 DRBD コンサルタント )

2013/10/19

Your Way to High Availability

1
Copyright 2013, ThirdWare Inc.

目次
●
●
●

イントロ : DRBD とは
DRBD 8.3 vs 8.4
パフォーマンス検証

2013/10/19


2

イントロダクション

DRBD とは何か

2013/10/19


3

リアルタイムレプリケーション
●
●

ネットワーク越しの RAID 1
故障や災害に備えたデータの冗長化

2013/10/19


4

アプリケーション

ホスト

A

1

3

2

1

3

2

プライマリ

ホスト

B

セカンダリ

2013/10/19


5

●
●
●

ネットワーク越しの RAID 1
故障や災害に備えたデータの冗長化
障害後の再同期

2013/10/19


6

アプリケーション

ホスト

A

1

3

2

プライマリ

ホスト

B

1

3
レプリケーション再開 2
現在停止中

セカンダリ

2013/10/19


7

一時的な障害にも安心！
レプリケーション
再開

レプリケーションは停止
サービスは継続できる

障害発生 !

復旧
ダウン中の書き込みを
高速再同期

2013/10/19


8

ディスククラッシュも安心！
レプリケーション
再開

レプリケーションは停止
サービスは継続できる

障害発生 !

復旧
全領域のデータを
高速にフル同期

2013/10/19


9

DRBD 8.3
v.s.

DRBD 8.4

2013/10/19


10

リソースおよびボリューム
DRBD 8.3

DRBD 8.4

リソース 1

リソース 1
volume 0
(/dev/sdb1)

/dev/sdb1

volume 1
(/dev/sdb2)

リソース 2
/dev/sdb2

2013/10/19


11

DRBD 8.3

DRBD 8.4

resource r1 {
device /dev/drbd0;
disk /dev/sdb1;
meta-disk internal;
on node1 {
address 192.168.0.1:7788;
}
on node2 {
address 192.168.0.2:7788;
}
}
resource r2 {
device /dev/drbd1;
disk /dev/sdb2;
meta-disk internal;
on node1 {
address 192.168.0.1:7789;
}
on node2 {
address 192.168.0.2:7789;
}
}

2013/10/19


resource r1 {
volume 0 {
device /dev/drbd0;
disk /dev/sdb1;
meta-disk internal;
}
volume 1 {
device /dev/drbd1;
disk /dev/sdb2;
meta-disk internal;
}
on node1 {
address 192.168.0.1:7788;
}
on node2 {
address 192.168.0.2:7788;
}
}

12

●
●

データ整合性 = 書き込み順序
複数コネクション (8.3)
●
●

●

デバイスごとの書き込み順序は維持される
デバイスをまたぐ書き込み順序は保証されない

単一コネクション (8.4)
●

デバイスをまたぐ書き込み順序も保証される

2013/10/19


13

DRBD 8.3
クラッシュ時にデータ整合性は
保証されない
論理ボリューム

DB データ

ボリュームグループ

物理ボリューム

2013/10/19

NFS データ

DRBD 8.4

VolGroup0

クラッシュ時もデータ整合性が
保証される

/dev/drbd0

/dev/drbd1

(/dev/sdb1)

(/dev/sdb2)


14

アクティビティログの改良 (8.4.3 ? )
●

アクティビティログ
●

ホットエリア
●

●

コールドエリア
●

●

現在活発に書き込まれているエクステント
完全同期済みで最近書き込まれていないエクステント

アクティブエクステント ( ホットエリア ) 最大数の制限あり

2013/10/19


15

コールド

両ノードに
書き込み完了
( 完全同期 )

2013/10/19


書き込み
開始

ホット！

16

プライマリ

2013/10/19


セカンダリ

17

●

オーバヘッドを最大 64 倍改善
●

●

多数のコネクションを持つ DB 処理などに顕著に効果が
みられる

アクティブエクステント最大数を 65534 に拡大

フラッシュストレージなどに対する
ランダム書き込み時の
レプリケーション性能が
飛躍的に向上
2013/10/19


18

変更点 (8.3→8.4)
●

設定ファイルの構文が変更された
●
●
●
●

●

boolean タイプのパラメータには yes/no を指定
syncer セクションが解体された
protocol は net セクションのパラメータになった
options セクションが新設された

8.3 の構文は引き続きサポートされる

2013/10/19


19

変更点 (8.3→8.4)
●

オンラインのまま
●
●

●

drbdadm の構文が変わった
●
●
●

●

プロトコルを変更できる
シングル?デュアルプライマリを切り替えられる
8.3: drbdadm [ オプション ] コマンドリソース
8.4: drbdadm コマンド [ オプション ] リソース
いくつかの新しいコマンド

いくつかのデフォルト値の変更

2013/10/19


20

徹底検証！

DRBD 8.4.3
on
フラッシュストレージ
2013/10/19


21

検証環境
本体

PowerEdge R820

CPU

Xeon E5-4620 x4

メモリ

64GB(8GB x8)

RAIDコントローラ

H710P

ネットワーク

Intel X540 10GbE(Dual) x1
SAS 2.5inch 900GB10K x8

HDD

(6本でRAID1+0を構成)

フラッシュストレージ

ioDrive2 (785GB)
Express Flash (350GB)

この構成のサーバを 2 台使用

2013/10/19


22

RAID 5/6 よりかなり
高速なはず

DRBD
●
●
●
●

8.4.3 を使用
al-extents 6433;
sndbuf-size 0; rcvbuf-size 0; ( 自動調節 )
max-buffers 128k; ( 最大値 )

2013/10/19


23

sysctl.conf
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.core.rmem_default=16777216
net.core.wmem_default=16777216
net.ipv4.tcp_rmem="4096 87380 16777216"
net.ipv4.tcp_wmem="4096 65536 16777216"
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_timestamps=0
net.ipv4.tcp_sack=0
net.ipv4.tcp_no_metrics_save = 1
net.core.netdev_max_backlog=250000
net.core.optmem_max=16777216

2013/10/19


24

ベンチマーク方法
●
●
●

PostgreSQL 9.2.3 + pgbench
トランザクション / 秒 (tps) を指標とする
データベース作成
/usr/pgsql-9.2/bin/pgbench -i -s 1000 dba

●

パフォーマンス測定
/usr/pgsql-9.2/bin/pgbench -c 100 -j 50 -T 600 dba

2013/10/19


25

検証 1: DRBD 自体のオーバヘッド
R820
Express Flash

R820

R820

Express Flash DRBD Express Flash

ioDrive2

ioDrive2

DRBD

ioDrive2

HDD
(RAID1+0)

HDD
(RAID1+0)

DRBD

HDD
(RAID1+0)

2013/10/19


26


2013/10/19


27

●

●
●

ioDrive2 、 Express Flash ともに HDD より約 20 倍
高速
Express Flash は ioDrive2 より高速
DRBD によるオーバヘッドは 20 ％以下

2013/10/19


28

検証 2: 仮想環境でのパフォーマンス
●
●

CentOS 6.4 の KVM 環境を構築
ホスト OS
●
●

●

DRBD で同期したストレージプールを作成
iSCSI (LIO) で仮想ディスクイメージを提供

ゲスト OS
●

pgbench を 1 ? 5 台のゲスト OS で同時に並行実行

2013/10/19


29

VM VM VM VM VM

KVM (virtio)
iSCSI イニシエータ
LIO (iSCSI)

R820

R820

Express Flash DRBD Express Flash
ioDrive2


ioDrive2

HDD
(RAID1+0)
2013/10/19

DRBD

DRBD

HDD
(RAID1+0)

30


2013/10/19


31

●
●
●

●

HDD –- 各 VM が約 300tps を分け合う
IoDrive2 –- ゲストあたり約 750 ? 1000tps ずつ
Express Flash –- ゲストあたり約 600 ? 1000 ｔｐｓ
ずつ
フラッシュドライブのパフォーマンスは、仮想化しない
場合と比べて低下 – - KVM 、 iSCSI その他のレイヤ
のどこかにボトルネックが存在するのではないか

2013/10/19


32

●

とはいえ ....
●
●

フラッシュドライブは HDD よりはるかに高性能
(HDD ベースの ) 物理 DB サーバの仮想化には有望

2013/10/19


33

考察
●

ioDrive2 、 Express Flash ともに HDD よりはるかに
高速

●

DRBD 8.4.3 のレプリケーションのオーバヘッドは
20 ％以下にとどまった

●

仮想環境でもフラッシュドライブは HDD よりもはるか
に高速に動作する

2013/10/19


34

情報
●
●
●
●

http://www.drbd.org/
http://www.drbd.jp/
http://linux-ha.3ware.co.jp/
http://www.facebook.com/ThirdwareLinuxHA

2013/10/19


35

狠狠撸

徹底検証！Drbd 8.4 with 高速半導体ストレージ

More Related Content

徹底検証！Drbd 8.4 with 高速半導体ストレージ