KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都)
?
5 likes?2,995 views
DRBD、ioDrive2、Infinibandを組み合わせて2台のIAサーバだけで構成できるKVM仮想基盤は、高可用ストレージサーバ、ライブマイグレーション、ホストレベルでの集中パックアップなどをサポートする実用的な仮想化基盤です。 このプレゼンテーション資料は、仮想クラスタの基礎、ioDrive2＋Infinibandを使った場合のディスクI/Oパフォーマンスのベンチマーク結果を説明しています。
KVM Cluster with DRBD, ioDrive2 and Infiniband (130802 OSC京都)
- 1. Your Way to Data Protection Linux-HA による仮想マシンクラスタ (KVM) ioDrive2 + Infiniband による高性能化 株式会社サードウェア 久保 元治
- 2. Copyright 2011, ThirdWare Inc. 2 Your Way to Data Protection 目次 ● ローコストで高性能な KVM クラスタ ● ioDrive2 + Infiniband のパフォーマンス
- 3. Copyright 2011, ThirdWare Inc. 3 Your Way to Data Protection 「使える」仮想基盤の条件 ● 物理サーバの障害に耐える可用性 ● 複数物理サーバ間のライブマイグレーション ● 高信頼?高性能ストレージ ● 十分な実績とノウハウ
- 4. Copyright 2011, ThirdWare Inc. 4 Your Way to Data Protection これまでの仮想基盤 SAN/NAS ストレージ 仮想化 ホストサーバ 高性能?高信頼ストレージは高価 仮想化 ホストサーバ 仮想化 ホストサーバ
- 5. Copyright 2011, ThirdWare Inc. 5 Your Way to Data Protection 今日お話しする仮想化クラスタは 仮想化 ホストサーバ ＆ ストレージ 仮想化 ホストサーバ ＆ ストレージ 必要なのは 2 台の IA サーバのみ
- 6. Copyright 2011, ThirdWare Inc. 6 Your Way to Data Protection Linux-HA によるストレージサーバ ● DRBD による完全同期リアルタイムレプリケーション ● 2 台以上のストレージに同一データを記録 ● どちらかがクラッシュしても他のサーバで処理を継続 ● Pacemaker/Heartbeat による高可用クラスタ ● サーバ故障時にフェールオーバして可用性を維持 ● iSCSI ターゲット ● 各種アプライアンスにも採用されている LIO ターゲット ● NFS サーバ
- 7. Copyright 2011, ThirdWare Inc. 7 Your Way to Data Protection Linux-HA によるストレージサーバ サーバ 1 DRBD LVM2 サーバ 1 DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 サーバ 1 DRBD LVM2 サーバ 2 LVM2 iSCSI ターゲット DRBD ( セカンダリ ) リアルタイム?レプリケーション NFSNFS
- 8. Copyright 2011, ThirdWare Inc. 8 Your Way to Data Protection Linux-HA によるストレージサーバ サーバ 1 DRBD LVM2 サーバ 1 DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 サーバ 1サーバ 2 リアルタイム?レプリケーション NFS サーバダウン！ 物理サーバ障害時にフェールオーバ
- 9. Copyright 2011, ThirdWare Inc. 9 Your Way to Data Protection KVM ● RHEL6 の標準機能 ● ストレージサーバに仮想マシンを同居させることも可能
- 10. Copyright 2011, ThirdWare Inc. 10 Your Way to Data Protection ストレージサーバ＋ KVM 仮想化 サーバ 1 DRBD LVM2 サーバ 1 DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 サーバ 1 DRBD LVM2 サーバ 2 LVM2 iSCSI ターゲット DRBD ( セカンダリ ) リアルタイム?レプリケーション NFSNFS iSCSI イニシエータ iSCSI イニシエータ KVM KVM ゲスト OS 1 ゲスト OS 2 ゲスト OS 3 ゲスト OS 4
- 11. Copyright 2011, ThirdWare Inc. 11 Your Way to Data Protection ストレージサーバ＋ KVM 仮想化 サーバ 1 DRBD LVM2 サーバ 1 DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 サーバ 1 DRBD LVM2 サーバ 2 LVM2 iSCSI ターゲット DRBD ( セカンダリ ) リアルタイム?レプリケーション NFSNFS iSCSI イニシエータ iSCSI イニシエータ KVM KVM ゲスト OS 1 ゲスト OS 2 ゲスト OS 3 ゲスト OS 4 ライブマイグレーションも実現
- 12. Copyright 2011, ThirdWare Inc. 12 Your Way to Data Protection 機器構成例 SASSAS SASSAS ioDrive2 eth0 ib0 eth3 SASSAS SASSAS RAID (BBWC) eth0 ib0 ib1 LAN ioDrive2 Infiniband RAID (BBWC) iSCSIアクセス DRBDレプリケーション
- 13. Copyright 2011, ThirdWare Inc. 13 Your Way to Data Protection 仮想マシンクラスタのメリット ● 外付け NAS/SAN ストレージ不要 ● コストを抑えられる ● 省スペース、省電力 ● ライブマイグレーション可能 ● ストレージ一体化によるメリット ● スナップショットを使った仮想ディスクの集中バックアップ ● 災害対策 ● DRBD Proxy を組み合わせた遠隔レプリケーション
- 14. Copyright 2011, ThirdWare Inc. 14 Your Way to Data Protection パフォーマンス ● DRBD ● DRBD 8.4.3 ● al-extents 6433 ● sndbuf-size 、 rcvbuf-size は自動調整 ● ファイルシステム ● xfs ● マウントオプション logbufs=8,logbsize=256k
- 15. Copyright 2011, ThirdWare Inc. 15 Your Way to Data Protection パフォーマンス ● カーネルチューニング ● TCP パフォーマンスチューニング /sbin/sysctl -q -w net.ipv4.tcp_timestamps=0 /sbin/sysctl -q -w net.ipv4.tcp_sack=0 /sbin/sysctl -q -w net.core.netdev_max_backlog=250000 /sbin/sysctl -q -w net.core.rmem_max=16777216 /sbin/sysctl -q -w net.core.wmem_max=16777216 /sbin/sysctl -q -w net.core.rmem_default=16777216 /sbin/sysctl -q -w net.core.wmem_default=16777216 /sbin/sysctl -q -w net.core.optmem_max=16777216 /sbin/sysctl -q -w net.ipv4.tcp_rmem="4096 87380 16777216" /sbin/sysctl -q -w net.ipv4.tcp_wmem="4096 65536 16777216"
- 16. Copyright 2011, ThirdWare Inc. 16 Your Way to Data Protection パフォーマンス ● pgbench ● PostgreSQL 9.2.4 ● pgbench -i -s 1000 <database> ( 約 15GB) ● pgbench -c 100 -j 50 -T 600 <database>
- 17. Copyright 2011, ThirdWare Inc. 17 Your Way to Data Protection ストレージサーバとしての性能 ● 比較項目 ● HDD (RAID1+0) ● HDD (RAID1+0) + 10GB NIC + DRBD ● HDD (RAID1+0) + Infiniband + DRBD ● ioDrive2 (785GB) ● ioDrive2 (785GB) + 10GB NIC + DRBD ● ioDrive2 (785GB) + Infiniband + DRBD
- 18. Copyright 2011, ThirdWare Inc. 18 Your Way to Data Protection ストレージサーバとしての性能 ioDrive2 PostgreSQL DRBD PostgreSQL DRBD ioDrive2 ioDrive2 10G NIC DRBD PostgreSQL DRBD ioDrive2 ioDrive2 Infiniband HDD PostgreSQL HDD PostgreSQL DRBD PostgreSQL DRBD HDD HDD 10G NIC DRBD PostgreSQL DRBD HDD HDD 10G NIC DRBD PostgreSQL DRBD HDD HDD Infiniband DRBD PostgreSQL DRBD HDD HDD Infiniband
- 19. Copyright 2011, ThirdWare Inc. 19 Your Way to Data Protection ストレージサーバとしての性能 なし C A C A なし C A C A N/A Infiniband Infiniband 10G NIC 10G NIC N/A Infiniband Infiniband 10G NIC 10G NIC HDD HDD HDD HDD HDD ioDrive2 ioDrive2 ioDrive2 ioDrive2 ioDrive2 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 pgbench ベンチマーク結果 ストレージサーバとしての性能 tps 約20パーセントのオーバヘッド
- 20. Copyright 2011, ThirdWare Inc. 20 Your Way to Data Protection ゲスト OS のディスクアクセス性能 ● ゲスト OS 上で pgbench を実行 ● 1 ゲストのみの実行 ● 2 ゲストで同時実行 ● …... ● 5 ゲストで同時実行
- 21. Copyright 2011, ThirdWare Inc. 21 Your Way to Data Protection ゲスト OS のディスクアクセス性能 KVM クラスタ HDD InfinibandInfiniband ゲスト 1 ゲスト 2 ゲスト 3 ゲスト 4 ゲスト 5 pgbench pgbench pgbench pgbench pgbench KVM クラスタ ioDrive InfinibandInfiniband ゲスト 1 ゲスト 2 ゲスト 3 ゲスト 4 ゲスト 5 pgbench pgbench pgbench pgbench pgbench
- 22. Copyright 2011, ThirdWare Inc. 22 Your Way to Data Protection ゲスト OS のディスクアクセス性能 ストレージ (HDD または ioDrive2) DRBD iSCSI ターゲット iSCSI イニシエータ Infiniband KVM (virtio) ゲスト OS 多数のレイヤが介在 パフォーマンス的には不利
- 23. Copyright 2011, ThirdWare Inc. 23 Your Way to Data Protection ゲスト OS のディスクアクセス性能 0 500 1000 1500 2000 2500 3000 pgbench ベンチマーク結果 複数ゲストで同時にベンチマークを実行 ゲスト5 ゲスト4 ゲスト3 ゲスト2 ゲスト1 tps <===========ioDrive2===========><============HDD============> ゲストを増やしても ゲストあたりの処理能力は あまり低下しない
- 24. Copyright 2011, ThirdWare Inc. 24 Your Way to Data Protection パフォーマンス試験結果 ● レプリケーションによるオーバヘッドは存在する ● DRBD 8.4.3 は約 20 ％と推定 ● DRBD 8.3 は半分以下に低下 ● Infiniband と 10G NIC の差はほとんどない
- 25. Copyright 2011, ThirdWare Inc. 25 Your Way to Data Protection パフォーマンスについて ● ioDrive はやはり速い！ ● 単体性能は HDD (RAID 1+0) の 10 倍以上 ● DRBD オーバヘッドの影響は受けるが、それでも HDD より 10 倍程度速い ● ゲスト OS で DB を同時実行しても、ほぼリニアに性能が伸び る (HDD ベースの物理サーバよりも高速！ )
- 26. Copyright 2011, ThirdWare Inc. 26 Your Way to Data Protection 仮想マシンクラスタの用途 ● 物理サーバベースの DB のマイグレーション ● 複数 DB を同時に稼働させても、数年前の物理サーバよりも 数倍以上高速なトランザクションが期待できる ● 部門単位または中小企業のサーバ統合?仮想化 ● 仮想マシンの災害対策 ● DRBD Proxy との併用