顿搁叠顿/贬别补谤迟产别补迟/笔补肠别尘补办别谤で作る碍痴惭仮想化クラスタ
?Download as ODP, PDF?
6 likes?7,761 views
DRBD、Heartbeat、Pacemakerを使って、たった2台のIAサーバのみでライブマイグレーション可能な高可用KVM仮想クラスタを構築しました。これは、このシステムの设计、ネットワークやストレージ構成の工夫箇所、パフォーマンスなどについて説明した資料です。 2011年3月4日に「オープンソースカンファレンス2011 Tokyo/Spring」で発表したときの発表資料です。
顿搁叠顿/贬别补谤迟产别补迟/笔补肠别尘补办别谤で作る碍痴惭仮想化クラスタ
- 1. DRBD/Heartbeat/Pacemaker で作る KVM 仮想化クラスタ 株式会社サードウェア 久保 元治 2 台のサーバのみで ライブマイグレーションを実現
- 2. 目次 目的
- 3. 设计
- 5. ネットワーク
- 6. パフォーマンス
- 7. 目的 仮想化の可能性と問題の検証 Nagios、JP1 (奥颈苍诲辞飞蝉)など监视系から载せてみたい
- 8. ライブマイグレーションは実現したい 冗長構成 物理サーバの故障やメンテナンスに備える 予算の制約 物理サーバ2台でどこまで実現できるか
- 11. 2台のiSCSIイニシエータは仮想IPアドレスにアクセス ネットワークの工夫 ボンディングとジャンボフレーム ゲストOSの追加?削除に対応させる DRBDの上でLVMを動作させる
- 12. 设计 リアルタイム?レプリケーション サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ )
- 13. 设计 リアルタイム?レプリケーション サーバ 1 KVM DRBD QEMU ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD ( プライマリ ) QEMU ゲスト OS 2 LVM2 iSCSI ターゲット 1 2 3 4 iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) QEMU ゲスト OS １ QEMU ゲスト OS １ ライブマイグレーション
- 14. 设计 リアルタイム?レプリケーション サーバ 1 KVM QEMU QEMU ゲスト OS １ ゲスト OS 2 iSCSI イニシエータ サーバ 1 KVM QEMU QEMU ゲスト OS １ ゲスト OS 2 iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 iSCSI ターゲット iSCSI イニシエータ DRBD ( セカンダリ ) DRBD LVM2 iSCSI ターゲット DRBD ( プライマリ ) LVM2 iSCSI ターゲット 1 2 3 4 フェールオーバ
- 15. 设计 リアルタイム?レプリケーション サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット iSCSI イニシエータ サーバ 1 KVM DRBD QEMU QEMU ゲスト OS １ ゲスト OS 2 LVM2 iSCSI ターゲット サーバ 2 KVM QEMU QEMU ゲスト OS 3 ゲスト OS 4 LVM2 1 2 3 4 iSCSI イニシエータ DRBD ( プライマリ ) QEMU QEMU ゲスト OS １ ゲスト OS 2 QEMU QEMU ゲスト OS １ ゲスト OS 2 ダウン！ 物理サーバがダウン
- 16. 设计 ボンディング iSCSI アクセス用 ボンディング DRBD データ用 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 SAS SAS SAS SAS RAID (BBWC) eth0 eth1 eth2 eth3 eth4 eth5 LAN 監視用
- 18. 顿搁叠顿上に尝痴惭を构成
- 20. iSCSIストレージクラスタ primitive main_t01_target ocf:heartbeat:iSCSITarget params implementation="iet" iqn="iqn.2006-05.jp.onisi:kvmsv:t01" tid="1" portals="10.0.1.65:3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive main_t01lv01 ocf:heartbeat:iSCSILogicalUnit params implementation="iet" lun="1" target_iqn="iqn.2006-05.jp.onisi:kvmsv:t01" path="/dev/vg/t01lv01" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive post_ip1 ocf:heartbeat:IPaddr2 params ip="10.0.xxx.yyy" cidr_netmask="24" op monitor interval="50" timeout="30" primitive post_ip2 ocf:heartbeat:IPaddr2 params ip="192.168.aaa.bbb" cidr_netmask="24" op monitor interval="50" timeout="30" primitive post_portunblock _iscsi ocf:heartbeat:portblock params protocol="tcp" action="unblock" portno="3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30" primitive pre_lvm ocf:heartbeat:LVM params volgrpname="vg" op monitor interval="50" timeout="30" op start interval="0" timeout="30" op stop interval="0" timeout="30" primitive pre_portblock_iscsi ocf:heartbeat:portblock params protocol="tcp" action="block" portno="3260" op start interval="0" timeout="30" op stop interval="0" timeout="30" op monitor interval="50" timeout="30"
- 21. iSCSIストレージクラスタ primitive res_drbd_r0 ocf:linbit:drbd params drbd_resource="r0" op monitor interval="10" op start interval="0" timeout="240" op stop interval="0" timeout="100" primitive res_iscsi lsb:iscsi primitive res_libvirtd lsb:libvirtd op start interval="0" timeout="120" op stop interval="0" timeout="300" group all pre_portblock_iscsi pre_lvm main_t01_target main_t01lv01 post_ip1 post_ip2 post_portunblock_iscsi ms ms_drbd_r0 res_drbd_r0 meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" clone c_iscsi res_iscsi meta clone-node-max="1" clone-max="2" globally-unique="false" clone c_libvirtd res_libvirtd meta clone-node-max="1" clone-max="2" globally-unique="false" location l_all all 100: kvmsv001.onisi.jp colocation col_all inf: all ms_drbd_r0:Master order o_all 0: ms_drbd_r0:promote all:start order o_all_iscsi inf: all c_iscsi order o_iscsi_libvirtd inf: c_iscsi c_libvirtd property default-resource-stickiness="200" no-quorum-policy="ignore" stonith-enabled="false"
- 22. ネットワーク 230MB/sec >> 1G bps ネットワークがボトルネックに
- 25. ネットワーク 参考: KVMネットワーク構成ガイド for RHEL 5.4 ( 日本 IBM Linux/OSS サポート?センター ) eth0 eth1 eth2 eth3 eth4 eth5 bond0 bond1 VLAN サービス提供 サーバ管理 Heartbeat DRBD レプリケーション Heartbeat iSCSI アクセス ゲスト間通信
- 27. DRBDの性能測定 dd if=/dev/zero of=.... bs=100M count=50 oflag=dsync bonnie++なども有用だが実施できず
- 28. パフォーマンス サーバ本体 HP Proliant DL 360 G7 メモリ 18GB RAID コントローラ P410i (BBWC 512MB) ハードディスク SAS 300GB 10,000rpm×6 (RAID5) ネットワーク 1000BaseT
- 29. パフォーマンス eth0 bonding (eth0+eth1) bonding (eth0+eth1+eth2) bonding (eth0+eth1+eth2+eth3) 1500 940 Mbps 1500 1213 Mbps 1500 1498 Mbps 1500 2092 Mbps bonding (eth0+eth1) 9000 1964 Mbps ネットワーク構成 MTU 性能
- 30. パフォーマンス DRBD 構成前の HDD への直接書き込み 141 MB/sec DRBD 領域に直接書き込み 230 MB/sec ローカル iSCSI ターゲットに書き込み リモート iSCSI ターゲットに書き込み 1 ゲスト、仮想ディスクに書き込み 2 ゲスト、仮想ディスクに同時書き込み 310 MB/sec 122 MB/sec 172 MB/sec 126 MB/sec
- 31. 最後に 多少のスケーラビリティ KVMホスト追加可能 仮想环境入门に最适