Cephベンチマーク kvm
0 likes925 views
SDS QuantaStorを用いて、Cephベンチマークを実施。 仮想マシンKVM イメージ格納領域としての性能を測定。
Cephベンチマーク kvm
- 1. - 0 - 2015年11月 Cephベンチマーク結果 ～ 仮想マシン イメージ格納領域としての性能～ アファーム?ビジネスパートナーズ株式会社 データソリューション?サービス事業部 川端 利海
- 2. - 1 - はじめに Copyright 2015 AFfirm Business Partners All Rights Reserved. 本書は、SDS(Software Defined Storage)製品の QuantaStor を用いて Ceph Block Device(RBD)機能を実現させ、仮想マシン イメージ格納領域 としてのパフォーマンスを検証したものです。 仮想マシンとして、OSSのKVMを用いています。 本資料のお問い合わせ先 アファーム?ビジネスパートナーズ株式会社 データソリューション?サービス事業部 川端 TEL : 03-3583-7730(代表) URL : http://affirmbp.com/ E-mail : toshimi_kawabata@affirmbp.com
- 3. - 2 - 1. 検証環境 ① ハードウェア/ソフトウェアの構成 Copyright 2015 AFfirm Business Partners All Rights Reserved. 検証で利用した環境は、以下の通りです。 検証環境 結果 Super Micro Computer製サーバ Intel Xeon CPU E5-2670 v3 @ 2.30GHz * 2 16GB memory HDD SEAGATE ST300MM0026 278.875GB SAS SSD Intel DC S3500 300GB*2 ストレージ サーバ(Ceph) ハードウェア １０Gbps, MTU 9,000ネットワーク Ceph Cluster : QuantaStor v3.16.1 (Ceph 0.94 “Hammer”) Benchmark Client : CentOS 7 3.10.0-229.14.1 KVM : 6.2 ソフトウェア ディスクI/O ベンチマーク測定ツール「fio」を使用 テスト シナリオ ?ブロックサイズ 4KB、ファイルサイズ 2GB ?ランダム リード/ライト、シーケンシャル リード/ライト ?その他のfioパラメータ -ioengine=libaio -direct=1 -numjobs=64 -runtime=20 ベンチマーク ツール ☆ Special Thanks ☆ ハードウェアご提供及び検証作業サポート：株式会社トゥモロー?ネット様 Super Micro Computer製サーバ Intel Xeon CPU E5-2670 v3 @ 2.30GHz * 2 32GB memory HDD SEAGATE ST300MM0026 278.875GB SAS コンピュートノード サーバ ハードウェア
- 4. - 3 - Copyright 2015 AFfirm Business Partners All Rights Reserved. Ceph Technology Layers Storage Volume#1 Storage Volume#2 KVM Supervisor Guest OS#1 10Gbps MTU 9,000 Storage Pool (Ceph) 1. 検証環境 ② システム構成 OSD#1 OSD#2 OSD#3 QuantaStor Server#1 Storage Pool (XFS) QuantaStor OS HDD Disk SSD Disk Ceph Journal SSD DiskTest Data QuantaStor Server#2 Storage Pool (XFS) QuantaStor OS HDD Disk SSD Disk Ceph Journal SSD DiskTest Data QuantaStor Server#3 Storage Pool (XFS) QuantaStor OS HDD Disk SSD Disk Ceph Journal SSD DiskTest Data Guest OS#2 Guest OS#3 Guest OS#4 Guest OS#5 Guest OS#6 Guest OS#7 Guest OS#8 Guest OS#9 Guest OS#10 Compute Node # fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=read -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 # fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=write -bs=4k -size=2G-numjobs=64 -runtime=20 -group_reporting -name=file1 # fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=randread -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 # fio -ioengine=libaio -direct=1 -filename=fio_testfile -rw=randwrite -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 Guest OS内でfioを実行しながら、同時に起動させるGuest OSの数を追加し、パフォーマンスの変化を確認します。 同時に起動させるGuest OS内では、 ファイルのランダム リード/ライト処理を実行させる 検証環境 結果
- 5. - 4 - 2. 結果 - ① ｆｉｏ(ファイルシステム キャッシュ クリア)で計測したＩＯＰＳ値 Copyright 2015 AFfirm Business Partners All Rights Reserved. 0 14,000 IOPS 1 Random Read 13,000 12,000 11,000 10,000 9,000 8,000 7,000 6,000 5,000 4,000 3,000 2,000 1,000 15,000 Sequential Write Random Write Sequential Read 2 3 4 5 6 7 8 9 10同時実行 VM数 ■4k, sequential read # fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=read -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 ■4k, sequential write # fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=write -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 ■4k, random read # fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randread -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 ■4k, random write # fio -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randwrite -bs=4k -size=2G -numjobs=64 -runtime=20 -group_reporting -name=file1 ※fioコマンドの前に毎回”echo 3 >/proc/sys/vm/drop_caches”を実行してキャッシュをクリアする fioパラメータ 検証環境 結果
- 6. - 5 - 2. 結果 - ② ｆｉｏ(ファイルシステム キャッシュ クリア無)で計測したＩＯＰＳ値 Copyright 2015 AFfirm Business Partners All Rights Reserved. 0IOPS 1 9,000 8,000 7,000 6,000 5,000 4,000 3,000 2,000 1,000 2 3 4 5 6 7 8 9 10同時実行 VM数 Random Read Random Write ■4k, random read # fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randread -bs=4K -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0 ■4k, random write # fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=randwrite -bs=4K -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0 0IOPS 1 800 700 600 500 400 300 200 100 2 3 4 5 6 7 8 9 10同時実行 VM数 Sequential Read Sequential Write ■1M, sequential read # fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=read -bs=1M -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0 ■1M, sequential write # fio -offset_increment=1M -ioengine=libaio -direct=1 -filename=fio_test2g -rw=write -bs=1M -size=1G -numjobs=64 -runtime=30 -group_reporting -name=file1 -startdelay=0 fioパラメータ fioパラメータ 検証環境 結果 Sequential Access Random Access