狠狠撸

狠狠撸Share a Scribd company logo
? 2016 IIJ Global Solutions Inc. 1
株式会社IIJグローバルソリューションズ
フランちゃんウフフなシステムエンジニア
おおかわ かずひと
AHVでみるCVM Autopathの仕組み
Nutanix Community Meetup #11
? 2016 IIJ Global Solutions Inc. 2
本日の内容
1.自己紹介 / 会社紹介
2.はじめに
3.検証環境の構成について (Nutanix CE Nested on ESXi)
4.Autopathの仕組み
5.まとめ
※時間がなかったので軽めです、スミマセン… 営業が…
? 2016 IIJ Global Solutions Inc. 3
1. 自己紹介
? 2016 IIJ Global Solutions Inc. 4
おおかわ かずひと 0x21歳
? Twitter@SatchanP (意識低い系)
? IIJグローバルソリューションズ アカウントSE
? プリ & ポストセールス 設計 構築 運用 障害対応(なんでも屋)
? 元ウェブ系インフラエンジニア
? 得意言語 : C Perl Python
? 苦手言語 : Java Ruby
? 二次属性 : アイマス (やよい 真美)
: 東方 (フランちゃん 咲夜さん)
: 艦これ (Верный 響)
? 趣味 : 自動車ラリー(Driver/Co-Driver)
: 自転車
: ダム巡り ダムカード集め
? 実はNPP受験してません!
自己紹介
? 2016 IIJ Global Solutions Inc. 5
自己紹介
? 2016 IIJ Global Solutions Inc. 6
Nutanix CEにも使える自作サーバTipsについてはコチラ
? 自作サーバー同窓会 #6 kauli自作サーバの歴史と稼働率向上施策
@SatchanP
https://www.youtube.com/watch?v=291qvUwKNsg
? 2016 IIJ Global Solutions Inc. 7
自己紹介
? 2016 IIJ Global Solutions Inc. 8
? 株式会社 IIJグローバルソリューションズ
? インターネットイニシアティブ 100%持ち株子会社
? もともとIBMのNW部門
? 法人向けネットワークインテグレーションが強み
? 新たな事業の柱として基盤まるごとやることに
? 手を動かせるサーバ得意なエンジニアがまだ数名
? 最近会社のイベントがあるときは高確率で出張なことが多い
(タダ酒飲みたい…)
軽く会社紹介
? 2016 IIJ Global Solutions Inc. 9
2. はじめに
? 2016 IIJ Global Solutions Inc. 10
まず最初にCVM Autopathとは
Hyper Visor
Node A
CVM A
NDFS
Storage
NFS
Hyper Visor
Node B
CVM B
NFS
CVM障害時にハイパーバイザまで巻き込まれない冗長化機能
NDFS
Storage
NFS
? 2016 IIJ Global Solutions Inc. 11
? セミナーで講師をしていたちょっと綺麗なお姉さん(たぶん年
下)から、CVMはAutopathがあるから落ちても「大?丈?
夫☆」とだけ説明してもらう
? その場では質問までいたらず
? 「誰かに聞かれたときにやっぱ説明できないとまずいよね」
と思い調査
? 冗長化の仕組みとか説明できないとSEtositeださい!
? 動作確認自体は以前に自宅Nutanix CEクラスタで確認ずみ
? 要望もあり社内用の検証環境を作るついでに、改めて動作確
認と説明用の資料集め
CVM Autopathに疑問を持ったわけ
? 2016 IIJ Global Solutions Inc. 12
3. 検証環境の構成について
Nutanix CE Nested on ESXi
? 2016 IIJ Global Solutions Inc. 13
? ネストした構造の動かし方(HV on HV…)
? ハードウェアエミュレーションのため
スペックが厳しいCVMを割と楽に並べてクラスタが組める
※具多的なスペックは後述
? ただしパフォーマンスはお察し
? clusterコマンドがないって焦ったらAHVだった
という笑い話も
Nutanix CE on Nested ESXiとは
ESXi
KVM
Nested
? 2016 IIJ Global Solutions Inc. 14
コア数は論理拡張前提、そこそこのスペックがあれば動作可能
参考 : 平均 約1.6GHz / 1CVM
3台クラスタなら 2GHz 4Core もあれば十分
Nutanix CE Nested on ESXi ハードウェアスペック目安 (CPU)
? 2016 IIJ Global Solutions Inc. 15
気になるメモリ使用量
参考 : 平均 約13G Byte / 1CVM
メモリのオーバーコミット(シェアード, 圧縮)を考慮すると
ざっくり最低 32GByte ※RF2
Nutanix CE Nested on ESXi ハードウェアスペック目安 (メモリ)
? 2016 IIJ Global Solutions Inc. 16
? CPU : Core i5 / i7
? メモリ : 32GByte
? HDD : 500Gくらい(シンプロピジョニング)
? SSD : なくても動く
? NIC : 1口(ESXiに対応してるもの)
? ESXiが評価版でいいならパソコンを使えば10万かからない
※当然これで動かなくても保証できません、挑戦者もとむ!
Nutanix CE Nested on ESXi クラスタ最低(?)ハードウェア構成
? 2016 IIJ Global Solutions Inc. 17
? 基本はネットに落ちている通り
? バーチャルポートグループの無差別(promiscuous)モード
を有効にしないと、CVMが外と通信することができない
Nutanix CE Nested on ESXi 構築時注意すること
ESXi
vDS, vSS
KVM
CVM
00:00:00:00:00:aa
AHV
00:00:00:00:00:bb
VPort1
00:00:00:00:00:bb
しか通過できない
Bridge
? 2016 IIJ Global Solutions Inc. 18
? IIJ GIO/VW上に構築 (従量なNutanix On Demandが嫌という時は是非w)
? VMware ESXi 5.5
? Nutanix CE 3VM
? HDD : iSCSI 500GB
? SSD : なし
? NIC : GIOサービスに準じる(NWサービス2口)
検証環境のHW構成について
? 2016 IIJ Global Solutions Inc. 19
検証環境構成図
ESXi
(GIO VW)
AHV
NFS
iSCSI
vDS
KVM
CVM
A
AHV
KVM
CVM
B
AHV
KVM
CVM
C
vPort-Group-LAN1
? 2016 IIJ Global Solutions Inc. 20
4. Autopathの仕組み
? 2016 IIJ Global Solutions Inc. 21
? 知れば納得、超シンプル
1) Zookeeperがノード障害を検知
2) 障害検知後、CVM障害を起こしたHVの設定を変更する
(Zeus?)
3) CVM宛の通信経路をNW的に生きてるノードに曲げる
4) Autopath フェイルオーバー成功
Autopath の仕組みについて
? 2016 IIJ Global Solutions Inc. 22
CVM Autopath を図にすると
Hyper Visor
Node A
CVM A
NDFS
Storage
NFS
Hyper Visor
Node B
CVM B
NFS
NDFS
Storage
NFS
192.168.5.2
192.168.5.2
192.168.5.1
? 2016 IIJ Global Solutions Inc. 23
192.168.5.0/24のダイレクトコネクトで経路をあてている
Autopath の仕組みについて (Before)
? 2016 IIJ Global Solutions Inc. 24
/32のロンゲストマッチで192.168.5.0/24より優先してファ
イルオーバーホストの192.168.5.102に向けている?
Autopath の仕組みについて (After)
? 2016 IIJ Global Solutions Inc. 25
ZookeeperがCVM障害を検知
10:50:58,604 - 10.5.1.101(CVM A) Timeout
Autopath の仕組みについて (Zookeeperのログ)
? 2016 IIJ Global Solutions Inc. 26
Autopath の仕組みについて (Zookeeperのログ)
ZookeeperがCVM Aを無慈悲に切り離し
10:51:00,700 - 10.5.1.101(CVM A) グッバイフォーエバー
? 2016 IIJ Global Solutions Inc. 27
5. まとめ
? 2016 IIJ Global Solutions Inc. 28
? 期待していたほど難しいことはなにもしてなかった
(思ってたほど大物のネタにならなかった…)
? ソフトウェアで冗長性を確保するNutanixらしいいい例
? HWばっかにお金かけるI○Mとか少しは見習ってほしい
? 手抜きでゴメンナサイ…
CVM Autopath まとめ
? 2016 IIJ Global Solutions Inc. 29
ご清聴ありがとうございました
お問い合わせ先 株式会社IIJグローバルソリューションズ
TEL: 03-6777-5700
info@iijglobal.co.jp
http://www.iijglobal.co.jp/

More Related Content

AHVでみるCVM Autopathの仕組み

  • 1. ? 2016 IIJ Global Solutions Inc. 1 株式会社IIJグローバルソリューションズ フランちゃんウフフなシステムエンジニア おおかわ かずひと AHVでみるCVM Autopathの仕組み Nutanix Community Meetup #11
  • 2. ? 2016 IIJ Global Solutions Inc. 2 本日の内容 1.自己紹介 / 会社紹介 2.はじめに 3.検証環境の構成について (Nutanix CE Nested on ESXi) 4.Autopathの仕組み 5.まとめ ※時間がなかったので軽めです、スミマセン… 営業が…
  • 3. ? 2016 IIJ Global Solutions Inc. 3 1. 自己紹介
  • 4. ? 2016 IIJ Global Solutions Inc. 4 おおかわ かずひと 0x21歳 ? Twitter@SatchanP (意識低い系) ? IIJグローバルソリューションズ アカウントSE ? プリ & ポストセールス 設計 構築 運用 障害対応(なんでも屋) ? 元ウェブ系インフラエンジニア ? 得意言語 : C Perl Python ? 苦手言語 : Java Ruby ? 二次属性 : アイマス (やよい 真美) : 東方 (フランちゃん 咲夜さん) : 艦これ (Верный 響) ? 趣味 : 自動車ラリー(Driver/Co-Driver) : 自転車 : ダム巡り ダムカード集め ? 実はNPP受験してません! 自己紹介
  • 5. ? 2016 IIJ Global Solutions Inc. 5 自己紹介
  • 6. ? 2016 IIJ Global Solutions Inc. 6 Nutanix CEにも使える自作サーバTipsについてはコチラ ? 自作サーバー同窓会 #6 kauli自作サーバの歴史と稼働率向上施策 @SatchanP https://www.youtube.com/watch?v=291qvUwKNsg
  • 7. ? 2016 IIJ Global Solutions Inc. 7 自己紹介
  • 8. ? 2016 IIJ Global Solutions Inc. 8 ? 株式会社 IIJグローバルソリューションズ ? インターネットイニシアティブ 100%持ち株子会社 ? もともとIBMのNW部門 ? 法人向けネットワークインテグレーションが強み ? 新たな事業の柱として基盤まるごとやることに ? 手を動かせるサーバ得意なエンジニアがまだ数名 ? 最近会社のイベントがあるときは高確率で出張なことが多い (タダ酒飲みたい…) 軽く会社紹介
  • 9. ? 2016 IIJ Global Solutions Inc. 9 2. はじめに
  • 10. ? 2016 IIJ Global Solutions Inc. 10 まず最初にCVM Autopathとは Hyper Visor Node A CVM A NDFS Storage NFS Hyper Visor Node B CVM B NFS CVM障害時にハイパーバイザまで巻き込まれない冗長化機能 NDFS Storage NFS
  • 11. ? 2016 IIJ Global Solutions Inc. 11 ? セミナーで講師をしていたちょっと綺麗なお姉さん(たぶん年 下)から、CVMはAutopathがあるから落ちても「大?丈? 夫☆」とだけ説明してもらう ? その場では質問までいたらず ? 「誰かに聞かれたときにやっぱ説明できないとまずいよね」 と思い調査 ? 冗長化の仕組みとか説明できないとSEtositeださい! ? 動作確認自体は以前に自宅Nutanix CEクラスタで確認ずみ ? 要望もあり社内用の検証環境を作るついでに、改めて動作確 認と説明用の資料集め CVM Autopathに疑問を持ったわけ
  • 12. ? 2016 IIJ Global Solutions Inc. 12 3. 検証環境の構成について Nutanix CE Nested on ESXi
  • 13. ? 2016 IIJ Global Solutions Inc. 13 ? ネストした構造の動かし方(HV on HV…) ? ハードウェアエミュレーションのため スペックが厳しいCVMを割と楽に並べてクラスタが組める ※具多的なスペックは後述 ? ただしパフォーマンスはお察し ? clusterコマンドがないって焦ったらAHVだった という笑い話も Nutanix CE on Nested ESXiとは ESXi KVM Nested
  • 14. ? 2016 IIJ Global Solutions Inc. 14 コア数は論理拡張前提、そこそこのスペックがあれば動作可能 参考 : 平均 約1.6GHz / 1CVM 3台クラスタなら 2GHz 4Core もあれば十分 Nutanix CE Nested on ESXi ハードウェアスペック目安 (CPU)
  • 15. ? 2016 IIJ Global Solutions Inc. 15 気になるメモリ使用量 参考 : 平均 約13G Byte / 1CVM メモリのオーバーコミット(シェアード, 圧縮)を考慮すると ざっくり最低 32GByte ※RF2 Nutanix CE Nested on ESXi ハードウェアスペック目安 (メモリ)
  • 16. ? 2016 IIJ Global Solutions Inc. 16 ? CPU : Core i5 / i7 ? メモリ : 32GByte ? HDD : 500Gくらい(シンプロピジョニング) ? SSD : なくても動く ? NIC : 1口(ESXiに対応してるもの) ? ESXiが評価版でいいならパソコンを使えば10万かからない ※当然これで動かなくても保証できません、挑戦者もとむ! Nutanix CE Nested on ESXi クラスタ最低(?)ハードウェア構成
  • 17. ? 2016 IIJ Global Solutions Inc. 17 ? 基本はネットに落ちている通り ? バーチャルポートグループの無差別(promiscuous)モード を有効にしないと、CVMが外と通信することができない Nutanix CE Nested on ESXi 構築時注意すること ESXi vDS, vSS KVM CVM 00:00:00:00:00:aa AHV 00:00:00:00:00:bb VPort1 00:00:00:00:00:bb しか通過できない Bridge
  • 18. ? 2016 IIJ Global Solutions Inc. 18 ? IIJ GIO/VW上に構築 (従量なNutanix On Demandが嫌という時は是非w) ? VMware ESXi 5.5 ? Nutanix CE 3VM ? HDD : iSCSI 500GB ? SSD : なし ? NIC : GIOサービスに準じる(NWサービス2口) 検証環境のHW構成について
  • 19. ? 2016 IIJ Global Solutions Inc. 19 検証環境構成図 ESXi (GIO VW) AHV NFS iSCSI vDS KVM CVM A AHV KVM CVM B AHV KVM CVM C vPort-Group-LAN1
  • 20. ? 2016 IIJ Global Solutions Inc. 20 4. Autopathの仕組み
  • 21. ? 2016 IIJ Global Solutions Inc. 21 ? 知れば納得、超シンプル 1) Zookeeperがノード障害を検知 2) 障害検知後、CVM障害を起こしたHVの設定を変更する (Zeus?) 3) CVM宛の通信経路をNW的に生きてるノードに曲げる 4) Autopath フェイルオーバー成功 Autopath の仕組みについて
  • 22. ? 2016 IIJ Global Solutions Inc. 22 CVM Autopath を図にすると Hyper Visor Node A CVM A NDFS Storage NFS Hyper Visor Node B CVM B NFS NDFS Storage NFS 192.168.5.2 192.168.5.2 192.168.5.1
  • 23. ? 2016 IIJ Global Solutions Inc. 23 192.168.5.0/24のダイレクトコネクトで経路をあてている Autopath の仕組みについて (Before)
  • 24. ? 2016 IIJ Global Solutions Inc. 24 /32のロンゲストマッチで192.168.5.0/24より優先してファ イルオーバーホストの192.168.5.102に向けている? Autopath の仕組みについて (After)
  • 25. ? 2016 IIJ Global Solutions Inc. 25 ZookeeperがCVM障害を検知 10:50:58,604 - 10.5.1.101(CVM A) Timeout Autopath の仕組みについて (Zookeeperのログ)
  • 26. ? 2016 IIJ Global Solutions Inc. 26 Autopath の仕組みについて (Zookeeperのログ) ZookeeperがCVM Aを無慈悲に切り離し 10:51:00,700 - 10.5.1.101(CVM A) グッバイフォーエバー
  • 27. ? 2016 IIJ Global Solutions Inc. 27 5. まとめ
  • 28. ? 2016 IIJ Global Solutions Inc. 28 ? 期待していたほど難しいことはなにもしてなかった (思ってたほど大物のネタにならなかった…) ? ソフトウェアで冗長性を確保するNutanixらしいいい例 ? HWばっかにお金かけるI○Mとか少しは見習ってほしい ? 手抜きでゴメンナサイ… CVM Autopath まとめ
  • 29. ? 2016 IIJ Global Solutions Inc. 29 ご清聴ありがとうございました お問い合わせ先 株式会社IIJグローバルソリューションズ TEL: 03-6777-5700 info@iijglobal.co.jp http://www.iijglobal.co.jp/