狠狠撸

NUCで始めるVMware Tanzu
? おうちで始めるCloud Native環境 ?
Hirotaka Sato
@hirotaka0426
hirosat

旧Pivotalメンバー
Kubernetes Architecture Team
VMwareがK8sに力を入れていることを知り、
2020年2月にVMware入社。 Ex-heptioチーム
Tanzu Labs Platform Services
HeptioとPivotalがワンチームに！
自己紹介
2
Join
Join
Join
佐藤寛貴 Cloud Native Field Engineer
Silicon Graphics→Square Enix→楽天
→LEOMO→Works Applications と
渡り歩き、近年はK8sと戯れていた
今ココ！

でも、今日はハードウェアの話がメインです。
3

1章: これまでのあらすじ
(CloudNative ホームラボ Ver. 1)
2章: ハードウェアに魅入られた男
3章: ホームラボ FAQ
4
アジェンダ

1章.
これまでのあらすじ
5

きっかけ
● 社内にK8sを検証する環境はいくつもあるものの???
6
あなたはXX部なの
でこの環境は使えま
せん
1週間でこの環境は
削除されてしまうの
で、延長申請をお願
いします
この環境は、今から
XXXの案件の検証
に使うため、しばらく
使えませんちょいちょいたまるストレス
バージョンアップ/メ
ンテナンスのため、
この期間は使えませ
ん
検証クラウドのキャ
パシティが上限に達
したので、これ以上
デプロイできません

目的
● 24時間いつでも、確実に自分だけが使える環境が欲しい
7
そうだ、おうちラボ
を作っちゃおう！
天才的発想???っ！
このWFHのご時世、自宅に設備を投資するのは今しかないっ！
と、この時は思っていました???。
ここから、長い旅が始まります。

さて、どんなもの作ろう？
8
vSphere環境た
てて、インフラ
基盤をおうちに
NUCは場所も
取らないし、省
電力だよ
WFHだし、
自宅環境を充実！
NUCでおうちでCloudNative???

NUCとは？
9
インテル? NUC はフットプリントが小さく、省スペースな
パソコンです。Next Unit of Computing の略であるインテ
ル? NUC (「ラック」や「トラック」と同じように発音) は、
フルサイズ PC のパワーを手のひらサイズで実現しました。
※Intel ?社のホームページより抜粋
https://www.intel.co.jp/content/www/jp/ja/products/boards-kits/nuc.html

8-9月: NUCをお試し
● まずは1台NUCとパーツを買ってみて、どんなことができるのか感触を掴む
10
[メモリ]
v-color DDR4 2666MHz SO-DIMM
64GB (32GB×2枚)
購入時の価格: 32,180
合計 : 95,197
サンワサプライ電源コード(3Pin) 1m
購入時の価格: 567
[NUC]
INTEL BXNUC10I5FNH
CPU: i5-10210U (4core/8thread)
[SSD]
Crucial 1TB BX500 SATA3
[得られたリソース]
CPU: 2.1GHz x 8 thread
Mem: 64GB
Disk: 1TB

NUC1台でできること
● vCenterをたてて、VMをデプロイすることが可能
● kubeadmを使って、Kubernetesクラスタを組むことも可能
11
ESXi01 (NUC)
vCenter
(VM)
ControlPlane 1
(VM)
Worker
1
(VM)
Worker
2
(VM)
なんか、もの足りない???

10月: (恐怖の)プライムセールで爆買い
● 「自分への投資！」と100回唱えてから、購入ボタンを押しました???
12
合計 : 216,321
累計投資額 : 311,518
[得られたリソース]
Mem: 256GB
Disk: 2.5TB
NUC BXNUC10I5FNH
46,980 x3 = 140,940
Team 内蔵SSD 512GB
4,780 x3 = 14,340
Team DDR4 32GBx2枚組
19,780 x3 = 59,340
サンワサプライ電源コード 1m
567 x3 = 1,701

11月:みんなに声をかける
● せっかくならみんなでホームラボのコミュニティを作って、わいわい
やりたいなと思い、Slackチャンネルを作った。
● ちょうど、Qiitaのアドベントカレンダーが始まる時期だったので、
カレンダーを作って、社内の同僚に参加を呼びかけた。
13
その結果???、
Slackチャンネルは盛り上がるものの??
Qiitaの共同参加者は、0名
(※ボッチと呼ばないよう注意)

12月: NUCで始めるVMware Tanzu 執筆
（Qiita : Advent Calendar 2020）
● 1人アドベントカレンダーをやってみました
14
https://qiita.com/advent-calendar/2020/nuc-vmware-tanzu
[コンテンツ]
● NUC(今回採用したサーバ)の紹介/組み立て
● vSphere環境の構築
● Tanzu Kubernetes Gridの紹介と環境構築
● vSphere with Tanzuの紹介と環境構築
● 同僚のホームラボ紹介
12月1日?25日までの間、血ヘドを吐きながら
ステップ?バイ?ステップで詳しく解説しています。
よければ見ていって下さい！

NUC構築の様子
● まずはパーツを組み立てて???
15

おうちラボ Ver. 1 構成
● Nested ESXi構成にして仮想的にNIC数やストレージ数を増やし、vSAN環境を構築。
● その後、Tanzu Kubernetes Gridや、vSphere with Tanzu を入れる。
16
ESXi04 (NUC)
nested-esxi04
ESXi03 (NUC)
nested-esxi03
ESXi02 (NUC)
nested-esxi02
ESXi01 (NUC)
nested-esxi01
vCenter
vSAN (VM Disks/PV/Cloud Storage)
TKG / vSphere with Tanzu
おうちルータ
(元々持ってた)
インターネット

Tanzu Kubernetes Grid
● VMwareが提供する、マルチクラウド用K8sクラスタ基盤の導入ソリューション
● オンプレでも、パブクラでも、同じ文法で同じK8sクラスタを扱うことが可能な技術
17
（を、ちょっとだけ紹介）
7 with Tanzu 6.7U3 6.7 U3 us-east-1 eu-west-1 ap-south-1
VMC on AWS
Amazon
AWS EC2
Microsoft
Azure
(今後GCPに
も対応予定)
オンプレミスパブリック?クラウド
API-driven Infrastructure (Cluster API)
Tanzu Mission Control で透過的な管理
TKG TKG TKG TKG TKG TKG TKG
これをおうちに作りました

みんなのホームラボ
● Slackチャンネルに集まった同僚の自宅環境を紹介
18

2章.
HWに魅入られた男
19

おうちラボ Ver. 1 構成の問題点
● Nested構成でさらにvSAN化すると、利用可能なディスクが少ない(500GB程度) ので、
ディスク容量を増やしたい。
● そもそもマシンパワーをフルに引き出すには、Nested構成を止めたい。
20
ESXi04 (NUC)
nested-esxi04
ESXi03 (NUC)
nested-esxi03
ESXi02 (NUC)
nested-esxi02
ESXi01 (NUC)
nested-esxi01
vCenter
おうちルータ

vSAN構成の制約
● 3つのディスク（OSブート用領域 / vSANキャパシティ / vSANキャッシュ）
※NUCは内蔵ディスクスロットが2つしかない
● 2系統の物理NIC
※NUCはNICが一つしかない
● ホスト4台以上が推奨
※一応3台でも可能
21
x4

たしかに初期装備に制限は多いが??
● 豊富なインターフェイスでカバー！
22
内部スロット - 2.5型ベイ (SATA3.0のSSD/HDD)
- M.2スロット (Type 2280, PCIe Gen3x4)
- メモリスロット x2 (最大64GB)
前面インタ
ーフェイス
- USB3.1 Gen2 (Type A & Type C)
- 3.5mm ヘッドフォン/MIC端子
- 赤外線センサー
背面インタ
ーフェイス
- AC電源
- HDMI 2.0
- 有線LAN(1Gbps)
- USB3.1 Gen2 (Type A) x2
- Thunderbolt 3 x1
その他 - 側面にSDカードスロット
Intel NUC 10 パフォーマンス?キット
(NUC10i7FNH / NUC10i5FNH)
※緑色の字は、利用中であることを示す

お布施その1: ブート領域用USBメモリ
● USBメモリをESXiのブート用領域とすることで、2スロットある
内蔵ディスクを、vSAN領域に回すことが可能。
23
SanDisk USB3.1 SDCZ430-032G 32GB Ultra 130MB/s
非常に小さいので、NUCの外観を損ねない！
購入時の価格： 856 x4個 = 3,424
[もっとオススメ]
256GBモデルのUSBメモリ (2/23調査時の価格: 1個 3,398)
現在のESXiの仕様として、128GB以下はローカルデータストア
が作成されない。ローカルデータストアもあると便利。
累計投資額 : 314,942

お布施その2: USB接続SDカードリーダ
● 以前のSSD のOS領域に、削除できないVMFS-L領域（コアダンプ等の用途）
が残った。
● Ubuntu LiveCD等でブートすることで、この領域が削除可能。
● 余っていたSDカードを活用したい
→ NUCが持つSDカードスロットでは、ブートできなかった。
● USB Slotはブート対象となるので、面白アイテムを買ってみた
24
SD/Micro SD両対応カードリーダ
購入時の価格: 799
Type-C/Type-A両対応。
Ubuntu LiveCDからpartedコマン
ドで、VMFS-Lを削除できた。
累計投資額 : 315,741

お布施その3: M2.SSD
● NUCは通常のSSD以外にも、M2スロットに写真の形状のSSDが換装可能。
PCIe Gen3 x4接続のため、通常のSSDよりも高速。
25
ADATA XPG SX8100 PCIe Gen3x4 M.2 2280
NUCが接続可能なPCIe Gen3x4の最大速度に近いモデル。
(Read: 最大3500MB/秒、Write: 3000MB/秒)
1TB容量のモデル x4枚を購入。
購入時の価格： 11,980 x4枚 = 47,920
累計投資額 : 363,661

お布施その4: USB SSD (ボツ案??)
● vCenterを載せているホストも、Nested構成を止めたい。
● ローカルデータストアを確保するため、追加でUSBタイプのSSDを購入。
26
ESXi01 (NUC)
vCenter
(構想)
vSAN用
データ領域
バッファロー SSD 外付け 480GB USB3.2Gen1
SDカード約2枚分位の超小型な
USB接続SSD。
vCenterの要件(430GB以上)を
満たすサイズ。
ESXi OSData用領域
vSANキャッシュ領域
vSANキャパシティ領域
ローカルデータストア
結局、メンテナンス時にvCenterが止まるのは不
便だと判断したため、このホストは引き続き
Nested構成に。。
累計投資額 : 369,641
New!

お布施その5: USB NIC
● 物理的にvSANを組むには、少なくとも2つのNICが必要。
● 今後のネットワーク環境の向上を見越して、2.5GbpsのUSB NICを購入。
27
Cable Matters USB LAN変換アダプター 2.5Gbps
2.5GbEのUSB NICはなんと言ってもコスパが良い！
Type-A/C両対応なのも魅力。
購入時の価格： 2,899 x4個 = 11,596
[Other choices (amazon.com がオススメ)]
TRENDnet USB-C 3.1 to 5GBASE-T Ethernet Adapter
1個 9,389 (輸入費込み)
5GbEの最安値だった。
Sonnet Solo 10G Thunderbolt 3 to 10GBASE-T
1個 18,159 (輸入費込み)
10GbEの最安値だった。
10GbEでは、Thunderboltがほぼ必須
QNAP QNA-T310G1S Thunderbolt 3 to 10GbE SFP+
1個 20,379 (輸入費込み)
SFP+ port 10GbEの最安値だった。
SFP+ portは発熱量が少ない。
いずれも2/23調査
時点の参考価格 →
累計投資額 : 381,237

お布施その6: 複数ネットワーク用スイッチ
● 管理用ネットワーク用には、簡易なスイッチを購入
● DSwitch用ネットワークには、VLAN trunkが設定可能なスイッチを購入
28
おうちルータ
NETGEAR GS308E-100JPS スイッチングハブ
購入時の価格 : 3,300
管理画面がついていて、VLANを設定できる
スイッチとしては格安。
BUFFALO Giga対応5ポート LSW6-GT-5EPL/NBK
購入時の価格 : 1,280
Jumboフレーム対応の1Gbpsスイッチとしては格安。
入れ替え予定のため、なるべく安価なもの採用。
合計 : 4,580 累計投資額 : 385,817

お布施その7: LANケーブル
● 手持ちケーブルにCAT5が混ざってたり、数も足りないので、これを機会にCAT7/8に。
● ケーブル長が短いもの(50cm)を選ぶことで、配線がスッキリ見える。
29
おうちルータ
Jeavdarn CAT8 LANケーブル
(0.5m)
購入時の価格 : 799 x4本 = 3,196
金メッキでケーブル芯も太く、
品質の良さを感じた。
合計 : 6,176
サンワサプライ CAT7 LANケーブル
(0.5m)
購入時の価格 : 745 x4本 = 2,980
判別を重視してフラットタイプを購入。
品質は丸芯タイプの方が良いらしい。
累計投資額 : 391,993

お布施その8: UPS(無停電電源装置)
● 年末から急激に冷え込み、うちで何度も停電が起こるようになった。
● そのような突発的な電源断からNUCを守りたい。
30
CyberPower 無停電電源装置 500VA/300W CPJ500
「正弦波出力」タイプのUPSで、コスパが良い。
理論上、20分位の電源断に耐えられる。
また、UPSにしてはコンパクトなデザイン。
（※ただし、NUCよりは大きい??）
累計投資額 : 405,767

内蔵スロット
購入したものまとめ
31
x4
※UPSは一つだけ
※スイッチは一つだけ ※スイッチは一つだけ
普段は使わないもの

おうちラボ Ver. 2
● 3台のESXiが、脱Nestedできた。
● 約500GB → 4.16TBのvSAN環境に拡張できた。
32
ESXi04 (NUC)
ESXi03 (NUC)
ESXi02 (NUC)
ESXi01 (NUC)
nested-esxi01
vCenter
おうちルータ

Q.そもそもなんでNUC？
34

私が考えた要件は???
● 小さい
● 省電力
● 並べてもカワイイ
● そこそこ拡張性が高い
● そこそこ高性能
● そこそこ安価
● 安心のIntel製
35
Intel NUC

どれだけ小さいかというと???
36
例: 220(W)×493(H)×464(D) mm
ATX PC (約40-60L)
例: 205(W)×390(H)×380(D) mm
MicroATX PC (約20-40L)
MiniATX PC (約3-20L)
例: 84(W)×244(H)×217(D) mm
117(W)×51(H)×112(D) mm
Intel NUC (約0.7L)
※ Intel NUC 以外のサイズはあくまで目安。当てはまらないケースも存在します
? 各規格は、搭載可能なマザーボードに依存。
そのため、ATXは最も拡張性が高い
? ATX PCとは、100倍近くサイズが異なる

Q.どのNUCを買えばいい？
37

● 他の世代のNUCと比べ、高コスパな普及帯モデル
● 省電力
NUC10がオススメ
38
実は、NUC9の方が性能が良い！が、、
?筐体が大きめ(5Lサイズ)
?凄く高い(単体で15-25万)

NUC10i7FNH v.s. NUC10i5FNH
● 8万(i5モデル) v.s. 10万(i7モデル) ※SSDとMem含めたざっくり価格
● NUC10i7FNHは、NUCの中でも希少な6coreモデル！
（私はi5を買ったが、マルチK8sでは多くのCPU(VM)が必要なので、i7は魅
力的）
● でもi7モデル利用者の話によると、高負荷時に非力さを感じることも
（ターボブーストは、一つのコアにスペックを集中する技術）
39
価格
(2/23時点)
Core数
(Threads)
ベース周波数
TDP-up時
周波数
ターボブース
ト周波数
キャッシュ
NUC10i7FNH 62,391 6 (12) 1.1 GHz 1.6 GHz 4.7 GHz 12M
NUC10i5FNH 43,998 4 (8) 1.6 GHz 2.1 GHz 4.2 GHz 6M

待望のNUC11が登場
40
主な変更点 NUC 10 NUC 11
CPU Comet Lake Tiger Lake
メモリ DDR4-2666 DDR4-3200
M.2 SSD PCIe 3.0 PCIe 4.0
有線LAN 1GbE 2.5GbE
Tunderbolt T3 (1 port) T4 (2 port)
ディスプレイトリプルクアッド
NUC11TNHv7 NUC11TNHv70L
内蔵スロットを３つ搭載
(SSD + M.2(22x80) + M.2(22x42))
オプションポートにより
Dual LAN搭載
プロセッサ vPro Cores L3(MB) TDP(12W) TDP(28W) Tarbo(50W)
i7-1185G7 ○ 4C / 8T 12 1.2 GHz 3.0 GHz 4.8 GHz
i7-1165G7 4C / 8T 12 1.2 GHz 2.8 GHz 4.7 GHz
i5-1145G7 ○ 4C / 8T 8 1.1 GHz 2.6 GHz 4.4 GHz
i5-1135G7 4C / 8T 8 900 MHz 2.4 GHz 4.2 GHz
i3-1115G7 2C / 4T 6 1.7 GHz 3.0 GHz 4.1 GHz
[残念な点]
6 core以上のモデルがない??

Q.NUC以外の選択肢を教えて
41

よりエンプラ思考なら???
● ガチサーバ仕様(VMware HCL準拠)+省スペースならこれ！
(さらに、NUC Xeonよりは安い。欠点は、起動時うるさいらしい??)
42
Supermicro E300-9D-8CN8TP
Supermicro SYS-E200-8D
amazon.comで見つけた価格 : 105,825 amazon.comで見つけた価格 : 168,578
サイズ: 約1.9L(W193/H43/D226)
CPU: Intel Xeon D-1528 (6c/12t, 1.9GHz, 9MB)
Max Memory: 128GB (ECC/non-ECC)
ストレージ数: 2 (M.2 x1 / SATA3 x1)
Network: 10GbE x2 / 1GbE x2 / 1GbE(IPMI) x1
サイズ: 約2.5L(W254/H43/D226)
CPU: Intel Xeon D-2146NT (8c/16t, 2.3GHz, 11MB)
Max Memory: 512GB (ECCのみ)
ストレージ数: 2 (M.2 x2 / SATA3 x1)
Network: 10GbE x2 / 10GbE(SFP+) x2 / 1GbE x4
/ 1GbE(IPMI) x1

Mini-ITXなら、より安価にハイスペック
● jacopen先生のブログが参考になったので、勝手に試算してみたｗ
43
Shuttle Intel H370 ベアボーン: 37,110
サイズ: 約14.2L(W216/H198/D332)
TEAM DDR4 3200Mhz 32GB x4
: 67,960
Intel Core i7 9700 (8c/16t, 3.00GHz, 12M)
: 34,980
PCI-E 10GbE NICカード (SFP+): 5,940
Samsung 970 EVO Plus 1TB
NVMe: 18,667
(※価格は、10GbEのみオリオスペック特価で、他は2/28時点のamazonで算出)
試算合計: 164,657
[ NUC2台分のリソース +α ]
Mem: 128GB
Disk: 1TB
10GbE(SFP+)
が
で、手に入る！

Q. 何台買うのがオススメ？
44

● vCenterをたてて、VMをデプロイすることが可能
● kubeadmを使って、Kubernetesクラスタを組むことも可能
45
ESXi01 (NUC)
vCenter
(VM)
ControlPlane 1
(VM)
Worker
1
(VM)
Worker
2
(VM)

● Tanzu Kubernetes Gridが可能
46
ESXi01 (NUC)
nested-esxi01
vCenter
ESXi02 (NUC)
nested-esxi02 nested-esxi03

● vSphere with Tanzuが可能
● vSANが可能
47
ESXi03 (NUC)
nested-esxi03
ESXi02 (NUC)
nested-esxi02
ESXi01 (NUC)
nested-esxi01
vCenter
vSphere with Tanzu
Supervisor
ControlPlane
Supervisor
ControlPlane
Supervisor
ControlPlane

NUC4台でできること（今ココ）
● 脱Nested(3台まで)、かつ、4台vSAN構成が可能
48
ESXi04 (NUC)
ESXi03 (NUC)
ESXi02 (NUC)
ESXi01 (NUC)
nested-esxi01
vCenter
vSphere with Tanzu

● NSX-Tが可能（だと思う）
49
ESXi04 (NUC)
ESXi03 (NUC)
ESXi02 (NUC)
ESXi01 (NUC)
NSX Manager
vCenter
ESXi05 (NUC)
vSphere with Tanzu
NSX Edge

良くなかったこと
● それなりにお金はかかる
（クラウドと比べて、決して安くなる訳ではない）
● ハマると1週間単位で時間が消える
51

よかったこと
● 当初の目的である、確実に自分だけが使える環境をゲットできた！
● 最新K8sクラウド環境が自宅にあるという無敵感
● 常時起動しているため、素早くデモができる
● 工作感覚でパーツを揃えていくのは楽しい
（NUCの制約の中で、あれこれ試行錯誤するのが楽しかった）
● vSphereやハードウェアの知識が深まった気がする
● ホームラボを持っている同僚と盛り上がれる
（Slack部屋たてるのオススメ！）
52

ご清聴ありがとうございました！
53

狠狠撸

NUCで始めるVMware Tanzu

Recommended

More Related Content

What's hot (20)

Similar to NUCで始めるVMware Tanzu (20)

NUCで始めるVMware Tanzu