颁测肠濒辞耻诲のストレーシ?绍介と歴史
?
1 like?720 views
颁测肠濒辞耻诲のメインリージョンのストレージ构成が、何を解决したく现在の构成になったのかを、これまで构筑してきたプライベートクラウドの歴史と共に纽解いていきます。
颁测肠濒辞耻诲のストレーシ?绍介と歴史
- 2. アジェンダ 1. DCを中心にCycloudを紹介 2. メインリージョンのストレージを紹介 3. プライベートクラウドのストレージ変化 4. 今後のプライベートクラウド ストレージ 5. さいごに 2
- 3. 知念 洋樹 Hiroki Chinen ● 担当：HW?Storageの選定、構築、運用 ○ PureStorageの管理人 ○ DCチームリーダー ● 人生の目標 ○ 世界を股に掛けるエンジニアになる ● 趣味 ○ ドライブ ○ アマチュア無線(JJ1PZY)、BCL ● 一言 ○ 電波の話しできる方いらっしゃいますか？ ○ 痩せたい(目標: -15kg) ○ 新しい車物色中 3 自己紹介
- 5. Cycloud とは CAグループに対して提供しているサービスの総称 ● プライベートクラウド ● オブジェクトストレージ ● マネージドKubernetes ● マネージドDB ● GPU as a Service ● etc… 5
- 7. CycloudのDC規模 Computeリージョン GPUリージョン NWリージョン 3 1 2 vCPU: 60k core+ Storage: 1.7PB+ Rack: 100+ GPU: 170+ Rack: 9 Capacity: 180Gbps AS24284 7
- 9. メインリージョンの紹介 2017年オープン Region名: TKY02 vCPU: 30k Core Storage: 1PB Rack: 17 9
- 10. メインリージョンの紹介 -コンセプト- Diskless Hypervisorを導入しストレージを集約 広帯域 50GbE(2x 25GbE)でHypervisorを接続 10
- 11. メインリージョンの紹介 -ストレージ- 適材適所で利用してもらうため4種類のタイプを用意 ● VMのRootボリューム用 (Cinder-Boot) ● 冗長あり多目的用 (Cinder-Ceph) ● 冗長なし超高速IO用 (Cinder-Single) ● 冗長有りコールドデータ用 (Cinder-Archive) 11
- 14. プライベートクラウドの歴史 -TKY00- VMのDiskイメージ ● Hypervisorの腹持ちHDD (4x 600GB HDD RAID10) ● インスタンスサイズによる固定サイズ Additionalディスク ● Ameba EBS (永久Beta, VMと直接iSCSI接続, HAあり) オブジェクトストレージ ● OpenStack Swiftを無料で提供 (3TB HDD Array) 14
- 15. プライベートクラウドの歴史 -TKY00- 問題点 ● Hypervisorの故障 == VMデータロスト ● 必要な計算リソースとデータ容量のミスマッチ ● HDD故障による交換頻度が多い ● 高IOPS要件に耐えられない 良い点 ● シンプルな構成のため故障範囲の特定が容易 ● ストレージ障害時の影響範囲が小さい 15
- 16. プライベートクラウドの歴史 -TKY01- VMのDiskイメージ ● Hypervisorの腹持ちHDD (4x 1.2TB HDD/SSD RAID10) ● インスタンスサイズによる固定サイズ Additionalディスク ● Cinder-hdd (35x 3TB RAID6, LVMで分割して提供, 冗長有り) ● Cinder-ssd (1.6TB NVMe, LVMで分割して提供, 冗長なし) オブジェクトストレージ ● なし 16
- 17. プライベートクラウドの歴史 -TKY01- 問題点 ● Hypervisorの故障 == VMデータロスト ● 必要な計算リソースとデータ容量のミスマッチ ● HDD故障による交換頻度が多い ● SSDの故障 == データロスト ● 共有ストレージ障害時の影響範囲が大きい 良い点 ● シンプルな構成のため故障範囲の特定が容易 17
- 18. プライベートクラウドの歴史 -TKY02- VMのDiskイメージ ● Cinder-boot (PureStorageをAvtiveClusterで利用) ● サイズ：21GB?75GB Additionalディスク ● Cinder-single (3.2TB NVMe, LVMで分割して提供, 冗長なし) ● Cinder-ceph (3.2TB NVMe, Ceph RBD, 冗長あり) ● Cinder-archive (12x 10TB RAID5, LVMで分割して提供, 冗長有り) オブジェクトストレージ ● Cephを利用 18
- 19. プライベートクラウドの歴史 -TKY02- 問題点 ● SSDの故障 == データロスト ● 共有ストレージ障害時の影響範囲が大きい 良い点 ● hypervisorが故障してもVMロストしない ● hypervisorが故障しづらくなった 19
- 20. 4 ｜ 今後のプライベートクラウド ストレージ 20
- 21. 今後のプライベートクラウドストレージ 考慮すべき箇所の変化 21 いままで ● VMベース ● OpenStack Cinder Driverの利用 これから ● Containerベース ● Kubernetes CSI Driver の利用
- 22. 22 5 ｜ さいごに
- 23. 23 さいごに ● 質問等ありましたら、いつでもお声がけください！ ● 一緒に働く仲間はいつでも募集中です！ ● 最后まで楽しまれてください！！