LXD 採用から運用までの顛末記
- 2. 目次 1. 自己紹介 2. LXD 採用まで編 3. LXD 構築から運用まで編 4. LXD 運用編 5. 総括
- 6. ～ LXD 採用まで編～
- 8. XREA 仮想化前史～完全仮想化へ 1. その昔、創業当初からのものを含む、古い物理サーバー を使っていた。ハード、ソフトとも老朽化しすぎ。。。 2. 2011年、マイグレーションに際して、KVM 完全仮想化を 採用して刷新。 3. 400 台弱のサーバーが、２ラックに収まった。
- 9. 完全仮想化の利点と問題点～運用してみて 1. セキュリティリスクや負荷のコントロールがVM内で完結 1. HDDディスクイメージの容量不足?増設でストレージの無駄が顕在化 2. CPU、メモリ、ディスク等でパフォーマンス不足、無駄の多さが目立つ……。 3. そして準仮想化へ。 メリット デメリット
- 11. なぜコンテナか？ 1. 年月が経ち、サーバー毎にアクティブ数がまちまちである 2. 最小限のコストで最大限のパフォーマンス 3. 保守?運用が楽、安定している 4. 弊社の規模?要件にマッチしている
- 12. なぜLXDか？ ?Docker ? Dockerでレンタルサーバーでやってやろう！と試行錯誤するも、ユーザーの権限独立 とネットワーク周りの問題が解決できず、本要件には不向きと判断 ?KVM ? 前述の通り、オーバーヘッドが多くてリソースが無駄 ?OpenVZ ? コンテナより遅かった ?Vmware ? 考えたこともない ?LXD ?コンテナだし、リソースが有効に使えて、ヒャッハーだ！ （開発?構築担当者 原文ママ）
- 13. LXD採用からサービス開始まで① ? コンテナの採用決定から本番まで半年しかなかった ? 2016年夏 构筑?运営ノウハウ、全てゼロからのスタート！
- 14. LXD採用からサービス開始まで② ? 2017年2月 運用スタート！ ? 2017年5月 全台リニューアル完了！ ? 2017年6月 安定稼働！ コンテナの障害なし！ まだまだ日々試行錯誤中???
- 15. LXDの運用対象 ? アカウント数：30万ぐらい ? データ量：50TBぐらい ? ファイル数：8億ぐらい ? 帯域：1Gbpsぐらい
- 16. LXDの運用環境 ? D社サーバー ? オールフラッシュ RAID10 ? １ラックに収まるぐらいの台数＾＾；
- 17. LXDの運用環境 ? ホストOS:Ubuntu 16.04 LTS CentOS7なども検証。やっぱり、 Ubuntu。 ? ゲストOS:CentOS7 共有サーバー要件で最適 保守?運用上、実績があり、使い慣れたもの（時間の節約）
- 18. LXDの運用環境 ? 最新版LXD 2.0.9 ? ZFS + ブロックデバイス ? ホスト、ゲストのファイルシステム：ext4
- 19. なぜZFSか？ ? 公式がおすすめしているｗ ? ベンチマークが最速（個人的見解） ? 成熟している（运用実绩はないが…）
- 20. ベンチマーク ホスト Seq-Read: bw=5535.2MB/s, iops=5535 Seq-Write: bw=3002.1MB/s, iops=3002 Rand-Read-512K: bw=5224.6MB/s, iops=10448, Rand-Write-512K: bw=2994.2MB/s, iops=5988 Rand-Read-4K: bw=890889KB/s, iops=222722 Rand-Write-4K: bw=249720KB/s, iops=62430 Rand-Read-4K-QD32: bw=911013KB/s, iops=227753 Rand-Write-4K-QD32: bw=255501KB/s, iops=63875 ? fioでの計測 ? 5～15%のオーバヘッドは あるものの、概ね良好！ コンテナ Seq-Read: bw=4718.1MB/s, iops=4718 Seq-Write: bw=2790.2MB/s, iops=2790 Rand-Read-512K: bw=4376.7MB/s, iops=8752 Rand-Write-512K: bw=2730.7MB/s, iops=5461 Rand-Read-4K: bw=882640KB/s, iops=220659 Rand-Write-4K: bw=229749KB/s, iops=57437 Rand-Read-4K-QD32: bw=874542KB/s, iops=218635 Rand-Write-4K-QD32: bw=248301KB/s, iops=62075
- 21. ～ LXD 構築から運用まで編～
- 22. ホストシステム構築時のトラブル ? オープンファイル数の上限 fs.inotify.max_user_instances ? PID、スレッド数の上限 kernel.threads-max kernel.pid_max ? 共有メモリー系の上限 vm.max_map_count kernel.msg*
- 23. オープンファイル数の上限編 コンテナばんばん作成するぜー！（開発?構築担当者談） Error: Too many open files Job for network.service canceled. あれ？ ?コンテナの作成台数が20台を越えた辺りからネットワーク周りが不安定になる ?ファイル数、プロセス周りの制限が掛かって上手くいかないのか？ こんな事やりました↓
- 24. オープンファイル数の上限編 echo 1000000 > /proc/sys/fs/file-max vi /etc/sysctl.conf fs.file-max=1000000 vi /etc/security/limits.conf * soft nofile 1000000 * hard nofile 1000000 ulimit -n 1000000 あれ？直んない ↓ なんで ↓ なんで ↓ なんで ↓ こっちかい ↓
- 25. オープンファイル数の上限編 echo "fs.inotify.max_user_instances = 819200" | tee -a /etc/sysctl.conf && sudo sysctl –p そっちかい！
- 27. ～ LXD 運用編～
- 30. 運用時の苦労② 原因は Apache RLimitNPROC ＋ Potential DoS attacks https://linuxcontainers.org/lxc/security/ ?要は、各コンテナでプロセス起動数制限をかける際、制限対象のUIDが共通 であるプロセス数を、全コンテナで見てしまっていた
- 34. ～ 総括～
- 35. 尝齿顿はヒャッハーなのか？
- 37. 结局のところ……
- 38. ヒャッハーだ！