现场！実物！実践！マルチクラスタを运用するときの课题とコツ
0 likes1,569 views
2019年3月20日開催 『はてな×さくらが考えるテクノロジーの未来 ?コンテナ?分散型データセンター?』のスライド資料です。
More Related Content
What's hot (19)
Similar to 现场！実物！実践！マルチクラスタを运用するときの课题とコツ (11)
More from Shuji Yamada (15)
Recently uploaded (6)
现场！実物！実践！マルチクラスタを运用するときの课题とコツ
- 1. さくらインターネット株式会社 Shuji Yamada (山田 修司) @uzyexeMar 20, 2019 现场！実物！実践！ マルチクラスタを運用するときの課題とコツ
- 6. 6 登録ユーザー数? 20K+ コンテナ起動回数 (累計)? 210K+ 稼働イメージ数 (タグ別) ? 2K+ ユーザーの出身国 ? 80カ国以上 Something for everyone
- 8. 现场！実物！実践！
- 10. API Server Scheduler Controller? Manager KVS Master Worker Node 1 Pod 1 Docker Agentproxy Storage Monitoring Logging Registry Network Pod 2 Pod 3 Worker Node 2 Pod 4 Docker Agentproxy Pod 5 Pod 6 Cluster
- 11. 11 Worker Node Storage Master ? I/O性能（IOPS） ? inode数 ? 通信コネクション数 ? メモリ搭載量 ? コンテナ収容数 ? 通信コネクション数 ? 通信帯域 ? 通信帯域Networking ボトルネック BOTTLE NECK
- 12. 12 ? トラフィックが溢れる ? キューがどこかで詰まる ? コンテナがクラックされる ? 誰かがコインを掘りはじめる ? KVSのデータが吹き飛ぶ ? Docker が気絶する ? コネクションが張れなくなる ? NTP同期失敗してコントローラー気絶 ? バージョンアップして壊れる ? 再起動毎にマイグレーションの高負荷 ? スパムメールを転送しはじめる ? エージェントが突然気絶する コンテナあるある TYPICAL ERRORS
- 14. ブルーグリーンデプロイメント！ サービスメッシュ！ ローリングアップデート！ Istio！Envoy！ Spennier！ IoT / Fog！ Deep Leaning！ HPC！ CI/CD！ Devが抱く理想 ＼?コンテナ管理プラットフォーム?／ カナリアリリース！ オートスケール！
- 16. Container
- 18. Docker KubernetesVPS ServerServer Load Balancer Load Balancer API? Code API? Code Bin/Libs Bin/Libs ServerServer Web? Code Web? Code Bin/Libs Bin/Libs Database API URL Web URL ServerServer ServerServer Load Balancer Load Balancer API? Container API? Container Bin/Libs Web? Container Web? Container Bin/Libs Bin/Libs Bin/Libs API URL Web URL Load Balancer Ingress Controller Node API Pod Web Pod Node API Pod Web Pod Database API URL Web URL Database
- 19. API URL Web URL CDN Secondary Primary LB Service B Service A Ingress? Controller Cloud Vendor A DB DB LB LB Service B Service A Cloud Vendor B DB DB Cluster A Cluster B Cluster C
- 20. API URL Web URL CDN Secondary Primary LB Service B Service A Ingress? Controller Cloud Vendor A DB DB LB LB Service B Service A Cloud Vendor B DB DB Cluster A Cluster B Cluster C
- 26. 26 サービス稼働中のArukasを東京に移設 石狩 Master Work Node ワークノード 東京 Master Work Node IP付け替えながら? Masterを移設 シャットダウンしながら Work Nodeを移設 ちなみに、地理的に横断した事例??? CASE
- 27. 27 5台以上からは読取専用モードで追加 KVS 3台 KVS 5台 KVS 7台 同期モード：5台 読取専用モード：2台 同期モード：5台 読取専用モード：0台 同期モード：3台 読取専用モード：0台 （データ同期待ちによる遅延を抑制）
- 29. 29 ?リミット設定に到達したコンテナは揮発する ?大きなリソースを使用するコンテナの再起動はコスト ?一方、メモリリークが発生するとリソースを喰い尽くす ?リミットは平常時リソースの100％強で設定すべき CPU と RAM を制約すべきか CPU / RAM LIMITATION
- 30. 30 ?2つのコンテナが同一ファイルに同時に書き込もうとすると データ破損を引き起こす ?回避するには??? ?NFS や GlusterFS を使う（ロックをサポートしている） ?独自の書き込みロック機構を実装する 共有ボリュームへの書き込み SHARED VOLUME
- 32. チーム文化
- 33. 33 1. ソフトウェア品質の問題 2. ヒューマンエラー ? 自動化の不足、人手不足、連携不足、手順書の不備 3. 顧客対応 ? 障害報告、説明対応、etc… 運用の生産性を低下させる要因 PRODUCTIVITY
- 35. 35 1. 責任を明確に定義する 2. サービス維持に必要なアクセス権限の管理 3. ダメージを抑制するための仕組みづくり 4. 問題への対処と診断に必要なツールの導入 クラスタ管理者の役割 OWNER ROLE
- 36. Monitoring Alerts Emergency Response On-Call and Tickets Change Management Provisioning
- 37. 37 ? Monitoring & Metrics ? Datadog ? On-Call and Ticket ? PagerDuty ? Exception / Error Tracking ? BugSnag ? Automate Browser Testing ? Browser Stack 問題検出と問題解決 Operate
- 39. 39 オペレーターからイネーブラーへ From Operators to Enablers
- 41. THANK YOU！