狠狠撸

狠狠撸Share a Scribd company logo
SCORER On Rancher
~ Make Computer Vision Easy ~
Rancher&Kubernetesで構築した映像解析クラスタ
Rancher Meetup Deep Dive #01@LINE株式会社
Mikihisa Hayashi
2000 - 2008: Software Engineer @ SURIGIKEN
2010 - 2015: Business Contents Producer @ Business Breakthrough
2015 - : Integration Division @ Future Standard
1994-2000: Mechanical Systems Engineering @ Yamagata University, Japan
2008 - 2009 : MBA @ University College Dublin, Ireland
IPカメラ
USBカメラ
IPカメラ
(Available RTMPS)
スマートフォン
カメラ
AI
ログ出力
ゲートウェイ
SCORER Edge
インプット 解析 アウトプット
複数のAIを管理
バックエンド / クラウド環境
アプリ / UI
フル?マネージドなクラ
ウド環境
AWS S3 AWS S3
SCORERの全体像:映像解析を最初から最後まで
外部API
AWS
Rekognition
Azure
Cognitive Service
独自の配信システム
閲覧?操作?分析
データの共有
ユーザー環境
:SCORER対応範囲
Why Rancher?
● AIを”部品”として利用するため、アルゴリズムはすべてContainerとして
利用
● 動画の取得、再生、AI本体等の機能毎にContainerが分離
● ユーザからのUIにより解析が実行されるので、バッチジョブ形式のコンテナが複数
動作する
上記の条件を満たすため、柔軟なコンテナオーケストレーションが必要
Rancher1.6の課題
● システムの柔軟性/信頼性
○ サービス開始当初に Rancher1.6を選定し、Rancher CLIによるJob管理によってバッチJobを実現
していたが、柔軟性/信頼性の面で課題が多かった。
● ホストのリソース管理
○ アルゴリズムによって、 CPU処理を行うHostとGPU処理を行うHostを使い分ける必要があったが、
どのHostでJobを実行するかの選択が難しかった。(できないわけではないが …)
Rancher1.6上でこれらの課題を改善するよりは、早めにRancher2系に移行したほう
が改善が見込まれると判断
移行期間
約4か月
(アプリケーション開発1名、インフラ担当1名)
コード開発はRancher1.6で動作させていた”JobコンテナをStackとして起動させる”部分
を、”JobコンテナをPodとして起動させる”に変更させるのみ
移行後の構成(Rancher2.x)
● クラスタの内部でCPU/GPUが混在
● クラスタ内部で本番環境、開発環境が統合
● 搁补苍肠丑别谤-惭补苍补驳别谤の管理用贰颁2インスタンスの数を削减
移行後の構成
(Rancher2.x)
CPU/GPU
本番/開発混在
環境
本番環境と開発環境のパーティショニング
本番環境と開発環境は、同一の基盤(NodePool)上で、Rancher2.xのProjectによって
分割されている。
実際の構成
管理下にある計算Nodeは、
統合されており、かつ、マルチ
AZ構成により信頼性を高めて
いる。
Rancher公式ドキュメントの
HA構成にほぼ準拠。
マルチクラウド/オンプレ混在構成へ
Rancher2への移行により、複数のKubernetesクラスタを一括管理できるようになったた
め、ComputingResourceを柔軟に組み合わせる事ができるようになった。
On-Premises
まとめ
● Rancher 2系に移行して今の所安定稼働してます
● Kubernetes利用により、オンプレを利用したスケールの可能性が見えた
● 必要に応じて本家のIssueを調べたりして頑張りました
WANTED!!
現在のチーム構成

More Related Content

Rancher meetupdeepdive#01 LT