Apache hadoop yarn 勉強会 8. capacity scheduler in yarn
- 1. Apache Hadoop YARN勉強会 8. Capacity Scheduler in YARN Shuya Tsukamoto 2016/09/08
- 2. Apache Hadoop YARN勉強会 今回は８章 Capacity Scheduler in YARN 複数の組織?ユーザでクラスタを共有する話
- 3. Hadoop ver.1 Capacity Scheduling自体はVersion1時代からある概念 CapacityTaskScheduler Ver1のリソース単位はスロット, Ver2はコンテナ Ver2のCapacitySchedulerの概念の多くはVer1のCapacityTaskSchedulerを継承している
- 6. Capacity Scheduler Configuration CapacitySchedulerはcapacity-scheduler.xmlに依存 capacity-scheduler.xmlを変更した後で、以下のコマンドで実行中に適用可能 yarn rmadmin -refreshQueues クラスタの管理者(yarn.admin.aclで設定されたユーザ)のみ実行可能
- 7. Queues
- 9. Queues ● A short queue name ● A full queue path name ● A list of child queues and applications associated with them ● Guaranteed capacity of the queue ● Maximum capacity to which a queue can grow ● A list of active users and the corresponding limits of sharing between users ● State of the queue ● ACLs governing the access to the queue いろいろあるけど全部後の節で詳しく語られる
- 12. 2種類のQueue ● parent queues ● leaf queues
- 13. parent queues ● 組織やサブ組織のリソース管理を可能にする ● 親queueや葉queueを含むことができる ● 直接アプリケーションの投稿を受けることはできない ● 最上位の親queue(ROOTのところ?)はROOT queueと呼ばれる ● クラスタ自体を意味する
- 14. leaf queues ● 親queueの下にいる ● アプリケーションの投稿を受け付ける ● 子はいない
- 16. Scheduling Among Queues ROOT queueはfirst level親queue間で配るキャパシティの量と、 子queueスケジューリングの実行を理解している 各親queueも同じキャパシティ制約に従う 葉queueは同時に1ユーザがそのqueue内で取得できるリソースの制限を配慮しつつ、アク ティブなアプリケーションのリストを持つ...?(自信なし) (potentially from multiple users, and schedule resources)
- 17. Defining Hierarchical Queues Hadoop ver1時代はフラットなqueueだったが、階層的に ユニークなqueue pathsが必要 ROOT queueからドット区切りで記述（例、後述）
- 20. Queue Access Control e.g. “sherlock,pacioli cfo-group” sherlock,pacioliユーザとcfo-groupグループがアクセス可能 e.g. “ cfo-group” cfo-groupグループがアクセス可能 e.g. “*” 全員アクセス可能
- 21. Capacity Management with Queues
- 22. Capacity Management with Queues 複数の親queues, 葉queues(つまり複数の組織)がある中で、どうやってキャパシティを割り 当てるかの話 一言で言うとqueueごとに比率を設定して分配
- 23. Capacity Management with Queues
- 24. Capacity Management with Queues yarn.scheduler.capacity.root.grumpy-engineers.capacity = 60 同様にfinance-wizards = 10, marketing-moguls = 30 (合計は100%以下でなければならない)
- 25. Capacity Management with Queues 葉queues にも設定可能 yarn.scheduler.capacity.root.grumpy-engineers.infinite-monkeys.capacity = 20 同様にpesky-testers = 80
- 26. Capacity Management with Queues クラスタ全体で1000GBのキャパシティがあると想定 grumpy-engineersは60%なので600GB infinite-monkeys 20%, pesky-testers 80%なので、それぞれ 120GB, 480GB割り当てられる
- 27. User Limits
- 31. Reservations
- 33. State of the Queues
- 34. State of the Queues queueにはRUNNINGとSTOPPEDの２つの状態がある デフォルトはRUNNING STOPPEDだとアプリケーション投稿を受け付けない 親queueも葉queueも停止可能 親queueを停止すると子孫のqueueuも無効に
- 35. State of the Queues 設定例 yarn.scheduler.capacity.root.finance-wizards.state RUNNING ユーザが他のキューを利用するように移行するときなどに使える 現在実行中のアプリの完了を待ちつつ、新規実行を停止できる
- 37. Limits on Applications 投稿されたアプリケーションの最大数の制限(running + pending) デフォルトは10000 アクシデントや悪意のあるユーザによる手に負えない負荷に起因するスラッシン グ?(system thrash)を防ぐためのもの yarn.scheduler.capacity.maximum-applications で調整可能 yarn.scheduler.capacity.<queue-path>.maximum-applications で上書き可能
- 38. Limits on Applications (ApplicationMaster) ApplicationMaster(AM)が大量に立ち上がってコンテナリリース待ち(cross-application deadlock)になるとマズい AMがクラスタ内で利用できるリソースの制限。デフォルト10% yarn.scheduler.capacity.maximum-am-resource-percent これも yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent で上書き可能
- 39. User Interface