Динамическая аллокация ресурсов или как жить в условиях общежития?
•Download as PPTX, PDF•
1 like•1,931 views
При помощи динамической аллокации ресурсов в Spark можно добиться того, чтобы задача получала дополнительные ресурсы, если таковые имеются в свободном пуле. Таким образом, иногда, можно использовать всю мощь кластера и быстрее проводить вычисления. В докладе я расскажу, как динамическая аллокация ресурсов помогла сделать возможной работу 30-40 студентов в условиях приближающегося дедлайна по лабораторным работам и жить всем в счастье.
Динамическая аллокация ресурсов или как жить в условиях общежития?
- 1. Динамическая аллокация ресурсов или как жить в условиях общежития MOSCOW SPARK #2
- 2. Вопрос в зал Сколько человек у вас в компании пользуется спарком?
- 3. Наш кейс 35-40 порой одновременных пользователей
- 4. Предыстория - Кто вы? - Мы образовательная компания. Есть 4 программы в области данных.
- 5. Предыстория
- 7. Предыстория Кластер состоит из 6 серверов. Каждый сервер: • 120 ГБ RAM • 24 ядра • 1 ТБ диск
- 10. Делёжка ресурсов Стандартный вариант: каждому application выделяется фиксированное количество ресурсов.
- 11. Делёжка ресурсов 114 ядер мы могли бы довести до 120. Равномерно поделить среди 40 юзеров. Каждому по 3 ядра. И 11 гигов оперативки.
- 12. Делёжка ресурсов
- 13. Динамическая аллокация Другой вариант: включить динамическую аллокацию. Тогда Spark будет выдавать под тяжелые джобы больше ресурсов, когда кластер свободен.
- 14. Динамическая аллокация Другой вариант: включить динамическую аллокацию. Тогда Spark будет выдавать под тяжелые джобы больше ресурсов, когда кластер свободен. 🔥 spark.dynamicAllocation.enabled=true spark.shuffle.service.enabled=true
- 15. Динамическая аллокация Spark выдает таскам экзекьюторы. Под каждый экзекьютор YARN выдает контейнер, состоящий из памяти и ядер. Настраивается это в YARN.
- 16. Динамическая аллокация Супер! Ресурсы динамически выдаются, но… не всегда забираются обратно 😭
- 17. Динамическая аллокация Супер! Ресурсы динамически выдаются, но… не всегда забираются обратно 😭 spark.dynamicAllocation.executorIdleTimeout=60s spark.dynamicAllocation.cachedExecutorIdleTimeout=600s
- 18. Динамическая аллокация Но порой кто-то мог всё равно занимать часами весь кластер своим джобом 😤
- 19. Динамическая аллокация Но порой кто-то мог всё равно занимать часами весь кластер своим джобом 😤 spark.dynamicAllocation.maxExecutors=19
- 20. Итог 1. Более эффективное использование ресурсов даже при большом количестве одновременных юзеров. 2. Более равномерная загрузка кластера за счёт правильных стимулов.
- 21. Bonus track: другие проблемы общежития
- 22. Порты И вот идёт занятие. Опоздавшие не могут получить Spark Context. spark.port.maxRetries=50
- 23. Джарники Подтягивание jar-файлов, необходимых для работы. spark.yarn.archive=hdfs:///tmp/spark-archive.zip
- 24. Kryo Сериалайзер может быть быстрее. spark.serializer=org.apache.spark.serializer.KryoSerializer
- 25. Обновление до 2.1.1 Запускаем. Ошибка. java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig 😡
- 26. Обновление до 2.1.1 Запускаем. Ошибка. java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig 😡 Нужно скачать версию jersey 1.17.1 и добавить в тот самый архив на HDFS.
- 27. Обновление до 2.1.1 Новая ошибка! 😩 org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master
- 28. Обновление до 2.1.1 Новая ошибка! 😩 org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master В логах application’а нашли такое: /usr/hdp/${hdp.version}/hadoop/lib/hadoop-lzo-0.6.0.${hdp.version}.jar
- 29. Обновление до 2.1.1 Новая ошибка! 😩 org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master Решение. Прописать параметр в настройках YARN hdp.version=2.5.3.0-37
- 30. Обновление до 2.1.1 И вот оно занятие. Но в какой-то момент ресурсы перестают выдаваться опять! 🤦♂️
- 31. Обновление до 2.1.1 И вот оно занятие. Но в какой-то момент ресурсы перестают выдаваться опять! 🤦♂️ Оказалось, что нужно изменить параметр в настройках YARN: yarn.scheduler.capacity.maximum-am-resource-percent=1.0
- 32. Ссылки 1. https://habrahabr.ru/company/npl/blog/327556/ - мой пост на Хабре 2. Старый пост на Medium 3. http://spark.apache.org/docs/latest/running-on-yarn.html 4. http://spark.apache.org/docs/latest/configuration.html
- 33. Контакты Артем Пичугин Head of data-related programs apichugin@newprolab.com