Пайплайн машинного обучения на Apache Spark
•Download as PPTX, PDF•
0 likes•237 views
Что у нас было до Spark, как мы к нему пришли, и при чем здесь математики-программисты?
![Pandas vs Spark Dataframe
import pandas as pd
!hive -e "select * from users" >
dt.csv
df = pd.read_csv("dt.csv")
counts = df[df.age > 30]
.groupby("sex")
.count()
from pyspark.sql import HiveContext
ctx = HiveContext(sc)
df = ctx.sql("select * from
users")
counts = df[df.age > 30]
.groupby("sex")
.count()](https://image.slidesharecdn.com/random-170428112607/85/Apache-Spark-30-320.jpg)
Пайплайн машинного обучения на Apache Spark
- 4. Moscow Spark
- 9. В Rambler&Co Spark используют • Отдел машинного обучения (10 человек) • DMP (8 человек) • Топ-100 (3 человека)
- 10. Полная версия доклада «Пайплайн машинного обучения на Apache Spark» доступна на http://www.highload.ru/2016/abstracts/2447.html
- 12. Что хотим от математика-программиста? • Качественные эксперименты быстро • Доведение эксперимента до продакшена • Поддержка и багфиксы
- 13. WTF is this shit?!
- 14. All my code works! And I didn’t break the build!
- 15. Качественный эксперимент быстро • Знакомое окружение • Все новое и крутое
- 16. Эксперимент в продакшене • Простое тестирование • Окружение как на продакшене • Автоматизация
- 17. Эксплуатация и багфиксы • Простой и наглядный мониторинг • Адресные оповещения • Доступная отладка
- 20. You got a problem with that?!
- 22. Со стриммингом одни проблемы (
- 23. Diagnostic Messages for this Task: Error: java.lang.RuntimeException: Hive Runtime Error while closing operators SELECT TRANSFORM(*) USING 'python script.py’ FROM table;
- 24. Очень долго готовить данные
- 25. Типичный алгоритм эксперимента • Выгрузить сэмпл из Hive • Сконвертировать в Pandas • Поиграть с данными • Понять, что чего-то не хватает • Выгрузить другой сэмпл из Hive…
- 28. Почему ?
- 29. It is in-memory and there is a Python API!
- 30. Pandas vs Spark Dataframe import pandas as pd !hive -e "select * from users" > dt.csv df = pd.read_csv("dt.csv") counts = df[df.age > 30] .groupby("sex") .count() from pyspark.sql import HiveContext ctx = HiveContext(sc) df = ctx.sql("select * from users") counts = df[df.age > 30] .groupby("sex") .count()
- 31. А на самом деле…
- 32. SPARK-15139 PySPark TreeEnsemble missing methods SPARK-18177 Add missing ‘subsamplingRate’ of pyspark GBTClassifier SPARK-17025 Cannot persist PySpark ML Pipeline model that includes custom Transformer SPARK-15194 Add Python ML API for MultivariateGaussian
- 33. Use XGBoost, Luke © Unknown Kaggler
- 34. Почему мы не используем Spark.ML?
- 35. Причина №1 • Vowpal Wabbit и XGBoost в старом пайплайне • Новый код для напилки фич
- 36. Причина №2 SPARK-14374 PySpark ml GBTClassifier, Regressor support export/import (Resolved: 15/Apr/16) SPARK-13034 PySpark ml.classification support export/import (Resolved: 16/Mar/16)
- 37. Причина №3Качествонаобучении Объем обучающей выборки
- 38. Но мы верили, что все изменится :)
- 39. СПАСИБО!