Тензорные разложения для рекомендаций на Spark
•Download as PPTX, PDF•
0 likes•108 views
В Spark.ML для рекомендаций присутствует реализация алгоритма ALS, который достаточно хорошо себя показывает в большинстве реальных примеров. В докладе я хочу представить свою реализацию на Spark алгоритма iTALS, который является обобщением алгоритма матричных разложений ALS для тензоров. Такой алгоритм позволяет учитывать контекст в рекомендациях, делать их более точными и гибкими. В докладе будет рассказано о результатах сравнительного эксперимента ALS и iTALS.
Тензорные разложения для рекомендаций на Spark
- 2. План 1. Что такое Zvooq? 2. Рекомендательные системы и ALS 3. Тензорный ALS и Spark
- 4. Zvooq — это музыка на любой случай жизни
- 5. Zvooq — это • миллион активных пользователей • 30+ миллионов треков • сотни плейлистов
- 7. Коллаборативная фильтрация • Рекомендации на основе пользовательской истории • Похожая история — похожие предпочтения • Никаких знаний о доменной области
- 8. Типы данных • Explicit feedback — оценки по шкале от 1 до 10 • Implicit feedback — лайки, просмотры
- 10. Alternating Least Squares + Популярный + Точный
- 11. Alternating Least Squares - Не гибкий - Не позволяет учитывать другие факторы - Не учитывает разносортный feedback
- 12. Что позволяет ALS? Строим модель Считаем вектора Находим похожие треки Составляем ежедневную подборку Отбираем релизы в жанре
- 14. Тензорный ALS
- 15. Зачем? • Рекомендации покруче 😎 • Остаться в старой парадигме
- 16. Тензорный ALS Оценки Объекты Пользователи Пользователи Объекты Контекст Векторы Векторы ВекторыХ Х
- 17. Тензорный ALS • Те же события • Новые сущности • Та же парадигма
- 18. Контекст • Предыдущий объект • Период времени • Что угодно
- 19. Предыдущий объект как контекст Было: Стало: (user, item, #playevents) (user, item, previous_item, #playevents)
- 20. Предыдущий объект как контекст • Обучение поведенческим паттернам • Предсказывание последовательностей
- 21. Период времени как контекст Было: Стало: (user, item, #playevents) (user, item, period, #playevents)
- 22. Период времени как контекст • Разбить сутки на часы • Месяцы на дни • Годы на сезоны «Музыка для вашего вечера» «Летние мелодии»
- 23. Есть ли границы? • Игра не стоит свеч • Больше размерность — более разреженные данные 👎 • Время обучения растет 👎
- 24. Реализация. Почему Spark? • Python • Многопоточность • Данные не влезали на одну машину
- 25. iTALS
- 26. Проблема: Skew Партиции здорового человека Партиции курильщика
- 27. Решение: Salting • Добавим в каждый элемент случайную «соль» • Join по (ключ, соль) • Reduce’им и удаляем «соль»
- 28. Решение: изолированный Join • Фильтруем изолированные ключи • Делаем Map/Join/Aggregate • Делаем Reduce на оставшихся • Заканчиваем Union’ом
- 29. Сравнение Время обучения, с Recall Precision Base ALS 251.32 0.199 0.032 Single-thread iTALS 1822.25 0.243 0.047 iTALS+CG 402.58 0.230 0.045 Контейнеры Ядра Память 5 3 15 Gb
- 30. Сравнение
- 31. Вопросы? Алексей Петров Data / ML engineer ap@zvooq.com Telegram: @petrovale