API в SAAS, с облаком и без: ресурсы, SLA, балансировка, расширяемость
0 likes464 views
"Особенности SaaS под углом платного доступа к API и ресурсам" Проблемный домен — введение в управление ресурсами SaaS решения SLA и требования к отказоустойчивости Алгоритмы балансировки запросов API Расширяемость решения в облачной инфраструктуре Вычислительная сложность задач и управлении запросами пользователей Пути решения и выбор инструментов, расширение их возможностей Выводы
More Related Content
What's hot (7)
Viewers also liked (7)
Similar to API в SAAS, с облаком и без: ресурсы, SLA, балансировка, расширяемость (20)
More from EatDog (18)
API в SAAS, с облаком и без: ресурсы, SLA, балансировка, расширяемость
- 1. API в SAAS, с облаком и без ресурсы, SLA, балансировка, расширяемость и всякая чепуха
- 2. Обо мне • Егор Назаркин • So ware Engineer • Киев, Украина
- 3. Easy-to-use Machine Learning service that helps people build models and predict on them.
- 4. внутри платформы intake transform build serve client
- 6. примеры использования приложение на входе на выходе рекомендации товаров клик по позиции список “похожих” исследование и предсказание цены недвижимость, авиабилеты динамика и склонность (вероятность) изменения поиск мошенничества атрибуты транзакции принять/ отклонить транзакцию вовлеченность в игру игровая активность изменение сложности
- 7. типичное (wsgi) приложение Web Appclient reverse proxy
- 8. конфигурация
- 9. round robin Web Appclient reverse proxy balancer
- 10. конфигурация
- 11. Проблемы • предсказания делаются на обученых моделях • модель может занимать гигабайты памяти • обработка запроса длится от 20 до 600 миллисекунд • загрузка в память занимает в 10-30 раз больше времени
- 12. Каждому узлу по собственной модели 1 2 3 4 5 6node client reverse proxy balancer
- 13. Hash ключ
- 14. Конфигурация
- 15. Пропадание узла • умирает один сервер —нужно перебалансировать всю систему 4 / 12 3 / 12 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12
- 18. С nginx 160 * weight h ps://www.nginx.com/resources/wiki/modules/consistent_hash/
- 19. И что?
- 20. Почему не подходит? • пассивная проверка хоста • необходимость обновления конфигурации на всех узлах (вспомнить про consul) • нужен “прогрев” моделей в кеше узла • масштабирование?
- 23. uWSGI
- 24. fil屹.
- 25. Controller.lua
- 26. Controller.py
- 27. Controller.py
- 28. Controller.py
- 29. Controller.py
- 30. Controller.py
- 31. Mappers • Random • Hash • Hash Ring • Model weight
- 32. Random
- 33. Hash
- 34. Model weight m1 m2 h1 h2 h3 h4
- 35. Model weight
- 36. Hash ring
- 37. Hash ring
- 39. Итоги • Know your instrument! • Сопротивляйся • Минимизируй зоопарк решений • Старайся уменьшить объем работы • Конфигурация • Расширяемость • Тестирование
- 40. Ссылки • So You Wanna Go On-prem Do Ya —h p://bit.ly/1THE0CS • HAProxy zero-downtime, zero-delay reloads with multibinder —h p://bit.ly/2gp4dwC • Autoscaled Internal Load Balancing using HAProxy and Consul on Compute Engine —h ps://goo.gl/ZZPDCr • load balancing и оптимальная загрузка кластера — h ps:// goo.gl/kbDTP8 • Prediction API as a service on premise solution —h p://bit.ly/ 2hkzna1
- 41. Вопросы?