Масштабирование CinemaVR
- 2. Про VRTech и меня • VRTech – фонд, вкладывается в VR-проекты • Андрей Татаринов • CTO в VRTech • До этого CTO в Спутник, Zvooq, Enter
- 3. Про CinemaVR • Сеть аттракционов виртуальной реальности • Размещение рядом с кинотеатрами в Москве и Петербурге • Модульная архитектура • Уникальные игры по сюжетам фильмов • Сеть франшиз
- 4. Сеть CinemaVR • Москва • Санкт-Петербург • Краснодар
- 5. Куб CinemaVR
- 6. Компоненты системы • VR • HTC Vive, SteamVR • Контент • Собственная разработка – unity/unreal • Сторонний контент • Управление локацией • Агент – C# • Сервер локации – Ruby on Rails • Глобальный сервер – Ruby on Rails • Управление конфигурацией • Chef • Мониторинг/Аналитика • Prometheus, Grafana, Kibana, Jupyter
- 7. CinemaVR в цифрах • На момент запуска • 10 локаций • 40 Win-машин + 10 Linux-серверов • Сейчас • 40 локаций • 100 Win-машин + 40 Linux-серверов • Облако
- 8. Подход к разработке • Итеративное развитие • Минимизация необратимых решений • Постоянное изменение • Контроль сложности • (!) Баланс временных и постоянных решений • Вовремя превращать временное в постоянное
- 9. Платформа CinemaVR • Централизованное управление и поддержка • Автоматизация бизнес-процессов • Низкие требования к обслуживающему персоналу • Устойчивость к внешним условиям
- 10. Интернет
- 11. Задачи платформы • Управление конфигурацией / дистрибуция контента • Мониторинг • Управление локацией
- 12. Управление конфигурацией • Централизованное управление • Необратимое решение • Кандидаты: • Ansible, Chef, Puppet, Salt, …
- 13. Управление конфигурацией • Push • Нет агента • Проще, удобнее, интуитивнее • Ansible, (?)Salt • Pull • Агент на каждом хосте • Сложнее в настройке • Chef, Puppet • Подходит только pull • Хост может быть недоступен – интернет • Изменение может не примениться с первого раза – интернет • Chef, т.к. Puppet платный для Windows
- 16. Управление конфигурацией 1. Установить Win 10 Pro 2. Запустить bootstrap chef-client
- 21. Дистрибуция контента • Игры большие • 2-10Гб / игра • 5-7 апдейтов после релиза
- 31. Мониторинг
- 32. Мониторинг • Nagios/Zabbix • Не достаточно гибкие в работе с метриками • Graphite • Не выдержал нагрузку по количеству метрик • Prometheus • Ок
- 33. Мониторинг • ~700 метрик с локации → всего 26~28K метрик • Сбор каждые 15 секунд
- 34. Мониторинг • ~700 метрик с локации → всего 26~28K метрик • Сбор каждые 15 секунд • CPU/Диск/Память/Сеть • GPU – нагрузка/память/температура • Бизнес-процессы – версия и работоспособность компонент, версия игр, факт запуска игры и тп
- 35. Мониторинг
- 36. Мониторинг
- 37. Алерты • Системные метрики • GPU • Работоспособность систем: • Сервер локации • Статус работы chef • Синхронизация • Время срабатывания – 10 ~ 60 мин
- 38. Алерты
- 39. Алерты
- 40. Управление локацией • Обслуживание одного клиента • Принять билет/промокод • Зарегистрировать в системе • Запустить игру • Остановить игру по истечении сессии • Сохранить результат (игровой счет) • Должно работать всегда
- 44. Синхронизация данных Централизованные процессы: • Промокоды • Лояльность • Скоринг • Отчетность / аналитика Ограничение: • Не копировать полную информацию на каждую локацию
- 45. Синхронизация данных Промокоды: • Выдать промокод по запросу • Принять на площадке / валидировать • Погасить • Сформировать отчетность по использованию
- 47. Синхронизация данных Новые вводные: • Уникальные промокоды (с привязкой к телефону) • Разные свойства (длительность, допустимый контент)
- 56. Выводы Хорошо: • Начинать с простого, временного решения • Переделывать по мере необходимости • Минимизировать необратимые решения • Контролировать баланс временных и постоянных решений • Поддерживать общую сложность так, чтобы обойтись без rock- stars