More Related Content
What's hot (18)
Viewers also liked (16)
Similar to Как перезапустить проблемное приложение и одновременно отладить его (20)
Как перезапустить проблемное приложение и одновременно отладить его
- 1. И овцы целы, и волки сыты: как перезапустить проблемное приложение и одновременно отладить его И овцы целы, и волки сыты: как перезапустить проблемное приложение и одновременно отладить его Павел Емельянов Архитектор Нижний Новгород, 2016 Virtuozzo Z
- 2. DisclaimerDisclaimer ● С такими проблемами я лично не сталкивался ● Предлагаемое решение предназначалось для другого
- 3. ДаноДано ● “Боевой” сервер (in production) ● Проблемное приложение ● Зависло ● Тормозит ● Работает не так, как надо
- 4. Как решатьКак решать ● Разбор приложения ● Логи ● Strace/gdb ● /proc/$pid/* ● ... ● Разбор “окружения” ● Top, Tcpdump, (Io|Vm|Mp)stat, … ● /proc/*, /sys/* ● ...
- 5. Дано++:Дано++: ● “Боевой” сервер (in production) ● Проблемное приложение ● Зависло ● Тормозит ● Работает не так, как надо ● Вернуть всё к жизни как можно быстрее ● Перезапуск поможет
- 6. Как решать?Как решать? ● Забрать с собой как можно больше ● Логи ● Coredump ● /proc/$pid/* ● ... ● Перезапустить ● Сидеть и думать
- 7. ПроблемыПроблемы ● В собранном может оказаться недостаточно информации ● Память и регистры – не 100% состояния ● Часть информации не добывается простым способом ● Параметры сетевых соединений ● “Разделяемость” ресурсов ● Не-posix специфика Linux ● ... ● Статический анализ “посмертных слепков”
- 8. CRIUCRIU ● Checkpoint/Restore In Userspace ● Сохранение как можно более полного состояния процессов ● Восстановление процессов в другом месте и в другое время ● Делали для ● Живая миграция контейнеров ● Обновление ядра без перезагрузки
- 9. CRIUCRIU ● Пригодилось для ● Тестирования ● Снимков состояния для защиты от аварий (HPC) ● “Заморозки” удалённой терминальной сессии (screen/tmux) ● Обучения студентов IT-специальностей ● Отладки?
- 10. Сохранение состояния (dump)Сохранение состояния (dump) ● Остановка процессов freeze cgroup ● Получение максимально возможной информации о процессах и окружении ● Ptrace ● Proc ● Parasite code injection ● Много нового API было сделано для CRIU
- 11. Восстановление (restore)Восстановление (restore) ● CRIU fork()-ается нужное число раз ● Каждый процесс восстанавливает сам себя ● В конце кульбит – продолжение выполнение прерванного кода
- 12. Отладка с помощью CRIUОтладка с помощью CRIU ● Сохранить состояние проблемного приложения ● Скопировать файлы с состоянием на свою машину ● Перезапустить ● У себя ● Восстановить у себя и … “свели задачу к предыдущей” ● Изучать файлы образы
- 13. СохранениеСохранение ● criudumptree$pidimagesdirdirectory/ Команда сохранить состояние ID процесса – корня дерева Директория для записи файлов-образов
- 14. ОсобенностиОсобенности ● Не всегда возможно ● Мы работаем над этим ● До недавнего времени требовались root привилегии ● Политики безопасности в ядре ● Внешние связи ● TCP/Unix сокеты ● Сессия
- 15. ВосстановлениеВосстановление ● criurestoreimagesdirdirectory/ Команда восстановления Директория с файлами-образами
- 16. ОсобенностиОсобенности ● Конфликт идентификаторов ● Надо восстанавливать внутрь контейнера ● Требуются root привилегии ● В следующей версии будет легче ● Внешние связи ● Нет универсального решения
- 17. Файлы образыФайлы образы ● Утилита CRIT ● Перевод в json (и обратно) ● Печать статистической информации ● ps, lsof, ... ● Criu-coredump – генерация core
- 18. Что почитатьЧто почитать ● https://criu.org ● +CriuOrg, @__criu__ ● criu@openvz.org ● https://github.com/xemul/criu