2. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Заключение
2
3. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Постановка задачи
Движение в кадре:
Движение объектов
Намеренное движение камеры
Случайное движение камеры (дрожание)
Задача – удаление дрожания
Методы:
Аппаратная стабилизация (во время съемки)
Программная стабилизация (постобработка)
3
4. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Аппаратная стабилизация
Стабилизаторы:
Оптические
С подвижной матрицей
Цифровые
Во всех случаях перемещения камеры
фиксируются акселерометром
4
5. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Аппаратная стабилизация
Оптический стабилизатор
5
Система подвижных линз. При малых
колебаниях обеспечивает неподвижность
проекции изображения на матрицу
Единственный способ стабилизации
для пленочных камер
http://pz-rec.ru/userfiles/article_img/opticheskiy_stabilizator.jpg
6. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Аппаратная стабилизация
Подвижная матрица
Матрица закреплена на подвижной платформе
Стабилизация работает с любой оптикой
6http://rix.com.ua/sm/site/fileslibrary/2009_rew_aut/fototechnika/
pentax_k10d_stab.jpg
7. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Около 40% пикселей на матрице
не участвуют в формировании изображения
Самый дешевый способ стабилизации
Аппаратная стабилизация
Цифровая стабилизация
7http://photogid.com.ua/upload-files/canon5d/matrix-Canon-EOS-
5D-Mark-II.jpg
8. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Программная стабилизация
Основные этапы
Сглаживание траектории камеры
Удаление motion blur
Формирование новых кадров
Обрезка изображений
Заполнение пустых областей
8
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
9. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Традиционный подход
Optimal Camera Path
Удаление motion blur
Video completion
Заключение
9
10. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Сглаживание траектории
Задача:
1. Определить траекторию движения камеры
2. Построить новую траекторию,
сохраняющую плавные намеренные
движения камеры, и устранить дрожание
10
11. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Традиционный подход
11
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
12. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результат
12
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
13. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Выводы
Достоинства:
Траектория становится более гладкой,
подавляются высокочастотные колебания
Сохраняется направление намеренного
движения
Недостатки:
Низкочастотные колебания (шагающий человек)
сохраняются
Съемка все равно отличается
от профессиональной
13
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
14. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Традиционный подход
Optimal Camera Path
Удаление motion blur
Video completion
Заключение
14
15. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Идея алгоритма
15
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
Заменить траекторию камеры на ту, которая
содержит только участки с постоянной
координатой, скоростью или ускорением
16. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Задача
16
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
17. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Вложенность. Новый кадр
должен целиком содержаться
в старом. Гарантируем
корректность всех пикселей нового
кадра
Приближение. Новая траектория должна
сохранять основное направление
оригинальной
Алгоритм
Ограничения
17
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
18. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Минимизация производных
18
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
19. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Параметризация
19
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
20. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Линейное программирование
20
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
Сформулируем
усиленную задачу
линейного
программирования
Задача решается
симплекс-методом
21. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Весовые коэффициенты
21
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
22. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты
22
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
Траектория соответствует
кинематографическим принципам
Гибкий алгоритм. Добавляя и убирая
ограничения, можем управлять его поведением
23. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты
Видео
23
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
РезультатОригинал
24. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Реализация
24
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2011
http://youtube.com/editor – online
реализация стабилизатора
Работает в реальном времени
Один параметр – размер нового кадра
25. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Motion Deblurring
Dual-Frame Deblurring
Video completion
Заключение
25
26. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Удаление motion blur
26
Проблема: при стабилизации меняется
траектория движения камеры. Motion blur,
связанный со старым движением, смотрится
неестественно
Идея: заменить размытые пиксели
относительно более четкими из соседних
кадров
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
27. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Мера размытия
27
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
28. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Весовой коэффициент
28
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
29. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результат
29
Оригинал Результат
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
30. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Motion Deblurring
Dual-Frame Deblurring
Video completion
Заключение
30
31. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Восстановление ядра
31
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based
motion deblurring from an image pair", IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, 2009
32. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
32
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based
motion deblurring from an image pair", IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, 2009
33. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Ограничения на ядро
33
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based
motion deblurring from an image pair", IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, 2009
Природа motion blur: несколько точек
реального изображения формируют пиксель
Ядро размытия отражает кривую – траекторию,
проходимую камерой за время выдержки
Наложим ограничения, чтобы уменьшить
неоднозначность решения:
Ядро – разреженная матрица
Кривая, отражаемая в ядре, должна быть
неразрывной
34. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Метод решения
34
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based
motion deblurring from an image pair", IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, 2009
Авторы используют систему curvelet’ов, которая
дает максимально разреженное представление ядра
РезультатОригинальная пара изображений
35. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Заключение
35
36. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Задача
36
При серьезном дрожании область общего
перекрытия становится маленькой
Задача – качественно заполнить неизвестные
области информацией из прошлых кадров
37. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Motion inpainting
Space-time completion
Заключение
37
38. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Motion inpainting
38
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
39. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Начальное заполнение
39
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
40. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Приоритеты кадров
40
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
41. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Заполнение движением
41
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
42. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Весовые коэффициенты
42
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
43. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Алгоритм
Заполнение цветом
43
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
44. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Вход
Результаты (1)
44
Выход Оригинал
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
45. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Вход
Результаты (2)
45
Выход Оригинал
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
46. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Достоинство:
Универсальный. Применим для удаления
объектов, логотипов, надписей
Недостаток:
Сильно зависит от ошибки определения движения
Выводы
46
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
47. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты
Видео (1)
47
Оригинал Результат Заполнение
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
48. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты
Видео (2)
48
Оригинал Результат Заполнение
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
49. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Общая скорость – 2.2 fps @ Pentium4 @ 2.2 ГГц
Разрешение видео – 720х486, k = 6
Скорость работы
49
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, 2005
50. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Motion inpainting
Space-time completion
Заключение
50
51. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Space-time completion
51
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
52. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Мера согласованности
52
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
53. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Мера похожести
53
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
54. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Заполнение
54
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
55. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Оптимизация алгоритма
55
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
56. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты (1)
56
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
Оригинал Результат
57. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты (2)
57
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
58. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Результаты
Видео
58
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
ОригиналРезультат
59. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Достоинства:
Универсальность. Можно удалять целые кадры
из последовательности
Качественное восстановление даже при быстром
движении
Недостатки:
Низкая скорость на больших зонах заполнения
Выводы
59
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion",
IEEE Computer Society Conference on Computer Vision and
Pattern Recognition, 2004
60. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Заключение
60
61. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Заключение
В ходе рассмотрения этапов программной
стабилизации приводились алгоритмы:
Сглаживание траектории, удаление motion blur,
motion inpainting, составляющие полноценный
стабилизатор
Optimal Camera Path – элемент стабилизатора
из видеоредактора YouTube
Space-time completion, потенциально – замена
motion inpainting
Dual-frame Deblurring, как альтернативный
вариант удаления motion blur
61
62. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Литература
1. Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video
Stabilization", IEEE Computer Society Conference on Computer Vision
and Pattern Recognition, 2005.
2. M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization",
IEEE Computer Society Conference on Computer Vision and Pattern
Recognition, 2011.
3. J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion
deblurring from an image pair", IEEE Computer Society Conference
on Computer Vision and Pattern Recognition, 2009.
4. Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE
Computer Society Conference on Computer Vision and Pattern
Recognition, 2004.
62
63. CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ
и ИПМ им. Келдыша)
Выпускниками защищено 5 диссертаций
Наиболее популярные в мире сравнения
видеокодеков
Более 3 миллионов скачанных фильтров
обработки видео
63