�ݺ�ߣ

Обзор алгоритмов
генерации ракурсов
для многоракурсных видео
Максим Колиниченко
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Hybrid Motion/Depth-Oriented Inpainting
 Depth Image-Based Rendering for 3D Video
 Spatio-Temporally Consistent View Synthesis
 Заключение
2

Only for
Maxus 
Постановка задачи (1)
Задача – построить новый ракурс для сцены,
изображенной в видео
Решение этой задачи требуется
при конвертации:
 2D+Z в многоракурсное видео
 Стереовидео в многоракурсное
 Многоракурсное с n ракурсами
в многоракурсное с n+k ракурсами
3

Only for
Maxus 
Постановка задачи (2)
Общий подход к решению:
 Вычисление глубины сцены
 Преобразование реальных ракурсов
к позиции виртуальной камеры
с учетом информации о глубине
Основная проблема – заполнение областей
открытия
Области открытия могут быть заполнены с учетом
информации о движении в видео
4

Only for
Maxus 
5

Only for
Maxus 
Вход: два реальных ракурса, информация
о глубине и движении в этих ракурсах
1. Деформация и смешивание реальных
ракурсов
2. Коррекция артефактов деформации
 С использованием глубины
 С использованием информации о движении
Выход: синтезированный ракурс
6K.-Y. Chen et al., “Hybrid motion/depth-oriented inpainting for virtual
view synthesis in multiview applications,” in 3DTV-Conference, 2010
Hybrid Inpainting
Описание алгоритма

Only for
Maxus 
Алгоритм
Деформация ракурсов

Only for
Maxus 
Алгоритм
Деформация ракурсов (2)

Only for
Maxus 
Классификация артефактов
 Округление нецелочисленных
значений смещения при деформации
 Несовпадение границ объектов
с границами на картах глубины
 Отсутствие необходимой визуальной
информации на обоих ракурсах
 Выход за границы кадра в обоих
исходных ракурсах

Only for
Maxus 
10P.-K. Tsung et al., “Single iteration view interpolation for multiview
video applications,” in 3DTV-Conference, 2009
Коррекция артефактов (1)
Необходимость в округлении отпадает
при использовании интерполяции. Авторы
используют билинейную интерполяцию
с учетом глубины

Only for
Maxus 
11
Неизвестная область расширяется
и заполняется с другого ракурса,
где эта область не является граничной
P.-K. Tsung et al., “Single iteration view interpolation for multiview
video applications,” in 3DTV-Conference, 2009

Only for
Maxus 

Only for
Maxus 
Отслеживая положения углов исходных
ракурсов после деформации, можем получить
карту областей, находящихся за границей
обоих исходных ракурсов
Для этих областей применяется
пространственный Inpainting

Only for
Maxus 

Only for
Maxus 
Результаты
OpenCV Inpainting

Only for
Maxus 
Результаты
Предложенный алгоритм

Only for
Maxus 
Выводы
Достоинства:
 Классификация артефактов
 Активное использование информации
о глубине и движении
Недостаток:
 Результат работы алгоритма сильно
зависит от качества карты глубины

Only for
Maxus 
 Depth Image-Based Rendering for 3D
Video
18

Only for
Maxus 
Вход – реальный ракурс, карта глубины
этого ракурса
1. Деформация реального ракурса и его
глубины
2. Заполнение неизвестных областей
1. Карты глубины
2. Нового ракурса с использованием
информации о движении фона
Выход – синтезированный ракурс
19
P. Ndjiki-Nya et al., “Depth Image-Based Rendering
With Advanced Texture Synthesis for 3-D Video,”
in IEEE Transactions on Multimedia, 2011
Алгоритм
Общее описание

Only for
Maxus 
20
Деформированная
карта глубины
Окрестность точки
на границе заполняемой
области
Гистограмма глубин
для указанной
окрестности
Коррекция карты глубины
Алгоритм (1)

Only for
Maxus 
21
Алгоритм (2)





 ),1(,
,
, ),(
min),(
),(
min
),(
),1( yx
cD
c
D
D
yx
yx
yx
yx
yx
иначе
если
),( yxD
),(
min
yx
с

– значение глубины в точке (x,y)
– неизвестная область на карте глубины
– значение минимального пика гистограммы
глубины по окрестности точки (x,y)

Only for
Maxus 
22
Деформированная
карта глубины
Предложенный алгоритм Линейная интерполяция
(stretch)
Результат

Only for
Maxus 
23
Построение спрайта (1)
Кадр последовательности Спрайт фона Спрайт глубины
В спрайтах накапливается информация об объектах
заднего плана и их глубине для заполнения неизвестных
областей и поддержания временной стабильности

Only for
Maxus 
24
Построение спрайта (2)
Кадр последовательности Спрайт фона Спрайт глубины
Спрайт обновляется после обработки каждого кадра
На основе информации о глубине определяется какие
участки изображения войдут в спрайт

Only for
Maxus 
25
Бесшовное копирование (1)
Неизвестная область изображения
заполняется областью R из спрайта фона
Точка принадлежит R, если:
 Эта точка в неизвестной области
на изображении
 Спрайт фона содержит информацию о ней
 Значение спрайта глубины в этой точке больше,
чем значение карты глубины изображения

Only for
Maxus 
26

Only for
Maxus 
27
g
f
gf 
иначе
корректнаграницаесли 







,||
,|*|
gf
ff

Only for
Maxus 
28
Результат
Визуальное сравнение
Предложенный
алгоритм
MPEGVSRS

Only for
Maxus 
29
Результат
Метрики

Only for
Maxus 
30
Выводы
Достоинство:
 Временная стабильность результата
Недостаток:
 Алгоритм никак не рассматривает случай
пересечения одного объекта c другим

Only for
Maxus 
 Spatio-Temporally Consistent
View Synthesis
31

Only for
Maxus 
Spatio-Temporally
Consistent View Synthesis
Вход: видеопоследовательность и ее глубина
1. Фильтрация глубины
2. Генерация крайних ракурсов
3. Получение необходимого числа ракурсов
(интерполяция)
Выход: многоракурсное видео
32
C.-M. Cheng et al., “Spatio-Temporally Consistent Novel View
Synthesis Algorithm From Video-Plus-Depth Sequences
for Autostereoscopic Displays,” in IEEE Trans. on Broadcasting, 2011

Only for
Maxus 
Алгоритм
Фильтрация глубины
33
параметрыблизостьвременная
глубинепоразница
цветупоразница
близостьскаягеометриче
фильтральногоквадлатеравеса
фильтрациипослеиддглубина



















tdis
t
T
d
D
i
BGRc
cc
I
s
S
TDIS
tvu
tvu
t
tf
ttvvuuDtvuD
tvutvuf
ttvvuuItvuI
tvutvuf
vu
vuf
wffffw
DD
w
ttvvuuDw
tvuD





,,,
),,(
2
22
),,(
),,(
;),exp()(
),
|),,(),,(|
exp(),,,,,(
),
)),,(),,((
exp(),,,,,(
),exp(),(
;
*,;
),,(
),,(*

Only for
Maxus 
Алгоритм
Заполнение неизвестных областей (1)
Для заполнения неизвестных областей применяется
пространственно-временной Exemplar-Based Inpainting
Каждому пикселю назначается приоритет P:
34









 









),(
),(),(
),(
,1
),(,0
),(
),(),(),(
),(),(),(
||
),(),(
),(),(
||||
vuD
vuGvuG
vuP
yx
yx
yxgyxvuG
yxgyxvuG
vuWyx
vuWyx
иначе

Only for
Maxus 
Алгоритм
Заполнение неизвестных областей (2)
1. Заполняем пиксели в порядке приоритета
2. В каждом кадре из временной окрестности
выбирается наиболее похожий по цвету и глубине
блок
3. Текущий пиксель заполняется взвешенной суммой
соответствующих значений из найденных блоков
4. Обновляются приоритеты неизвестных пикселей
35

Only for
Maxus 
Результат
Итерации заполнения
36

Only for
Maxus 
Результат
Сгенерированные ракурсы
37

Only for
Maxus 
38
Выводы
Достоинство:
 Высокое качество заполнения
Недостатки:
 Низкая скорость работы
 Склонен к размытию заполняемых областей

Only for
Maxus 
39

Only for
Maxus 
Свои результаты (1)
40

Only for
Maxus 
Свои результаты (2)
41

Only for
Maxus 
Где есть проблемы?
 Точность при сложном движении
 Выравнивание по цвету фрагментов
из разных кадров
42

Only for
Maxus 
Дальнейшие планы
 Реализовать основанный на глубине
временной Inpainting для 3D видео
 Реализовать многоуровневый временной
Inpainting для учета ситуации перекрытия
одного объекта другим
43

Only for
Maxus 
Литература
1. P. Ndjiki-Nya et al. “Depth Image-Based Rendering With Advanced
Texture Synthesis for 3-D Video”. in IEEE Transactions on Multimedia,
2011, pp. 453-465
2. P.-K. Tsung et al. “Single iteration view interpolation for multiview video
applications”. in 3DTV-Conference, Potsdam, Germany, 2009,
pp. 1-4
3. K.-Y. Chen et al. “Hybrid motion/depth-oriented inpainting for virtual
view synthesis in multiview applications”. in 3DTV-Conference,
Tampere, Finland, 2010, pp. 1-4
4. C.-M. Cheng et al. “Spatio-Temporally Consistent Novel View Synthesis
Algorithm From Video-Plus-Depth Sequences for Autostereoscopic
Displays,” in IEEE Transactions on Broadcasting, 2011, pp. 523-532
44

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ
и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
45

�ݺ�ߣ

Обзор алгоритмов генерации ракурсов для многоракурсных видео

More Related Content

Обзор алгоритмов генерации ракурсов для многоракурсных видео