�ݺ�ߣ

Обзор алгоритмов
генерации ракурсов
для многоракурсных видео
Максим Колиниченко
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Hybrid Motion/Depth-Oriented Inpainting
 Depth Image-Based Rendering for 3D Video
 Spatio-Temporally Consistent View Synthesis
 Заключение
2

Only for
Maxus 
Постановка задачи (1)
Задача – построить новый ракурс для сцены,
изображенной в видео
Решение этой задачи требуется
при конвертации:
 2D+Z в многоракурсное видео
 Стереовидео в многоракурсное
 Многоракурсное с n ракурсами
в многоракурсное с n+k ракурсами
3

Only for
Maxus 
Постановка задачи (2)
Общий подход к решению:
 Вычисление глубины сцены
 Преобразование реальных ракурсов
к позиции виртуальной камеры
с учетом информации о глубине
Основная проблема – заполнение областей
открытия
Области открытия могут быть заполнены с учетом
информации о движении в видео
4

Only for
Maxus 
5

Only for
Maxus 
Вход: два реальных ракурса, информация
о глубине и движении в этих ракурсах
1. Деформация и смешивание реальных
ракурсов
2. Коррекция артефактов деформации
 С использованием глубины
 С использованием информации о движении
Выход: синтезированный ракурс
6K.-Y. Chen et al., “Hybrid motion/depth-oriented inpainting for virtual
view synthesis in multiview applications,” in 3DTV-Conference, 2010
Hybrid Inpainting
Описание алгоритма

Only for
Maxus 
Алгоритм
Деформация ракурсов

Only for
Maxus 
Алгоритм
Деформация ракурсов (2)

Only for
Maxus 
Классификация артефактов
 Округление нецелочисленных
значений смещения при деформации
 Несовпадение границ объектов
с границами на картах глубины
 Отсутствие необходимой визуальной
информации на обоих ракурсах
 Выход за границы кадра в обоих
исходных ракурсах

Only for
Maxus 
10P.-K. Tsung et al., “Single iteration view interpolation for multiview
video applications,” in 3DTV-Conference, 2009
Коррекция артефактов (1)
Необходимость в округлении отпадает
при использовании интерполяции. Авторы
используют билинейную интерполяцию
с учетом глубины

Only for
Maxus 
11
Неизвестная область расширяется
и заполняется с другого ракурса,
где эта область не является граничной
P.-K. Tsung et al., “Single iteration view interpolation for multiview
video applications,” in 3DTV-Conference, 2009

Only for
Maxus 

Only for
Maxus 
Отслеживая положения углов исходных
ракурсов после деформации, можем получить
карту областей, находящихся за границей
обоих исходных ракурсов
Для этих областей применяется
пространственный Inpainting

Only for
Maxus 

Only for
Maxus 
Результаты
OpenCV Inpainting

Only for
Maxus 
Результаты
Предложенный алгоритм

Only for
Maxus 
Выводы
Достоинства:
 Классификация артефактов
 Активное использование информации
о глубине и движении
Недостаток:
 Результат работы алгоритма сильно
зависит от качества карты глубины

Only for
Maxus 
 Depth Image-Based Rendering for 3D
Video
18

Only for
Maxus 
Вход – реальный ракурс, карта глубины
этого ракурса
1. Деформация реального ракурса и его
глубины
2. Заполнение неизвестных областей
1. Карты глубины
2. Нового ракурса с использованием
информации о движении фона
Выход – синтезированный ракурс
19
P. Ndjiki-Nya et al., “Depth Image-Based Rendering
With Advanced Texture Synthesis for 3-D Video,”
in IEEE Transactions on Multimedia, 2011
Алгоритм
Общее описание

Only for
Maxus 
20
Деформированная
карта глубины
Окрестность точки
на границе заполняемой
области
Гистограмма глубин
для указанной
окрестности
Коррекция карты глубины
Алгоритм (1)

Only for
Maxus 
21
Алгоритм (2)





 ),1(,
,
, ),(
min),(
),(
min
),(
),1( yx
cD
c
D
D
yx
yx
yx
yx
yx
иначе
если
),( yxD
),(
min
yx
с

– значение глубины в точке (x,y)
– неизвестная область на карте глубины
– значение минимального пика гистограммы
глубины по окрестности точки (x,y)

Only for
Maxus 
22
Деформированная
карта глубины
Предложенный алгоритм Линейная интерполяция
(stretch)
Результат

Only for
Maxus 
23
Построение спрайта (1)
Кадр последовательности Спрайт фона Спрайт глубины
В спрайтах накапливается информация об объектах
заднего плана и их глубине для заполнения неизвестных
областей и поддержания временной стабильности

Only for
Maxus 
24
Построение спрайта (2)
Кадр последовательности Спрайт фона Спрайт глубины
Спрайт обновляется после обработки каждого кадра
На основе информации о глубине определяется какие
участки изображения войдут в спрайт

Only for
Maxus 
25
Бесшовное копирование (1)
Неизвестная область изображения
заполняется областью R из спрайта фона
Точка принадлежит R, если:
 Эта точка в неизвестной области
на изображении
 Спрайт фона содержит информацию о ней
 Значение спрайта глубины в этой точке больше,
чем значение карты глубины изображения

Only for
Maxus 
26

Only for
Maxus 
27
g
f
gf 
иначе
корректнаграницаесли 







,||
,|*|
gf
ff

Only for
Maxus 
28
Результат
Визуальное сравнение
Предложенный
алгоритм
MPEGVSRS

Only for
Maxus 
29
Результат
Метрики

Only for
Maxus 
30
Выводы
Достоинство:
 Временная стабильность результата
Недостаток:
 Алгоритм никак не рассматривает случай
пересечения одного объекта c другим

Only for
Maxus 
 Spatio-Temporally Consistent
View Synthesis
31

Only for
Maxus 
Spatio-Temporally
Consistent View Synthesis
Вход: видеопоследовательность и ее глубина
1. Фильтрация глубины
2. Генерация крайних ракурсов
3. Получение необходимого числа ракурсов
(интерполяция)
Выход: многоракурсное видео
32
C.-M. Cheng et al., “Spatio-Temporally Consistent Novel View
Synthesis Algorithm From Video-Plus-Depth Sequences
for Autostereoscopic Displays,” in IEEE Trans. on Broadcasting, 2011

Only for
Maxus 
Алгоритм
Фильтрация глубины
33
параметрыблизостьвременная
глубинепоразница
цветупоразница
близостьскаягеометриче
фильтральногоквадлатеравеса
фильтрациипослеиддглубина



















tdis
t
T
d
D
i
BGRc
cc
I
s
S
TDIS
tvu
tvu
t
tf
ttvvuuDtvuD
tvutvuf
ttvvuuItvuI
tvutvuf
vu
vuf
wffffw
DD
w
ttvvuuDw
tvuD





,,,
),,(
2
22
),,(
),,(
;),exp()(
),
|),,(),,(|
exp(),,,,,(
),
)),,(),,((
exp(),,,,,(
),exp(),(
;
*,;
),,(
),,(*

Only for
Maxus 
Алгоритм
Заполнение неизвестных областей (1)
Для заполнения неизвестных областей применяется
пространственно-временной Exemplar-Based Inpainting
Каждому пикселю назначается приоритет P:
34









 









),(
),(),(
),(
,1
),(,0
),(
),(),(),(
),(),(),(
||
),(),(
),(),(
||||
vuD
vuGvuG
vuP
yx
yx
yxgyxvuG
yxgyxvuG
vuWyx
vuWyx
иначе

Only for
Maxus 
Алгоритм
Заполнение неизвестных областей (2)
1. Заполняем пиксели в порядке приоритета
2. В каждом кадре из временной окрестности
выбирается наиболее похожий по цвету и глубине
блок
3. Текущий пиксель заполняется взвешенной суммой
соответствующих значений из найденных блоков
4. Обновляются приоритеты неизвестных пикселей
35

Only for
Maxus 
Результат
Итерации заполнения
36

Only for
Maxus 
Результат
Сгенерированные ракурсы
37

Only for
Maxus 
38
Выводы
Достоинство:
 Высокое качество заполнения
Недостатки:
 Низкая скорость работы
 Склонен к размытию заполняемых областей

Only for
Maxus 
39

Only for
Maxus 
Свои результаты (1)
40

Only for
Maxus 
Свои результаты (2)
41

Only for
Maxus 
Где есть проблемы?
 Точность при сложном движении
 Выравнивание по цвету фрагментов
из разных кадров
42

Only for
Maxus 
Дальнейшие планы
 Реализовать основанный на глубине
временной Inpainting для 3D видео
 Реализовать многоуровневый временной
Inpainting для учета ситуации перекрытия
одного объекта другим
43

Only for
Maxus 
Литература
1. P. Ndjiki-Nya et al. “Depth Image-Based Rendering With Advanced
Texture Synthesis for 3-D Video”. in IEEE Transactions on Multimedia,
2011, pp. 453-465
2. P.-K. Tsung et al. “Single iteration view interpolation for multiview video
applications”. in 3DTV-Conference, Potsdam, Germany, 2009,
pp. 1-4
3. K.-Y. Chen et al. “Hybrid motion/depth-oriented inpainting for virtual
view synthesis in multiview applications”. in 3DTV-Conference,
Tampere, Finland, 2010, pp. 1-4
4. C.-M. Cheng et al. “Spatio-Temporally Consistent Novel View Synthesis
Algorithm From Video-Plus-Depth Sequences for Autostereoscopic
Displays,” in IEEE Transactions on Broadcasting, 2011, pp. 523-532
44

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах Англии,
Франции, Швейцарии (в России в МГУ
и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
45

�ݺ�ߣ

Обзор алгоритмов генерации ракурсов для многоракурсных видео

Recommended

More Related Content

What's hot (20)

Similar to Обзор алгоритмов генерации ракурсов для многоракурсных видео (14)

Обзор алгоритмов генерации ракурсов для многоракурсных видео