�ݺ�ߣ

Некоторые методы генерации
многоракурсных изображений
на основе карты глубины
Вячеслав Нападовский
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Occlusion Filling with Horizontal Mirroring
 Enhancement of Depth Maps with Alpha
Channel Estimation
 Заполнение областей открытия
с использованием фона
 Заключение
2

Only for
Maxus 
Постановка задачи
На входе:
 Один или несколько ракурсов
 Карты глубины для всех ракурсов
 Положение виртуальной камеры
На выходе:
 Сгенерированный ракурс для виртуальной
камеры
3

Only for
Maxus 
Виртуальная камера
4A. Mavlankar, “Image-Based Rendering using Disparity Compensated
Interpolation,” Applied Vision and Imaging Systems, 2005

Only for
Maxus 
Основные приложения
 Генерация дополнительных ракурсов
для автостереоскопических дисплеев
по стерео или по 2D+Z
 Генерация 3D-контента под конкретные
устройства
 Конвертация 2D в 3D
5

Only for
Maxus 
DIBR
Одна из реализаций
1. Предобработка карты глубины
2. Warping
3. Заполнение областей открытия
6Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based
Rendering Using Hybrid Warping and Hole-filling,” ISCAS, 2012

Only for
Maxus 
Пример генерации
Depth Image Based Rendering (DIBR)
7Laihua Wang et al., “A Novel Virtual View Rendering Approach Based
on DIBR,” ICCSE, 2012
Исходное изображение
Карта глубины
Смещённые пиксели

Only for
Maxus 
Проблемы, возникающие
при использовании DIBR
8M. Sjostrom et al., “Improved depth-image-based rendering
algorithm,” 3DTV-CON, 2011
Тип артефакта Предложенный
алгоритм
1 Пустые
«трещины»
Интерполяция
только недостающих
пикселей
2 Полупрозрачные
«трещины»
Поиск и заполнение
3 Ореол Уменьшение
приоритета у слоя
с фоном
4 Неестественные
цвета
Смешивание слоёв
с передним планом
5 Области
открытия
Заполнение
константным цветом
из слоя фона
6 Ошибка на
карте глубины
—

Only for
Maxus 
Channel Estimation
9

Only for
Maxus 
Modified DIBR
Шаг 1 из 4
Конвертация карты глубины в карту
диспаритета с помощью Lookup Table (LUT)

Only for
Maxus 
Modified DIBR
Шаг 2 из 4
Увеличение значений диспаритета
на краях объектов

Only for
Maxus 
Modified DIBR
Эффективность фильтрации

Only for
Maxus 
Modified DIBR
13
3. Warping
4. Заполнение областей открытия методом
зеркального отражения
Shen-Fu Hsiao et al., “Low Latency Design of Depth-Image-Based

Only for
Maxus 
Modified DIBR
Пример зеркального отражения
14
Полученный результат с помощью
повторения крайнего пикселя
Результат метода, предложенного
в статье

Only for
Maxus 
Результат
Метод с использованием экстраполяции
15
Исходное изображение Заполнение областей открытия с помощью
экстраполяции

Only for
Maxus 
Результат
16
Карта границ
диспаритета
Предложенный метод

Only for
Maxus 
Выводы
Достоинства:
 Простота в реализации
 Высокая скорость (realtime)
Недостатки:
 Более чувствителен:
 к импульсному шуму на карте глубины
 к несовпадению границ глубины и изображения
17

Only for
Maxus 
Channel Estimation
18

Only for
Maxus 
Особенности алгоритма
 Требуется на вход:
 исходное изображение
 карта глубины (Kinect)
 изображение с инфракрасной камеры
(Time-Of-Flight camera)
 Строится карты глубины и карты
прозрачности
 Данные TOF-камеры используются для
улучшения результата на границах объектов
19
J.-H. Cho, K. H. Lee, K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” IEEE Journal
of Selected Topics in Signal Processing, 2012

Only for
Maxus 
Схема алгоритма
На стороне encoder’а
20

Only for
Maxus 
Схема алгоритма
На стороне decoder’а
21

Only for
Maxus 
Depth Image Enhancement
1. Бинаризация карты глубины с помощью
метода k-средних с целью получения
trimap’а
2. Морфологическое расширение карты
глубины
3. Использование closed form matting’а для
вычисления альфа-канала
22

Only for
Maxus 
Вычисление цветов
объекта и фона
23
I – изображение
αi – значение альфа-канала i-го пикселя
Интенсивность i-го пикселя объекта по каналу c:
– объекта, – фона, – изображения
С целью вычисления цветов пикселей фона (B) и объекта (F)
выполняется минимизация следующей функции:

Only for
Maxus 
Входные данные
24

Only for
Maxus 
Результаты маттинга (1)
25
Исходное изображение
(b) маттинг по исходному изображению,
(c) маттинг по карте глубины, (d) результат авторов

Only for
Maxus 
Результаты маттинга (2)
26
Color image Depth image IR image
Closed form
matting
Depth alignment Result using
IR image

Only for
Maxus 
Сравнение (1)
27

Only for
Maxus 
Сравнение (2)
28

Only for
Maxus 
Выводы
Достоинства:
 Высокая скорость работы (realtime)
 Улучшение за счёт использования маттинга
Недостаток:
 Востребовано изображение от TOF-камеры
29

Only for
Maxus 
Channel Estimation
30

Only for
Maxus 
Особенности алгоритма
 На вход алгоритму подаётся
многоракурсное видео
 Для вычисления глубины используется
метод M. Tanimoto “Depth Estimation
Reference Software (DERS) 5.0,” 2009
 Предполагается статичность фона
31M. Koppel et al., “Temporally consistent handling of disocclusions
with texture synthesis for depth-image-based rendering,” ICIP, 2010

Only for
Maxus 
Заполнение разрывов
карты глубины
32
Ground truth Результат
авторов
MPEG VSRS
(View Synthesis
Reference Software)
Карта
диспаритетаDIBR
M. Koppel et al., “Temporally consistent handling of disocclusions

Only for
Maxus 
Temporally Consistent
Handling of Disocclusions
1. Выделение области фона с помощью
бинаризации карты глубины
и морфологического расширения
2. Обновление ранее сохранённого
изображения фона и его глубины
Для восстановления текстуры в областях
открытия используются методы синтеза
текстур
33M. Koppel et al., “Temporally consistent handling of disocclusions

Only for
Maxus 
Результат (1)
34
Reference view

Only for
Maxus 
35
Warping result

Only for
Maxus 
36
Восстановленный фон

Only for
Maxus 
38
Сгенерированный ракурс с помощью MPEG VSRS

Only for
Maxus 
39
Сгенерированный ракурс по методу авторов статьи

Only for
Maxus 
Результат
Увеличенные области
40
Результат авторов Результат авторовMPEG VSRS MPEG VSRS

Only for
Maxus 
Выводы
Достоинство:
 Заполнение областей открытия с помощью
фона, присутствующего на видео
Недостаток:
 Требование статичного фона
41

Only for
Maxus 
Channel Estimation
42

Only for
Maxus 
Заключение
В области алгоритмов генерации
многоракурсных изображений за последние
1,5 года не было предложено новых методов.
Из рассмотренных методов интересными на
мой взгляд являются:
 Маттинг с использованием глубины
 Использование восстановленного фона
43

Only for
Maxus 
Литература (1)
1. S.-F. Hsiao, J.-W. Cheng, W.-L. Wang and G.-F. Yeh,
“Low latency design of Depth-Image-Based Rendering using hybrid
warping and hole-filling,” in IEEE International Symposium on Circuits
and Systems (ISCAS), Seoul, Korea, 2012, pp. 608–611.
2. M. Sjostrom, P. Hardling, L. S. Karlsson, R. Olsson, “Improved
depth-image-based rendering algorithm,” in 3DTV Conference: The
True Vision — Сapture, Transmission and Display of 3D Video
(3DTV-CON), Antalya, Turkey, 2011, pp. 1–4.
3. J.-H. Cho, K. H. Lee and K. Aizawa, “Enhancement of Depth Maps
With Alpha Channel Estimation for 3-D Video,” in IEEE Journal
of Selected Topics in Signal Processing, 2012, vol. 6, pp. 483–494.
44

Only for
Maxus 
Литература (2)
4. M. Koppel, P. Ndjiki-Nya, D. Doshkov, H. Lakshman, P. Merkle,
K. Muller and T. Wiegand, “Temporally consistent handling of
disocclusions with texture synthesis for depth-image-based rendering,”
in 17th IEEE International Conference on Image Processing (ICIP),
Hong Kong, China, 2010, pp. 1809–1812.
45

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
46

�ݺ�ߣ

Некоторые методы генерации многоракурсных изображений на основе карты глубины

Recommended

More Related Content

What's hot (20)

Viewers also liked (6)

Similar to Некоторые методы генерации многоракурсных изображений на основе карты глубины (10)

Некоторые методы генерации многоракурсных изображений на основе карты глубины