�ݺ�ߣ

Некоторые методы
сопоставления стерео
Алексей Федоров
Video Group
CS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 Первичная обработка
 Нелинейная ректификация стерео
 Методы сопоставления стерео
 Bidirectional Stereo Matching with Occlusion Handling
 Building an Accurate Stereo Matching System
 Заключение
2

Only for
Maxus 
Введение
Задача сопоставления стерео
3
Изображение «Алоэ» из набора данных «Middlebury»
в «общем»
случае
в «нашем»
случае

Only for
Maxus 
Сопоставление блоков
Метрики для блоков (1)
4
k – диспаритет
Левый ракурс (Il) Правый ракурс (Ir)
(x,y)
(x+m,y+n)
(x,y) (x+k,y)
(x+k+m,y+n)
Блок для
сравнения
Блок для
сравнения
Позаимствовано из презентации Нападовского Вячеслава

Only for
Maxus 



Стандартный подход
Метрики для блоков (2)
5
M. Galar, M. Pagola, E. Barrenechea et al., “Aggregation of Color
Information in Stereo Matching Problem: A Comparison Study,”
Lecture Notes in Computer Science, 2010

Only for
Maxus 
Возможны искажения изображений
на разных ракурсах
 по яркости
 по контрасту
 по фокусу
 по геометрии
Сопоставление стерео
Частые проблемы
6
Метрики, устойчивые
к расхождениям, рассмотрел
Нападовский Вячеслав

Only for
Maxus 
Пример
Ректификация изображений (1/2)
7
Объект
Левая
камера
Правая
камера
Левый
ракурс
Правый
ракурс
До
ректификации

Only for
Maxus 
Пример
Ректификация изображений (2/2)
8
Объект
Левая
камера
Правая
камера
Левый
ракурс
Правый
ракурс
Левый
ракурс
Правый
ракурс
До
После

Only for
Maxus 
9

Only for
Maxus 
Ректификация стерео
Постановка задачи
10Y. Zhao, H. Shao, and Q. Dai, “Gravity-oriented nonlinear stereo
rectification for stereoscopic 3D,” on 3DTV-CON, 2011

Объект
Левая
камера
Правая
камера

Only for
Maxus 
Поиск преобразования
Минимизируемый функционал


Only for
Maxus 
Компонента смещения


Only for
Maxus 
Эпиполярная компонента
Эпиполяры уводим на бесконечность.
Теперь прямые на обоих ракурсах параллельны.

Only for
Maxus 

Компонента вращения

Only for
Maxus 

Компонента вертикального соответствия

Only for
Maxus 
Ожидаемый край
И что же такого
в этой статье?
Степень заметности формируется из следующей
информации:
 Резкость края
 Скорость движения
 Результат Face Detection
Ректификация
без учета заметности
Ректификация
с учетом заметности
Выбранная точка
Заметная точка
Менее заметная
точка

Only for
Maxus 
Нелинейная ректификация
Учет заметности
Человеческое восприятие
чувствительно к искажению
относительно соседних
пикселей. Введем вектор
относительной позиции:
Выбранная точка
Заметная точка
Менее заметная
точка

Only for
Maxus 
Результаты
Сравнение с конкурентами (1/3)
Исходная стереопара

Only for
Maxus 
Предложенный метод

Only for
Maxus 
Результат конкурента

Only for
Maxus 
Выводы
Достоинство:
 Учет степени заметности
Недостатки:
 Высокая требовательность к ресурсам
(Real-time на GPU)
 Возможность искажения прямых
на Т-образных перекрестках
21

Only for
Maxus 
 Bidirectional Stereo Matching with Occlusion
Handling
22

Only for
Maxus 
Bidirectional Stereo Matching
Особенности метода
 Используется двунаправленное
сопоставление стерео
 Использование Graph-Cut для поиска
диспаритета
 Учитываются области открытия (закрытия)
23Sh. Zhang, Sh. Liu, Y. Mao, and X. Wang, “Global Optimization
for Bidirectional SM with Occlusion Handling,” on MIC, 2012

Only for
Maxus 
Поиск диспаритета
Graph Cut


Only for
Maxus 
Альфа-расширение

Only for
Maxus 
Минимизируемая
функция стоимости

Only for
Maxus 
Функция стоимости
Компонента интенсивности

Only for
Maxus 
Результаты (1)
Изображение Moebius (1/3)
Исходное изображение

Only for
Maxus 
Ground truth

Only for
Maxus 

Only for
Maxus 
Изображение Street (1/2)

Only for
Maxus 
Изображение Street (2/2)

Only for
Maxus 
Выводы
Достоинства:
 Двунаправленное сопоставление
 Учет областей открытия
Недостаток:
 Высокая требовательность к ресурсам
33

Only for
Maxus 
34

Only for
Maxus 
Accurate Stereo Matching
Особенности метода
 Используется метрика, основанная
на расстоянии Хэмминга
 Используется адаптивная форма
сопоставляемых блоков
 Учитывается возможность параллельных
вычислений
35X. Sun, M. Zhou, Sh. Jiao et al., “On Building an Accurate SM
System on Graphics Hardware,” on ICCV Workshops, 2011

Only for
Maxus 
, – константы
Метрика отличия блоков
AD-Census

– метрика, равная расстоянию Хемминга между
блоками (используются блоки 9×7)
Absolute
Differences

Only for
Maxus 
Сравнение метрик

Only for
Maxus 
Крестообразные области
Агрегирование стоимости
Пример

Only for
Maxus 
Изображение Cones (1/3)

Only for
Maxus 

Only for
Maxus 
Разница с Ground truth

Only for
Maxus 
Мультик =)

Only for
Maxus 
Выводы
Достоинства:
 Использование метрики AD-Census
 Возможность распараллеливания
(реализовать на GPU)
Недостатки:
 Чувствителен к зашумленным данным
 Чувствителен к искажениям по цвету
43

Only for
Maxus 
44

Only for
Maxus 
Заключение
В презентации обозначены следующие идеи,
которые можно использовать в дальнейшем:
 Учитывать степень заметности
при ректификации
 Использовать двунаправленное
сопоставление
 Попробовать метрику AD-Census
45

Only for
Maxus 
Наши результаты 1
46
Изображение «Cones» из набора данных «Middlebury»

Only for
Maxus 
47
Наш метод

Only for
Maxus 
48
Метод из статьи Xun Sun (2011)

Only for
Maxus 
Изображение Tsukuba (1/3)
49
Изображение «Tsukuba» из набора данных «Middlebury»

Only for
Maxus 
50
Наш метод

Only for
Maxus 
51
Метод из статьи Xun Sun (2011)

Only for
Maxus 
Литература
1. Yu Zhao, Hang Shao, and Qionghai Dai, “Gravity-oriented nonlinear stereo
rectification for stereoscopic 3D,” in 3DTV Conference: The True Vision –
Capture, Transmission and Display of 3D Video (3DTV-CON), 2011, pp. 1-4.
2. Shaobo Zhang, Sheng Liu, Yuhang Mao, and Xin Wang, “Global
Optimization for Bidirectional Stereo Matching with Occlusion Handling,”
International Conference on Measurement, Information and Control (MIC),
vol. 2, 2012, pp. 553-557.
3. Xun Sun, Mingcai Zhou, Shaohui Jiao, Haitao Wang, and Xiaopeng Zhang,
“On Building an Accurate Stereo Matching System on Graphics Hardware,”
IEEE International Conference on Computer Vision Workshops
(ICCV Workshops), 2011, pp. 467-474.
4. Mikel Galar, Miguel Pagola, Edurne Barrenechea, Carlos Lopez-Molina,
and Humberto Bustince, “Aggregation of Color Information in Stereo
Matching Problem: A Comparison Study,” Lecture Notes in Computer
Science, vol. 6098, 2010, pp. 369–378.
52

Only for
Maxus 
Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
 Выпускники в аспирантурах
Англии, Франции, Швейцарии
(в России в МГУ и ИПМ им. Келдыша)
 Выпускниками защищены 5 диссертаций
 Наиболее популярные в мире сравнения
видеокодеков
 Более 3 миллионов скачанных фильтров
обработки видео
53

�ݺ�ߣ

Некоторые методы сопоставления стерео

Recommended

More Related Content

What's hot (20)

Similar to Некоторые методы сопоставления стерео (18)

Некоторые методы сопоставления стерео