ݺߣ

ݺߣShare a Scribd company logo
Обзор методов оценки
«истинного» движения
Денис Сумин
Video Group
CS MSU Graphics & Media Lab
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 3-D Recursive Search Block Matching
 Multi-Pass TME* with Vector Propagation
 Latest TME Algorithm
 Заключение
* TME — True Motion Estimation
2
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Постановка задачи
Различие задач ME и TME

3
Гришин С. и др., “Обзор блочных методов оценки движения в
цифровых видео сигналах”, Тематический сборник “Программные
системы и инструменты”, 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Приложения TME
Или зачем нам это нужно
Классические задачи:
 Frame Rate Up Conversion
 Deinterlacing
Сейчас нам нужен TME для реализации:
 поиска областей открытия
 восстановления фона
 распространения глубины во времени
 построения карт диспаритета
4
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Что есть сейчас
ME и фильтрация поля векторов
5
Исходный кадр
Кадр из последовательности от компании «Fufengda»
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Что есть сейчас
ME и фильтрация поля векторов
6
Карта векторов ME
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Что есть сейчас
ME и фильтрация поля векторов
7
Карта LRC
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 3-D Recursive Search Block Matching
 Multi-Pass TME with Vector Propagation
 Latest TME Algorithm
 Заключение
9
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Исходный 3-D RS
Набор векторов-кандидатов

10G. de Haan, et al., “Truemotion estimation with 3-D recursive search
block matching,” IEEE Trans. Circuits Syst. Video Technol., 1993
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Исходный 3-D RS
Сходимость метода
Из полученных кандидатов
выбирается вектор
с наименьшей SAD.
Использование векторов-
кандидатов с различных
направлений позволяет
3-D RS достаточно быстро
сходиться к реальному
направлению движения
вблизи границ объектов
11G. de Haan, et al., “Truemotion estimation with 3-D recursive search
block matching,” IEEE Trans. Circuits Syst. Video Technol., 1993
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Improved 3-D RS
Предложенные улучшения
12
Двунаправленность Подразбиение блоков
S. Li, et al. "An improved 3-DRS algorithm for video de-
interlacing", Proc. Picture Coding Symp., 2006
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Improved 3-D RS
Результаты (1)
13
Значения PSNR для восстановленных (deinterlacing)
кадров для исходного 3-D RS, двунаправленного (Bi3-D
RS) и двунаправленного с подразбиением блоков
(Improved 3-D RS):
S. Li, et al. "An improved 3-DRS algorithm for video de-
interlacing", Proc. Picture Coding Symp., 2006
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Improved 3-D RS
Результаты (2)
14
3-D RS
S. Li, et al. "An improved 3-DRS algorithm for video de-
interlacing", Proc. Picture Coding Symp., 2006
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Improved 3-D RS
Результаты (2)
15
Improved 3-D RS
S. Li, et al. "An improved 3-DRS algorithm for video de-
interlacing", Proc. Picture Coding Symp., 2006
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Improved 3-D RS
Результаты (3)
16
3-D RS
S. Li, et al. "An improved 3-DRS algorithm for video de-
interlacing", Proc. Picture Coding Symp., 2006
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Improved 3-D RS
Результаты (3)
17
Improved 3-D RS
S. Li, et al. "An improved 3-DRS algorithm for video de-
interlacing", Proc. Picture Coding Symp., 2006
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 3-D Recursive Search Block Matching
 Multi-Pass TME with Vector Propagation
 Latest TME Algorithm
 Заключение
18
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Multi-Pass TME with Vector
Propagation
19
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Набор векторов-кандидатов
 Predicted Motion Vector (PMV)
 Update Vector Set:
20
Набор шаблонов для PMV
Набор векторов-кандидатов:
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выбор вектора
21
— номер прохода
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Пример использования
метрики искажения (1)
22
Использование метрики SAD (3-D RS)
Результирующее поле векторов для разных методов:
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Пример использования
метрики искажения (2)
23
Результирующее поле векторов для разных методов:
Применение предложенной метрики искажения
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Сходимость алгоритма

24
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Распространение векторов
Полученные «истинные» вектора
предлагаются соседям в качестве кандидатов
для большей гладкости векторного поля
25
Без распространения С распространением
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
Vectra
26
3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
Vectra
27
TCSBPS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
Vectra
28
ProposedS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
Vectra
29
3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
Vectra: сравнение MVF
30
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
Объективное сравнение
31
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (2)
Bus
32
3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (2)
Bus
33
TCSBPS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (2)
Bus
34
ProposedS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (2)
Bus
35
3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Скорость работы
36
S.-C. Tai, et al, “A multi-pass true motion estimation scheme with
motion vector propagation for frame rate up-conversion
applications,” IEEE/OSA J. Display Technol., Jul. 2008
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
 Достоинства
 Высокая скорость работы
 Высокое качество результатов в статье
 Недостаток
 Наличие в алгоритме неочевидных
эвристических порогов, что может ограничить
класс входных данных
37
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 3-D Recursive Search Block Matching
 Multi-Pass TME with Vector Propagation
 Latest TME Algorithm
 Заключение
38
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Алгоритм

39
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 

Обозначения в статье
40
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Преобразование
функционала
41
Мера качества вектора-
кандидата (например, SAD)
Мера различия
соседних блоков
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Оценка взаимодействия
соседних блоков
42
Исходный кадр Карта границ
BDM (оценка искажения блока)
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
43
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
44
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Процесс поиска векторов
45
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (1)
46
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (2)
47
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (3)
Foreman
48
Ground truth
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (3)
Foreman
49
Apple FCS
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (3)
Foreman
50
Proposed
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (3)
Foreman
51
Ground truth
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (3)
Football
52
Ground truth
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (4)
Football
53
Apple FCS
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (4)
Football
54
Proposed
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (4)
Football
55
Ground truth
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (5)
Сравнение карт SSIM
56
Source
SSIM map
of FCS output
SSIM map
of the
proposed
method
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Результаты FRUC (5)
Сравнение карт SSIM
57
Source
SSIM map
of FCS output
SSIM map
of the
proposed
method
Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation
Algorithm and Its Application to Motion-Compensated Temporal
Frame Interpolation," Image Processing, IEEE , 2012
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Выводы
 Достоинства
 Высокое качество результатов в статье
 Интересные идеи оценки весов для векторов-
кандидатов
58
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Содержание
 Введение
 3-D Recursive Search Block Matching
 Multi-Pass TME with Vector Propagation
 Latest TME Algorithm
 Заключение
59
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Заключение
Идеи Антона Зачесова:
 надо выбирать вектор в зависимости от
того, что на исходнике в этом месте (цвет
ровный, граница, текстура)
 нужна иерархичность
 нужен учёт LRC при поиске векторов
(в дополнение к SAD)
60
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
1. G. de Haan, P. W. A. C. Biezen, H. Huijgen, and O. A. Ojo, “Truemotion
estimation with 3-D recursive search block matching,” IEEE Trans.
Circuits Syst. Video Technol., vol. 3, no. 5, pp. 368–379, Oct. 1993.
2. S.-C. Tai, Y.-R. Chen, Z.-B. Huang, and C.-C. Wang, “A multi-pass true
motion estimation scheme with motion vector propagation for frame
rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul.
2008, vol. 4, no. 2, pp. 188–197.
3. Dikbas, S., Altunbasak, Y., "A Novel True-Motion Estimation Algorithm
and Its Application to Motion-Compensated Temporal Frame
Interpolation," Image Processing, IEEE Transactions on , vol.PP, no.99,
pp.1
4. Гришин С., Ватолин Д., Лукин А., Путилин С., Стрельников К.,
“Обзор блочных методов оценки движения в цифровых видео
сигналах”, Тематический сборник “Программные системы и
инструменты”, 2008, vol. 9, pp. 50–62
61
CS MSU Graphics & Media Lab (Video Group)
www.compression.ru/video/
Only for
Maxus 
Литература
5. S. Li , J. Du , D. Zhao , Q. Huang and W. Gao "An improved 3-DRS
algorithm for video de-interlacing", Proc. Picture Coding Symp., 2006
62

More Related Content

Обзор методов оценки True-motion

  • 1. Обзор методов оценки «истинного» движения Денис Сумин Video Group CS MSU Graphics & Media Lab
  • 2. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  3-D Recursive Search Block Matching  Multi-Pass TME* with Vector Propagation  Latest TME Algorithm  Заключение * TME — True Motion Estimation 2
  • 3. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Постановка задачи Различие задач ME и TME  3 Гришин С. и др., “Обзор блочных методов оценки движения в цифровых видео сигналах”, Тематический сборник “Программные системы и инструменты”, 2008
  • 4. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Приложения TME Или зачем нам это нужно Классические задачи:  Frame Rate Up Conversion  Deinterlacing Сейчас нам нужен TME для реализации:  поиска областей открытия  восстановления фона  распространения глубины во времени  построения карт диспаритета 4
  • 5. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Что есть сейчас ME и фильтрация поля векторов 5 Исходный кадр Кадр из последовательности от компании «Fufengda»
  • 6. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Что есть сейчас ME и фильтрация поля векторов 6 Карта векторов ME
  • 7. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Что есть сейчас ME и фильтрация поля векторов 7 Карта LRC
  • 8. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  3-D Recursive Search Block Matching  Multi-Pass TME with Vector Propagation  Latest TME Algorithm  Заключение 9
  • 9. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исходный 3-D RS Набор векторов-кандидатов  10G. de Haan, et al., “Truemotion estimation with 3-D recursive search block matching,” IEEE Trans. Circuits Syst. Video Technol., 1993
  • 10. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Исходный 3-D RS Сходимость метода Из полученных кандидатов выбирается вектор с наименьшей SAD. Использование векторов- кандидатов с различных направлений позволяет 3-D RS достаточно быстро сходиться к реальному направлению движения вблизи границ объектов 11G. de Haan, et al., “Truemotion estimation with 3-D recursive search block matching,” IEEE Trans. Circuits Syst. Video Technol., 1993
  • 11. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Improved 3-D RS Предложенные улучшения 12 Двунаправленность Подразбиение блоков S. Li, et al. "An improved 3-DRS algorithm for video de- interlacing", Proc. Picture Coding Symp., 2006
  • 12. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Improved 3-D RS Результаты (1) 13 Значения PSNR для восстановленных (deinterlacing) кадров для исходного 3-D RS, двунаправленного (Bi3-D RS) и двунаправленного с подразбиением блоков (Improved 3-D RS): S. Li, et al. "An improved 3-DRS algorithm for video de- interlacing", Proc. Picture Coding Symp., 2006
  • 13. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Improved 3-D RS Результаты (2) 14 3-D RS S. Li, et al. "An improved 3-DRS algorithm for video de- interlacing", Proc. Picture Coding Symp., 2006
  • 14. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Improved 3-D RS Результаты (2) 15 Improved 3-D RS S. Li, et al. "An improved 3-DRS algorithm for video de- interlacing", Proc. Picture Coding Symp., 2006
  • 15. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Improved 3-D RS Результаты (3) 16 3-D RS S. Li, et al. "An improved 3-DRS algorithm for video de- interlacing", Proc. Picture Coding Symp., 2006
  • 16. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Improved 3-D RS Результаты (3) 17 Improved 3-D RS S. Li, et al. "An improved 3-DRS algorithm for video de- interlacing", Proc. Picture Coding Symp., 2006
  • 17. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  3-D Recursive Search Block Matching  Multi-Pass TME with Vector Propagation  Latest TME Algorithm  Заключение 18
  • 18. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Multi-Pass TME with Vector Propagation 19 S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 19. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Набор векторов-кандидатов  Predicted Motion Vector (PMV)  Update Vector Set: 20 Набор шаблонов для PMV Набор векторов-кандидатов: S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 20. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выбор вектора 21 — номер прохода S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 21. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример использования метрики искажения (1) 22 Использование метрики SAD (3-D RS) Результирующее поле векторов для разных методов: S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 22. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Пример использования метрики искажения (2) 23 Результирующее поле векторов для разных методов: Применение предложенной метрики искажения S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 23. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Сходимость алгоритма  24 S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 24. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Распространение векторов Полученные «истинные» вектора предлагаются соседям в качестве кандидатов для большей гладкости векторного поля 25 Без распространения С распространением S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 25. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) Vectra 26 3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 26. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) Vectra 27 TCSBPS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 27. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) Vectra 28 ProposedS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 28. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) Vectra 29 3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 29. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) Vectra: сравнение MVF 30 S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 30. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) Объективное сравнение 31 S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 31. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (2) Bus 32 3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 32. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (2) Bus 33 TCSBPS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 33. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (2) Bus 34 ProposedS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 34. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (2) Bus 35 3-D RSS.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 35. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Скорость работы 36 S.-C. Tai, et al, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008
  • 36. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Высокая скорость работы  Высокое качество результатов в статье  Недостаток  Наличие в алгоритме неочевидных эвристических порогов, что может ограничить класс входных данных 37
  • 37. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  3-D Recursive Search Block Matching  Multi-Pass TME with Vector Propagation  Latest TME Algorithm  Заключение 38
  • 38. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Алгоритм  39 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 39. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus   Обозначения в статье 40 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 40. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Преобразование функционала 41 Мера качества вектора- кандидата (например, SAD) Мера различия соседних блоков Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 41. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Оценка взаимодействия соседних блоков 42 Исходный кадр Карта границ BDM (оценка искажения блока) Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 42. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  43 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 43. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  44 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 44. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Процесс поиска векторов 45 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 45. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (1) 46 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 46. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (2) 47 Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 47. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (3) Foreman 48 Ground truth Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 48. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (3) Foreman 49 Apple FCS Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 49. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (3) Foreman 50 Proposed Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 50. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (3) Foreman 51 Ground truth Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 51. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (3) Football 52 Ground truth Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 52. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (4) Football 53 Apple FCS Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 53. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (4) Football 54 Proposed Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 54. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (4) Football 55 Ground truth Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 55. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (5) Сравнение карт SSIM 56 Source SSIM map of FCS output SSIM map of the proposed method Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 56. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Результаты FRUC (5) Сравнение карт SSIM 57 Source SSIM map of FCS output SSIM map of the proposed method Dikbas. S., Altunbasak. Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE , 2012
  • 57. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Выводы  Достоинства  Высокое качество результатов в статье  Интересные идеи оценки весов для векторов- кандидатов 58
  • 58. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Содержание  Введение  3-D Recursive Search Block Matching  Multi-Pass TME with Vector Propagation  Latest TME Algorithm  Заключение 59
  • 59. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Заключение Идеи Антона Зачесова:  надо выбирать вектор в зависимости от того, что на исходнике в этом месте (цвет ровный, граница, текстура)  нужна иерархичность  нужен учёт LRC при поиске векторов (в дополнение к SAD) 60
  • 60. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 1. G. de Haan, P. W. A. C. Biezen, H. Huijgen, and O. A. Ojo, “Truemotion estimation with 3-D recursive search block matching,” IEEE Trans. Circuits Syst. Video Technol., vol. 3, no. 5, pp. 368–379, Oct. 1993. 2. S.-C. Tai, Y.-R. Chen, Z.-B. Huang, and C.-C. Wang, “A multi-pass true motion estimation scheme with motion vector propagation for frame rate up-conversion applications,” IEEE/OSA J. Display Technol., Jul. 2008, vol. 4, no. 2, pp. 188–197. 3. Dikbas, S., Altunbasak, Y., "A Novel True-Motion Estimation Algorithm and Its Application to Motion-Compensated Temporal Frame Interpolation," Image Processing, IEEE Transactions on , vol.PP, no.99, pp.1 4. Гришин С., Ватолин Д., Лукин А., Путилин С., Стрельников К., “Обзор блочных методов оценки движения в цифровых видео сигналах”, Тематический сборник “Программные системы и инструменты”, 2008, vol. 9, pp. 50–62 61
  • 61. CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Only for Maxus  Литература 5. S. Li , J. Du , D. Zhao , Q. Huang and W. Gao "An improved 3-DRS algorithm for video de-interlacing", Proc. Picture Coding Symp., 2006 62