More Related Content
What's hot (20)
Viewers also liked (8)
Similar to Расширения h264 и предобзор h265 (20)
More from MSU GML VideoGroup (11)
Расширения h264 и предобзор h265
- 1. Обзор расширений стандарта H.264 и тенденции развития кодеков нового поколения Александр Воронов Video Group CS MSU Graphics & Media Lab
- 2. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 Новый стандарт H.265 Выводы 2 CS MSU Graphics & Media Lab (Video Group)
- 3. Only for Maxus Введение Стандарт H.264 / MPEG-4 Part 10 / AVC Разработан в 2003 году Разработчик — JVT (Joint Video Team) VCEG (ITU-T Video Coding Experts Group) MPEG (ISO / IEC Moving Picture Experts Group) Overview of the H.264/AVC Video Coding Standard. Thomas Wiegand et al., IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 3 CS MSU Graphics & Media Lab (Video Group) VOL. 13, NO. 7, JULY 2003
- 4. Only for Maxus Основные особенности Несколько референсных кадров Иерархия B-кадров Переменный размер блока (от 16x16 до 4x4) Вектора движения, выходящие за границы кадра Веса референсных кадров Пространственное предсказание для intra- блоков Inloop deblocking CABAC (Context-based adaptive binary coding) 4 CS MSU Graphics & Media Lab (Video Group)
- 5. Only for Maxus Существующие реализации x264 MainConcept (DivX 7) Elecard Intel IPP Nero QuickTime и многие другие 5 CS MSU Graphics & Media Lab (Video Group)
- 6. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Методы квантования Психовизуальная оптимизация Расширения H.264 Новый стандарт H.265 Выводы 6 CS MSU Graphics & Media Lab (Video Group)
- 7. Only for Maxus Методы квантования Обычное квантование Использование deadzone Trellis квантование 7 CS MSU Graphics & Media Lab (Video Group)
- 8. Only for Методы квантования Maxus Deadzone Коэффициенты DCT имеют распределение Лапласа Перед делением нужно сместить центр распределения ближе к нулю X264: A HIGH PERFORMANCE H.264/AVC ENCODER. Loren 8 CS MSU Graphics & Media Lab (Video Group) Merritt and Rahul Vanam
- 9. Only for Методы квантования Maxus Trellis quantization Рассмотрим вектор из 64 коэффициентов квантования Каждому коэффициенту будет соответствовать одна стадия (stage) Обозначения: Level state Lj(i): i-тый коэффициент имеет значение J Run state: Rk(i) i-тый коэффициент и k-1 предыдущих коэффициентов имеют значение 0 Будем минимизировать функцию R + λD Trellis-Based R-D Optimal Quantization in H.263+. J.Wen, M.Luttrell, J.Villasenor, IEEE Transactions on Image Processing, 9 CS MSU Graphics & Media Lab (Video Group) Vol.9, No.8, Aug. 2000.
- 10. Only for Методы квантования Maxus Trellis quantization Последовательность принятия решений в виде графа Задача поиска оптимального пути Алгоритм Витерби 10 CS MSU Graphics & Media Lab (Video Group)
- 11. Only for Методы квантования Maxus Trellis quantization Результаты для x264 Скорость: no trellis: 3.63 fps trellis: 3.05 fps (- 16%) Средний PSNR: no trellis: 44.090 trellis: 44.216 11 CS MSU Graphics & Media Lab (Video Group)
- 12. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Улучшения метода квантования Психовизуальная оптимизация Расширения H.264 Новый стандарт H.265 Выводы 12 CS MSU Graphics & Media Lab (Video Group)
- 13. Only for Maxus Психовизуальная оптимизация PSNR не учитывает структурную сложность изображения Помимо PSNR при кодировании нужно учитывать разницу в сложности между исходником и результатом 13 CS MSU Graphics & Media Lab (Video Group)
- 14. Only for Maxus Психовизуальная оптимизация source 14 CS MSU Graphics & Media Lab (Video Group)
- 15. Only for Maxus Психовизуальная оптимизация no psy 15 CS MSU Graphics & Media Lab (Video Group)
- 16. Only for Maxus Психовизуальная оптимизация psy-rdo 16 CS MSU Graphics & Media Lab (Video Group)
- 17. Only for Maxus Психовизуальная оптимизация source 17 CS MSU Graphics & Media Lab (Video Group)
- 18. Only for Maxus Психовизуальная оптимизация source: 1024x560 no psy: 500 kbps Y-PSNR: 41.861 dB SSIM: 0.9736 psy-rdo: 500 kbps Y-PSNR: 40.994 dB SSIM: 0.9697 18 CS MSU Graphics & Media Lab (Video Group)
- 19. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 FRExt SVC MVC Новый стандарт H.265 Выводы 19 CS MSU Graphics & Media Lab (Video Group)
- 20. Only for Maxus FRExt FRExt – Fidelity Range Extention Расширение принято в 2004 году Расширение поддерживаемых цветовых пространств YUV 4:2:2 YUV 4:4:4 Целочисленное преобразование блоков 4x4 и 8x8 Матрицы квантования Улучшение lossless кодирования 1.Overview and introduction to the fidelity range extensions. G. J. Sullivan, P. Topiwala, and A. Luthra SPIE Conf. on Digital 20 CS MSU Graphics & Media Lab (Video Group) Image Processing, Aug 2004.
- 21. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 FRExt SVC MVC Новый стандарт H.265 Выводы 21 CS MSU Graphics & Media Lab (Video Group)
- 22. Only for Maxus Scalable Video Coding Scalable Video Coding (SVC) Расширение принято в 2007 году Основная идея: возможность закодировать поток так, чтобы его можно было декодировать с разными уровнями качества 22 CS MSU Graphics & Media Lab (Video Group)
- 23. Only for Scalable Video Coding Maxus Приложения Интернет-вещание (Youtube и пр.) Разные устройства воспроизведения (от PDA до HDTV) Ненадѐжная среда передачи данных Усиление защиты более важной информации Разнородная структура среды передачи данных Использование Media-Aware Network Elements 23 CS MSU Graphics & Media Lab (Video Group)
- 24. Only for Scalable Video Coding Maxus Цели стандарта Разумные накладные расходы (10-50%) Малое увеличение сложности декодирования Масштабируемость по времени разрешению качеству Overview of the Scalable Video Coding. Extension of the H.264/AVC Standard. Heiko Schwarz, Detlev Marpe, and Thomas Wiegand, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS 24 CS MSU Graphics & Media Lab (Video Group) FOR VIDEO TECHNOLOGY, VOL. 17, NO. 9, SEPTEMBER 2007
- 25. Only for Scalable Video Coding Maxus Масштабируемость по времени B-frames hierarchical Nondyadic hierarchical Delay of zero 25 CS MSU Graphics & Media Lab (Video Group)
- 26. Only for Scalable Video Coding Maxus Масштабируемость по времени 26 CS MSU Graphics & Media Lab (Video Group)
- 27. Only for Scalable Video Coding Maxus Масштабируемость по разрешению Macroblock coding: Motion prediction (M) Inter-layer residual prediction (R) Intra-prediction (I) 27 CS MSU Graphics & Media Lab (Video Group)
- 28. Only for Scalable Video Coding Maxus Масштабируемость по разрешению 28 CS MSU Graphics & Media Lab (Video Group)
- 29. Only for Scalable Video Coding Maxus Масштабируемость по качеству Coarse-grain scalable coding Уровни кодируются с разным шагом квантизации – DQP (delta QP) Используются те же методы масштабирования, что и для масштабирования по разрешению Medium-grain scalable coding Возможность в любой момент переключиться между уровнями разного качества Возможность реконструкции кадров низкого качества по кадрам более высокого качества 29 CS MSU Graphics & Media Lab (Video Group)
- 30. Only for Scalable Video Coding Maxus Масштабируемость по качеству 30 CS MSU Graphics & Media Lab (Video Group)
- 31. Only for Scalable Video Coding Maxus Совмещение подходов 31 CS MSU Graphics & Media Lab (Video Group)
- 32. Only for Scalable Video Coding Maxus Выводы Стандарт предоставляет гибкие средства, которые можно использовать в зависимости от поставленных задач Реализация имеет достаточно небольшие накладные расходы: ~10% для масштабируемости по разрешению ~10% для масштабируемости по качеству Для ускорения скорости кодирования можно использовать single-loop prediction вместо multi-loop 32 CS MSU Graphics & Media Lab (Video Group)
- 33. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 FRExt SVC MVC Новый стандарт H.265 Выводы 33 CS MSU Graphics & Media Lab (Video Group)
- 34. Only for Maxus Multiview Video Coding Multiview Video Coding (MVC) Расширение принято в 2008 году Основные идеи: Иерархическая структура кадров Коррекция освещѐнности Вектор общего диспаритета CODING TECHNIQUES IN MULTIVIEW VIDEO CODING AND JOINT MULTIVIEW VIDEO MODEL, Ying Chen et al, Picture 34 CS MSU Graphics & Media Lab (Video Group) Coding Symposium, 2009.
- 35. Only for Multiview Video Coding Maxus Иерархическая структура кадров 35 CS MSU Graphics & Media Lab (Video Group)
- 36. Only for Multiview Video Coding Maxus Выравнивание освещѐнности Перед вычислением SAD средняя яркость текущего и референсного блока приводится к одному значению Итоговое значение разности средних яркостей пишется в поток 36 CS MSU Graphics & Media Lab (Video Group)
- 37. Only for Multiview Video Coding Maxus Вектор общего диспаритета Вычисляем вектор общего смещения текущего вида относительно соседнего Пишем этот вектор в поток Motion skip: mvnbr = dv + mvcur 37 CS MSU Graphics & Media Lab (Video Group)
- 38. Only for Multiview Video Coding Maxus Результаты MS – Motion skip IC – Illumination correction 38 CS MSU Graphics & Media Lab (Video Group)
- 39. Only for Multiview Video Coding Maxus Результаты 39 CS MSU Graphics & Media Lab (Video Group)
- 40. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 Новый стандарт H.265 Введение Intra coding Decoder-side motion vectors derivation Алгоритмы фильтрации Выводы 40 CS MSU Graphics & Media Lab (Video Group)
- 41. Only for Maxus Новый стандарт H.265 H.265 или NGVC (Next-generation Video Coding) Разрабатывается VCEG (ITU-T Video Coding Experts Group) Глобальная цель: достичь 50% улучшения сжатия по сравнению с H.264 High profile при том же качестве Текущая цель: наскрести эти 50% Requirements for Next-Generation Video Coding Standard, Shun- ichi Sekiguchi, Yoshihisa Yamada, Yoshiaki Kato, Kohtaro Asai, 41 CS MSU Graphics & Media Lab (Video Group) Tokumichi Murakami, VCEG-AI30, Germany, 2008
- 42. Only for Maxus Новый стандарт H.265 Думай о завтрашнем дне сегодня! Рост вычислительных мощностей Закон Мура GPGPU Улучшение характеристик дисплеев и камер Разрешение Цветопередача Рост популярности мобильных устройств с поддержкой видео (3G сети) 42 CS MSU Graphics & Media Lab (Video Group)
- 43. Only for Maxus Новый стандарт H.265 Чего ждать от нового стандарта Основной упор на формат YUV 4:4:4 Также поддержка до 14 бит на компоненту Новые метрики качества, основанные на психовизуальном восприятии Разрешение видео от VGA до 4K Scalable Video Coding Разумная вычислительная сложность для поддержки устройств различных типов Устойчивость к ошибкам передачи 43 CS MSU Graphics & Media Lab (Video Group)
- 44. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 Новый стандарт H.265 Введение Improved intra coding Decoder-side motion vectors derivation Adaptive loop filtering Выводы 44 CS MSU Graphics & Media Lab (Video Group)
- 45. Only for Maxus Improved intra prediction Пиксели intra-блока можно предсказать на основе соседних пикселей В поток пишется разница между исходником и результатом предсказания Improved Intra Coding, Marta Karczewicz, VCEG-AF15, USA, 45 CS MSU Graphics & Media Lab (Video Group) 2007
- 46. Only for Maxus Improved intra prediction pi – предсказываемый пиксель n n sj – соседние пиксели pi j 1 w di s j j j 1 w di j wdij – веса в зависимости от свойств соседей Набор весов wdij называется prediction mode Наборов всего 9 Итоговая разница очень сильно зависит от направления предсказания Чем дальше пиксель от границы, тем больше величина ошибки 46 CS MSU Graphics & Media Lab (Video Group)
- 47. Only for Maxus Improved intra prediction Для каждого prediction mode предлагается использовать отдельное целочисленное преобразование Другое улучшение: если все блоки макроблока имеют один и тот же prediction mode, писать эту информацию только на уровне макроблока 47 CS MSU Graphics & Media Lab (Video Group)
- 48. Only for Improved intra prediction Maxus Результаты I-frames only 48 CS MSU Graphics & Media Lab (Video Group)
- 49. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 Новый стандарт H.265 Введение Improved intra coding Decoder-side motion vectors derivation Adaptive loop filtering Выводы 49 CS MSU Graphics & Media Lab (Video Group)
- 50. Only for Maxus Decoder-side motion vectors derivation Не писать вектор движения в поток, если его можно получить во время декодирования Использовать уже декодированные данные Производить поиск сопоставлением образцов Только P-кадры Fast Decoder Side Motion Vector Derivation, Steffen Kamp, 50 CS MSU Graphics & Media Lab (Video Group) Benjamin Bross, Mathias Wien, VCEG-AJ18, USA, 2008
- 51. Only for Maxus Decoder-side motion vectors derivation Выбор векторов Motion Vector Predictors, 2 либо 4 (Full search) MV из левого и из правого-верхнего блоков как кандидаты (Candidate search) 51 CS MSU Graphics & Media Lab (Video Group)
- 52. Only for DMVD Maxus Результаты 52 CS MSU Graphics & Media Lab (Video Group)
- 53. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 Новый стандарт H.265 Введение Improved intra coding Decoder-side motion vectors derivation Adaptive loop filtering Выводы 53 CS MSU Graphics & Media Lab (Video Group)
- 54. Only for Maxus Adaptive loop filtering http://www.h265.net/2009/08/adaptive-post-loop-filters-in- 54 CS MSU Graphics & Media Lab (Video Group) jmkta-part-1.html
- 55. Only for Maxus Adaptive loop filtering Используем фильтр Винера Для подбора коэффициентов решается уравнение Винера-Хопфа При кодировании коэффициентов можно сэкономить за счѐт их симметрии 55 CS MSU Graphics & Media Lab (Video Group)
- 56. Only for Adaptive loop filtering Maxus Quadtree-based ALF Layer 0 1 Layer 1 1 0 0 1 0 1 Layer 2 0 1 0 0 1 0 0 1 1 1 0 0 0 Layer 3 0 0 1 0 0 1 0 0 0 1 0 0 0 0 0 1 0 0 1 0 0 Layer 4 1 0 0 1 1 0 0 1 1 0 0 0 block_partion_flag filter_block_flag Дерево строится на основе минимизации функции R + λD Specification and experimental results of Quadtree-based Adaptive Loop Filter, Takeshi Chujoh, Naofumi Wada, Takashi Watanabe, Goki Yasuda, Tomoo Yamakage, VCEG-AK22, Japan, 56 CS MSU Graphics & Media Lab (Video Group) 2009
- 57. Only for Adaptive loop filtering Maxus Quadtree-based ALF 57 CS MSU Graphics & Media Lab (Video Group)
- 58. Only for Adaptive loop filtering Maxus Результаты 58 CS MSU Graphics & Media Lab (Video Group)
- 59. Only for Maxus Выводы Преимущества H.264 Заметный прирост в качестве относительно предыдущих стандартов Гибкость и расширяемость Долгосрочность Поддержка производителей Цели H.265 Адаптироваться под технологии будущего Разработать новые подходы для улучшения текущих результатов 59 CS MSU Graphics & Media Lab (Video Group)
- 60. Only for Maxus Список литературы 1. Overview of the H.264/AVC Video Coding Standard. ThomasWiegand, Gary J. Sullivan, Gisle Bjøntegaard, and Ajay Luthra, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003 2. X264: A HIGH PERFORMANCE H.264/AVC ENCODER. Loren Merritt and Rahul Vanam 3. Trellis-Based R-D Optimal Quantization in H.263+. J.Wen, M.Luttrell, J.Villasenor, IEEE Transactions on Image Processing, Vol.9, No.8, Aug. 2000. 4. Overview and introduction to the fidelity range extensions. G. J. Sullivan, P. Topiwala, and A. Luthra SPIE Conf. on Digital Image Processing, Aug 2004. 5. Overview of the Scalable Video Coding. Extension of the H.264/AVC Standard. Heiko Schwarz, Detlev Marpe, and Thomas Wiegand, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 17, NO. 9, SEPTEMBER 2007 6. CODING TECHNIQUES IN MULTIVIEW VIDEO CODING AND JOINT MULTIVIEW VIDEO MODEL, Ying Chen et al, Picture Coding Symposium, 2009. 7. Requirements for Next-Generation Video Coding Standard, Shun-ichi Sekiguchi, Yoshihisa Yamada, Yoshiaki Kato, Kohtaro Asai, Tokumichi Murakami, VCEG-AI30, Germany, 2008 8. Improved Intra Coding, Marta Karczewicz, VCEG-AF15, USA, 2007 9. Fast Decoder Side Motion Vector Derivation, Steffen Kamp, Benjamin Bross, Mathias Wien, VCEG- AJ18, USA, 2008 10. Specification and experimental results of Quadtree-based Adaptive Loop Filter, Takeshi Chujoh, Naofumi Wada, Takashi Watanabe, Goki Yasuda, Tomoo Yamakage, VCEG-AK22, Japan, 2009 11. http://www.h265.net/2009/08/adaptive-post-loop-filters-in-jmkta-part-1.html 60 CS MSU Graphics & Media Lab (Video Group)
- 61. Only for Maxus Содержание Введение Некоторые алгоритмы из H.264 Расширения H.264 Новый стандарт H.265 Выводы 61 CS MSU Graphics & Media Lab (Video Group)