ݺߣ

ݺߣShare a Scribd company logo
Введение в  сжатие видео Дмитрий Ватолин Московский Государственный Университет CS   MSU Graphics&Media Lab Version 2. 4
Причины сжатия видео  Основные проблемы с видео: Несжатые данные занимают очень много места Каналы передачи и возможности хранения ограничены Пример:  Видео  720х576 пикселов 25 кадров в секунду в системе  RGB   и прогрессивной развертке по требует потока данных примерно в 240 Мбит/сек (т.е. 1.8 Гб в минуту).  На  DVD - ROM  диск размером 4.7Гб войдет всего 2.5 минуты.  =>  Нужно сжатие в 35 раз для записи фильма.
Что используется при сжатии Когерентность областей изображения  — малое  локальное  изменение цвета Избыточность в цветовых плоскостях   — используется большая важность яркости для восприятия Подобие между кадрами  —   на скорости 25 кадров в секунду   соседние кадры, как правило, изменяются незначительно
Что используется при сжатии Используется избыточность: Пространственная  (   используется  DCT  или  Wavelet  преобразования) Временная  (между кадрами ,    сжимается межкадровая разница) Цветового пространства  (    RGB  переводится в  YUV  и цветовые компоненты прореживаются)
Пространственная и временная избыточность Соседние кадры фильма (Терминатор-2) Пространственная избыточность –  цвет большинства соседних точек одинаков. Временная избыточность  – кадры весьма похожи
Межкадровая разница Именно такие кадры (с учетом поправки на компенсацию движения) и сжимает кодек. Их больше 99% в потоке. (Амплитуды – малы, изображение практически однородно)
Качество видео Не существует метода оценки качества кадра, полностью адекватного человеческому восприятию  Не существует метода оценки пропущенных кадров, полностью адекватного человеческому восприятию Следствие: Можно декларировать любую степень сжатия в маркетинговых материалах.
PSNR Базовые метрики –  Y-PSNR, U-PSNR, V-PSNR Хорошо работают только на высоком качестве.
Типы кадров в потоке I-кадры— независимо сжатые (I-Intrapictures), P-кадры— сжатые с использованием ссылки на одно изображение (P-Predicted),  B-кадры— сжатые с использованием ссылки на два изображения (B-Bidirection),
Компенсация движения Простая межкадровая разница работает плохо при сильном движении в кадре Алгоритмы компенсации движения отслеживают движение объектов в кадре Уменьшение межкадровой разницы (увеличение ее степени сжатия) Необходимость сохранения информации о движении в кадре Существенно бОльшее время, необходимое для сжатия
Компенсация движения (2) Идеальный алгоритм:  выделение в кадре объектов  и компактное описание их движений. Проблема: огромные объемы вычислений и весьма сложные алгоритмы. Реально используются квадратные блоки, с размером, кратным 8 и достаточно простая организация блоков.
Компенсация движения (3) Для каждого блока в кадре мы находим похожий в предыдущем кадре в некоторой окрестности положения блока. Если достаточно похожий блок в предыдущем кадре не найден – блок сжимается независимо ( Intra-Blocks ).
Движение для  B- кадра Для  B- кадров   у нас появляется возможность выбирать как наиболее близкий блок из любого кадра, так и интерполировать блоки из двух кадров.
Сжатие межкадровой разности Классическая схема сжатия межкадровой разницы очень похожа на сжатие  JPEG:  блоки 8х8 сжимаются  помощью дискретного косинусного преобразования
Схема простого видеокодека
Ad

Recommended

Повышение степени сжатия видео
Повышение степени сжатия видео
MSU GML VideoGroup
Анализ изображений и видео. Обнаружение текста на изображенияхслайды последней
Анализ изображений и видео. Обнаружение текста на изображенияхслайды последней
Yandex
ВТ-2015 Лекция 3. Кодирование, часть 2
ВТ-2015 Лекция 3. Кодирование, часть 2
Denis Korolev
Видео + Конференция. Как получить правильное изображение? Константин Смирнов
Видео + Конференция. Как получить правильное изображение? Константин Смирнов
TrueConf
Кадры решают все, или стриминг видео, Александр Тоболь (Одноклассники)
Кадры решают все, или стриминг видео, Александр Тоболь (Одноклассники)
Ontico
алгоритм фрагментарного сжатия видеопотока
алгоритм фрагментарного сжатия видеопотока
gorkoff
Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тоболь
Кадры решают все, или стриминг видео в «Одноклассниках». Александр Тоболь
odnoklassniki.ru
29. Сжатие изображений.ppt
29. Сжатие изображений.ppt
MisterTom1
Обзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видео
MSU GML VideoGroup
Некоторые методы сегментации видео
Некоторые методы сегментации видео
MSU GML VideoGroup
Обзор методов сравнения фильмов
Обзор методов сравнения фильмов
MSU GML VideoGroup
Обзор методов оценки True-motion
Обзор методов оценки True-motion
MSU GML VideoGroup
Методы цветокоррекции стереовидео
Методы цветокоррекции стереовидео
MSU GML VideoGroup
Некоторые методы сопоставления стерео
Некоторые методы сопоставления стерео
MSU GML VideoGroup
Некоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображений
MSU GML VideoGroup
Некоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видео
MSU GML VideoGroup
Способы построения и оценки карт салиентности
Способы построения и оценки карт салиентности
MSU GML VideoGroup
Некоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кода
MSU GML VideoGroup
Обзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображения
MSU GML VideoGroup
Способы построения saliency map
Способы построения saliency map
MSU GML VideoGroup
Research & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибки
MSU GML VideoGroup
Обзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектов
MSU GML VideoGroup
Некоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубины
MSU GML VideoGroup
Использование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видео
MSU GML VideoGroup
Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012
MSU GML VideoGroup
Обзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVC
MSU GML VideoGroup
Алгоритмы для задачи матирования
Алгоритмы для задачи матирования
MSU GML VideoGroup
Исправление различий резкости в 3D видео
Исправление различий резкости в 3D видео
MSU GML VideoGroup
PowerPoint 2003 for Dummies 1st Edition Doug Lowe
PowerPoint 2003 for Dummies 1st Edition Doug Lowe
yexvsrzykn2676
Bondarenko, Maria (2020, February). Representation of Motion and Direction in...
Bondarenko, Maria (2020, February). Representation of Motion and Direction in...
MashaBondarenko4

More Related Content

More from MSU GML VideoGroup (20)

Обзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видео
MSU GML VideoGroup
Некоторые методы сегментации видео
Некоторые методы сегментации видео
MSU GML VideoGroup
Обзор методов сравнения фильмов
Обзор методов сравнения фильмов
MSU GML VideoGroup
Обзор методов оценки True-motion
Обзор методов оценки True-motion
MSU GML VideoGroup
Методы цветокоррекции стереовидео
Методы цветокоррекции стереовидео
MSU GML VideoGroup
Некоторые методы сопоставления стерео
Некоторые методы сопоставления стерео
MSU GML VideoGroup
Некоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображений
MSU GML VideoGroup
Некоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видео
MSU GML VideoGroup
Способы построения и оценки карт салиентности
Способы построения и оценки карт салиентности
MSU GML VideoGroup
Некоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кода
MSU GML VideoGroup
Обзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображения
MSU GML VideoGroup
Способы построения saliency map
Способы построения saliency map
MSU GML VideoGroup
Research & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибки
MSU GML VideoGroup
Обзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектов
MSU GML VideoGroup
Некоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубины
MSU GML VideoGroup
Использование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видео
MSU GML VideoGroup
Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012
MSU GML VideoGroup
Обзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVC
MSU GML VideoGroup
Алгоритмы для задачи матирования
Алгоритмы для задачи матирования
MSU GML VideoGroup
Исправление различий резкости в 3D видео
Исправление различий резкости в 3D видео
MSU GML VideoGroup
Обзор алгоритмов генерации ракурсов для многоракурсных видео
Обзор алгоритмов генерации ракурсов для многоракурсных видео
MSU GML VideoGroup
Некоторые методы сегментации видео
Некоторые методы сегментации видео
MSU GML VideoGroup
Обзор методов сравнения фильмов
Обзор методов сравнения фильмов
MSU GML VideoGroup
Обзор методов оценки True-motion
Обзор методов оценки True-motion
MSU GML VideoGroup
Методы цветокоррекции стереовидео
Методы цветокоррекции стереовидео
MSU GML VideoGroup
Некоторые методы сопоставления стерео
Некоторые методы сопоставления стерео
MSU GML VideoGroup
Некоторые алгоритмы многомерной обработки изображений
Некоторые алгоритмы многомерной обработки изображений
MSU GML VideoGroup
Некоторые методы обнаружения артефактов 3D-видео
Некоторые методы обнаружения артефактов 3D-видео
MSU GML VideoGroup
Способы построения и оценки карт салиентности
Способы построения и оценки карт салиентности
MSU GML VideoGroup
Некоторые методы проектирования и оптимизации кода
Некоторые методы проектирования и оптимизации кода
MSU GML VideoGroup
Обзор методов сопоставления шаблона и изображения
Обзор методов сопоставления шаблона и изображения
MSU GML VideoGroup
Способы построения saliency map
Способы построения saliency map
MSU GML VideoGroup
Research & Development методы, проблемы и ошибки
Research & Development методы, проблемы и ошибки
MSU GML VideoGroup
Обзор алгоритмов трекинга объектов
Обзор алгоритмов трекинга объектов
MSU GML VideoGroup
Некоторые методы генерации многоракурсных изображений на основе карты глубины
Некоторые методы генерации многоракурсных изображений на основе карты глубины
MSU GML VideoGroup
Использование областей перекрытия в задаче сегментации видео
Использование областей перекрытия в задаче сегментации видео
MSU GML VideoGroup
Обзор докладов конференции IC3D 2012
Обзор докладов конференции IC3D 2012
MSU GML VideoGroup
Обзор стандарта H.265/HEVC
Обзор стандарта H.265/HEVC
MSU GML VideoGroup
Алгоритмы для задачи матирования
Алгоритмы для задачи матирования
MSU GML VideoGroup
Исправление различий резкости в 3D видео
Исправление различий резкости в 3D видео
MSU GML VideoGroup

Recently uploaded (7)

PowerPoint 2003 for Dummies 1st Edition Doug Lowe
PowerPoint 2003 for Dummies 1st Edition Doug Lowe
yexvsrzykn2676
Bondarenko, Maria (2020, February). Representation of Motion and Direction in...
Bondarenko, Maria (2020, February). Representation of Motion and Direction in...
MashaBondarenko4
VBA для чайников 3rd Edition Steve Cummings
VBA для чайников 3rd Edition Steve Cummings
fnupzgprv4318
Газовая промышленность Газовая промышленность
Газовая промышленность Газовая промышленность
sabetovagulmaral
FactoryTalk View Site Edition Руководство пользователя Том 1 Allen-Bredley.
FactoryTalk View Site Edition Руководство пользователя Том 1 Allen-Bredley.
xqtsxflc938
Saint Charbel, MaronitemonkandpriestfromLebanon (Russian).pptx
Saint Charbel, MaronitemonkandpriestfromLebanon (Russian).pptx
Martin M Flynn
Milestones in analog and digital computing vol 1 3rd Edition Herbert Bruderer
Milestones in analog and digital computing vol 1 3rd Edition Herbert Bruderer
bjozmwfwh2753
PowerPoint 2003 for Dummies 1st Edition Doug Lowe
PowerPoint 2003 for Dummies 1st Edition Doug Lowe
yexvsrzykn2676
Bondarenko, Maria (2020, February). Representation of Motion and Direction in...
Bondarenko, Maria (2020, February). Representation of Motion and Direction in...
MashaBondarenko4
VBA для чайников 3rd Edition Steve Cummings
VBA для чайников 3rd Edition Steve Cummings
fnupzgprv4318
Газовая промышленность Газовая промышленность
Газовая промышленность Газовая промышленность
sabetovagulmaral
FactoryTalk View Site Edition Руководство пользователя Том 1 Allen-Bredley.
FactoryTalk View Site Edition Руководство пользователя Том 1 Allen-Bredley.
xqtsxflc938
Saint Charbel, MaronitemonkandpriestfromLebanon (Russian).pptx
Saint Charbel, MaronitemonkandpriestfromLebanon (Russian).pptx
Martin M Flynn
Milestones in analog and digital computing vol 1 3rd Edition Herbert Bruderer
Milestones in analog and digital computing vol 1 3rd Edition Herbert Bruderer
bjozmwfwh2753
Ad

Введение в сжатие видео

  • 1. Введение в сжатие видео Дмитрий Ватолин Московский Государственный Университет CS MSU Graphics&Media Lab Version 2. 4
  • 2. Причины сжатия видео Основные проблемы с видео: Несжатые данные занимают очень много места Каналы передачи и возможности хранения ограничены Пример: Видео 720х576 пикселов 25 кадров в секунду в системе RGB и прогрессивной развертке по требует потока данных примерно в 240 Мбит/сек (т.е. 1.8 Гб в минуту). На DVD - ROM диск размером 4.7Гб войдет всего 2.5 минуты. => Нужно сжатие в 35 раз для записи фильма.
  • 3. Что используется при сжатии Когерентность областей изображения — малое локальное изменение цвета Избыточность в цветовых плоскостях — используется большая важность яркости для восприятия Подобие между кадрами — на скорости 25 кадров в секунду соседние кадры, как правило, изменяются незначительно
  • 4. Что используется при сжатии Используется избыточность: Пространственная (  используется DCT или Wavelet преобразования) Временная (между кадрами ,  сжимается межкадровая разница) Цветового пространства (  RGB переводится в YUV и цветовые компоненты прореживаются)
  • 5. Пространственная и временная избыточность Соседние кадры фильма (Терминатор-2) Пространственная избыточность – цвет большинства соседних точек одинаков. Временная избыточность – кадры весьма похожи
  • 6. Межкадровая разница Именно такие кадры (с учетом поправки на компенсацию движения) и сжимает кодек. Их больше 99% в потоке. (Амплитуды – малы, изображение практически однородно)
  • 7. Качество видео Не существует метода оценки качества кадра, полностью адекватного человеческому восприятию Не существует метода оценки пропущенных кадров, полностью адекватного человеческому восприятию Следствие: Можно декларировать любую степень сжатия в маркетинговых материалах.
  • 8. PSNR Базовые метрики – Y-PSNR, U-PSNR, V-PSNR Хорошо работают только на высоком качестве.
  • 9. Типы кадров в потоке I-кадры— независимо сжатые (I-Intrapictures), P-кадры— сжатые с использованием ссылки на одно изображение (P-Predicted), B-кадры— сжатые с использованием ссылки на два изображения (B-Bidirection),
  • 10. Компенсация движения Простая межкадровая разница работает плохо при сильном движении в кадре Алгоритмы компенсации движения отслеживают движение объектов в кадре Уменьшение межкадровой разницы (увеличение ее степени сжатия) Необходимость сохранения информации о движении в кадре Существенно бОльшее время, необходимое для сжатия
  • 11. Компенсация движения (2) Идеальный алгоритм: выделение в кадре объектов и компактное описание их движений. Проблема: огромные объемы вычислений и весьма сложные алгоритмы. Реально используются квадратные блоки, с размером, кратным 8 и достаточно простая организация блоков.
  • 12. Компенсация движения (3) Для каждого блока в кадре мы находим похожий в предыдущем кадре в некоторой окрестности положения блока. Если достаточно похожий блок в предыдущем кадре не найден – блок сжимается независимо ( Intra-Blocks ).
  • 13. Движение для B- кадра Для B- кадров у нас появляется возможность выбирать как наиболее близкий блок из любого кадра, так и интерполировать блоки из двух кадров.
  • 14. Сжатие межкадровой разности Классическая схема сжатия межкадровой разницы очень похожа на сжатие JPEG: блоки 8х8 сжимаются помощью дискретного косинусного преобразования