ݺߣ

ݺߣShare a Scribd company logo

Intel® real sense™ mixar moscow sept'15

•
•
mixARConference
mixARConference

Доклад с выступления Александра Лазарева на mixAR 2015

1 of 24
Download to read offline
Погружениевтрехмерныймир Intel®RealSense™Александр Лазарев, инженер по приложениям, Intel
2
Бесконтактные интерфейсы – это еще цветочки 3
4 All-in-One Ноутбук Convertible Detachable Планшет ПЕРЕДНЯЯ камера ЗАДНЯЯ камера Устройства с 3D камерой 4 R200 «Видит, понимает» обстановку, окружение Обучение, обучающие игры Трехмерное общение, творчество Сканирование, моделирование, копирование Естественное взаимодействие Игры, другие развлечения Новые возможности в фотографии Трехмерное сканирование, моделирование окружения Трехмерные игры, обучение, сотрудничество Новые возможности в видео F200 Взаимодействует с пользователями и маленькими объектами Разные цели использования разных камер
ПЕРЕДНЯЯ КАМЕРА Intel® RealSense™ 3D камера F200 На рынке Камеры Intel® RealSense™ ЗАДНЯЯ КАМЕРА Intel® RealSense™ 3D камера R200 На рынке скоро Для устройств 2в1, ноутбуков, AIO • Использование внутри помещений • Отслеживает пальцы, руки, лица, головы • Распознает жесты, выражения лиц, фон • На короткой дистанции • Использование внутри помещений и на улице • Отслеживает 3D объекты, сцены • Фото и видео с данными глубины • Для игр, дополненной реальности • На большой дистанции Планшеты и «пристегивающиеся» 2в1 5
Комплект разработчика 6 https://software.intel.com/en-us/realsense/devkit
Intel® RealSense™ камера F200 для отслеживания рук, лиц, головы Horiz: 68oVert: 50o 7 Передняя камера F200
8 Параметры камеры F200 3D 2D  Технология: кодированный свет; VGA 60fps;  Платформы: процессор 4,5,6 поколение Intel® Core™ i3/i5/i7;  Использование: в помещении, направлена на пользователя;  ОС: Windows 8.1, Windows 10  Формфактор: интегрированный модуль**  1080p RGB, ИК излучатель и ИК камера  Размеры: 110x12.5x3.75мм  Мощность: 1.6 Вт. * Other Names and Brands may be claimed as the property of others
Feature Color Camera IR Camera Active Pixels 1920x1080 640x480 (VGA) Aspect Ratio 16:9 4:3 FOV (D x V x H) 77o x 43o x 70o 85o x 56o x 72o Frame Rate 30/60/120FPS* Up to 300FPS* Filter Type IR Cut Filter IR Band Pass Focus Fixed Fixed Interface MIPI CSI-2, 2 Lanes MIPI CSI-2, 4 Lanes *Частота кадров зависит от разрешения, версии прошивки Обзор сенсоров Intel® RealSense™ F200 Feature IR Laser Projector Eye Safety Class 1 Coded Light Projection Vertical Bar Patterns Nominal Wavelength 860nm FOV (D x V x H) 85o x 56o x 72o 9
Использование Intel® RealSense™ F200 Обучение и обучающие игры Трехмерное общение, творчество Трехмерное сканирование, моделирование, копирование Естественное взаимодействие Игры и другие развлечения и многое другое Цвет Глубина ИК 10
ПЕРЕДНЯЯ КАМЕРА Intel® RealSense™ 3D камера F200 На рынке Камеры Intel® RealSense™ ЗАДНЯЯ КАМЕРА Intel® RealSense™ 3D камера R200 На рынке скоро Для устройств 2в1, ноутбуков, AIO • Использование внутри помещений • Отслеживает пальцы, руки, лица, головы • Распознает жесты, выражения лиц, фон • На короткой дистанции • Использование внутри помещений и на улице • Отслеживает 3D объекты, сцены • Фото и видео с данными глубины • Для игр, дополненной реальности • На большой дистанции Планшеты и «пристегивающиеся» 2в1 11
12 Задняя камера R200 Vertical FoV = 46° Horizontal FoV =59 ° ~0.6m ~3.5m indoors «Глаза» Вашего устройства. Для сканирования, моделирования, редактирования, печати. И для игр
13  Технология: активное стерео; VGA 60fps  Платформы: процессор 4,5,6 поколение Intel® Core™ i3/i5/i7, Intel® Core™ M, Intel Atom x5/x7  Использование:  В помещении до 3.5м;  На улице до 8+м  Большие расстояния требуют солнечного ИК излучения  ОС: Windows 10  Формфактор: интегрированный модуль • Размеры: 101.6x9.6x3.8мм • Мощность: 1.6W Параметры камеры R200 13 левый ИК сенсор Правый ИК сенсор 1080p цветной сенсор R200 ASIC коннектор лазерный ИК излучатель 3.3V USB3 Левый ИК сенсор Правый ИК сенсор ИК излучатель 1080p цветной сенсор коннектор модуля (USB3) R200 ASIC
14 Использование Intel® RealSense™ F200 Снимайте мир в 3D Снимайте объекты, людей, обстановку. Встроенный 3D сканер для передачи, редактирования, 3D печати Новые возможности в фотографии Риалтайм фильтры по глубине, эффекты редактирования (подсветка, корректировка фокуса, удаление фона) Добавить игрушки в игру, а игру в реальное видео Новое в играх, развлечениях, обучении, общении «Покажи, как надо», «как будет», «что если» Виртуальный контент в реальном мире, и наоборот Запись,редактирование, воспроизведение Дополнениеи наложение Восприятие сцены Цвет Глубина ИКл ИКп
Introduction to Intel RealSense SW stack 15
17 Camera connected (USB3!), DCM installed Easy filter First Sense of RealSense
18 RealSense SDK Sample Browser* *comes with the SDK
Introduction to Intel RealSense SDK 19
20 Intel® RealSense™ SDK - Windows F200 Front-Facing Depth Camera 3D Face TrackingBackground Removal Object Recognition and Tracking Front Facing (Laptop) Speech Recognition Front-Facing Capabilities 3D Object Scan/Capture Rear Facing (Tablet) Rear-Facing Capabilities RealSense™ SDK Framework Hand Tracking & Gesture Recognition Augmented Reality / Scene Understanding R200 Rear-Facing Depth Camera Enhanced Photo&Video
21 Intel® RealSense™ SDK Package Single SDK for both F200 and R200 development. – Developer can choose to install for specific camera or both.
22 Depth Camera Manager Service (DCM)
23 DCM Responsibilities • Multiple applications access to the camera • Single camera profile • Power Management  Requests accumulated from MWs and app by the client  Clients set the requests to the service per stream  If all clients agree to reduce power – the stream will reduce power(currently just lower FPS)  Once a client requests full power – the stream resumes full power
Placeholder Footer Copy / BU Logo or Name Goes Here UsingtheIntel®RealSenseSDK™for Windows* 24 *Other names and brands may be claimed as the property of others.
Hands Face Speech Environment 25 Intel® RealSense™ SDK for Windows* Understands 4 basic types of input - Standalone or various permutations Categories of Input Capabilities Features Hands • Hand and Finger Tracking • Gesture Recognition • 22-point Hand and Finger Tracking • Static Poses and Dynamic Gestures Face • Face Detection and Tracking • Multiple Face Detection and tracking • 78-point Landmark Detection (facial features) • Face Recognition and Facial Expressions • Pulse Estimator Speech • Speech Recognition and Synthesis • Command and Control • Dictation • Text to Speech Environment • Segmentation • 3D Scanning • Augmented Reality • Background Segmentation • 3D Object / Face • 2D/3D Object Tracking • Scene Perception • Enhanced Photo&Video • Human detection&tracking, body tracking (incl. skeleton)

More Related Content

Intel® real sense™ mixar moscow sept'15

  • 2. 2
  • 3. Бесконтактные интерфейсы – это еще цветочки 3
  • 4. 4 All-in-One Ноутбук Convertible Detachable Планшет ПЕРЕДНЯЯ камера ЗАДНЯЯ камера Устройства с 3D камерой 4 R200 «Видит, понимает» обстановку, окружение Обучение, обучающие игры Трехмерное общение, творчество Сканирование, моделирование, копирование Естественное взаимодействие Игры, другие развлечения Новые возможности в фотографии Трехмерное сканирование, моделирование окружения Трехмерные игры, обучение, сотрудничество Новые возможности в видео F200 Взаимодействует с пользователями и маленькими объектами Разные цели использования разных камер
  • 5. ПЕРЕДНЯЯ КАМЕРА Intel® RealSense™ 3D камера F200 На рынке Камеры Intel® RealSense™ ЗАДНЯЯ КАМЕРА Intel® RealSense™ 3D камера R200 На рынке скоро Для устройств 2в1, ноутбуков, AIO • Использование внутри помещений • Отслеживает пальцы, руки, лица, головы • Распознает жесты, выражения лиц, фон • На короткой дистанции • Использование внутри помещений и на улице • Отслеживает 3D объекты, сцены • Фото и видео с данными глубины • Для игр, дополненной реальности • На большой дистанции Планшеты и «пристегивающиеся» 2в1 5
  • 7. Intel® RealSense™ камера F200 для отслеживания рук, лиц, головы Horiz: 68oVert: 50o 7 Передняя камера F200
  • 8. 8 Параметры камеры F200 3D 2D  Технология: кодированный свет; VGA 60fps;  Платформы: процессор 4,5,6 поколение Intel® Core™ i3/i5/i7;  Использование: в помещении, направлена на пользователя;  ОС: Windows 8.1, Windows 10  Формфактор: интегрированный модуль**  1080p RGB, ИК излучатель и ИК камера  Размеры: 110x12.5x3.75мм  Мощность: 1.6 Вт. * Other Names and Brands may be claimed as the property of others
  • 9. Feature Color Camera IR Camera Active Pixels 1920x1080 640x480 (VGA) Aspect Ratio 16:9 4:3 FOV (D x V x H) 77o x 43o x 70o 85o x 56o x 72o Frame Rate 30/60/120FPS* Up to 300FPS* Filter Type IR Cut Filter IR Band Pass Focus Fixed Fixed Interface MIPI CSI-2, 2 Lanes MIPI CSI-2, 4 Lanes *Частота кадров зависит от разрешения, версии прошивки Обзор сенсоров Intel® RealSense™ F200 Feature IR Laser Projector Eye Safety Class 1 Coded Light Projection Vertical Bar Patterns Nominal Wavelength 860nm FOV (D x V x H) 85o x 56o x 72o 9
  • 10. Использование Intel® RealSense™ F200 Обучение и обучающие игры Трехмерное общение, творчество Трехмерное сканирование, моделирование, копирование Естественное взаимодействие Игры и другие развлечения и многое другое Цвет Глубина ИК 10
  • 11. ПЕРЕДНЯЯ КАМЕРА Intel® RealSense™ 3D камера F200 На рынке Камеры Intel® RealSense™ ЗАДНЯЯ КАМЕРА Intel® RealSense™ 3D камера R200 На рынке скоро Для устройств 2в1, ноутбуков, AIO • Использование внутри помещений • Отслеживает пальцы, руки, лица, головы • Распознает жесты, выражения лиц, фон • На короткой дистанции • Использование внутри помещений и на улице • Отслеживает 3D объекты, сцены • Фото и видео с данными глубины • Для игр, дополненной реальности • На большой дистанции Планшеты и «пристегивающиеся» 2в1 11
  • 12. 12 Задняя камера R200 Vertical FoV = 46° Horizontal FoV =59 ° ~0.6m ~3.5m indoors «Глаза» Вашего устройства. Для сканирования, моделирования, редактирования, печати. И для игр
  • 13. 13  Технология: активное стерео; VGA 60fps  Платформы: процессор 4,5,6 поколение Intel® Core™ i3/i5/i7, Intel® Core™ M, Intel Atom x5/x7  Использование:  В помещении до 3.5м;  На улице до 8+м  Большие расстояния требуют солнечного ИК излучения  ОС: Windows 10  Формфактор: интегрированный модуль • Размеры: 101.6x9.6x3.8мм • Мощность: 1.6W Параметры камеры R200 13 левый ИК сенсор Правый ИК сенсор 1080p цветной сенсор R200 ASIC коннектор лазерный ИК излучатель 3.3V USB3 Левый ИК сенсор Правый ИК сенсор ИК излучатель 1080p цветной сенсор коннектор модуля (USB3) R200 ASIC
  • 14. 14 Использование Intel® RealSense™ F200 Снимайте мир в 3D Снимайте объекты, людей, обстановку. Встроенный 3D сканер для передачи, редактирования, 3D печати Новые возможности в фотографии Риалтайм фильтры по глубине, эффекты редактирования (подсветка, корректировка фокуса, удаление фона) Добавить игрушки в игру, а игру в реальное видео Новое в играх, развлечениях, обучении, общении «Покажи, как надо», «как будет», «что если» Виртуальный контент в реальном мире, и наоборот Запись,редактирование, воспроизведение Дополнениеи наложение Восприятие сцены Цвет Глубина ИКл ИКп
  • 15. Introduction to Intel RealSense SW stack 15
  • 16. 17 Camera connected (USB3!), DCM installed Easy filter First Sense of RealSense
  • 17. 18 RealSense SDK Sample Browser* *comes with the SDK
  • 18. Introduction to Intel RealSense SDK 19
  • 19. 20 Intel® RealSense™ SDK - Windows F200 Front-Facing Depth Camera 3D Face TrackingBackground Removal Object Recognition and Tracking Front Facing (Laptop) Speech Recognition Front-Facing Capabilities 3D Object Scan/Capture Rear Facing (Tablet) Rear-Facing Capabilities RealSense™ SDK Framework Hand Tracking & Gesture Recognition Augmented Reality / Scene Understanding R200 Rear-Facing Depth Camera Enhanced Photo&Video
  • 20. 21 Intel® RealSense™ SDK Package Single SDK for both F200 and R200 development. – Developer can choose to install for specific camera or both.
  • 21. 22 Depth Camera Manager Service (DCM)
  • 22. 23 DCM Responsibilities • Multiple applications access to the camera • Single camera profile • Power Management  Requests accumulated from MWs and app by the client  Clients set the requests to the service per stream  If all clients agree to reduce power – the stream will reduce power(currently just lower FPS)  Once a client requests full power – the stream resumes full power
  • 23. Placeholder Footer Copy / BU Logo or Name Goes Here UsingtheIntel®RealSenseSDK™for Windows* 24 *Other names and brands may be claimed as the property of others.
  • 24. Hands Face Speech Environment 25 Intel® RealSense™ SDK for Windows* Understands 4 basic types of input - Standalone or various permutations Categories of Input Capabilities Features Hands • Hand and Finger Tracking • Gesture Recognition • 22-point Hand and Finger Tracking • Static Poses and Dynamic Gestures Face • Face Detection and Tracking • Multiple Face Detection and tracking • 78-point Landmark Detection (facial features) • Face Recognition and Facial Expressions • Pulse Estimator Speech • Speech Recognition and Synthesis • Command and Control • Dictation • Text to Speech Environment • Segmentation • 3D Scanning • Augmented Reality • Background Segmentation • 3D Object / Face • 2D/3D Object Tracking • Scene Perception • Enhanced Photo&Video • Human detection&tracking, body tracking (incl. skeleton)