More Related Content
What's hot (10)
Similar to ПрезентацияھԲ2 (20)
ПрезентацияھԲ2
- 1. Оптико-волоконное устройство обработки видеоинформации для организации управляющих интерфейсов автоматизированных систем Диссертант : Литманович Д.М. Научный руководитель : доктор технических наук, профессор заведующий кафедрой МЭ НИУ МИЭТ, С.П. Тимошенков Специальность: 05.13.06 Автоматизация и управление технологическими процессами и производствами (в приборостроении) 1
- 2. Актуальность темы представленной диссертационной работы заключается в стремительном развитии интегрированных оптико- электронных систем управления технических устройств. Наиболее известным средством взаимодействия пользователя с информационной системой, наряду с клавиатурой и мышкой, стал в настоящее время и сенсорный экран, который упростил доступ к информации и манипулирование ею, грандиозным примером чего стали мобильные приложения. Большое применение сенсорные экраны получают в автоматизированных системах управления, например в нефтяной и газовой промышленности, энергетике и транспорте. Известно использование сенсорных панелей большого размера в информационных центрах МЧС. 2 Актуальность работы
- 3. 3 Примеры оптических сенсорных систем используемых для построения пользовательских интерфейсов ИК - рамки Триангуляционные системы Структурированная подсветка (Microsoft Kinect) • Чувствительность к паразитным засветкам. • Высокая стоимость крупноформатных решений • Высокая стоимость. • Чувствительность к паразитным засветкам.
- 4. Цель представленной диссертационной работы заключается в разработке и исследовании интегрированного человеко-машинного интерфейса для управления техническими системами. Поставленные задачи • Разработать функциональную и оптико-геометрическую схемы устройства для определения пространственного положения объекта контроля; • Обосновать метод интеграции разработанной структуры в печатную плату, объединяющую в себе как сенсорную поверхность, планарные световоды и матричный фотоприемник, так и вычислительное устройство, реализующее интерфейс с системой управления; • Исследовать процесс формирования освещенности входных апертур планарных световодов, пространственно разнесенными ИК- излучателями, и решить задачу оптимизации их геометрического положения. 4 Цель и задачи диссертационной работы
- 5. Проанализированы существующие технологии создания оптоэлектронных печатных плат на основе планарных световодов и оптоволокна. Выведены формулы расчета положения объекта на сенсорной поверхности. Кроме того, на защиту выносятся: • Способ реализации транзита теневых сегментов в оптоволоконном устройстве обработки видеоинформации; • Научно-обоснованная математическая модель распределения освещенности сенсорной поверхности, подтвержденная результатами, полученными на экспериментальном стенде. • Оптико-геометрическая схема формирования сенсорной поверхности и метод транзита теневых сегментов для задач пространственного измерения; 5 Научные положения, выносимые на защиту
- 6. • Предложен ряд функциональных и оптико-геометрических схем интегрированного устройства для организации человеко-машинного интерфейса; • Разработана научно-обоснованная математическая модель распределения оптической мощности на входных апертурах планарных световодов; • Исследована математическая модель энергетических характеристик системы, позволившая получить оптимальные значения углов наклона излучателей к поверхности расположения входных апертур. Новизна технических решений, полученных в ходе данного исследования, подтверждена патентами РФ на изобретения № 2541849 от 28.01.2013 г., №2542949 от 24.05.2013 г., №2486608 от 27.06.2013 г., №2542947 от 28.11. 2014 г., №2556734 от 28.01. 2014 г. и №2566958 от 15.08.2014 г. 6 Научная новизна
- 7. • Разработана функциональная и оптико-геометрическая схемы сенсорного устройства на основе световодов, для определения пространственного положения; • Предложена методика проведения эксперимента на опытном образце устройства для подтверждения достоверности математической модели. • Реализован интерфейс между оптическим образом, формируемым на сенсорной поверхности и вычислительным устройством; • Разработана структура вычислительного устройства, реализующую человеко-машинный интерфейс, выполненная в виде «система-на- кристалле» (СнК/SoC); • Проведено компьютерное моделирование процесса формирования оптических потоков, создающих сенсорное поле; • Проработан метод формирования оптических межсоединений с использованием планарных световодов или оптического волокна; • Выработаны требования к программному обеспечению, и разработан тестовый прототип устройства обработки видеоинформации; • Программное обеспечение ПЛИС и ПК, входящих в опытный образец устройства, использовано в лабораторных работах курса “Анализ и управление HDL-проектом”. 7 Практическая значимость работы
- 8. Схема функционирования оптико-электронного сенсорного устройства 1, 2 - источники подсветки, с телесными углами распространения излучения ψ1 и ψ2; 3 - видеосенсор; 4 – специализированный вычислитель; 5 – полимерная основа; 6 – световоды, оптическое волокно. Устройство включает в себя сенсорную плату, содержащую набор световодов выполненных в виде полостей в материале сенсорной платы или оптических волокон. Световоды оптически сопряжены с входящими в состав устройства источниками подсветки, а их выходные торцы оптически связаны с видеосенсором. 8
- 9. Обобщенная оптическая схема преобразования информации Пересечение оптических потоков 𝜳 𝟏 и 𝜳 𝟐, на плоскости 𝜱, определяет сенсорное поле 𝜴 , т.е.: 𝜴 ≡ 𝜳 𝟏 ∩ 𝜳 𝟐 ∩ 𝜱. В сенсорном поле 𝜴 , пространственное положение точки 𝛾 (𝑥 𝛾, 𝑦𝛾, 𝑧 𝛾) , определяется как точка пересечения отрезков 𝐼1 𝑥𝑖1, 𝑦𝑖1, 𝑧𝑖1 , 𝛿1 𝑥 𝛿1, 𝑦𝛿1, 𝑧 𝛿1 и 𝐼2 𝑥𝑖2, 𝑦𝑖2, 𝑧𝑖2 , 𝛿2 𝑥 𝛿2, 𝑦𝛿2, 𝑧 𝛿2 M – фотоприемная матрица; C специализированный вычислитель; 𝜜𝒊 – входные апертуры световодов; 𝑩𝒊 – выходные апертуры световодов; 𝑹𝒊=(𝟏…𝒏) – набор пространственно разнесенных излучателей; 𝜳 𝟏 … 𝜳 𝒏 – оптические потоки излучателей 𝑹 𝟏 … 𝑹 𝒏; 𝐊(𝐱, 𝐲, 𝐳) – координаты точки, принадлежащей объекту контроля 9
- 10. Оптическая схема транзита теневого сегмента Вариант световодной структуры выходных торцовых отражателей (результат трехмерного моделирования ) 1 – засвеченная поверхность; 2 – теневой сегмент; 3 – световод; 4 – полимерная основа; 5 – выходной торцевой отражатель; φ - отраженный оптический поток. Световые потоки от каждого из излучателей, падают на входные торцы оптических волокон или световодов, а пересечение потоков ψ1 и ψ2 на входных торцах образует рабочую область сенсорной панели. Специализированный вычислитель осуществляет поочередное включение излучателей, и вводит в память состояния фотоприемного массива для каждого из состояний излучателей. 10
- 11. Построение многослойной световодной структуры 1 - верхний слой полимерной основы; 2 - нижний слой полимерной основы; 3 – световоды; 4 – выходной торцовый отражатель; 5 - вскрытия; φ - верхний поток регистрируемого излучения; ω – нижний поток регистрируемого излучения/ Для повышения разрешающей способности, необходимо увеличивать плотность размещения световодов. Это может быть достигнуто увеличением количества слоев, с размещенными в них канальными световодами. 11 Вариант многослойной световодной структуры (результат трехмерного моделирования )
- 12. Повышение разрешающей способности при частичном затенения входных апертур 1 – источник подсветки; 2- объект контроля; 3 – плата основание; 4 – световоды; 5 – отражатель; 6 – теневой сегмент; Sw i – площадь освещенного торца i-го световода, Sb i – площадь затененного торца i-го световода; Sw i+1 – площадь освещенного торца (i+1)-го световода; Xi – ширина торца; ΔXi – линейная координата края торца. . Разрешающая способность может быть увеличена при расширении горизонтальной протяженности входных апертур, с применением дополнительной обработки оптических сигналов 12 𝑈 𝑖 = µ(𝑎 − 𝛥𝑋𝑖) 1) Аналогично для полностью засвеченного торца, ближнего к 𝑖 – у, можно записать: 𝑈 𝑖+1 = µ𝑎 2) Из 1 и 2 получаем: 𝛥𝑋𝑖 = 𝑎(𝑈 𝑖+1 − 𝑈 𝑖 ) 𝑈 𝑖+1 3) Таким образом уточненная 𝑋 – координата равна 𝑋𝑖 + 𝛥𝑋𝑖 . Для второго излучателя - 𝑋𝑗 + 𝛥𝑋𝑗 Далее, по номерам 𝑖 и j, выбираются константы (𝑋𝑖 , 𝑌𝑖 ) и (𝑋𝑗 , 𝑌𝑗 ), являющиеся координатами торцов световодов в системе координат 0XY . 𝑌−𝑌 𝑗 𝑌2 𝑅−𝑌 𝑗 = 𝑋−𝑋 𝑗 𝑋2 𝑅−𝑋 𝑗 . 𝑌−𝑌 𝑖 𝑌1 𝑅−𝑌 𝑖 = 𝑋−𝑋 𝑖 𝑋1 𝑅−𝑋 𝑖 ; 4)
- 13. 0XYZ – опорная система координат; Or – центр излучения; Xr,Yr– координаты оптического центра излучателя; Or,Oc – главная оптическая ось излучателя; Ψ – световой поток, излучаемый внутри телесного угла µ; Or,Yr – ось параллельная оси OY; η – угол поворота оси Or,Oc относительно Or,Yr; y=y(x) – уравнение расположения центров входных апертур. Исходная конфигурация сенсорного устройства для проведения моделирования 13 Eε= E0cos ε ; 1) где E0= Ψ S0 , – освещенность, полученная световым потоком на площадке S0, перпендикулярной к оптической оси излучателя. Ψ=Iµ , µ = S0 r2 ; 2) Где I – сила света. Из 1 и 2 получаем: Eε= Ψ S0 cos ε = Iµ S0 cos ε = I r2 cos ε ; 3)
- 14. 𝛱 - кисть человека-оператора; 𝑥П, 𝑦П - координата точки касания пальцем кисти сенсорной поверхности; 𝑳 x, y – линия расположения входных апертур; 𝑹 𝟏 - первый точечный излучатель с координатами xR1, yR1 ; 𝑹 𝟐 - второй точечный излучатель с координатами xR2, yR2 ; 𝝈 𝑹𝟏- главная оптическая ось излучателя 𝑹 𝟏; 𝝈 𝑹𝟐- главная оптическая ось излучателя 𝑹 𝟐; 𝜳 𝟏 – оптический поток излучателя 𝑹 𝟏; 𝜳 𝟐 – оптический поток излучателя 𝑹 𝟐; 𝝆 𝑹𝟏 𝑥 𝜉, 𝑦 𝜉 – расстояние от оптического центра первого излучателя до точки xξ, yξ на линии 𝑳; η – касательная к 𝑳 x, y в точке xξ, yξ ; μ – нормаль к 𝑳 𝑥, 𝑦 в точке xξ, yξ ; 𝑺 𝟏 – теневой сегмент от действия излучателя 𝑹 𝟏; 𝑺 𝟐 – теневой сегмент от действия излучателя 𝑹 𝟐; 𝑨𝒊 – входная апертура i–го оптоволокна, 𝜸 𝑹𝟏 𝑥 𝜉, 𝑦 𝜉 - угол падения потока 𝜳 𝟏 в точку xξ, yξ ; 𝜷 𝑹𝟏- угол наклона 𝝈 𝑹𝟏 к оси Y; 𝜹 𝑹𝟏(ξ) – прямая между оптической осью 𝑹 𝟏 и точкой 𝝃; 𝜽 𝑹𝟏 – угол между центральной оптической осью 𝝈 𝑹𝟏 и 𝜹 𝑹𝟏 ξ . Геометрическая схема моделирования 14
- 15. В результате прогонки модели были получены графики распределения освещенности входных апертур 𝜠 = 𝑬(𝑥, 𝛽) , и мощности излучаемой источниками подсветки в направлении входных апертур («направленной мощности») 𝑷 = 𝑷(𝑥, 𝛽). 15 Моделирование распределения освещенности входных апертурОсвещенность,Лк Освещенность,Лк X - координаты приемных апертур, мм X - координаты приемных апертур, мм 𝜽 – угол наклона излучателя, град 𝜽 – угол наклона излучателя, град
- 16. Моделирование распределения мощности излучения в направлении входных апертур Можно сделать выводы о большой неравномерности распределения мощности и освещенности на входных торцах. 16 𝜽 – угол наклона излучателя, град «Направленнаямощность»,мВт X - координаты приемных апертур, мм
- 17. Угол наклона оптической оси излучателя, град. 𝑋 - координата положения входной апертуры, мм Освещенность входной апертуры, лк Максимальная величина размаха освещенностей входных апертур, 𝜁 -60 -100 0.1479 22.470 0.1390 100 0.0066 +60 -100 0.0152 2.590 0.0317 100 0.0394 +43 -100 0.03562 1.060 0.0376 100 0.0364 При угле +43˚ виден некоторый подъем освещенности в середине рабочей зоны, а размах освещенности составляет: 𝜁+43 = 0.03759/0.03562 ≈1.06, что можно считать оптимальным значением, т.к. освещенность входных апертур практически равномерна. Исследование зависимости освещенности от угла наклона излучателя 17
- 18. Сенсорное устройство представляет собой печатную плату, охватывающую рабочую зону, со сформированными на ней световодами на основе оптоволокна Разработка макетного образца сенсорного устройства 1 – источники подсветки («синий» и «красный» светодиоды); 2 – плата основание; 3 – верхняя плата; 4 – оптоволокна. Для оптической связи выходных торцов оптоволокон с ПЗС-матрицей цифровой телевизионной камерой, был разработан оптический конвертер 1 – печатная плата с ПЗС-матрицей; 2 – объектив телевизионной камеры; 3 – корпус; 4 – оптоволоконный жгут. 18
- 19. 1 – визуализация линий фигурирующих в математической модели; 2 – изображение на выходных торцах оптоволокна; 3 – оптический конвертер; 4 – телевизионная камера; 5 – оптоволокна; 6 – рабочая поверхность сенсора; 7 – объект контроля. 1 2 5 3 64 7 19 Стенд для проверки математической модели
- 20. Стенд для исследования и отладки устройства 1 – оптоволокна; 2 – объект контроля; 3 – оптический конвертер; 4 – отладочная плата Kintex 7(Xilinx); 5 – линия расположения входных апертур оптоволокна. 1 2 3 4 5 20
- 21. Пример затенения входных торцов объектом контроля 1 Изображения среза оптоволоконного жгута на поверхности ПЗС-матрицы 1 – объект контроля; 2 – область размещения входных апертур; 3 – рабочая поверхность сенсора. 2 3 21
- 22. 1 Образование теневых составляющих 12 3 4 5 1 – засветка от обоих светодиодов («красного» и «синего»), 2 – тень от “синего” светодиода (полутень); 3 – полная тень (от обоих светодиодов); 4 – тень от “красного” светодиода (полутень); 5 – входная апертура одного из волокон. 22
- 23. Исследование зависимости освещенности от угла наклона излучателя 0 0,02 0,04 0,06 0,08 0,1 0,12 0,14 0,16 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 Освещенность,Лк X - координаты приемных апертур, мм Результат моделирования Результат испытаний 0 0,02 0,04 0,06 0,08 0,1 0,12 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 Освещенность,Лк X - координаты приемных апертур, мм 0 0,005 0,01 0,015 0,02 0,025 0,03 0,035 0,04 0,045 0,05 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 Освещенность,Лк X - координаты приемных апертур, мм Результат моделирования Результат испытаний 0 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 Освещенность,Лк X - координаты приемных апертур, мм Результат моделирования Результат испытаний 23 Угол +43˚Угол +30˚ Угол -60˚ Угол +60˚
- 24. Исследование зависимости «направленной мощности» от угла наклона излучателей 0 200 400 600 800 1000 1200 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 «Направленнаямощность»,мВт X - координаты приемных апертур, мм 0 200 400 600 800 1000 1200 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 «Направленнаямощность»,мВт X - координаты приемных апертур, мм 0 200 400 600 800 1000 1200 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 «Направленнаямощность»,мВт X - координаты приемных апертур, мм Результат моделирования Результат испытаний 0 200 400 600 800 1000 1200 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 «Направленнаямощность»,мВт X - координаты приемных апертур, мм Результат моделирования Результат испытаний 24 Угол +43˚Угол +30˚ Угол +60˚ Угол -60˚
- 25. Опытный образец системы на базе дискретных оптических приемников и излучателей. 25 Практическое реализация предложенных принципов Перспективная оптико-волоконная система. Комплект системы (линейчатые приемо- передающие модули и специализированный вычислитель). Пример использования (управление складским учетом). 1 – ”левая” оптоэлектронная печатная плата; 2 – ”правая” оптоэлектронная печатная плата; 3 – сенсорная область; Ψ – последовательно формируемые потоки ИК- излучения.
- 26. • Научно-обоснован ряд функциональных и оптико-геометрических схем сенсорных устройств для организации управляющих интерфейсов. • Показана возможность реализации оптико-волоконного устройства в виде «системы-на-кристалле». • Разработана геометрическая модель образования теневых сегментов и их транзита к ПЗС-матрице в оптоволоконном сенсоре. Представлена техническая реализация данного метода в виде экспериментального образца. • Разработана математическая модель распределения освещенности и оптической мощности излучателей, позволившая решить задачу оптимизации их пространственного положения. • Разработаны функциональная и оптико-геометрическая схемы положенные в основу устройства для измерения пространственного положения на основе планарных световодов, интегрированных в полимерную основу. Получено 6 патентов РФ на изобретения, защищающие техническую новизну предложенных решений. • Получены экспериментальные изображения образования теневых сегментов в различных ситуациях расположения пальца человека- оператора информационной системы, а также изображения цветовых карт на выходных торцах оптоволокон. 26 Основные результаты работы
- 27. • Работа выполнена при поддержке Минобрнауки России, Соглашение номер 14.575.21.0069, уникальный идентификатор соглашения RFMEFI57514X0069. • НИОКР по теме «Система интерактивного взаимодействия пользователя с трехмерным управляющим интерфейсом» (Проект № 14258) в рамках программы поддержки «Участник молодежного научно- инновационного конкурса «Актуальные проблемы информатизации в науке, образовании и экономике – 2011» (2011-2014). • НИОКР по теме «Трехмерный манипулятор на основе технологии оптических световодов» (Проект № 15315) в рамках программы поддержки «Участник молодежного научно-инновационного конкурса «Актуальные проблемы информатизации в науке, образовании и экономике – 2011» (2011-2014). • Модели функционирования управляющего интерфейса автоматизированной системы, используются при проведении лабораторных работ по курсу «Анализ и управление HDL - проектом (HDL Designer)» кафедры МЭ НИУ МИЭТ; • Примеры оптических печатных плат, используются при проведении лабораторных работ по курсу «Схемотехническое проектирование средствами DxDesigner» кафедры МЭ НИУ МИЭТ; 27 Внедрение результатов
- 28. 1. Литманович А.М., Литманович Д.М. Измерение положения пространственного указателя в специализированных интерфейсах управления. //Естественные и технические науки. 2011, №3, c. 316 - 319. 2. Литманович Д.М, Литманович А.М, Тихонов К.С. Определение координат объекта по теневым составляющим для устройства пространственной ориентации на базе многослойных конформных коммутационных плат. //Известия высших учебных заведений. «Электроника». 2012, №6, c. 73 - 77. 3. Сенсорная панель на основе световодов: Пат. 2541849. Рос. Федерация. № 2013103617/08; заявл. 28.01.2013; опубл. 10.08.2014, Бюл. № 5. 4. Сенсорное устройство с измерением динамического воздействия: Пат. 2542949. Рос. Федерация. № 2013123791/08; заявл. 24.05.2013; опубл. 27.02.2015, Бюл. № 6. 5. Устройство для организации интерфейса с объектом виртуальной реальности. Пат. 2486608. Рос. Федерация. № 2011135023/08; заявл. 23.08.2011; опубл. 27.06.2013, Бюл. № 18. 6. Оптическое сенсорное устройство: Пат. 2542947. Рос. Федерация. № 2013123789/08; заявл. 24.05.2013; опубл. 27.02.2015, Бюл. № 6. 7. Способ управления положением бокового автомобильного стекла и устройство для его реализации: Пат 2556734. Рос. Федерация. № 2014102795/11; заявл. 28.01.2014; опубл. 20.07.2015, Бюл. № 20. 8. Оптическое устройство формирования сенсорной поверхности: Пат 2566958. Рос. Федерация. № 2014133788; заявл.15.08.2014; опубл. 17.10.2015, Бюл. № 30. Прочие публикации отражающие результаты диссертационной работы 1. Вертянов Д.В, Литманович Д.М. Разработка технологии сборки и монтажа кристаллов с шариковыми выводами на гибкую плату в составе МКМ. //Тезисы. 16-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2009», c. 77. 2. Литманович Д.М, Бесман Л.Л. Технология наноимпринт-литографии для формирования трехмерных структур. //Тезисы докладов. Международная конференция «ФПННиМ-2009», c. 45. 3. Литманович А.М., Литманович Д.М. Измерение положения пространственного указателя методом теневой локации. //Тезисы докладов. 18-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2011», c. 191. 4. Литманович Д.М. Система интерактивного взаимодействия пользователя с трехмерным управляющим интерфейсом. Тезисы докладов. Исследования и разработки молодых ученых, студентов и аспирантов в области электроники и приборостроения, «УМНИК - 2011» c. 19. 5. Литманович Д.М. Разработка полупроводникового позиционно-теневого модуля SPD (Shadow Position Detector). //Тезисы докладов. 19-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2012», c. 99. 6. Timoshenkov S, Kalugin V, Litmanovich D, Tikhonov K, Korobova N, Micromechanical inclinometer for transport systems. // Fourteenth Annual Conference «YUCOMAT 2012», p.15. 7. Литманович Д.М. Устройство для определения положения объекта на основе технологии внутреннего монтажа оптического волокна. Тезисы докладов. Конференция «Фестиваль Недели науки Юга России». 2012 c. 56. 8. Литманович Д.М. Сенсорная панель на основе оптических световодов. // Тезис. 20-ая Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика - 2013», c. 203. 9. Литманович Д.М, Тимошенков С.П. Моделирование отражающих элементов в оптических планарных световодах. // Статья. V-международная конференция «Стратегии устойчивого развития мировой науки», 2015, том 1, с.21-23. 28 Публикации по работе