ROS3D - Podsumowanie prac nad projektem
0 likes307 views
Podsumowanie prac prowadzonych przez Open-RnD w ramach projektu bada przemysowych metod analizy obrazu stereoskopowego 3D. Projekt wsp坦finansowany przez NCBiR w ramach programu Demonstrator+.
![ROS3D.OK WYDAJNO
Czas renderowania widoku [ms]
Nexus 7 299.03
Nexus 7
zoptymalizowany
50.54
Samsung Tab 2 478.42
Samsung Tab 2
zoptymalizowany
65.92
Wykresy renderowane na GPU,
Paska hierarchia widok坦w, bardzo
du甜o wasnych komponent坦w,
Zdefiniowana czstotliwo
odwie甜ania list z parametrami
(30 FPS),
Optymalizacja hierarchii widok坦w
na platformie Android Mobilization.](https://image.slidesharecdn.com/ros3d-160127155025/85/ROS3D-Podsumowanie-prac-nad-projektem-32-320.jpg)
ROS3D - Podsumowanie prac nad projektem
- 1. ROS3D Podsumowanie prac nad projektem 07.12.2015
- 2. Wprowadzenie: Cele projektu, Produkty, Architektura systemu: Diagram systemu, Przypadki u甜ycia. AGENDA Opracowany system: Kontroler RIGa KR: Architektura sprztowa, Architektura oprogramowania. Analizator obrazu AO: Architektura sprztowa, Architektura oprogramowania. Aplikacja mobilna OK: Architektura oprogramowania, Wydajno, Interfejs u甜ytkownika, Przykady u甜ycia. Testy.
- 3. 店r坦do: Finn sp. z o.o.
- 4. CELE PROJEKTU: Automatyzacja procesu nagrywania film坦w 3D, Integracja z kamerami, serwomechanizmami, Monitorowanie i korekta parametr坦w nagrywania w czasie rzeczywistym, Ocena jakoci obrazu w czasie rzeczywistym.
- 5. PRODUKTY WYKONANE W RAMACH PROJEKTU: Kontroler RIGa (KR), Analizator obrazu (AO), Aplikacja mobilna (OK).
- 6. ARCHITEKTURA SPRZTOWA Analizator obrazu (AO) Kontroler RIGa (KR) Oprogramowanie Klienta (OK)
- 7. KOMUNIKACJA POMIDZY MODUAMI SYSTEMU 1. Media transmisyjne: Wifi, Ethernet, SDI. 2. Protokoy: MQTT, RTP, HTTP, Zeroconf. Analizator obrazu (AO) Kontroler RIGa (KR) Oprogramowanie Klienta (OK) RTP HTTP RTP HTTP MQTT HTTP MQTT HTTP Ethernet SDI WiFi
- 8. ROS3D.KR- OUTLINE 1. Zadania, 2. Architektura: Sprztowa, Oprogramowania, 3. Web UI, 4. Przykady zastosowa.
- 9. ROS3D.KR Zadania: Kontrola sterownika serw Archiwizowanie i odtwarzanie ustawie zestawu kamer i obiektyw坦w, Udostpnianie aktualnych ustawie innym urzdzeniom w systemie (AO, OK), Reagowanie na polecenia zmiany ustawie przesyanych od innych urzdze w systemie (AO, OK). Cechy: Zasilanie bateryjne, Komunikacja bezprzewodowa, Wytrzymaa konstrukcja dostosowana do trudnych warunk坦w pracy, Mocowanie dostosowane do uchwyt坦w stosowanych w przemyle filmowym.
- 10. ROS3D.KR Architektura sprztowa Battery/PM Controller 1Gbps Ethernet Switch (4 ports) Wandboard Battery/PM Controller 1Gbps Ethernet Link RED Cameras WiFi
- 11. ROS3D.KR WANDBOARD i.MX6Q Quad Core, Dostpne porty GPIO, I2C, Brak PMIC (zewntrzny kontroler baterii i PM), Brak wewntrznej pamici - karta SD z firmware, Integracja z zewntrznymi przyciskami i PM za pomoc GPIO, Integracja w jdrze za pomoc Device Tree: #gpio-keys #gpio-leds Niestabilny modu WiFi / Bluetooth: BRCM4329 przez SDIO. Battery/PM Controller 1Gbps Ethernet Switch (4 ports) Wandboard Battery/PM Controller 1Gbps Ethernet Link RED Cameras WiFi
- 12. ROS3D.KR Architektura Oprogramowania Device Controller WEB UI MQTT Broker Platform Controller Camera Controller Aladin Driver ROS3D.OK LEDs Keys Camera Controller Aladin Driver HTTP API MQTT Publish DBus RCP API UART Aladin Protocol MQTT Subscribe
- 13. ROS3D.KR DEVICE CONTROLLER Centralny HUB, Rejestr parametr坦w systemu, Zapisuje snapshot parametr坦w, Sterowanie peryferiami KR przez HTTP API, Aktualizacja parametr坦w przez MQTT, Rozgaszanie dostpnoci usugi przez Zeroconf / Bonjour. Device Controller WEB UI MQTT Broker Platform Controller Camera Controller Aladin Driver ROS3D.OK LEDs Keys Camera Controller Aladin Driver HTTP API MQTT Publish DBus RCP API UART Aladin Protocol MQTT Subscribe
- 14. ROS3D.KR CAMERA CONTROLLER Interakcja z kamerami RED, Redlink Control Protocol (RCP) API, Implementacja w Vala i C: VAPI dla integracji z bibliotek RCP Interfejs DBus: kamery widoczne jako obiekty: /org/ros3d/controller/camera/0.. Odczyt parametr坦w z kamer, Obsuga sygna坦w. Device Controller WEB UI MQTT Broker Platform Controller Camera Controller Aladin Driver ROS3D.OK LEDs Keys Camera Controller Aladin Driver HTTP API MQTT Publish DBus RCP API UART Aladin Protocol MQTT Subscribe
- 15. ROS3D.KR PLATFORM CONTROLLER Kontrola i interakcja z peryferiami danej platformy, Zunifikowany interfejs DBus: LED: /org/ros3d/platform/led/{0, 1, 2} org.ros3d.Platform.LED Przyciski: /org/ros3d/platform/button/0.. org.ros3d.Platform.Button Device Controller WEB UI MQTT Broker Platform Controller Camera Controller Aladin Driver ROS3D.OK LEDs Keys Camera Controller Aladin Driver HTTP API MQTT Publish DBus RCP API UART Aladin Protocol MQTT Subscribe
- 16. ROS3D.KR Web UI Interfejs konfiguracyjny: Konfiguracja sieci, Konfiguracja trybu pracy Aladin, Przegld stanu systemu.
- 17. Przykady zastosowa: W przypadku przenoszenia zestawu filmowego pozwala, w poczeniu z aplikacj mobilna, na szybkie zapisanie aktualnych ustawie i odtworzenie ich po zmontowaniu zestawu w nowym miejscu, Pozwala automatycznie archiwizowa ustawienia z jakimi byo realizowane ujcie w celu p坦添niejszego wykorzystania tych informacji w procesie postprodukcji i analizie zarejestrowanego materiau. ROS3D.KR
- 18. ROS3D.AO - OUTLINE 1. Zadania, 2. Architektura: Sprztowa, Oprogramowania, 3. Zastosowane technologie, 4. Cechy, 5. Przykady zastosowa.
- 19. ROS3D.AO Zadania: Akwizycja obrazu z kamer, Analiza pozyskanych strumieni wideo w celu automatycznego kalibrowana zestawu filmowego tak, by by stereoskopowy. Cechy: Budowa moduowa rack 19.
- 20. ROS3D.AO Architektura sprztowa FPGA Gateworks GW5400 USB firmware (optional) HDMI Video UART Control
- 21. ROS3D.AO GATEWORKS GW5400 iMX6 Quad Core, Dostpne porty GPIO, I2C, Kontroler PM, 256MB NAND, opcjonalny boot z USB, Wejcie HDMI, max. 1080p@30fps. FPGA Gateworks GW5400 USB firmware (optional) HDMI Video UART Control
- 22. ROS3D.AO Architektura oprogramowania Device Controller Streaming HTTP API V4L2 API Video AcquisitionROS3D.OK DBus Serial Bridge
- 23. ROS3D.AO STREAMING Przesyanie video, RTP, H.264, Obraz skalowany do 640x360, Obsuga VPU i IPU dostpnych w i.MX6 - u甜ycie procesora ~4-5%, Kontrola przez HTTP: RTCP problemem na Androidzie (ROS3D.OK), Implementacja: Gstreamer, Vala. Device Controller Streaming HTTP API V4L2 API Video AcquisitionROS3D.OK DBus Serial Bridge
- 24. ROS3D.AO DEVICE CONTROLLER Ograniczona funkcja, Przewidywana integracja z FPGA przez Serial Bridge. Device Controller Streaming HTTP API V4L2 API Video AcquisitionROS3D.OK DBus Serial Bridge
- 25. Przykady zastosowa: Analizator obrazu pozwala na szybkie, zautomatyzowanie kalibrowanie zestawu kamer i obiektyw坦w na planie zdjciowym, Stream mo甜e by podgldany na 甜ywo w aplikacji mobilnej. ROS3D.AO
- 26. Yocto (OpenEmbedded/Poky): Zamro甜one gazie w oparciu o ga添 master: poky, meta-openembedded (meta-python), meta-iot-bsp, meta-fsl-arm, meta-fsl-arm-extra, meta-gateworks. Integracja i back-porting zmian, Wasne warstwy Yocto: meta-ros3d-wandboard-bsp, meta-ros3d-gateworks-bsp - wsparcie i konfiguracja platform, meta-openrnd - integracja, reuse midzy projektami, meta-ros3d - aplikacje Ros3D, Poprawki do Yocto, bibliotek i narzdzi propagowane do upstream: > 50 patchy (Poky, OpenEmbedded, linux-imx6, sparts, swupdate, jhbuild) ROS3D.KR / .AO FIRMWARE
- 27. ROS3D.OK - OUTLINE 1. Zadania, 2. Architektura, 3. Zastosowane technologie, 4. Wydajno, 5. Interfejs u甜ytkownika, 6. Przykady zastosowa.
- 28. Kalkulator - edycja i przeliczanie parametr坦w nagrywania, Podgld obrazu z kamer, Sterowanie KR i AO. ROS3D.OK - ZADANIA
- 29. ROS3D.OK Architektura GUI Views Fragments Activities DataModel RigsManager CamerasManager PropertyManager OfflineStorage Data Source Zeroconf Browser MQTT Server REST Service Moduowo Skalowalno Testowalno Zaawansowany model danych
- 30. ROS3D.OK Model danych nadawca-odbiorca przykad u甜ycia GUI Property PropertyDataProvider 1: getProperty() 2: Property 7: updateRelatedProperties() 6: setPropertyValue() 8: 9: fireValueChanged 10: newValueEvent 5: setValue() 4: 3: registerListener()
- 31. Java, MQTT, AndroidSDK, REST Services, JMDNS (Zeroconf). ROS3D.OK ZASTOSOWANE TECHNOLOGIE
- 32. ROS3D.OK WYDAJNO Czas renderowania widoku [ms] Nexus 7 299.03 Nexus 7 zoptymalizowany 50.54 Samsung Tab 2 478.42 Samsung Tab 2 zoptymalizowany 65.92 Wykresy renderowane na GPU, Paska hierarchia widok坦w, bardzo du甜o wasnych komponent坦w, Zdefiniowana czstotliwo odwie甜ania list z parametrami (30 FPS), Optymalizacja hierarchii widok坦w na platformie Android Mobilization.
- 33. Zo甜ony problem, Prezentacja wielu parametr坦w jednoczenie, Ograniczona wielko ekranu, Intuicyjny w u甜ytkowaniu, Wykorzystanie metodologii Double Diamond. ROS3D.OK INTERFEJS U纏YTKOWNIKA
- 34. DISCOVER > DEFINE > DEVELOP > DELIVER 1. Odkrycie wyzwa i zdefiniowanie mo甜liwych problem坦w, 2. Zdefiniowanie mo甜liwych rozwiza, 3. Wytworzenie projektu interfejsu u甜ytkownika, 4. Dostarczenie element坦w do developmentu.
- 35. ROS3D.OK INTERFEJS U纏YTKOWNIKA Wersja alpha
- 36. ROS3D.OK INTERFEJS U纏YTKOWNIKA Gotowy produkt
- 37. ROS3D.OK INTERFEJS U纏YTKOWNIKA Gotowy produkt
- 38. ROS3D.OK INTERFEJS U纏YTKOWNIKA Gotowy produkt
- 39. ROS3D.OK INTERFEJS U纏YTKOWNIKA Gotowy produkt
- 40. ROS3D.OK Przypadki u甜ycia U甜ytkownik aplikacji Aktualizacja parametr坦w na KR Monitorowanie bie甜cych ustawie parametr坦w z KR Podgld obrazu z kamer Odczyt / zapis ustawie z / do pliku CVSHOT Modyfikacja listy parametr坦w
- 41. Plan do filmu YYY: 26.11.2015, Warszawa, 1 dzie zdjciowy. TESTY NA PLANIE FILMOWYM 26.11.2015
- 45. 1. Opracowane produkty, 2. Publikacje: MIXDES 2015, Proceedings of Mobile application for remote control of stereoscopic images acquisition system, 3. Udzia w konferencjach: Mixdes, Mobilization, Konferencja ROS3D, FOSDEM 30/31 stycznia 2016. 4. Publikacja oprogramowania Open-Source: Android GitHub, Android: Open-RnD: FragmentSwapper, ConnectionManager, Utils, MultiLevelListView. PODSUMOWANIE PROJEKTU
- 46. INFO@OPEN-RND.PL QUESTIONS ? THOUGHTS ? COMMENTS ? Feel free to contact us! WWW.OPEN-RND.PL Thank you Bartomiej wiercz CEO of Open-RnD bs@open-rnd.pl