Sviluppo di una piattaforma CLIENT/SERVER per attività didattiche basate su AR
Per lo sviluppo dell'applicazione è stato utilizzato il codice C# con editor Microsoft Visual Studio, il motore grafico XNA, il framework per la gestione della Realtà Aumentata GoblinXNA e le librerie di marker tracking ALVAR VTT e ARTag. L’obiettivo di questa tesi è stato costruire un’applicazione basata su un’architettura CLIENT/SERVER che permetta di svolgere una lezione su una specifica materia di studio, mediante la visualizzazione di modelli in Realtà Aumentata. Il docente, che gestisce l’applicazione lato SERVER, definisce il modello in AR riferito alla lezione che gli studenti visualizzeranno sullo schermo di ogni postazione sulla quale è in esecuzione l’applicazione lato CLIENT. Tutto questo è possibile anche grazie al supporto di una semplice webcam e all’utilizzo di semplici fogli di carta su cui sono stampati i cosiddetti marker, dei quadrati bianchi e neri al di sopra dei quali potranno essere visualizzati i contenuti 3D virtuali, arricchendo di conseguenza la scena reale. L’applicazione è stata sviluppata con la collaborazione del dirigente scolastico e dei docenti dell’Istituto Comprensivo “Italo Calvino” di Alliste (LE), i quali hanno proposto alcune idee per la creazione di un’ interfaccia semplice ed intuitiva che possa soddisfare al meglio gli obiettivi preposti.
Convert to study materialsBETA
Transform any presentation into ready-made study material—select from outputs like summaries, definitions, and practice questions.
Sviluppo di una piattaforma CLIENT/SERVER per attività didattiche basate su AR
- 1. UNIVERSITA’ DEL SALENTO Facoltà di Ingegneria Corso di Laurea in Ingegneria dell’Informazione SVILUPPO DI UNA PIATTAFORMA CLIENT/SERVER PER ATTIVITA’ DIDATTICHE BASATE SU REALTA’ AUMENTATA ANNO ACCADEMICO 2009/2010 RELATORE: Prof. Giovanni Aloisio CORRELATORE: Ing. Lucio Tommaso De Paolis LAUREANDO: Giacomo Giovanni Delfini
- 2. 1 - Introduzione L’obiettivo di questo progetto è la progettazione e la realizzazione di un’applicazione Client/Server per la didattica che faccia uso della tecnologia della Realtà Aumentata. Il docente, tramite la postazione SERVER, utilizza i modelli 3D disponibili che saranno visualizzati dagli studenti nelle postazioni CLIENT utilizzando i marker tipici delle applicazioni di realtà aumentata. L’applicazione è stata sviluppata in collaborazione con l’ISTITUTO COMPRENSIVO “Italo Calvino” di ALLISTE (LE). 2/17
- 3. 3/17 2 - La Realtà Aumentata Un sistema di Realtà Aumentata (AR) permette di aggiungere informazioni virtuali al mondo che ci circonda. L’applicazione presentata è un sistema di realtà aumentata di tipo marker-based
- 4. 4/17 Si fa uso di tale tecnologia per rendere più coinvolgente e più intuitiva la lezione da parte del discente. 2.1 – Settori in cui è applicata la AR • Addestramento militare • Medicina e chirurgia • Ambito industriale • Beni culturali Didattica
- 5. 5/17 3 – Applicazione CLIENT/SERVER ARSERVER: utilizzato dal docente per associare al marker i modelli virtuali da utilizzare per la lezione. ARCLIENT: utilizzato dagli studenti che, dopo il download di un file di configurazione XML, usufruiscono della visualizzazione in AR e interagiscono con il modello.
- 6. 6/17 3.1 – Applicazione ARSERVER I dati riferiti ad ogni lezione sono inseriti all’interno di un file XML.
- 7. 7/17 3.1.1 – Applicazione ARSERVER Dalla postazione Server è possibile: 1. Selezionare il contenuto virtuale da associare alla lezione. 2. Condividere il file di configurazione XML con le postazioni client. 3. Avviare la procedura di scambio delle informazioni tra Server e Client.
- 8. 8/17 3.1.2 – Applicazione ARSERVER – Interfaccia di gestione L’applicazione Server è dotata di un’opportuna interfaccia che permette al docente la gestione del contenuto informativo associato ad ogni lezione.
- 9. 9/17 3.2 – Applicazione ARClient.
- 10. 10/17 3.2.1 – Applicazione ARCLIENT Dalla postazione client è possibile: 1. Connettersi al Server. 2. Cercare il file di configurazione messo a disposizione dal Server e selezionarlo. 3. Scaricare il file di configurazione della lezione in AR. 4. Disconnettersi dal Server. 5. Usufruire della lezione in Realtà Aumentata tramite il marker.
- 11. 11/17 Termina Scambio (TERMINAOP) Il file è arrivato (FILE_OTTENUTO) Invio del file in bytes Inizia ad inviare (INIZIA_INVIO) Risposta positiva al GET (GETOK) Download File(GET) Ricerca File (SERVER_RICERCA) File Trovato (RICERCA_ESEGUITA) CLIENTCLIENT SERVERSERVER Il Server è in ascolto sulla porta 8090 Il Server è in ascolto sulla porta 8090 Il Client si connette al Server sulla porta 8090 Il Client si connette al Server sulla porta 8090 Connessione al Server Connessione Client OK 4 – La comunicazione tra CLIENT e SERVER Il trasferimento dei file di configurazione dal Server al Client avviene instanziando un oggetto di tipo NetworkStream.
- 12. 12/17 5 – Visualizzazione dei contenuti in Realtà Aumentata Avviene grazie al framework GoblinXNA v. 3.5.1 Goblin XNA è una piattaforma open source sviluppata presso il Laboratorio di Computer Graphics e User Interfaces della Columbia University, nell’ambito della produzione di interfacce utente 3D per applicazioni in realtà virtuale e in realtà aumentata. Il framework Goblin XNA è stata sviluppato interamente tramite codice C# e sulla base del framework Microsoft XNA Game Studio 3.1.
- 13. 13/17 5.1 – Organizzazione della Scena Lo Scene Graph rappresenta una tecnica di programmazione per la manipolazione delle componenti audio e di rendering delle scene virtuali.
- 14. 14/17 5.2 – Visualizzazione AR con GoblinXNA Per la visualizzazione dei modelli virtuali in realtà aumentata sono stati utilizzati i seguenti strumenti: • Le classi del framework DirectShow per l’acquisizione dell’immagine reale tramite webcam. • Il supporto software fornito dalla libreria di marker tracking ALVAR v.1.4.0, sviluppata dall’azienda finlandese VTT. • La classe ModelLoader appartenente al namespace GoblinXNA.Graphics per il caricamento dei modelli virtuali 3D.
- 15. 15/17 5.2 – Video dimostrativo dell’applicazione
- 16. 16/17 6 – Conclusioni e sviluppi futuri L’utilizzo di un’architettura di tipo CLIENT/SERVER, rappresenta un’evoluzione rispetto ad un eseguibile di tipo STAND ALONE in cui solo il docente può utilizzare l’applicazione. Possibili sviluppi futuri per questa applicazione potrebbero essere: • La realizzazione di nuovi modelli 3D virtuali appositi per il framework GoblinXNA utili alla creazione di nuove lezioni. • Il miglioramento dell’architettura CLIENT/SERVER aumentando l’interazione tra docenti e studenti, mediante l’invio di messaggi verso le postazioni client. • La visualizzazione delle informazioni sui modelli 3D visibili in Realtà Aumentata potrebbe essere arricchita con animazioni video e contenuti audio. • L’Utilizzazione di altri array di marker per l’aggiunta di altri contenuti informativi che possono aiutare a comprendere meglio la lezione.
- 17. Grazie a tutti per ’aٳٱԳDzԱ!