Metavalutazione
- 1. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 1 Metavalutazione LEZIONE 8 1 2 3 4 5 UD 9. Metavalutazione
- 2. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 2 Il concetto di metavalutazione Finalità del processo di progettazione: • misurare sistemi di conoscenze • predisporre adeguati strumenti di analisi • certificare validità e attendibilità del sistema di valutazione • verificare l’efficacia formativa Metavalutazione processo logico e coerente per garantire un intervento formativo efficace UD 9. Metavalutazione
- 3. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 3 Attività della fase di metavalutazione Modulo 5. Metavalutazione UD 1: Item analysis UD 9. Metavalutazione
- 4. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 4 Validità e attendibilità dei test Modulo 5. Metavalutazione Metavalutazione verifica validità e attendibilità Errore sistematico ≠ Errore casuale 1. Validità il test misura effettivamente ciò che si propone di misurare Verifica: • metodologia di costruzione degli item (albero obiettivi didattici) • formulazione e validazione dei quesiti a priori (esperto di contenuti) 2. Attendibilità il test, somministrato da persone diverse in contesti diversi allo stesso gruppo di utenti, fornisce gli stessi risultati Verifica: • coerenza interna degli item • concordanza tra le forme parallele dello stesso test (isomorfismo) UD 9. Metavalutazione
- 5. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 5 Item analysis Modulo 5. Metavalutazione Controllo dell’attendibilità dell’item attraverso la misurazione di efficacia, validità, omogeneità (calcolo indici di difficoltà, selettività e distrattività) • differente gestione dei dati a seconda del tipo di test in esame (iniziale o finale) Gli step: a) registrare i punteggi analitici relativi ai singoli item di ciascun allievo b) riportare in ordine crescente nelle prime due righe di un foglio elettronico i punteggi complessivi di ciascun soggetto in corrispondenza del nome del soggetto stesso (per visualizzare l’andamento progressivo della prova dai punteggi più bassi ai risultati migliori) c) creare una colonna con la sequenza ordinata dei vari item (secondo le tipologie) d) comporre la griglia mediante una serie di celle che rappresentino l’intersezione tra il nome del soggetto e l’esito relativo al singolo item e) riportare all’interno delle varie celle alcune indicazioni relative solamente agli item cui è stata fornita una risposta non esatta UD 9. Metavalutazione
- 6. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 6 Item analysis: esempio Modulo 5. Metavalutazione UD 9. Metavalutazione
- 7. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 7 Indice di difficoltà Modulo 5. Metavalutazione Verifica facilità/difficoltà dell’item • Valore: 0/1 • Valore ottimale: 0,2/0,8 Calcolo indice di facilità (analisi a priori) Calcolo indice di difficoltà (analisi a posteriori) UD 9. Metavalutazione
- 8. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 8 Indice di difficoltà: esempio Modulo 5. Metavalutazione UD 9. Metavalutazione
- 9. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 9 Indice di selettività Modulo 5. Metavalutazione Verifica selettività (discriminazione) dell’item • Valore: -1/+1 • Valore ottimale: 0,2-0,8 • Coerenza interna tra item di uno stesso test (confronto della performance del soggetto in un item e nel test generale) Calcolo: 1. Ordinamento in ordine crescente della graduatoria dei punteggi 2. Suddivisione del campione in “peggiori” e “migliori” 3. Sottrazione n° risposte esatte “migliori”- risposte esatte “peggiori” 4. Divisione per la numerosità dei subcampioni UD 9. Metavalutazione
- 10. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 10 Indice di selettività: esempio Modulo 5. Metavalutazione UD 9. Metavalutazione
- 11. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 11 Indice di distrattività Modulo 5. Metavalutazione Verifica distrattività alternative di risposta di un item • Controllo a livello delle opzioni di risposta • Definizione della potenza dei distrattori • Regola dell’equiattrattività UD 1: Item analysis UD 9. Metavalutazione
- 12. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 12 Indice di distrattività: esempio Modulo 5. Metavalutazione UD 1: Item analysis UD 9. Metavalutazione
- 13. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 13 Item Analysis: esempio UD 9. Metavalutazione
- 14. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 14 Item Analysis: esempio UD 9. Metavalutazione
- 15. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 15 Item Analysis: esempio UD 9. Metavalutazione
- 16. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 16 Item Analysis: esempio UD 9. Metavalutazione
- 17. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 17 Item Analysis: esempio UD 9. Metavalutazione
- 18. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 18 Item Analysis: esempio UD 9. Metavalutazione
- 19. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 19 Item Analysis: esercitazione UD 9. Metavalutazione
- 20. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 20 Validità e attendibilità UD 9. Metavalutazione
- 21. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 21 Misurare e verificare UD 9. Metavalutazione
- 22. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 22 Parametri di valutazione e indicatori di qualità UD 9. Metavalutazione
- 23. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 23 Parametri di valutazione e indicatori di qualità UD 9. Metavalutazione
- 24. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 24 Efficacia formativa UD 9. Metavalutazione
- 25. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 25 Efficacia formativa di 1°livello UD 9. Metavalutazione Qual è il grado di incremento delle conoscenze/competenze alla fine dell’intervento formativo?
- 26. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 26 Efficacia formativa di 2°livello UD 9. Metavalutazione Qual è il grado di incremento di omogeneità delle conoscenze/competenze alla fine dell’intervento formativo? Obiettivo: ponderare l’efficacia generica di I livello incremento del livello di omogeneità delle conoscenze/competenze finali rispetto al livello di dispersione registrato all’inizio dell’intervento stesso.
- 27. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 27 Efficacia formativa di 3°livello UD 9. Metavalutazione Qual è il grado di corrispondenza tra i tempi di apprendimento previsti in fase di progettazione e il tempo di apprendimento reale? Indice composto rappresentazione sintetica: • apprendimento • fabbisogno formativo • omogeneità delle competenze acquisite • aderenza ai vincoli temporali stimati in fase di macroprogettazione del corso. Tempo di apprendimento reale Tempo di apprendimento previsto
- 28. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 28 Efficacia formativa composta UD 9. Metavalutazione Qual è il grado di correlazione tra efficacia oggettiva dell’intervento e qualità percepita? Efficacia formativa Qualità percepita Dimensione oggettiva Dimensione soggettiva
- 29. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 29 Efficienza UD 9. Metavalutazione
- 30. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 30 Costo/efficacia UD 9. Metavalutazione M.Loi, La dimensione economica della progettazione didattica, in Ronsivalle, Carta, Metus (a cura di), L’arte della progettazione didattica, FrancoAngeli, 2009, V, Cap.3 Qual è il grado di efficienza dell’intervento formativo? L’indice di efficienza “costo/efficacia” è dato dal rapporto tra il valore del Costo Totale dell’intervento formativo (CT) e l’indice di Efficacia generale (E), dove: CT = somma di costi fissi e costi variabili E = somma ponderata dei vari indici di efficacia delle attività didattiche con
- 31. Corso di Strategie e tecniche di valutazione dei prodotti e dei processi formativi A.A. 2009/2010 © G.B. Ronsivalle 2010 31 Riferimenti bibliografici UD 9. Metavalutazione Ronsivalle G.B., Carta S., Metus V. “L’arte della progettazione didattica” Franco Angeli, Milano, 2009 Ronsivalle G.B. “Docimologia. Ars magna lucis et umbrae” in FOR Rivista per la formazione. Tendenze, Pratiche, Strumenti, AIF, Anno XXIII n. 80, luglio-settembre Franco Angeli, Milano, 2009.