ݺߣ

ݺߣShare a Scribd company logo

Præsentation Anvendt IKT og Evaluering - ved VIAIKTs PreBETT 20-01-2015 v Henrik Steen Jensen CELF

•
•
J
jensenhs
1 of 23
Download to read offline
Anvendt IKT & Evaluering Oplæg ved Videncenter for Anvendt IKT’s PreBETT konference 20.01.2015 Dashwood House, London
Henrik Steen Jensen  Pædagogisk it konsulent & bibliotekar  CELF’s tværgående afdeling for Pædagogik & Udvikling  Case: Evalueringsarbejde på gymnasieafdeling i forbindelse med indførslen af digital aflevering og rettearbejde i 2012-13 Præsentation
Center for Erhvervsrettede uddannelser Lolland Falster  ca. 60 ungdomsuddannelser inkl. handels- og teknisk gymnasium og en lang række kurser  10.000 under uddannelse årligt  3000 årselever  440 ansatte  68.000 m² under tag fordelt på 5 adresser Hvad er CELF?
 Hvordan kan vi designe anvendelige evalueringer af IKT-indsatser i uddannelsessektoren? Spørgsmålet
 Anvendt IKT case: digitalt rettearbejde  Evalueringstyper – Virkningsevaluering  Erfaringer – IKT som evaluand – Case: Resultater – IKT og didaktisk forestillingsevne Agenda
 Omlægning af arbejdsgang og teknologi – Printere, dueslag/klasserum, pen – Fronter (+mail), Ephorus, Office, iPad, EasyCorrect  Beslutnings- og implementeringsproces  Strategipunkter og CELF-mål – Antropologisk undersøgelse, printbesparelse, image – ElevTrivselsUndersøgelse, karakterer, elevtal  Intern evaluering – Hverdagsevaluering vs. ‘forskningsbaseret’ Anvendt IKT case: digitalt rettearbejde
 ”… en systematisk retrospektiv vurdering af gennemførsel, præstation og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i handlingssituationer” (Vedung 1991, iflg. Dahler-Larsen (2003). Selvevalueringens hvide sejl. Odense: Syddansk Universitetsforlag, s. 17) Evaluering er …
Evalueringstyper Bølger Klassisk effektevaluering Eksperimentel, kvasi-eksperimentel, statistisk. Sikker effekt Responsiv evaluering Interessenter, ‘black box’, implementering. Observatører, konstruktivister Monitorering og evaluering New Public Management. Fokus på resultater. Løbende overvågning. Evidensbaseret evaluering Eksperimentelt design som ‘golden standard’ for effektevaluering og evidens + Realistisk evaluering, cases samt meta-evaluering.
 At realitetsteste forestillinger om indsatsers virkning: Hvad virker, for hvem, hvordan og under hvilke omstændigheder?  Køreplan – Stille evalueringsspørgsmålet – Finde kilder til programteorien – Opstille programteorien – Gøre programteorien klar til evaluering – Vælge metoder – Indsamle data – Analysere, konkludere og evt. anbefale Virkningsevaluering
Case: Evalueringsplan Aktivitet april maj juni juli aug. sep. okt. nov. dec. jan. Kvalificering af evalueringen (’Indsamle kildertil og opstille programteori’) officielle dokumenter (strategi, pædagogisk grundlag, værdigrundlag, mv) sparring med HHX-leder og pædagogisk it chef diskussion ved HHX-afdelingsmøde fokusgruppe interview med lærere evalueringslitteratur +sparring med Claus Bo m.fl. litteratur om feedback, organisation, forandringer, motivation, digitalisering mv. Desktop: Eksisterende viden og data Andre CELF undersøgelser (ETU, MTU, Antropologerne) Eksterne undersøgelser af digitalt rettearbejde Brugsstatistik fra fronter, prints? fagkonsulenter & bekendtgørelser mv. it-ledernetværk? Elevundersøgelse Fokusgruppe interviews med elever Individuel test af spørgeskema Spørgeskema til elever Individuelt interview med direktør Underviserundersøgelse & Design Værktøjsdesign: informationssøgning, analytisk evaluering Individuelle interviews & tænkehøjt-systemtest med lærere Spørgeskema til lærere (Fremtidsværksted med lærere?) Efterbehandling Sammenfatning af case Eksamen Afrapportering og feedback til skolen
 Programteorien = begrundede forestillinger om, hvordan og hvorfor en indsats kan tænkes at virke – Context – Mechanism – Outcome Virkningsevaluering
Eksempler på CMO-konfigurationer Virksom mekanisme Moderator Output Outcome Digital aflevering erstatter papirafleveringer Bliver digital aflevering suppleret af elev eller lærerprints? Printer elever og lærere på skolen eller andet steds? Færre udskrifter på skolens printere: mindre papir, mindre toner, mindre arbejde med at bestille/påfylde Billigere uddannelse Indkøb af og abonnement på it hardware og software Det tilgængelige udstyr slår ikke til Øgede omkostninger til it hardware og software Dyrere uddannelse It effektiviserer lærernes rettearbejde Rettearbejde kan i nogen grad mekaniseres Kortere tidsforbrug Effektiviseret uddannelse Lærerne har kompetencer til at udnytte it Digital aflevering og opbevaring er lettere Adgang til net og fronter virker Eleverne erindrer fysisk aflevering som omkostningsfuld (besvær ved printer, tungt at bære, ufleksible afleveringstider, rodet arkiv) ‘Billigere' elevtilværelse Øget tilfredshed
Anvendelse:  Afdæk evt. implementerings- og teorifejl  Interesse for bieffekter  Formativ evaluering => Forbedringsforslag Virkningsevaluering
 Hvad evaluerer vi? – IT-dogmet – Koncept i indsatsen – De konkrete IT-redskaber – Organisationens implementering – De berørte elever og læreres forudsætninger – Skolens rammer – … IKT som evaluand
 Motivations- eller vedligeholdelsesfaktor? – ”When our respondents reported feeling happy with their jobs, they most frequently described factors related to their tasks, to events that indicated to them that they were successful in the performance of their work, and to the possibility of professional growth. Conversely, when feelings of unhappiness were reported, they were not associated with the job itself but with conditions that surround the doing of the job” – Herzberg, Mausner & Snyderman (1959). The motivation to work. John Wiley/Transaction Publishers IKT som evaluand
Udpluk fra en Ennova ETU
 Selv simple processer har mange lag, og ændringer influerer på mange forhold: Case: Resultater • Tilgængelig opgaveformulering • Dokumentation for aflevering • Afleveringsfrist og overblik over arbejdsbelastning • Arkiv for tidligere rettelser • Lærernes overblik over manglende aflevering samt tidligere opgaver • Plagiattjek • Intertekstuelle forbindelser mellem elevopgaver • Asynkronisitet og oplevelse af mere tid • Interaktion og anledning til mundtlig feedback ved tilbagelevering • Skolens/vikarers adgang • Afhængighed af netadgang • Skærm- vs. papirlæsning • Håndskrifts læselighed • … m.fl.
 Afvejning af interesser? – & evalueringen som kontrol eller læring?  Skal skolen gøre det let for eleverne?  Kan IT øge tilfredsheden?  Bør mediet definere indsatsen? Case: Resultater
”Man kan bruge teknologien som løftestand for forandringer. (…) Det er meget, meget fristende for ildsjæle at forfalde til (…) Nu kan du sige: Vi skal have computere og net ind i skolen og så skal eleverne selv kunne researche og lave projekter i grupper som de diskuterer på nettet. Og nu har du ikke bare et synspunkt på mennesker og pædagogik, du har selveste fremtiden med dig. Vi skal være nummer ét til IT, ikke sandt?”  Grünbaum (2001). Tekno-fetichismen. Kbh.: Tiderne Skifter, s. 23 Tekno-fetichisme?
”(…) myten er at alt bliver digitalt, hvis det overhovedet kan lade sig gøre. Alle processer i det menneskelige samfund som kan foregå via en dims og et net, skal partout foregå på den måde. Selv når vi ikke synes, det virker særlig praktisk, eller særlig behageligt og godt, så tror vi alligevel på at det nok bliver sådan. Om ikke andet, så fordi der skal spares penge.”  Grünbaum (2001). Tekno-fetichismen. Kbh.: Tiderne Skifter, s. 35 Tekno-fetichisme?
Præsentation Anvendt IKT og Evaluering - ved VIAIKTs PreBETT 20-01-2015 v Henrik Steen Jensen CELF
IKT og didaktisk forestillingsevne: Ruben Puenteduras’ SAMR-model Transformation Redefinition It gør det muligt at gentænke opgaven og skabe nyt Modification It erstatter tidligere værktøj og gør det muligt at ændre opgaven Forbedring Augmentation It erstatter tidligere værktøj og tilføjer funktionelle forbedringer Substitution It erstatter tidligere værktøj
IKT og didaktisk forestillingsevne Skovsmose, O., & Borba, M. (2000). Research methodology and critical mathematic education. Roskilde: Center for forskning i matematiklæring.

More Related Content

Præsentation Anvendt IKT og Evaluering - ved VIAIKTs PreBETT 20-01-2015 v Henrik Steen Jensen CELF

  • 1. Anvendt IKT & Evaluering Oplæg ved Videncenter for Anvendt IKT’s PreBETT konference 20.01.2015 Dashwood House, London
  • 2. Henrik Steen Jensen  Pædagogisk it konsulent & bibliotekar  CELF’s tværgående afdeling for Pædagogik & Udvikling  Case: Evalueringsarbejde på gymnasieafdeling i forbindelse med indførslen af digital aflevering og rettearbejde i 2012-13 Præsentation
  • 3. Center for Erhvervsrettede uddannelser Lolland Falster  ca. 60 ungdomsuddannelser inkl. handels- og teknisk gymnasium og en lang række kurser  10.000 under uddannelse årligt  3000 årselever  440 ansatte  68.000 m² under tag fordelt på 5 adresser Hvad er CELF?
  • 4.  Hvordan kan vi designe anvendelige evalueringer af IKT-indsatser i uddannelsessektoren? Spørgsmålet
  • 5.  Anvendt IKT case: digitalt rettearbejde  Evalueringstyper – Virkningsevaluering  Erfaringer – IKT som evaluand – Case: Resultater – IKT og didaktisk forestillingsevne Agenda
  • 6.  Omlægning af arbejdsgang og teknologi – Printere, dueslag/klasserum, pen – Fronter (+mail), Ephorus, Office, iPad, EasyCorrect  Beslutnings- og implementeringsproces  Strategipunkter og CELF-mål – Antropologisk undersøgelse, printbesparelse, image – ElevTrivselsUndersøgelse, karakterer, elevtal  Intern evaluering – Hverdagsevaluering vs. ‘forskningsbaseret’ Anvendt IKT case: digitalt rettearbejde
  • 7.  ”… en systematisk retrospektiv vurdering af gennemførsel, præstation og udfald af offentlig virksomhed, som tiltænkes at spille en rolle i handlingssituationer” (Vedung 1991, iflg. Dahler-Larsen (2003). Selvevalueringens hvide sejl. Odense: Syddansk Universitetsforlag, s. 17) Evaluering er …
  • 8. Evalueringstyper Bølger Klassisk effektevaluering Eksperimentel, kvasi-eksperimentel, statistisk. Sikker effekt Responsiv evaluering Interessenter, ‘black box’, implementering. Observatører, konstruktivister Monitorering og evaluering New Public Management. Fokus på resultater. Løbende overvågning. Evidensbaseret evaluering Eksperimentelt design som ‘golden standard’ for effektevaluering og evidens + Realistisk evaluering, cases samt meta-evaluering.
  • 9.  At realitetsteste forestillinger om indsatsers virkning: Hvad virker, for hvem, hvordan og under hvilke omstændigheder?  Køreplan – Stille evalueringsspørgsmålet – Finde kilder til programteorien – Opstille programteorien – Gøre programteorien klar til evaluering – Vælge metoder – Indsamle data – Analysere, konkludere og evt. anbefale Virkningsevaluering
  • 10. Case: Evalueringsplan Aktivitet april maj juni juli aug. sep. okt. nov. dec. jan. Kvalificering af evalueringen (’Indsamle kildertil og opstille programteori’) officielle dokumenter (strategi, pædagogisk grundlag, værdigrundlag, mv) sparring med HHX-leder og pædagogisk it chef diskussion ved HHX-afdelingsmøde fokusgruppe interview med lærere evalueringslitteratur +sparring med Claus Bo m.fl. litteratur om feedback, organisation, forandringer, motivation, digitalisering mv. Desktop: Eksisterende viden og data Andre CELF undersøgelser (ETU, MTU, Antropologerne) Eksterne undersøgelser af digitalt rettearbejde Brugsstatistik fra fronter, prints? fagkonsulenter & bekendtgørelser mv. it-ledernetværk? Elevundersøgelse Fokusgruppe interviews med elever Individuel test af spørgeskema Spørgeskema til elever Individuelt interview med direktør Underviserundersøgelse & Design Værktøjsdesign: informationssøgning, analytisk evaluering Individuelle interviews & tænkehøjt-systemtest med lærere Spørgeskema til lærere (Fremtidsværksted med lærere?) Efterbehandling Sammenfatning af case Eksamen Afrapportering og feedback til skolen
  • 11.  Programteorien = begrundede forestillinger om, hvordan og hvorfor en indsats kan tænkes at virke – Context – Mechanism – Outcome Virkningsevaluering
  • 12. Eksempler på CMO-konfigurationer Virksom mekanisme Moderator Output Outcome Digital aflevering erstatter papirafleveringer Bliver digital aflevering suppleret af elev eller lærerprints? Printer elever og lærere på skolen eller andet steds? Færre udskrifter på skolens printere: mindre papir, mindre toner, mindre arbejde med at bestille/påfylde Billigere uddannelse Indkøb af og abonnement på it hardware og software Det tilgængelige udstyr slår ikke til Øgede omkostninger til it hardware og software Dyrere uddannelse It effektiviserer lærernes rettearbejde Rettearbejde kan i nogen grad mekaniseres Kortere tidsforbrug Effektiviseret uddannelse Lærerne har kompetencer til at udnytte it Digital aflevering og opbevaring er lettere Adgang til net og fronter virker Eleverne erindrer fysisk aflevering som omkostningsfuld (besvær ved printer, tungt at bære, ufleksible afleveringstider, rodet arkiv) ‘Billigere' elevtilværelse Øget tilfredshed
  • 13. Anvendelse:  Afdæk evt. implementerings- og teorifejl  Interesse for bieffekter  Formativ evaluering => Forbedringsforslag Virkningsevaluering
  • 14.  Hvad evaluerer vi? – IT-dogmet – Koncept i indsatsen – De konkrete IT-redskaber – Organisationens implementering – De berørte elever og læreres forudsætninger – Skolens rammer – … IKT som evaluand
  • 15.  Motivations- eller vedligeholdelsesfaktor? – ”When our respondents reported feeling happy with their jobs, they most frequently described factors related to their tasks, to events that indicated to them that they were successful in the performance of their work, and to the possibility of professional growth. Conversely, when feelings of unhappiness were reported, they were not associated with the job itself but with conditions that surround the doing of the job” – Herzberg, Mausner & Snyderman (1959). The motivation to work. John Wiley/Transaction Publishers IKT som evaluand
  • 16. Udpluk fra en Ennova ETU
  • 17.  Selv simple processer har mange lag, og ændringer influerer på mange forhold: Case: Resultater • Tilgængelig opgaveformulering • Dokumentation for aflevering • Afleveringsfrist og overblik over arbejdsbelastning • Arkiv for tidligere rettelser • Lærernes overblik over manglende aflevering samt tidligere opgaver • Plagiattjek • Intertekstuelle forbindelser mellem elevopgaver • Asynkronisitet og oplevelse af mere tid • Interaktion og anledning til mundtlig feedback ved tilbagelevering • Skolens/vikarers adgang • Afhængighed af netadgang • Skærm- vs. papirlæsning • Håndskrifts læselighed • … m.fl.
  • 18.  Afvejning af interesser? – & evalueringen som kontrol eller læring?  Skal skolen gøre det let for eleverne?  Kan IT øge tilfredsheden?  Bør mediet definere indsatsen? Case: Resultater
  • 19. ”Man kan bruge teknologien som løftestand for forandringer. (…) Det er meget, meget fristende for ildsjæle at forfalde til (…) Nu kan du sige: Vi skal have computere og net ind i skolen og så skal eleverne selv kunne researche og lave projekter i grupper som de diskuterer på nettet. Og nu har du ikke bare et synspunkt på mennesker og pædagogik, du har selveste fremtiden med dig. Vi skal være nummer ét til IT, ikke sandt?”  Grünbaum (2001). Tekno-fetichismen. Kbh.: Tiderne Skifter, s. 23 Tekno-fetichisme?
  • 20. ”(…) myten er at alt bliver digitalt, hvis det overhovedet kan lade sig gøre. Alle processer i det menneskelige samfund som kan foregå via en dims og et net, skal partout foregå på den måde. Selv når vi ikke synes, det virker særlig praktisk, eller særlig behageligt og godt, så tror vi alligevel på at det nok bliver sådan. Om ikke andet, så fordi der skal spares penge.”  Grünbaum (2001). Tekno-fetichismen. Kbh.: Tiderne Skifter, s. 35 Tekno-fetichisme?
  • 22. IKT og didaktisk forestillingsevne: Ruben Puenteduras’ SAMR-model Transformation Redefinition It gør det muligt at gentænke opgaven og skabe nyt Modification It erstatter tidligere værktøj og gør det muligt at ændre opgaven Forbedring Augmentation It erstatter tidligere værktøj og tilføjer funktionelle forbedringer Substitution It erstatter tidligere værktøj
  • 23. IKT og didaktisk forestillingsevne Skovsmose, O., & Borba, M. (2000). Research methodology and critical mathematic education. Roskilde: Center for forskning i matematiklæring.