際際滷

際際滷Share a Scribd company logo
Summatief toetsenvan grote groepenDrs. Nynke BosDrs. Roel SijstermansOnderwijs & Studentenzaken  ICT & OnderwijsAcademisch Medisch Centrum  Universiteit van Amsterdam
OpbouwMeerwaarde digitaal toetsenSituatie in het AMC- Organisatie- VoorbeeldenDigitaal toetsen vs. papieren toetsenConclusies
Waarom digitaal toetsen?Waarom niet digitaal toetsen?Ik ga digitaal toetsen omdat ik niet achter wil blijvenSnel klaar met nakijkenGeen papierIk hoef alleen maar vragen te maken,  de rest wordt voor me geregeldIk hoef geen handschriften meer te ontcijferenIk wil studenten de toetsresultaten kunnen mailenVerbetering logistiekKwaliteit toetsing staat centraal
Hoe wil je toetsen?SUMMATIEF:Gericht op de som van het geleerdeSelecterenCertificeren Beveiligde omgevingBeperkt aantal kansenFORMATIEF:Gericht op de ontwikkeling van het lerenZelfstudiePlaats & tijdonafhankelijkDirecte feedbackInzicht in niveauIngangstoetsenEindtoetsBonuspuntentoetsZelftoets(E-learning)
Wat levert digitaal toetsen op?Flexibele toetsing (plaats, tijd & vorm)Gebruik van multimediaGebruik van verschillende vraagtypen(Directe) feedbackGestructureerde vragenbankAutomatische analyse & verwerking
Randvoorwaarden digitale toetsingToetssysteemDocenten opleidenOndersteuning (logistiek & techniek) !Studenten voorbereiden
Keuze toetssysteem in 2005/2006Vergelijking toetssystemen, CITO-groep 2004
Trainen secretariaatVragenmakenAdviseringdocentenVragen invoerenInroosterentoetsToetsanalyseSamenstellentoetsToets afnameICTO ondersteuningFeedbackstudentEinduitslagdocentsecretariaatOrganisatie digitale toetsing AMC
Organisatie rondom digitale toetsing2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):Adviseren docent over gebruik vraagtypen & opbouw toetsTrainen secretariaten voor vraaginvoerSamenstellen toetsRoosteren toets & beschikbaar stellen via ELOStandby tijdens toets voor vragen/problemenAnalyse toetsresultaten & einduitslag1 systeembeheerder:Standby tijdens toets voor technische problemenDocent:Vragen bedenkenAanwezig tijdens afname voor inhoudelijke vragenBesluitvorming cesuur op basis van toetsanalyse & uitslagSecretariaat docent:Vragen invoeren
Summatieve toetsen @ AMC10 eindtoetsen (max n=200)30 bonuspuntentoetsen (n=350)50 toetsen in co-schappen (n=12)1 communicatietoets (n=350)25 ingangtoetsen (n=350)
Half cohort - eindtoetsBlok 3D Mens200 studenten in 1 zaalMultimediaalOok essay vragenItem- en toetsanalyseUitslag binnen 3 weken
Summatief digitaal toetsen van grote groepen studenten
Shifts - bonuspuntentoets2x per blok0,5 punt extra350 studenten in 6 shifts15 MC vragen in 15 minutenGevalideerde vragenbankUitslag binnen 24 uurFeedback op onderwerpNabespreking tijdens WC
Summatief digitaal toetsen van grote groepen studenten
Score per onderwerpCollegekaartnummer: 		9705538Diabetes  Type 1			100%Glycolyse 				100%Regulatie enzymen 		0%CZS				50%Aminozuurmetabolisme 		100%Einduitslag 			80%
IngangstoetsenMinimale score van 80% Zo vaak maken als nodigStudent bepaalt waar en wanneerGeen feedback, alleen eindscoreDocent heeft live inzicht in scores studentenStudenten beter voorbereid op practica met blended learning
Maar... schools systeem, gevaar voor toetsmoeheid
Summatief digitaal toetsen van grote groepen studenten
Summatief digitaal toetsen van grote groepen studenten
Toetsen van grote groepenTOETSAFNAME: Voldoende servercapaciteit (testen!)Toets starten in groepen (piekbelasting)5% meer PCs dan deelnemers5% papieren tentamens als reserveDuidelijke afspraken bij problemenPas op met multimedia
Meerwaarde in het AMCMultimediale toetsingKorte nakijk termijnBetere feedback naar studenten en docent-> Grote zaal niet per se noodzakelijk!(maar wel heel makkelijk)
Problemen digitaal toetsen AMCGebrek centrale toetsruimteToetsen in shifts is tijdrovend Verplicht gebruik van open vragenOERGeen beleidDyslexie/RSI?Computervaardigheden student?
Problemen digitaal toetsen AMCGebrek centrale toetsruimteToetsen in shifts is tijdrovend Verplicht gebruik van open vragenOERGeen beleidDyslexie/RSI?Computervaardigheden student?
Toetsen met stemkastjes?Formatief zeker!ResponsiecollegeVoor- en nametingGrootschalig adaptief toetsenSummatief is gevaarlijkWie bedient welk kastje?Ik ben mijn stemkastje kwijt/vergeten!Ik heb echt gedrukt!Handhaven van orde in de zaalLekker gluren bij de buren
Proeve: KlETsEffect toetsing computerScoren studenten beter/ slechter?Gebruiken studenten meer/ minder woorden?Zijn er andere effecten meetbaar?
KlETs  de uitvoeringHelft digitaal  helft op papier (n=360)Digitale toets: deel A papier, deel B digitaal en v.v.Conclusies:Meer woorden bij een digitale toets (36.2賊15.5 vs 22.3賊4.9)Geen significante verschillen m.b.t. moeilijkheidsgraadStudenten willen vaker digitale toetsenGetik is irritant
Meer onderzoekIn 2004: behoorlijke verschillen (Bennett, 2004)Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnenFrequent computergebruik heeft positieve invloed op toetsprestatieOnline scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
ConclusiesMeerwaarde vaststellen Beleid over inzet digitaal toetsenGrote groepen heeft impact op afnameOpschaling: ruimteToetsen in shifts bewerkelijkGoede ICTO ondersteuning
Nabije toekomstStructurele feedback na tentamenScore per vraagScore per onderwerpTotale score t.o.v. groepResultaten per email Dienstverlening aan studenten

More Related Content

Summatief digitaal toetsen van grote groepen studenten

  • 1. Summatief toetsenvan grote groepenDrs. Nynke BosDrs. Roel SijstermansOnderwijs & Studentenzaken ICT & OnderwijsAcademisch Medisch Centrum Universiteit van Amsterdam
  • 2. OpbouwMeerwaarde digitaal toetsenSituatie in het AMC- Organisatie- VoorbeeldenDigitaal toetsen vs. papieren toetsenConclusies
  • 3. Waarom digitaal toetsen?Waarom niet digitaal toetsen?Ik ga digitaal toetsen omdat ik niet achter wil blijvenSnel klaar met nakijkenGeen papierIk hoef alleen maar vragen te maken, de rest wordt voor me geregeldIk hoef geen handschriften meer te ontcijferenIk wil studenten de toetsresultaten kunnen mailenVerbetering logistiekKwaliteit toetsing staat centraal
  • 4. Hoe wil je toetsen?SUMMATIEF:Gericht op de som van het geleerdeSelecterenCertificeren Beveiligde omgevingBeperkt aantal kansenFORMATIEF:Gericht op de ontwikkeling van het lerenZelfstudiePlaats & tijdonafhankelijkDirecte feedbackInzicht in niveauIngangstoetsenEindtoetsBonuspuntentoetsZelftoets(E-learning)
  • 5. Wat levert digitaal toetsen op?Flexibele toetsing (plaats, tijd & vorm)Gebruik van multimediaGebruik van verschillende vraagtypen(Directe) feedbackGestructureerde vragenbankAutomatische analyse & verwerking
  • 6. Randvoorwaarden digitale toetsingToetssysteemDocenten opleidenOndersteuning (logistiek & techniek) !Studenten voorbereiden
  • 7. Keuze toetssysteem in 2005/2006Vergelijking toetssystemen, CITO-groep 2004
  • 8. Trainen secretariaatVragenmakenAdviseringdocentenVragen invoerenInroosterentoetsToetsanalyseSamenstellentoetsToets afnameICTO ondersteuningFeedbackstudentEinduitslagdocentsecretariaatOrganisatie digitale toetsing AMC
  • 9. Organisatie rondom digitale toetsing2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):Adviseren docent over gebruik vraagtypen & opbouw toetsTrainen secretariaten voor vraaginvoerSamenstellen toetsRoosteren toets & beschikbaar stellen via ELOStandby tijdens toets voor vragen/problemenAnalyse toetsresultaten & einduitslag1 systeembeheerder:Standby tijdens toets voor technische problemenDocent:Vragen bedenkenAanwezig tijdens afname voor inhoudelijke vragenBesluitvorming cesuur op basis van toetsanalyse & uitslagSecretariaat docent:Vragen invoeren
  • 10. Summatieve toetsen @ AMC10 eindtoetsen (max n=200)30 bonuspuntentoetsen (n=350)50 toetsen in co-schappen (n=12)1 communicatietoets (n=350)25 ingangtoetsen (n=350)
  • 11. Half cohort - eindtoetsBlok 3D Mens200 studenten in 1 zaalMultimediaalOok essay vragenItem- en toetsanalyseUitslag binnen 3 weken
  • 13. Shifts - bonuspuntentoets2x per blok0,5 punt extra350 studenten in 6 shifts15 MC vragen in 15 minutenGevalideerde vragenbankUitslag binnen 24 uurFeedback op onderwerpNabespreking tijdens WC
  • 15. Score per onderwerpCollegekaartnummer: 9705538Diabetes Type 1 100%Glycolyse 100%Regulatie enzymen 0%CZS 50%Aminozuurmetabolisme 100%Einduitslag 80%
  • 16. IngangstoetsenMinimale score van 80% Zo vaak maken als nodigStudent bepaalt waar en wanneerGeen feedback, alleen eindscoreDocent heeft live inzicht in scores studentenStudenten beter voorbereid op practica met blended learning
  • 17. Maar... schools systeem, gevaar voor toetsmoeheid
  • 20. Toetsen van grote groepenTOETSAFNAME: Voldoende servercapaciteit (testen!)Toets starten in groepen (piekbelasting)5% meer PCs dan deelnemers5% papieren tentamens als reserveDuidelijke afspraken bij problemenPas op met multimedia
  • 21. Meerwaarde in het AMCMultimediale toetsingKorte nakijk termijnBetere feedback naar studenten en docent-> Grote zaal niet per se noodzakelijk!(maar wel heel makkelijk)
  • 22. Problemen digitaal toetsen AMCGebrek centrale toetsruimteToetsen in shifts is tijdrovend Verplicht gebruik van open vragenOERGeen beleidDyslexie/RSI?Computervaardigheden student?
  • 23. Problemen digitaal toetsen AMCGebrek centrale toetsruimteToetsen in shifts is tijdrovend Verplicht gebruik van open vragenOERGeen beleidDyslexie/RSI?Computervaardigheden student?
  • 24. Toetsen met stemkastjes?Formatief zeker!ResponsiecollegeVoor- en nametingGrootschalig adaptief toetsenSummatief is gevaarlijkWie bedient welk kastje?Ik ben mijn stemkastje kwijt/vergeten!Ik heb echt gedrukt!Handhaven van orde in de zaalLekker gluren bij de buren
  • 25. Proeve: KlETsEffect toetsing computerScoren studenten beter/ slechter?Gebruiken studenten meer/ minder woorden?Zijn er andere effecten meetbaar?
  • 26. KlETs de uitvoeringHelft digitaal helft op papier (n=360)Digitale toets: deel A papier, deel B digitaal en v.v.Conclusies:Meer woorden bij een digitale toets (36.2賊15.5 vs 22.3賊4.9)Geen significante verschillen m.b.t. moeilijkheidsgraadStudenten willen vaker digitale toetsenGetik is irritant
  • 27. Meer onderzoekIn 2004: behoorlijke verschillen (Bennett, 2004)Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnenFrequent computergebruik heeft positieve invloed op toetsprestatieOnline scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
  • 28. ConclusiesMeerwaarde vaststellen Beleid over inzet digitaal toetsenGrote groepen heeft impact op afnameOpschaling: ruimteToetsen in shifts bewerkelijkGoede ICTO ondersteuning
  • 29. Nabije toekomstStructurele feedback na tentamenScore per vraagScore per onderwerpTotale score t.o.v. groepResultaten per email Dienstverlening aan studenten
  • 30. Docenten ontlasten met inzageVragen?Meer informatie: icto@amc.uva.nl