際際滷

際際滷Share a Scribd company logo
DIGITAAL TOETSEN Summatief toetsen van grote groepen Nynke Bos Roel Sijstermans -
Opbouw Waarom digitaal toetsen? Situatie in het AMC Organisatie Voorbeelden Digitaal toetsen vs. papieren toetsen Conclusies
Waarom digitaal toetsen?  Ik ga digitaal toetsen omdat ik niet achter wil blijven  Snel klaar met nakijken  Geen papier  Ik hoef alleen maar vragen te maken, de rest wordt voor me geregeld  Ik hoef geen handschriften meer te ontcijferen  Ik wil studenten de toetsresultaten kunnen mailen Waarom niet digitaal toetsen?
Hoe wil je toetsen? SUMMATIEF: Gericht op de som van het geleerde Selecteren Certificeren  Beveiligde omgeving Beperkt aantal kansen FORMATIEF: Gericht op de ontwikkeling van het leren Zelfstudie Plaats & tijdonafhankelijk Directe feedback Inzicht in niveau Eindtoets Bonuspuntentoets Zelftoets (E-learning) Ingangstoets
Wat levert digitaal toetsen op? Flexibele toetsing (plaats, tijd & vorm) Gebruik van multimedia Gebruik van verschillende vraagtypen (Directe) feedback Gestructureerde vragenbank Automatische analyse & verwerking
Randvoorwaarden digitale toetsing Toetssysteem Docenten opleiden Ondersteuning (logistiek & techniek) ! Studenten voorbereiden
Vergelijking toetssystemen, CITO-groep 2004 Keuze toetssysteem in 2005/2006
Organisatie digitale toetsing AMC Vragen maken Trainen secretariaat Vragen  invoeren Samenstellen toets Inroosteren toets Advisering docenten Toets afname Toets analyse ICTO ondersteuning docent secretariaat Feedback student Einduitslag
Organisatie rondom digitale toetsing 2 ICT & Onderwijs adviseurs (medewerker digitale toetsing): Adviseren docent over gebruik vraagtypen & opbouw toets Trainen secretariaten voor vraaginvoer Samenstellen toets Roosteren toets & beschikbaar stellen via ELO Standby tijdens toets voor vragen/problemen Analyse toetsresultaten & einduitslag 1 systeembeheerder: Standby tijdens toets voor technische problemen Docent: Vragen bedenken Aanwezig tijdens afname voor inhoudelijke vragen Besluitvorming cesuur op basis van toetsanalyse & uitslag Secretariaat docent: Vragen invoeren
Summatieve toetsen @ AMC 10 eindtoetsen (max n=200) 30 bonuspuntentoetsen (n=350) 50 toetsen in co-schappen (n=12) 1 communicatietoets (n=350) 25 ingangtoetsen (n=350)
Half cohort - eindtoets Blok 3D Mens 200 studenten in 1 zaal Multimediaal Ook essay vragen Item- en toetsanalyse Uitslag binnen 3 weken
油
Shifts - bonuspuntentoets 2x per blok 0,5 punt extra 350 studenten in 6 shifts 15 MC vragen in 15 minuten Gevalideerde vragenbank Uitslag binnen 24 uur Feedback op onderwerp Nabespreking tijdens WC
油
Score per onderwerp Collegekaart: 9705538 % correct Diabetes  Type 1 100% Glycolyse 100% Regulatie enzymen 0% CZS 50% Aminozuurmetabolisme 100% Einduitslag: 80%
Ingangstoetsen Minimale score van 80%  Zo vaak maken als nodig Student bepaalt waar en wanneer Geen feedback, alleen eindscore Docent heeft live inzicht in scores studenten Studenten beter voorbereid op practica met blended learning Maar... schools systeem, gevaar voor toetsmoeheid
油
油
油
Toetsen van grote groepen van invloed op TOETSAFNAME: Voldoende servercapaciteit (testen!) Toets starten in groepen (piekbelasting) 5% meer PCs dan deelnemers 5% papieren tentamens als reserve Duidelijke afspraken bij problemen Pas op met multimedia
Toetsen met stemkastjes? Formatief zeker! Responsiecollege Voor- en nameting Grootschalig adaptief toetsen Summatief is gevaarlijk Wie bedient welk kastje? Ik ben mijn stemkastje kwijt/vergeten! Ik heb echt gedrukt! Handhaven van orde in de zaal
Meerwaarde in het AMC Multimediale toetsing Korte nakijk termijn Betere feedback naar studenten en docent Diversiteit aan vraagvormen   Grote zaal niet per se noodzakelijk!
Problemen digitaal toetsen AMC Gebrek centrale toetsruimte Toetsen in shifts is tijdrovend  Verplicht gebruik van open vragen OER Geen beleid Dyslexie/RSI? Computervaardigheden student?
Proeve: KlETs Effect toetsing computer Scoren studenten beter/ slechter? Gebruiken studenten meer/ minder woorden? Zijn er andere effecten meetbaar?
KlETs  de uitvoering Helft digitaal  helft op papier (n=360) Digitale toets: deel A papier, deel B digitaal en v.v. Conclusies: Meer woorden bij een digitale toets (36.2賊15.5 vs 22.3賊4.9) Geen significante verschillen m.b.t. moeilijkheidsgraad Studenten willen vaker digitale toetsen Getik is irritant Docenten waarderen digitaal nakijken (tijdswinst)
Meer onderzoek In 2004: behoorlijke verschillen  (Bennett, 2004) Maar in 2002: onderzoek bij 13 jarigen: geen verschil  (NAEP, 2004) Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen Frequent computergebruik heeft positieve invloed op toetsprestatie Online scoring heeft geen invloed op de beoordeling  (zhang, powers, wright & morgan, 2003)
Conclusies Meerwaarde vaststellen  Beleid over inzet digitaal toetsen Grote groepen heeft impact op afname Opschaling: ruimte Toetsen in shifts bewerkelijk Goede ICTO ondersteuning
Nabije toekomst Structurele feedback na tentamen Score per vraag Score per onderwerp Totale score t.o.v. groep Resultaten per email Dienstverlening aan studenten Docenten ontlasten met inzage
Vragen? Meer informatie:  [email_address]

More Related Content

Digitaal toetsen summatief toetsen van grote groepen

  • 1. DIGITAAL TOETSEN Summatief toetsen van grote groepen Nynke Bos Roel Sijstermans -
  • 2. Opbouw Waarom digitaal toetsen? Situatie in het AMC Organisatie Voorbeelden Digitaal toetsen vs. papieren toetsen Conclusies
  • 3. Waarom digitaal toetsen? Ik ga digitaal toetsen omdat ik niet achter wil blijven Snel klaar met nakijken Geen papier Ik hoef alleen maar vragen te maken, de rest wordt voor me geregeld Ik hoef geen handschriften meer te ontcijferen Ik wil studenten de toetsresultaten kunnen mailen Waarom niet digitaal toetsen?
  • 4. Hoe wil je toetsen? SUMMATIEF: Gericht op de som van het geleerde Selecteren Certificeren Beveiligde omgeving Beperkt aantal kansen FORMATIEF: Gericht op de ontwikkeling van het leren Zelfstudie Plaats & tijdonafhankelijk Directe feedback Inzicht in niveau Eindtoets Bonuspuntentoets Zelftoets (E-learning) Ingangstoets
  • 5. Wat levert digitaal toetsen op? Flexibele toetsing (plaats, tijd & vorm) Gebruik van multimedia Gebruik van verschillende vraagtypen (Directe) feedback Gestructureerde vragenbank Automatische analyse & verwerking
  • 6. Randvoorwaarden digitale toetsing Toetssysteem Docenten opleiden Ondersteuning (logistiek & techniek) ! Studenten voorbereiden
  • 7. Vergelijking toetssystemen, CITO-groep 2004 Keuze toetssysteem in 2005/2006
  • 8. Organisatie digitale toetsing AMC Vragen maken Trainen secretariaat Vragen invoeren Samenstellen toets Inroosteren toets Advisering docenten Toets afname Toets analyse ICTO ondersteuning docent secretariaat Feedback student Einduitslag
  • 9. Organisatie rondom digitale toetsing 2 ICT & Onderwijs adviseurs (medewerker digitale toetsing): Adviseren docent over gebruik vraagtypen & opbouw toets Trainen secretariaten voor vraaginvoer Samenstellen toets Roosteren toets & beschikbaar stellen via ELO Standby tijdens toets voor vragen/problemen Analyse toetsresultaten & einduitslag 1 systeembeheerder: Standby tijdens toets voor technische problemen Docent: Vragen bedenken Aanwezig tijdens afname voor inhoudelijke vragen Besluitvorming cesuur op basis van toetsanalyse & uitslag Secretariaat docent: Vragen invoeren
  • 10. Summatieve toetsen @ AMC 10 eindtoetsen (max n=200) 30 bonuspuntentoetsen (n=350) 50 toetsen in co-schappen (n=12) 1 communicatietoets (n=350) 25 ingangtoetsen (n=350)
  • 11. Half cohort - eindtoets Blok 3D Mens 200 studenten in 1 zaal Multimediaal Ook essay vragen Item- en toetsanalyse Uitslag binnen 3 weken
  • 12.
  • 13. Shifts - bonuspuntentoets 2x per blok 0,5 punt extra 350 studenten in 6 shifts 15 MC vragen in 15 minuten Gevalideerde vragenbank Uitslag binnen 24 uur Feedback op onderwerp Nabespreking tijdens WC
  • 14.
  • 15. Score per onderwerp Collegekaart: 9705538 % correct Diabetes Type 1 100% Glycolyse 100% Regulatie enzymen 0% CZS 50% Aminozuurmetabolisme 100% Einduitslag: 80%
  • 16. Ingangstoetsen Minimale score van 80% Zo vaak maken als nodig Student bepaalt waar en wanneer Geen feedback, alleen eindscore Docent heeft live inzicht in scores studenten Studenten beter voorbereid op practica met blended learning Maar... schools systeem, gevaar voor toetsmoeheid
  • 17.
  • 18.
  • 19.
  • 20. Toetsen van grote groepen van invloed op TOETSAFNAME: Voldoende servercapaciteit (testen!) Toets starten in groepen (piekbelasting) 5% meer PCs dan deelnemers 5% papieren tentamens als reserve Duidelijke afspraken bij problemen Pas op met multimedia
  • 21. Toetsen met stemkastjes? Formatief zeker! Responsiecollege Voor- en nameting Grootschalig adaptief toetsen Summatief is gevaarlijk Wie bedient welk kastje? Ik ben mijn stemkastje kwijt/vergeten! Ik heb echt gedrukt! Handhaven van orde in de zaal
  • 22. Meerwaarde in het AMC Multimediale toetsing Korte nakijk termijn Betere feedback naar studenten en docent Diversiteit aan vraagvormen Grote zaal niet per se noodzakelijk!
  • 23. Problemen digitaal toetsen AMC Gebrek centrale toetsruimte Toetsen in shifts is tijdrovend Verplicht gebruik van open vragen OER Geen beleid Dyslexie/RSI? Computervaardigheden student?
  • 24. Proeve: KlETs Effect toetsing computer Scoren studenten beter/ slechter? Gebruiken studenten meer/ minder woorden? Zijn er andere effecten meetbaar?
  • 25. KlETs de uitvoering Helft digitaal helft op papier (n=360) Digitale toets: deel A papier, deel B digitaal en v.v. Conclusies: Meer woorden bij een digitale toets (36.2賊15.5 vs 22.3賊4.9) Geen significante verschillen m.b.t. moeilijkheidsgraad Studenten willen vaker digitale toetsen Getik is irritant Docenten waarderen digitaal nakijken (tijdswinst)
  • 26. Meer onderzoek In 2004: behoorlijke verschillen (Bennett, 2004) Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004) Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen Frequent computergebruik heeft positieve invloed op toetsprestatie Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)
  • 27. Conclusies Meerwaarde vaststellen Beleid over inzet digitaal toetsen Grote groepen heeft impact op afname Opschaling: ruimte Toetsen in shifts bewerkelijk Goede ICTO ondersteuning
  • 28. Nabije toekomst Structurele feedback na tentamen Score per vraag Score per onderwerp Totale score t.o.v. groep Resultaten per email Dienstverlening aan studenten Docenten ontlasten met inzage
  • 29. Vragen? Meer informatie: [email_address]

Editor's Notes

  • #2: Nynke: even voorstellen. Digitaal toetsen, e-learning, patient simuaties, draadloos stemmen, social software, digitale videocolleges en onderzoek naar de effecten van deze ICT middelen in het onderwijs. Wat draagt het bij aan het onderwijs, worden de studenten er beter van en worden het daardoor ook betere artsen?
  • #3: Nynke: STAP 1: waarom wil je nu digitaal gaan toetsen? Wat zijn de redenen? Voordelen? Zijn die er wel?
  • #4: Nynke: uit de praktijk in het AMC. Zijn juist redenen om het niet te doen! Tenminste dit kunnen niet de primaire redenen zijn om digitaal toetsen in te voeren. Belangrijkste toevoeging tov papier is de inzet van multimedia, audio, plaatjes,animaties en filmpjes. Betekend kwaliteitstoename in de toets. Realister toetsen. Dichter toetsen aan de praktijk. Dus logische stap-> wat wil je gaan toetsen of hoe wil je dit gaan toetsen?
  • #5: Als eerste vast stellen wat wil je weten van je student? Of wil je de student een tool bieden om zichzelf te testen? Summatief of Formatief. N
  • #6: Nynke
  • #7: Roel
  • #8: Roel
  • #9: Roel
  • #10: Roel
  • #11: Roel
  • #12: Roel
  • #13: Roel
  • #14: Roel
  • #15: Roel
  • #16: Roel
  • #17: Roel
  • #18: Roel
  • #19: Roel
  • #20: Roel
  • #21: Roel
  • #22: Nynke
  • #23: Nynke
  • #24: Geen beleid houdt in dat het gebruik afhankelijk is van de keuze van de docent. Het wordt niet verplicht gesteld of docenten worden niet goed geinformeerd over de extra mogelijkheden die digitale toetsing voor hun kan bieden. N
  • #25: Nynke
  • #26: Nynke
  • #27: Nynke
  • #28: Nynke
  • #29: Nynke
  • #30: Nynke/ Sijstermans