Screenen van kennistoetsen met een app? Kan dat?
Download as PPTX, PDF
0 likes437 views
Het lectoraat assessment van Saxion ontwikkelt een instrument voor het screenen van kennistoetsen. Het instrument is inhoudelijk gevalideerd door deskundigen uit het werkveld en wordt in een pilotversie op betrouwbaarheid getest. De presentatie schetst de fases in het constructieproces van de tool en geeft een eerste indruk van de werking van het instrument.
Screenen van kennistoetsen met een app? Kan dat?
- 1. Instrument screening kwaliteit van kennistoetsen Kennisplatform HBO, den Bosch, 19 maart 2015 Jan Adema Karin Gerritsen-van Leeuwenkamp
- 2. Inhoud Doel van het instrument; Gebruikers; Fasen in constructieproces; Indeling van het instrument; Evaluatie prototype 1en 2; Het instrument (prototype 2).
- 3. Doel van het project Het ontwerpen van een praktisch en verantwoord digitaal instrument, waarmee de kwaliteit van de constructiefase van kennistoetsen kan worden beoordeeld. Aanbevelingen doen hoe het instrument gebruikt kan worden door examinatoren bij het aantonen van de competenties in het kader van de BKE/SKE.
- 4. Waarom nog zon lijstje? Sluit aan op streven naar externe validering (cie. Bruijn); Standaardisatie kwaliteitscontrole; Aandacht voor vakinhoudelijke kwaliteit van toetsen.
- 5. Gebruikers De gebruikers kunnen zijn: de toetsconstructeur; collegiale screener (vakgenoot van de constructeur); leden van toetscommissies; leden van curriculumcommissies; leden van examencommissies.
- 6. Fasen in constructieproces Instrument Ontwerpmethode: Educational Design benadering Fase 1: het vooronderzoek Literatuurstudie; Inventarisatie algemene gegevens; Ori谷ntatie op digitale vormgeving van het instrument; Ori谷nterend gesprek met docenten. Fase 2: ontwerp prototype 1, formatieve evaluatie van de indicatoren. Opstellen indicatoren; Evaluatie indicatoren door toetsdeskundigen en docenten; Verwerken feedback.
- 7. Fasen in constructieproces Instrument Fase 3: ontwikkelen prototype 2, pilot en evaluatie Gebruik door docenten en toetscommissies in diverse opleidingen (Saxion, Ipabo, Cito) Berekenen beoordelaarsovereenstemming; Verwerken feedback op inhoud en gebruik. Fase 4: vormgeven prototype 3 (instrument als app). Toegankelijk via internet; Advies voor gebruik; Beheer instrument en database overdragen.
- 8. Unieke kenmerken van het instrument Rapportage op productniveau volgens de toetscyclus. (dus niet op niveau van validiteit, betrouwbaarheid, transparantie). Alle typen kennistoetsen met hetzelfde instrument gescreend en op dezelfde criteria gerapporteerd. Geen onbeantwoordbare vragen door eerst de beschikbare producten te inventariseren. Toelichting van toetstechnische termen. Daardoor ook voor ontwikkeling van kennis van screener geschikt. Steekproef uit de opgaven wordt beoordeeld.
- 9. Indeling instrument Deel 1: Algemene gegevens: van de toets, de screener, de constructeur. Deel 2: Beschikbaarheid van de te beoordelen producten. Deel 3: Kwaliteitscriteria: sturingsinformatie EC en management. Hulpvragen bij de criteria: concrete verbeterpunten voor docent. Ruimte voor opmerkingen en feedback. Toelichting toetstechnische termen.
- 10. Evaluatie prototype 1door toetsdeskundigen en docenten samenvatting feedback : De lijst is compleet maar (te) lang; Criteria zijn cruciaal, hulpvragen belangrijk; Vakjargon geeft onduidelijkheid; De indeling naar producten is duidelijk en concreet; Veel feedbackpunten worden maar 1x genoemd.
- 11. Evaluatie prototype 2 door toetscommissies en docenten samenvatting feedback en ervaring (tot nu toe) Screenen duurt 30 60 minuten De lijst is compleet; Ballonnetjes bij vakjargon geven duidelijkheid; Voorbeeldrapportage screening (zie volgende dia) wordt al ingezet ter verantwoording kwaliteit. Weet niet wordt regelmatig gebruikt (m.n. bij vakinhoudelijke vragen) Beide screeners hebben niet altijd dezelfde producten bij de hand.
- 12. Evaluatie prototype 2 door toetscommissies en docenten Beoordeelde criteria: 1 De toetsmatrijs is correct opgesteld. 2 De opgaven zijn uitwerkingen van de leerdoelen en het cognitieve beheersingsniveau zoals vermeld in de toetsmatrijs. 3 De (deel)opgaven bevatten een duidelijke opdracht. 4 De inleidende teksten, casussen of visueel materiaal zijn van goede kwaliteit. 5 Het beoordelingsmodel maakt een objectieve verwerking van de antwoorden tot scores mogelijk. 6 De alternatieven van de meerkeuze opgaven zijn effectief. 7 Het antwoord van de stelling opgaven is correct. 8 De alternatieven van de overige gesloten vragen zijn plausibel. 9 Het taalgebruik van de toets is correct en uniform. 10 De toets is zorgvuldig vormgegeven en samengesteld. 11 De scoring en de cesuur zijn methodisch verantwoord en helder. 12 De herkansing is een toets met andere opgaven maar van gelijkwaardig niveau. 13 De toets wordt veilig verspreid en bewaard. 14 Met de toets wordt vastgesteld of de student het toetsdoel bereikt heeft, zoals omschreven in het examenprogramma of modulebeschrijving.
- 13. Evaluatie prototype 2 door toetscommissies en docenten Beoordeelde criteria: 1 De toetsmatrijs is correct opgesteld. 2 De opgaven zijn uitwerkingen van de leerdoelen en het cognitieve beheersingsniveau zoals vermeld in de toetsmatrijs. 3 De (deel)opgaven bevatten een duidelijke opdracht. 4 De inleidende teksten, casussen of visueel materiaal zijn van goede kwaliteit. 5 Het beoordelingsmodel maakt een objectieve verwerking van de antwoorden tot scores mogelijk. 6 De alternatieven van de meerkeuze opgaven zijn effectief. 7 Het antwoord van de stelling opgaven is correct. 8 De alternatieven van de overige gesloten vragen zijn plausibel. 9 Het taalgebruik van de toets is correct en uniform. 10 De toets is zorgvuldig vormgegeven en samengesteld. 11 De scoring en de cesuur zijn methodisch verantwoord en helder. 12 De herkansing is een toets met andere opgaven maar van gelijkwaardig niveau. 13 De toets wordt veilig verspreid en bewaard. 14 Met de toets wordt vastgesteld of de student het toetsdoel bereikt heeft, zoals omschreven in het examenprogramma of modulebeschrijving.
Editor's Notes
- #4: Scope beperking vanuit praktisch oogpunt, de hele cyclus en alle producten is het doel; de constructiefase kenmerkt zich door opleveren van producten, deze volgen we in de screening.