Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
Download as PPTX, PDF1 like220 views
Presentation om Morgondagens digitala examinationer - Digitala examinationer - utvecklingsmöjlighet för flertalet examinationsformer. Projekt Digital tentamen II - SUNET Inkubator. Mats Brenner, projektledn.
More Related Content
What's hot (20)
Similar to Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612 (17)
More from Mats Brenner (14)
Presentation för Lunds universitet SAMHÄLLSVETENSKAPLIGA FAKULTETEN 160612
- 1. Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center 2018-06-12 SAMHÄLLSVETENSKAPLIGA FAKULTETEN | LUNDS UNIVERSITET Morgondagens digitala examinationer
- 2. Digital tentamen är… Digital transformation & verksamhetsutveckling • Ta position - börja pilottesta • Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera) • Gör det mesta av vågorna (vad som ändå kommer) – ha engagemang, nyttja andras erfarenheter och gör investeringar 1. Mobilisering – skapa pilottester och skapa projektgrupp med IT-avdelning, tentabokning, IKT-stödorganisationen och sprid erfarenheter från andra lärosäten 2. Koordination – samverka med alla nödvändiga intressenter för rutiner och kompetensutveckling samt upphandla robust systemlösning 3. Acceleration – skala upp, integrera och ständiga förbättringar med datastöd
- 3. Digitaliseringen på lärosätena 1. Lärplattformar, LMS 2. Webb- och videokonferenssystem 3. Mediaportaler och appar 4. Pågång: Systemlösningar för digital tentamen 5. Få använder: Integreringar mellan beroendesystem (LIS, LTI etc) 6. Diskuteras/Få använder: E-portföljer 7. Påbörjat: AR och VR samt spelbaserat lärande • REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan slutet av 1990-talet med aktuell omvärldsanalys. Nätbaserat lärande, s k blended learning, digital examination ökar i omfattning vid lärosätena.
- 4. Kritiska designprinciper – digitalisering • Underhållsmässighet: Om lösningen kan anpassas eller återanvändas för att möta mer än ett behov/möta flera behov. • Kompatibilitet: Om lösningen kan dela information med andra lösningar så att användare kan dra fördel. • Effektivitet: Om lösningen driver kostnads- och tidsbesparingar. • Maintainability: Whether the solution can be adapted or reused to meet more than one need. • Compatibility: Whether the solution can share information with other solutions such that users can benefit. • Efficiency: Whether the solution drives cost and time savings. REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and interoperability – all technology must enable adaptation to changing environments.” URL: https://encoura.org/helping-institution-realize-vision-five-edtech-companies-watch/ och http://pubs.opengroup.org/architecture/togaf8-doc/arch/chap29.html
- 5. Nationellt projekt – Digital tentamen II Projekt Digital tentamen genomfördes under år 2015. Under hösten 2017 och 2018 så fortsätter projektet Digital tentamen II. Rapporten Datoriserad tentamen (170 sidor) – som ger en översikt hur digitalisering av arbetsprocesserna kan genomföras från ax till limpa av den traditionella papperstentamen med salsskrivning. Webbplats: http://bit.ly/2zmN4y6 https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II
- 6. Viktiga faktorer vid införandet Ledarskap från toppen Institutionellt engagemang och investeringar Robust och tillförlitlig infrastruktur Effektivt och tillgängligt stöd & utveckling för akademisk personal Förmåga att demonstrera fördelarna av upplevelse för student, lärare och administrativ personal Evidensbaserat beslutsfattande och en kontinuerlig förbättringscykel
- 7. Projekt Digital tentamen II – vi ökar takten! Uppdrag Huvudmålet med projektet Digital Tentamen II är att skapa en fortsatt grund för lösningar runt digital tentamen för samt vidareutveckla samarbetet och erfarenhetsutbytet mellan lärosäten.
- 8. Status hos lärosätena? • Förvaltningsläge: Sophiahemmet högskola, GU, KAU, ORU, LU (juridiska), SU, HiG, UU (BMC) etc. • På väg: Flera universitet har pilotprojekt,förstudier, projektgrupper eller upphandling t ex MDH, LU, UMU, UU, etc. • Flera universitet har test licenser med leverantörer – har pilottestning. • Universitet som inte startat: Linnéuniversitetet, Linköpings universitet, Södertörns högskola, Mittuniversitetet. Se projektet webbplats > Frågor och svar
- 10. Salstentan – en av flera examinationsformer Studenter och elever i Sverige är inte så vana med summativa (High Stake) testsituationer. Kortkortprovet, ja. Här finns en erfarenhet av digitalt test/certifiering. Men vi har inga inträdesprov (endast vid konstnärliga utbildningar) eller t ex examensprov som i Finland. Test och provsituationer känns förstås ovant då en inte gör de så ofta eller lärt sig studieteknik för att fokusera på en större prestation under längre tid, med tidspress. Högskoleprov är inte avgörande för att söka till högre studier. Lärarutbildningar har få eller inga salsskrivningar som tentamen – mestadels används hemtentor och gruppuppgifter. REF: http://www.provainfact.se/publish/examination/9127- Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9291
- 11. Sista pappersbastionen… Högskolan i Gävle har 47% distansstudenter och 17000 studenter - därför endast ca 8000 papperstentor. Örebro universitet 66000 papperstentor, med 17000 studenter. Jmf med Högskolan i Skövde, ca 8000 studenter med 22000 papperstentor. Göteborgs universitet (GU) med Chalmers ca 1250000 papperstentor, ca 10000 digitala tentor 2017 enligt GU. Linköping har minst 130000-140000 studenter som gör papperstentor (5000 tentor) Större lärosäten som Uppsala och Lund har över 100000 papperstentor vardera. Totalt kan vi nog räkna med över 500000- 700000 papperstentor/år. En del digitalisera! Lärosätena ha alltför många papperstentor fortfarande…
- 12. Salstentamen – fördelar och nackdelar Fördelar • Salsskrivningar är rättssäkra då det exempelvis minskar riskerna för olika former av fusk. • Formen är välbekant för de flesta studenter. • Med genomtänkta strategier, uppgifter och bedömningsgrunder kan djupinlärning stimuleras. Nackdelar • Salsskrivning kan vid ovarsamhet uppmuntra ytinlärning. • Studenterna kan vara pressade av tidsbegränsningar och att vara i form vid tillfället för salsskrivning • Uppgifter som stimulerar djupinlärning kan ge hög rättningsbörda för läraren.
- 13. Lärosäten inför nu datoriserad tentamen • Införs nu på bred front datoriserad tentamen, både med studenternas egna datorer (BYOD) och med lärosätes datorutrustning. • Testverktyget i sina lärplattformar används, andra har upphandlat speciellt anpassade systemlösningar för e-exam/digitala tentamen. • Studenter positiva • Lärare, IKT-ped och pedagogiska utvecklare testar, kompetens- utveckling kring frågetyper, lära sig systemlösning och arbeta in rutiner med tentabokning. Tentavärdar behöver utbildas.
- 14. Varför digital examination? Ett axplock. • Studenter skriver stora mängder för hand – svårtydd textmassa. Studenten kan inte redigera. Efter 70 min skrivkramp. Möjlighet förkorta examinationstiden. • Studenten kan använda verktyg som de är vana vid – sin egen dator, ordbehandlare eller webbläsare. • Rättningen för lärare eller grupp av lärare underlättas. • Automatisk överföring till Ladok möjlig. • Möjliggör nya former av examinationer, studenter kan kommentera filmklipp, kommentera direkt i pdf-dokument. • Ytterligare stärka anonymiteten. Ökar rättsäkerheten. • Eliminera transport av papper, risk för borttappad tenta minskar – ökar rättssäkerheten • Utlämnings av olika former av examinationer kan elimineras d v s utlämnandet av tentamina
- 15. Använda fler representationsformer – fler frågetyper Digital media (multimodal): bilder, video, videoquiz, podcast, animeringar, simuleringar, interaktiva element VR, AR eller 3:dje part programvara Fördelar: Ökade representationsformar för tentand visa sina kunskaper, förmågor och färdigheter Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering Möjligheter till automatisk rättning & feedback Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet
- 16. åٲ
- 17. Fördelarna med datoriserad tentamen Fördelarna (Brenner & Sandström, 2015) med datoriserad tentamen är bl a att bedömning/rättning kan ske snabbare (30-70%) och bättre med högre kvalitet utförd, då det blir enklare när studenternas svar är digitala – då framförallt genom: • Att använda digitala bedömningsmallar • Att fler lärare är med och granskar/gör bedömning med rättningsprotokoll (Moderation) • Att studenternas svar är och lärarnas bedömning är anonym • Att lärarna kan sitta var som helst för att göra sin rättning/bedömning • Att lärarna enklare och flexiblare kan kommentera i dokument, markera på bilder m m som feedback till studenter
- 18. Fördelar lärare/examinator • Översiktligt och enkelt med fler representationsformer • Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma • Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig bedömning • Sparar tid i utformning och poängsättning • Kan ha flera examinatorer • Kan ha negativa poäng, ge extra poäng • Använda plausibla svar och goda distraktorer • Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar) • Kan använda 3:djeparts applikationer – streaming av programvara för autentisk tenta • Spara och återanvända frågor i frågebank • Enklare utvärdera frågor och frågetyper • Plagiatkontroll går genomföra • Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser • Anpassning för studenter med funktionsvariationer förbättras
- 19. Funktionshinder och funktionsvariationer Krav på testsituation och programvara som används: • Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc) • Publicering för extra skrivtid • Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska • Intuitiv och tydlig navigation • Storlek och färg på text och bakgrund kan justeras • Talsyntes kan användas • Snabbtangenter användas • Texteditor stödjer skrivarbetet i olika representationsformer • Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet) • Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer, interaktiva objekt
- 20. Flera färdiga systemlösningar finns
- 22. Arbetsprocessen digitaliseras Förberedelse Tentamen Bedömning Efterarbete
- 23. Arbetsprocessen digitaliseras – rutiner och regler Förberedelse Tentamen Bedömning Efterarbete Stödsystem – bokning/anmälan, planering, tentamensspecifika, IT-standarder (krav på IT-arkitektur, interoperabilitet) Lokalanpassningar - ström, nät/WiFi och möblering Anpassning funktionshindrade Datorer - studenternas egna (BYOD), surfplattor/portabla eller i datasalar ID-hantering (anonymisering) och övervakning - monitoring/proctoring (GDPR) Överföring av data och arkivering – säker datalagring, rättssäker (GDPR)
- 24. Arbetsprocessen digitaliseras – management/kvalitet Förberedelse Tentamen Bedömning Efterarbete Roller och behörighet i system och systemförvaltning - access, säkerhet, kvalitetsarbete, versionshantering - spårbarhet i hela arbetsprocessen Provkonstruktion - frågetyper, frågebanker, Learning Analytic, förbättringsarbete, immateriella rättigheter (frågebanker), metadata för söka/beskriva frågorna i kategori, kunskapsnivå, sökord Testsituationen - autentisering, funktionshinder, säker webbläsare/låsa skärm, ej kommunicera via internet, övervakning/säkerhet, incidenthantering, intern IT-kompetens Bedömning- och betygsättning via digitala bedömningsmallar – Kriterier, bedömningsmallar (Rubrics) och referensramar för kvalifikationer – kopplingen till lärandemål (Learning Outcomes) Resultathantering – feedback/besked till tentand, Objektanalys (Learning Analytic) förbättringsarbete. Arkivering (notera: GDPR)
- 25. Learning Analytics (Objektanalys) – för kvalitetssäkring
- 26. Nya examinationsformer - snabbare analyser
- 28. Säkerhet/Risk: examinationformer (high stake)
- 29. Minska möjligheterna till fusk Randomisera frågor med frågebank En fråga åt gången Låsa skärm – ingen internet Övervaka dataskärm Ej kunna backa Avskärma
- 30. Säkerhet – Level of Assurance (LoA)
- 31. Har våra papperstentor validitet & reliabilitet? • Standard error of measurement (SEM), Analyzing individual questions (items). Discriminator (incorrect options) discrimination, Difficulty index, Cronbach-alpha, Writing Good Multiple Choice Test Questions, • Multifactor evaluation (Learning Analytic) - With Exam overview (i realtid, faktabaserat beslutsunderlagstyrka valet av examinationsfrågorna) • Pass marks, pass/fail, Grade, pass mark, pass rate, discrimination • Question preformance (Pearson’s % item discrimination) • Candidate performance, score discrimination Avarage SD • Difficulty vs Discrimination • Excluded items Reliability consistency, reproducibility - a reliable test (repeat the test with the same results). Cronbach-alpha, measure over 0.0 considered good .90 and up excellent .80-.89 good .70-79 adequate Below .70 lower or acceptable Item discrimination is measured in two different ways. 20% low and 20% highest. The range are +1 to -1. Above 0.4 very good Above 0.2 OK Below 0.1 Little or no value Below 0.0 Negative impact on test, should be removed Discriminator (incorrect options) discrimination Measure how well the incorrect answers distract from the correct answer If distractor is never or seldom chosen, then why have them Rewriting distractor can improve a question Difficulty index Easy or difficult Different from item discrimination Q close to 100% correct don’t add not any value Incorrect most are also poor question 20% (in 1 out of 5) means 80-40% is good, an indicator that the question has a problem
- 32. Kompetensutveckling ecdea.org E-assessment & E-exams Frågor och åٲ – skapa, skriva och utvärdera samt kvalitetssäkra Examinationsformer Representationsformer 3:dje parts programvara Autentiska VR/AR
- 33. Varför har vissa inte kommit igång ännu? Ledarskap från toppen Institutionellt engagemang och investeringar Robust och tillförlitlig infrastruktur Effektivt och tillgängligt stöd & utveckling för akademisk personal Förmåga att demonstrera fördelarna av upplevelse för student, lärare och administrativ personal Evidensbaserade beslutsfattande och en kontinuerlig förbättrings- cykel
- 34. Digital tentamen är… Digital transformation & verksamhetsutveckling • Ta position - börja pilottesta • Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera) • Gör det mesta av vågorna (vad som ändå kommer) – ha engagemang, nyttja andras erfarenheter och gör investeringar 1. Mobilisering – skapa pilottester och skapa projektgrupp med IT-avdelning, tentabokning, IKT-stödorganisationen och sprid erfarenheter från andra lärosäten 2. Koordination – samverka med alla nödvändiga intressenter för rutiner och kompetensutveckling samt upphandla robust systemlösning 3. Acceleration – skala upp, integrera och ständiga förbättringar med datastöd
- 35. Rekommendationer • Skapa inte egna systemlösningar – för kostsamt • Börja med pilottester med intresserade lärare/examinatorer – vinn tid och erfarenhet • Samla alla intressenter – förankra • Ledningsbeslut och dokument – bra, men får inte bli hyllvärmare • Nyttja projektets resurser – besök andra lärosäten
- 36. FRÅGOR OCH TACK! Mats Brenner, projektledning Projekt Digital tentamen II- SUNET Inkubator Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33 Webbsidan/kontaktadresser: http://bit.ly/2zmN4y6 https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II