ºÝºÝߣ

ºÝºÝߣShare a Scribd company logo
www.infrastrukturkompetens.eu
SIK Pilot 1 Vinterveg
Evalueringsseminar, Fredrikstad, 2013-09-11
Pilot-test 2013
Verifisering av kompetanse
Utforming av sp?rsm?l
Oppsummering fra pilot-tester
Ver. 2013-08-24/JMJ
2013-08-24 www.infrastrukturkompetens.eu 2
Pilot 1
Vinterveg
Deltagere i testen Deltagere Styring Utf?rer Byggherre
Mesta, Konsmo
42 24 14 4
Mesta, Helsingborg
PEAB, Kung?lv
PEAB, Berger
Svevia, Uddevalla
NCC, Hamar
NCC, Bor?s
Skanska, Karlskrona
2013-08-24 www.infrastrukturkompetens.eu 3
Pilot 1
Vinterveg
Riktige svar - % Styring Utf?rer Byggherre
Samlet resultat 50-88 47-85 73-77
?Riktig? svar: Riktig svaralternativ i henhold til v?r fasit.
V?rt svaralternativ bygger p? en del forutsetninger som ikke
alltid framg?r av sp?rsm?let.
V?rt svaralternativ bygger noen ganger p? informasjon gitt i
vinterkurs.
Riktig svar kan v?re et annet svaralternativ, dersom deltageren legger inn sine
forutsetninger.
2013-08-24 www.infrastrukturkompetens.eu 4
Pilot 1
Vinterveg
Tidsforbruk ¨C (26 sp?rsm?l) Tid
Samlet resultat 15 ¨C 35 min.
2013-08-24 www.infrastrukturkompetens.eu 5
Pilot 1
Vinterveg
Antall sp?rsm?l i test
Tilbakemelding:
Spenn fra 30 til 50
30 b?r v?re nok for ?
klarlegge kompetanse
50: Noen blir slitne/tr?tte
Vurdering:
Statistisk teori: 20-25
Mange fag skal dekkes: 50
Tid for gjennomf?ring
Tilbakemelding:
De fleste ville levert like
raskt ved virkelig test.
50 sp?rsm?l:
Anslag 1-2 timer
Behov for pause
Vurdering:
Tidsbehovet er individuelt
Behov for pauser
F? vil ?se over? svarene sine
2013-08-24 www.infrastrukturkompetens.eu 6
Pilot 1
Vinterveg
Sp?rsm?l/svaralternativer ¨C generelle forhold 1
?Test i tilknytning til kurs/uten tilknytning til kurs (eventuelt definert
pensum): Betyr mye for forst?elsen av benyttede begrep - st?rre krav
?uten kurs/pensum?
?Bruk av begrep som kan ha ulik betydning i normalt spr?k og i
fagspr?ket (eks. ?normal?, ?store nedb?rsmengder?)
?Bruk av begrep som kan ha ulik betydning p? ulike steder (eks.
?drivsn?/fokksn??)
?Bruk av faguttrykk hvor man lokalt benytter andre begrep (eks.
plogtyper og detaljer p? plog)
?Behov for st?rre presisjon og bedre beskrivelse av forutsetningene
(eks. presisering at sp?rsm?let gjelder ?bar veg?)
2013-08-24 www.infrastrukturkompetens.eu 7
Pilot 1
Vinterveg
Sp?rsm?l/svaralternativer ¨C generelle forhold 2
?Figurer/bilder/diagrammer anses ? kunne bidra til bedre forst?else av
sp?rsm?l (unng?r misforst?else av begreper, presiserer
forutsetningene bedre, mindre ?skriftlighet?, n?rmere praktisk
virkelighet)
?Ikke entydig tilbakemelding p? hva som er egnede sp?rsm?l for
driftsledere og operat?rer, ulik oppfatning om kompetansekravene for
de to gruppene, skyldes kanskje ulik rolle fra sted til sted mht ansvar
for utkalling og annet. (eks. sp?rsm?l 2)
?I stor grad tilbakemelding p? at man ikke skal testes p? det man ikke
har behov for (salting/ikke salting, veg/g-s-veg, o.a.)
[ogs? et policysp?rsm?l ¨C hvilken basiskompetanse ?nsker
vi hos ut?verne? Behov for ? utf?re andre oppgaver/reserve?]
2013-08-24 www.infrastrukturkompetens.eu 8
Pilot 1
Vinterveg
Gir testen godt bilde av teoretiske kunnskaper?
?I hovedsak bekreftende positiv tilbakemelding p? dette
?Men for ? dekke total n?dvendig kompetanse, er det i tillegg
n?dvendig med:
¨C Kompetanse p? utstyr, montering, innstilling, kalibrering,
vedlikehold, HMS, o.l (dokumentert vinterdag)
¨C Kompetanse p? praktisk utf?relse, inkludert HMS,
trafikksikkerhet, forholdet til trafikanter og naboer, o.l.
(oppkj?ring med sensor, l?retid med erfaren sj?f?r)
¨C Og riktig holdning/adferd ¨C som flere angir som vanskelig ?
m?le, men som muligens kan sjekkes ut gjennom spesielle typer
sp?rsm?l?
2013-08-24 www.infrastrukturkompetens.eu 9
Pilot 1
Vinterveg
Krav til % riktige svar?
?Tilbakemeldingene angir 70 ¨C 80 %
?Behov for sikkerhetsnett for de som ligger rett under kravet
(muntlig gjennomgang)
?70 % b?r benyttes fordi sp?rsm?lene aldri vil v?re 100
entydige, m? ta h?yde for at ulik tolking av sp?rsm?let kan gi
annet svaralternativ enn det ?riktige?.
?Krav b?r gjelde for hvert delomr?de (ikke kompensatorisk)
2013-08-24 www.infrastrukturkompetens.eu 10
Pilot 1
Vinterveg
De som stryker - Tilbud om muntlig test?
?Tilbud om muntlig test/gjennomgang m? gis til de som ?s? vidt?
stryker ¨C og kanskje til alle som stryker?
?Hovedentrepren?r m? ogs? ta ansvar for de som f?r d?rlig
resultat ¨C avklare hva som er ?rsaken og rette p? dette forholdet
?Tilbud om muntlig test m? ogs? gis til kandidater med
lese/skrive-vansker og til andre som ikke er vant til ? h?ndtere
skriftlige problemstillinger (f?r testen starter)
2013-08-24 www.infrastrukturkompetens.eu 11
Pilot 1
Vinterveg
Beskrivelse av kompetansekrav
¨C klarer vi dette tilstrekkelig presist?
1.Kortfattede beskrivelser av kompetanseomr?der (som vi har
arbeidet med i SIK-prosjektet)
2.Utdypede og konkretiserte beskrivelser
3.Sp?rsm?lsdatabase
4.Pensumoversikter/L?replan
5.Kurs/kursinnhold
6.Annet?

More Related Content

SIK M?te i Fredrikstad 11 sep 2013

  • 1. www.infrastrukturkompetens.eu SIK Pilot 1 Vinterveg Evalueringsseminar, Fredrikstad, 2013-09-11 Pilot-test 2013 Verifisering av kompetanse Utforming av sp?rsm?l Oppsummering fra pilot-tester Ver. 2013-08-24/JMJ
  • 2. 2013-08-24 www.infrastrukturkompetens.eu 2 Pilot 1 Vinterveg Deltagere i testen Deltagere Styring Utf?rer Byggherre Mesta, Konsmo 42 24 14 4 Mesta, Helsingborg PEAB, Kung?lv PEAB, Berger Svevia, Uddevalla NCC, Hamar NCC, Bor?s Skanska, Karlskrona
  • 3. 2013-08-24 www.infrastrukturkompetens.eu 3 Pilot 1 Vinterveg Riktige svar - % Styring Utf?rer Byggherre Samlet resultat 50-88 47-85 73-77 ?Riktig? svar: Riktig svaralternativ i henhold til v?r fasit. V?rt svaralternativ bygger p? en del forutsetninger som ikke alltid framg?r av sp?rsm?let. V?rt svaralternativ bygger noen ganger p? informasjon gitt i vinterkurs. Riktig svar kan v?re et annet svaralternativ, dersom deltageren legger inn sine forutsetninger.
  • 4. 2013-08-24 www.infrastrukturkompetens.eu 4 Pilot 1 Vinterveg Tidsforbruk ¨C (26 sp?rsm?l) Tid Samlet resultat 15 ¨C 35 min.
  • 5. 2013-08-24 www.infrastrukturkompetens.eu 5 Pilot 1 Vinterveg Antall sp?rsm?l i test Tilbakemelding: Spenn fra 30 til 50 30 b?r v?re nok for ? klarlegge kompetanse 50: Noen blir slitne/tr?tte Vurdering: Statistisk teori: 20-25 Mange fag skal dekkes: 50 Tid for gjennomf?ring Tilbakemelding: De fleste ville levert like raskt ved virkelig test. 50 sp?rsm?l: Anslag 1-2 timer Behov for pause Vurdering: Tidsbehovet er individuelt Behov for pauser F? vil ?se over? svarene sine
  • 6. 2013-08-24 www.infrastrukturkompetens.eu 6 Pilot 1 Vinterveg Sp?rsm?l/svaralternativer ¨C generelle forhold 1 ?Test i tilknytning til kurs/uten tilknytning til kurs (eventuelt definert pensum): Betyr mye for forst?elsen av benyttede begrep - st?rre krav ?uten kurs/pensum? ?Bruk av begrep som kan ha ulik betydning i normalt spr?k og i fagspr?ket (eks. ?normal?, ?store nedb?rsmengder?) ?Bruk av begrep som kan ha ulik betydning p? ulike steder (eks. ?drivsn?/fokksn??) ?Bruk av faguttrykk hvor man lokalt benytter andre begrep (eks. plogtyper og detaljer p? plog) ?Behov for st?rre presisjon og bedre beskrivelse av forutsetningene (eks. presisering at sp?rsm?let gjelder ?bar veg?)
  • 7. 2013-08-24 www.infrastrukturkompetens.eu 7 Pilot 1 Vinterveg Sp?rsm?l/svaralternativer ¨C generelle forhold 2 ?Figurer/bilder/diagrammer anses ? kunne bidra til bedre forst?else av sp?rsm?l (unng?r misforst?else av begreper, presiserer forutsetningene bedre, mindre ?skriftlighet?, n?rmere praktisk virkelighet) ?Ikke entydig tilbakemelding p? hva som er egnede sp?rsm?l for driftsledere og operat?rer, ulik oppfatning om kompetansekravene for de to gruppene, skyldes kanskje ulik rolle fra sted til sted mht ansvar for utkalling og annet. (eks. sp?rsm?l 2) ?I stor grad tilbakemelding p? at man ikke skal testes p? det man ikke har behov for (salting/ikke salting, veg/g-s-veg, o.a.) [ogs? et policysp?rsm?l ¨C hvilken basiskompetanse ?nsker vi hos ut?verne? Behov for ? utf?re andre oppgaver/reserve?]
  • 8. 2013-08-24 www.infrastrukturkompetens.eu 8 Pilot 1 Vinterveg Gir testen godt bilde av teoretiske kunnskaper? ?I hovedsak bekreftende positiv tilbakemelding p? dette ?Men for ? dekke total n?dvendig kompetanse, er det i tillegg n?dvendig med: ¨C Kompetanse p? utstyr, montering, innstilling, kalibrering, vedlikehold, HMS, o.l (dokumentert vinterdag) ¨C Kompetanse p? praktisk utf?relse, inkludert HMS, trafikksikkerhet, forholdet til trafikanter og naboer, o.l. (oppkj?ring med sensor, l?retid med erfaren sj?f?r) ¨C Og riktig holdning/adferd ¨C som flere angir som vanskelig ? m?le, men som muligens kan sjekkes ut gjennom spesielle typer sp?rsm?l?
  • 9. 2013-08-24 www.infrastrukturkompetens.eu 9 Pilot 1 Vinterveg Krav til % riktige svar? ?Tilbakemeldingene angir 70 ¨C 80 % ?Behov for sikkerhetsnett for de som ligger rett under kravet (muntlig gjennomgang) ?70 % b?r benyttes fordi sp?rsm?lene aldri vil v?re 100 entydige, m? ta h?yde for at ulik tolking av sp?rsm?let kan gi annet svaralternativ enn det ?riktige?. ?Krav b?r gjelde for hvert delomr?de (ikke kompensatorisk)
  • 10. 2013-08-24 www.infrastrukturkompetens.eu 10 Pilot 1 Vinterveg De som stryker - Tilbud om muntlig test? ?Tilbud om muntlig test/gjennomgang m? gis til de som ?s? vidt? stryker ¨C og kanskje til alle som stryker? ?Hovedentrepren?r m? ogs? ta ansvar for de som f?r d?rlig resultat ¨C avklare hva som er ?rsaken og rette p? dette forholdet ?Tilbud om muntlig test m? ogs? gis til kandidater med lese/skrive-vansker og til andre som ikke er vant til ? h?ndtere skriftlige problemstillinger (f?r testen starter)
  • 11. 2013-08-24 www.infrastrukturkompetens.eu 11 Pilot 1 Vinterveg Beskrivelse av kompetansekrav ¨C klarer vi dette tilstrekkelig presist? 1.Kortfattede beskrivelser av kompetanseomr?der (som vi har arbeidet med i SIK-prosjektet) 2.Utdypede og konkretiserte beskrivelser 3.Sp?rsm?lsdatabase 4.Pensumoversikter/L?replan 5.Kurs/kursinnhold 6.Annet?