Realistinen arviointi
0 likes754 views
Minna Kivipellon esitys Kansallisen koulutuksen arviointikeskuksen (KARVI) koulutustilaisuudessa 17.4.2018
Realistinen arviointi
- 1. Realistinen arviointi K A R V I N A R V I O I N T I K O U L U T U S 1 7 . 4 . 2 0 1 8
- 2. Alustuksen sis辰lt旦 Realismi, k辰sitteet ja niiden merkitys arvioinnissa Esimerkkej辰 arvioinnin toteuttamisesta Tarkentavia kysymyksi辰 ja keskustelua 1 R E A L I S T I S E N A R V I O I N N I N 油 T A U S T A 3 KESKUSTELUA JA KYSYMYKSI 2 ARVIOINTIASETELMASTA
- 3. 1 Realistisen arvioinnin tausta
- 4. Tieteellinen realismi korostaa tieteen merkityst辰 todellisuuden kuvaamisessa. Teoriat ovat kuvauksia todellisuudesta, mutta havaintojen teoriapitoisuudesta (kokemukset ovat luonteeltaan k辰sitteellisi辰) seuraa, ett辰 todellisuus ei ole suoraan tavoitettavissa. (Ks. esim. Pawson &Tilley 1997)油 Tieteellinen realismi Tieteen kehityksen ja tiedon kasvun kautta voidaan tarkastella sit辰, miten tieteen antamat kuvaukset todellisuudesta tulevat paremmiksi ja miten tieteelliset teoriat ovat totuudenkaltaisia tai ainakin l辰hestyv辰t totuutta
- 5. Ei ole metodi, vaan arviointisuuntaus Ei edellyt辰 tietynlaisen menetelm辰n k辰ytt旦辰 Sallii erilaisia tiedonkeruumuotoja, jotka vastaavat realistisen arvioinnin periaatteita Realistinen arviointi 0 10 20 30 40 50 Item 1 Item 2 Item 3 Item 4 Item 5 Mahdollisuus ker辰t辰 sek辰 laadullista ett辰 m辰辰r辰llist辰 aineistoa. Esim. m辰辰r辰llist辰 aineistoa ker辰t辰辰n olosuhteista/kontekstista ja tuloksista, laadullista aineistoa generatiivisista mekanismeista
- 7. Tutkimusasetelma Vertailuasetelmaa (=koe- ja kontrolliryhmi辰) ei yleens辰 k辰ytet辰 Asetelmana usein tapaustutkimus Asetelmassa mukana aina konteksti, mekanismien tutkimus ja tulosten/tavoitteiden seuranta: context- mechanism-outcome (CMO) Konteksti Tulokset ja vaikuttavuus Mekanismit
- 8. Kuvaa, mill辰 tavoin ohjelman tulisi johtaa tiettyihin vaikutuksiin ja millaisissa olosuhteissa t辰m辰 tapahtuu parhaiten Voi perustua aiempaan tutkimukseen, tietoon ja kokemukseen siit辰, miten ja miksi tietyt interventiot johtavat tiettyyn vaikutukseen Sis辰lt辰辰 my旦s hypoteesit siit辰, millaisilla mekanismeilla on merkityst辰 tavoitteiden saavuttamisessa Sis辰lt辰辰 oletuksen, millaisten olosuhteiden vallitessa mekanismit toimivat parhaiten Ohjelmateoria Ohjelmateoria on er辰辰nlainen teoreettinen viitekehys siit辰, millaisista tekij旦ist辰 tavoitteiden ja vaikuttavuuden saavuttaminen rakentuu Mekanismit Tavoitteet Vaikuttavuus Konteksti
- 9. Tavoitteiden operationalisointi Tavoitteilla tarkoitetaan hankkeessa tai ohjelmassa luvattujen konkreettisten asioiden saavuttamista (esim. ett辰 opettajien perus-, perehdytt辰mis- ja t辰ydennyskoulutuksen nykytila ja haasteet on analysoitu) Tavoitteiden saavuttamiseen voi liitty辰 konkreettien tuotos, esimerkiksi raportti nykytilasta ja haasteista Tavoitteen on oltava mitattavassa muodossa: tavoite on voitava joko kuvailla laadullisesti tai mitata m辰辰r辰llisesti sit辰, miten tavoitteen saavuttaminen n辰kyy tai on havaittavissa. Arviointia hankaloittaa usein se, ett辰 usein tavoitteet on ilmaistu jossain muussa kuin mitattavassa muodossa (esimerkiksi tavoitteena on yhteisty旦n lis辰辰minen). Arvioitsijan teht辰v辰n辰 on operationalisoida tavoite arvioitavaan/mitattavaan muotoon, jotta sen saavuttamista voidaan arvioida (esimerkiksi tavoitteena on, ett辰 koulutuksen j辰rjest辰j辰t hy旦dynt辰v辰t ammatillisia verkostoja ja johtamiskoulutusta johtajien ammatillisen osaamisen kehitt辰misess辰).
- 10. Vaikuttavuus Ohjelman tms. tavoitteita ja vaikuttavuutta tutkitaan tarkastelemalla interventioiden, mekanismien ja kontekstien v辰lisi辰 yhteyksi辰 Vaikuttavuus l旦ytyy tarkastelemalla generatiivisten mekanismien ja kontekstin v辰lisi辰 yhteyksi辰 Vaikuttavuus = toimenpide A johtaa vaikuttavuuteen B, jos mekanismi C tukee vaikuttavuuden saavuttamista olosuhteissa D C B A D
- 11. Vaikutus ja vaikuttavuus Vaikutusta pidet辰辰n t辰ss辰 arvioinnissa konkreettisesti havaittavana asiana, joka on luvattu toteuttaa. Esimerkki vaikutuksesta on, ett辰 opettajien peruskoulutuksen kehitt辰misohjelma on laadittu. Yleens辰 jo vaikutuksenkin saavuttaminen on iso teht辰v辰 ja edellytt辰辰 useiden tavoitteiden saavuttamista. Vaikuttavuudella voidaan tarkoittaa joko lyhyen aikav辰lin vaikutuksia, kuten v辰litt旦m辰sti kehitt辰misen j辰lkeen havaittavaa vaikuttavuutta tai pidemm辰n, esimerkiksi vuoden kuluttua ilmenev辰辰 vaikuttavuutta. Vaikuttavuus on tavoitteisiin verrattuna syvemp辰辰, kuten ett辰 opettajankoulutuksen perus- ja t辰ydennyskoulutus on uudistunut tai ett辰 oppijoiden opiskelumenestys on parantunut. Vaikuttavuus pit辰辰kin havaita yleens辰 useilla eri mittareilla. Hyv辰ss辰 hankesuunnittelussa huomioidaan, ett辰 konkreettisesti ja selke辰sti asetetut tavoitteet tukevat vaikuttavuuteen p辰辰sy辰.
- 12. Vaikuttavuuden saavuttaminen Vaikutuksen saavuttaminen edellytt辰辰 tiettyjen osatavoitteiden saavuttamista Vaikuttavuuteen liittyy puolestaan se, ett辰 tavoitteet on saavutettu ja vaikutukset kyetty tunnistamaan Tie tavoiteltavaan vaikuttavuuteen on siis jatkumo, jossa tavoitteet, vaikutukset ja vaikuttavuus liittyv辰t toisiinsa Tarvitaan useita tavoitteita ja niiden toteutumista, ennen kuin voidaan esimerkiksi sanoa, ett辰 opettajien peruskoulutusohjelma on uudistettu ja toimeenpantu
- 13. Mekanismit Realistisessa arviointitutkimuksessa erityispiirteen辰 on tavoitteiden saavuttamiseen ja vaikuttavuuteen liittyvien mekanismien tunnistaminen Ajatellaan, ett辰 arvioinnissa voidaan l旦yt辰辰 erilaisia vaikuttavia mekanismeja, joiden seurauksena muutokset voivat tapahtua Samalla tavoin mekanismit voivat my旦s est辰辰 tai ehk辰ist辰 tavoiteltuja muutoksia
- 14. Generatiivisilla mekanismeilla tarkoitetaan esimerkiksi erilaisia sosiaalisia, psyykkisi辰 ja rakenteellisia tekij旦it辰, jotka johtavat siihen, ett辰 ihmiset ajattelevat ja toimivat tietyll辰 tavalla. Huom! Generatiivinen mekanismi voi toimia vain oikeissa olosuhteissa. Generatiivinen mekanismi
- 15. Generatiivisen kausaalisuuden mukaan todellisuus on kerrostunutta Arvioinnin avulla ei ole mahdollista saada tietoa kaikista mahdollisista asiaan kuuluvista vaikutussuhteista Generatiivinen油 kausaalisuus On kuitenkin parempi tiet辰辰 ainakin edes jotain toimivista mekanismeista ja konteksteista, kuin j辰tt辰辰 ne kokonaan huomioimatta M4 M1 M2 M3
- 16. A n a l y y s i Analyysissa aloitetaan tuloksista: millaisia tuloksia saatiin aikaan? Tarkastellaan, tukeeko tai haastaako aineisto ohjelmateoriaa? Selvitet辰辰n, millainen merkitys mekanismeilla oli tulosten saavuttamisessa? Millaiset mekanismit vaikuttivat tiettyihin tuloksiin? Mitk辰 mekanismit "reagoivat" tietyiss辰 olosuhteissa? Millainen merkitys esimerkiksi sosioekonomisilla tekij旦ill辰 oli tavoitteiden saavuttamisessa?
- 17. Esimerkki 1 Lasten aggressioiden kohtaamiseen keskittyv辰ll辰 ohjelmalla pyrit辰辰n l旦yt辰m辰辰n ratkaisuja tilanteisiin, joissa lapset k辰ytt辰ytyv辰t aggressiivisesti Vaikutusten havaittiin kuitenkin olevan erilaisia eri lasten kohdalla Havaittiin, ett辰 osa perheist辰 hy旦tyi ohjelmasta ja lasten aggressiot v辰heniv辰t Toisten kohdalla ei havaittu vaikutuksia Millaisia generatiivisia mekanismeja l旦ydettiin? Millaisissa ymp辰rist旦iss辰 lapset eliv辰t?
- 18. Esimerkki 2 Koulutuksen kehitt辰misohjelman arvioinnissa pyrit辰辰n tunnistamaan erityisesti tavoitteisiin ja vaikuttavuuteen p辰辰sy辰 tukeneita ja hankaloittaneita foorumiin liittyvi辰 mekanismeja Miten kehitt辰misohjelman laadintaprosessi vaikutti tavoitteiden saavuttamiseen? Millaisia tukevia ja hankaloittavia mekanismeja laadintaprosessiin liittyi?
- 19. E s i m e r k k i 3 Opettajankoulutuksen kehitt辰misohjelman osuvuuden, toimivuuden, tulosten ja muutosten arviointi Ohjelmateorian avulla kuvataan aluksi varsin hypoteettisesti, miten ohjelma vastaa toimintaymp辰rist旦n muutoksiin (osuvuus), millaiset toimintatavat foorumissa olivat toimivia (toimivuus), millaiset kehitt辰mishankkeiden tulokset saatiin juurrutettua ja miten foorumi tuki opettajankoulutuksen uudistumista (muutos). Tiedonkeruun j辰lkeen palataan ohjelmateoriaan. Tarkastellaan esimerkiksi, olivatko oletetut toimintatavat toimivia? Vastasivatko toimintatavat toimintaymp辰rist旦n muutoksiin?
- 20. Lopuksi Realistisessa arvioinnissa ei keskityt辰 niink辰辰n kokonaisvaikutuksiin vaan siihen, mik辰 vaikuttaa mihinkin, milloin ja millaisilla edellytyksill辰 (Dahler- Larsen 2005) Tavoitteden, mekanismien ja kontekstin merkitys on hyv辰 selvitt辰辰 ennen arvioinnin aloittamista (=ohjelmateoria) Arvioinnissa on annettava my旦s neuvoja siit辰, mit辰 tarvitaan, jotta interventio (esim ohjelma) vaikuttaisi paremmin (Dahler-Larsen 2005)
- 21. Keskustelua
- 22. Thank you for your time today! M I N N A K I V I P E L T O , T H L