More Related Content
Featured (20)
ÁTTÉRÉS A TECHNOLÓGIA ALAPÚ MÉRÉS-ÉRTÉKELÉSRE - PAPÍR ÉS SZÁMÍTÓGÉP ALAPÚ MATEMATIKA TESZTELÉS ÖSSZEHASONLÍTÓ VIZSGÁLATA 1-6. ÉVFOLYAMON (2016)
- 1. ÁTTÉRÉS A TECHNOLÓGIA ALAPÚ MÉRÉS-ÉRTÉKELÉSRE PAPÍR ÉS SZÁMÍTÓGÉP ALAPÚ MATEMATIKA TESZTELÉS ÖSSZEHASONLÍTÓ VIZSGÁLATA 1-6. ÉVFOLYAMON Hülber László SZTE Neveléstudományi Doktori Iskola
- 2. IKT eszközök fokozódó hangsúlya a pedagógiai mérés-értékelésben • Természetes következmény • XXI. sz. képességek mérése – XXI. sz.-i módszereket igényel (Csapó és mtsai, 2012) • Európai Bizottság, az oktatás-politika is kívánatosnak tartja (Bjerkestrand, 2009) • Alulról a gyakorlat szintjéről is megjelennek az igények (Csapó és mtsai, 2009)
- 3. Problémafelvetés • A technológia mérésben való integrációja felvet • validitásra • mintára (méltányosságra) • objektivitásra • az alkalmazott technológiára vonatkozó kérdéseket. • Összefoglalóan a teszt közvetítő médium befolyásoló hatását angolul mode effect vagy media effect magyarul médiahatás kifejezéssel írjuk le (Clariana és Wallace, 2002)
- 4. Médiahatás vizsgálatok eredményei • 30 éves múlt, kb. 300 tanulmány (Wang és Shin, 2009) • érvényüket vesztik a régebbiek (Russsal és mtsai, 2003) • nem zárulnak le, mivel a technika folyamatosan változik • ellentétes eredményeket mutatnak, a nem egységesíthető jellemzők miatt (Wang és Shin, 2009) • Egységes konklúzióként az azonos reprezentációt lehet kiemelni • Pommerich (2004) a helyzet megoldására saját,
- 5. Kutatás céljai • 1-6. évfolyamos diákok online tesztkörnyezetben való viselkedésének feltérképezése, • papír és számítógép alapú környezetben nyújtott matematika teljesítmények összehasonlítása, • azon item paraméterek meghatározása, amelyeknél jellemző a teljesítmények valamilyen irányú eltérése, vagy azonossága, • olyan részminták azonosítása, amelyek tipikusan azonosan, illetve eltérően viselkednek különböző tesztkörnyezetben.
- 6. Hipotézisek • Általános irányú hipotézisek (H1-2) • Megbízhatóságra (H1) • Papír és számítógép alapú teszteredmények átlagos különbségeire (H2) vonatkozóak
- 7. Hipotézisek • Az itemek tulajdonságaira vonatkozó hipotézisek (H3-H6) • A feladatok típusával (H3) • A feladatok belső tartalmi jellemzőivel és a megoldáshoz szükséges tudáselemekkel (H4) • A feladatokhoz tartozó információkkal (H5) • A feladat által igényelt válaszok jellemzőivel (H6) kapcsolatban
- 8. Hipotézisek • Mintára vonatkozó hipotézisek (H7-H12) • Az életkor szerepével (H7) • Diákok nemével (H8) • Diákok lakhelyének földrajzi paramétereivel (H9) • A tanulók szüleinek iskolai végzettségével (H10) • A tanulók tanulmányi előmenetelével (H11) • A tanulók informatikai képzésével (H12) kapcsolatban
- 9. Kutatási stratégia • Alapvető szerkezet: • Független minták • Korábbi papír alapú mérés (2010) összehasonlítása számítógép alapú mérés (2012) eredményeivel Évfolyam Számítógép-alapú adatfelvétel Papír-ceruza alapú adatfelvétel 1 3048 7924 2 3459 7017 3 3702 6366 4 4179 6749 5 4502 6809 6 3825 5706 Összesen: 22715 40571 1. táblázat. A kutatás évfolyamonkénti mintaelemszámai
- 10. Mérések jellemzői • Önkéntes alapú részvétel • 45 perc • Háttéradatokat felmérő kérdőív (Csapó) • Számítógépen • Egy hónap állt rendelkezésre • Minimális konfigurációs szint ismertetése, ellenőriztetése • Jegyzetpapírok biztosítása
- 11. Mérőeszközök • Papír alapon 30, számítógép alapon 10 tesztváltozat évfolyamonként • Minden tesztváltozat három klaszterből épült fel. Egy klaszter 3-4 darab 4-5 itemes Tesztváltozat 1. klaszter 2. klaszter 3. klaszter 1 évf./1 M1C3 M1C7 M1A6 1 évf./2 M1B6 M1C3 M1C7 1 évf./3 M1D3 M1B6 M1C3 1 évf./4 M1C1 M1D3 M1B6 1 évf./5 M1B4 M1C1 M1D3 1 évf./6 M1B5 M1B4 M1C1 1 évf./7 M1C2 M1B5 M1B4 1 évf./8 M1A4 M1C2 M1B5 1 évf./9 M1A6 M1A4 M1C2 1 évf./10 M1C7 M1A6 M1A4 3. ábra Az egyes tesztváltozatok összekapcsolási módja számítógép alapon
- 12. Számítógép alapú mérőeszköz • Tesztszerkesztési elvek • Csak az azonos reprezentálható papír alapú itemek kerültek online bemérésre • Kiegyenlített számban szerepeltek nyílt és zártvégű feladatok • A megvalósítható főbb altípusokból is elegendő item állt rendelkezésre • Magas számban szerepeltek grafikus elemeket tartalmazó itemek (447) Zárt végű itemek Nyílt végű itemek Altípusok N Altípusok N Választás 314 Kiegészítés 167 Hozzárendelés 62 Rendezés 48 Teljes válasz 288 Összesen 424 Összesen 455 2. táblázat. A tesztváltozatok feladattípusonkénti elemszáma (Hülber és Molnár, 2013)
- 13. 4. ábra Egy feladat papír alapú reprezentációja 5. ábra Ugyanazon feladat számítógép alapú reprezentációja
- 14. Eljárások • Mintaillesztés • Az illesztés algoritmusnál alkalmazott változók prioritási sorrendje: évfolyam, nem, régió, településtípus, anya iskolai végzettsége, apa iskolai végzettsége, tanulmányi átlag (egészre kerekítve). Évfolyam Figyelembe vett paraméterek száma Mintaillesztési mutató (%) 1 6 91 2 6 88 3 7 77 4 7 79 5 7 82 6 7 76 3. táblázat. Mintaillesztés hatásfokának mértéke évfolyamonkénti bontásban
- 15. Eljárások • Rasch-modell alkalmazása • Különböző tesztváltozatok indokolják • Két dimenziós változat (CBA, PP) • ACER ConQuest program • Itemnehézségi értékek (estimate value)
- 16. Eljárások • Az itemek viselkedését leíró paraméterrendszer
- 17. A kutatás eredményei • A tesztek megbízhatóságára vonatkozó eredmények (H1) Számítógép alapú adatfelvétel Papír alapú adatfelvétel Évf. Cronbach-α értékek átlaga Legkisebb Cronbach-α érték Személy- szeparációs reliabilitás Cronbach-α értékek átlaga Legkisebb Cronbach-α érték Személy- szeparációs reliabilitás 1 0,94 0,93 0,91 0,88 0,87 0,88 2 0,93 0,91 0,89 0,87 0,85 0,85 3 0,89 0,80 0,91 0,85 0,80 0,85 4 0,91 0,84 0,88 0,86 0,82 0,84 5 0,87 0,81 0,85 0,83 0,81 0,82 6 0,91 0,88 0,89 0,86 0,84 0,82 4. táblázat. A tesztváltozatok megbízhatósági mutatói (Hülber és Molnár, 2013)
- 18. A kutatás eredményei • Papír és számítógép alapú eredmények összehasonlítása (H2) Évfolyam PP-CB itemnehézségi értékek r t (p) 1 0,70 1,14 (0,26) 2 0,72 0,90 (0,37) 3 0,69 1,05 (0,30) 4 0,77 0,18 (0,86) 5 0,85 0,03 (0,97) 6 0,92 0,15 (0,90) 4. táblázat. A papíron és a számítógépen kiközvetített itemek átlagos nehézségi értékei közötti kapcsolat (Hülber és Molnár, 2013)
- 19. A kutatás eredményei • Az információ feldolgozásához tartozó változók menti különbségek (H5) • információk elrendezése, a táblázat alkalmazása nem befolyásolta a különbségeket • Grafikus elemeket tartalmazó itemek első évfolyamon számítógépen bizonyultak könnyebbnek (|t|=2,01, p<0,05) Évfolyam r_karakterszám_ nehézségi index z (p) CB PP 1 0,48** 0,56** 0,94 (0,35) 2 0,26** 0,24** 0,18 (0,43) 3 0,28** 0,20* 0,69 (0,49) 4 n.s. n.s. - 5 n.s. n.s. - 6 n.s. n.s. - 5. táblázat. A feladatnehézségi értékek és a feladatmegoldáshoz szükséges szövegmennyiség közötti összefüggés erőssége számítógép és papír alapon (Hülber és Molnár, 2013)
- 20. A kutatás eredményei • A feladatmegoldáshoz tartozó paraméterek szerinti eredmények (H4) • A feladat megoldásához szükséges pszichikus struktúra és a feladatok kontextusa nem befolyásolta a különbségeket • A tartalmi elemeket tekintve, a statisztikai tartalmú feladatok megoldása szignifikánsan nehezebbnek bizonyult számítógépes környezetben, mint papíron (|t|=2,06, p<0,05)
- 21. A kutatás eredményei • A feladatmegoldó tevékenységhez fűződő paraméterek menti eredmények (H3, H6) • a feladattípusát tekintve egyedül az alternatív választásnál jelentkeztek különbségek Évfolyam N t p 1 56 4,16 <0,01 2 16 2,67 <0,05 3 66 4,16 <0,01 4 70 -0,64 0,52 5 64 0,19 0,85 6 50 1,15 0,26 6. táblázat. Alternatív választás típusú feladatok papíron és számítógép alapon mért itemnehézségi értékek átlagainak összevetése (Hülber és Molnár, 2013)
- 22. A kutatás eredményei • A feladatmegoldó tevékenységhez fűződő paraméterek menti eredmények (H3, H6) • Harmadik évfolyamtól megjelenő billentyűkombinációt igényelő szimbólumok bevitele jelentett hátrányt számítógépen (|t|=5,15, p<0,01) Évfolyam r_válaszkarakterszám_nehézségi index z (p) CB PP 1. 0,42* 0,34* 0,76 (0,45) 2. 0,30* 0,39* 0,86 (0,39) 3. 0,23* 0,12 0,33 (0,33) 4. 0,23* 0,17 0,54 (0,59) 5. n.s. n.s. - 6. n.s. n.s. - 7. táblázat. Feladatnehézségi értékek és a feladatra adott válasz terjedelme közötti korrelációs összefüggés számítógép és papír alapon (Hülber és Molnár, 2013) Megjegyzés: * p<0,05 szinten szignifikáns, n.s. nem szignifikáns.
- 23. A kutatás eredményei • Az itemparaméterekre vonatkozó további vizsgálatok eredményei (H3-H6)
- 24. • összehasonlítottuk a papír és a számítógép alapon szignifikánsan különböző itemnehézségi értékkel rendelkező (N=195) itemek tulajdonságait a médiahatást nem mutató itemek (N=685) tulajdonságaival. • kombinatorikai tartalmú (26%), magasabb szintű műveleteket (33%), permutálást (27%) igénylő, teljes válasz típusú (34%) feladatok papír alapon szignifikánsan könnyebbnek bizonyultak • Tesztmédiumtól leginkább függetlennek a kiegészítés típusú (1%) feladatok mutatkoztak
- 25. A kutatás eredményei • A minta tulajdonságaira vonatkozó eredmények • Az életkor meghatározó szerepe (H7) 1.évf. 3.évf 6.évf x=11 x=20 x=14 CBA PP CBA PP CBA PP
- 26. A kutatás eredményei • A diákok nemére vonatkozó eredmények (H8) 7. táblázat. A médiahatás nemek szerinti különbségei évfolyamonkénti összehasonlításban Évfolya m fiúk PP-CB itemnehézségi értékek t (p) lányok PP-CB itemnehézségi értékek t (p) NCB NPP NCB NPP 1 1574 1091 1,74 (0,08) 1461 1157 2,11 (0,04)* 2 1673 1617 1,81 (0,07) 1616 1568 1,15 (0,14) 3 1820 1787 1,32 (0,18) 1819 1804 0,83 (0,41) 4 2027 1964 0,47 (0,64) 2015 1944 0,55 (0,58) 5 2201 2042 0,56 (0,57) 2146 2166 0,47 (0,64) 6 1900 1786 0,63 (0,53) 1787 1801 0,70 (0,48) Megjegyzés: * p<0,05 szinten szignifikáns
- 27. A kutatás eredményei • Szülők iskolai végzettsége szerinti eredmények (H10) • Felsőbb évfolyamokon, más végzettség esetén nem jelentkezett különbség Anya legmagasabb iskolai végzettsége Évfolyam 1 2 3 főiskola NCB 313 399 594 NPP 249 409 574 t 4,3** 2,93** 2,84* egyetem NCB 211 378 522 NPP 189 382 500 t 4,79** 3,45** 2,93* Apa legmagasabb iskolai végzettsége Évfolyam 1 2 3 főiskola NCB 313 399 594 NPP 249 409 574 t 3,64** 2,5** n.s. egyetem NCB 211 378 522 NPP 189 382 500 t 3,41** 3,49** 2,63* Megjegyzés: * p<0,05, ** p<0,01 szinten szignifikáns; n.s. nem szignifikáns.
- 28. A kutatás eredményei • Diákok lakhelyének földrajzi paramétereivel kapcsolatos eredmények (H9) • Az eltérésekben nincs mintázat • A diákok tanulmányi eredményeivel kapcsolatos eredmények (H11) • Nincs kapcsolat • A tanulók informatika képzése menti eredmények (H12) • Egyenletlen a mintaeloszlás • Ahol nem (3-4. osztály), ott nincs eltérés
- 29. A kutatás eredményei • A tesztelést követő felügyelőktől, rendszergazdáktól begyűjtött kérdőívek eredményei Válaszkategóriák fi Az előkészítési munkálatok A mérés előkészítése nem okozott problémát 12 A tanulók számítógép használati jártasságához kapcsolódó tapasztalatok Az alsó tagozatos tanulóknak nehézséget jelentett a mérési azonosítók bevitele 10 Az első, második osztályosok nehezen kezelik a számítógépet, állandó segítséget igényeltek 18 Nem találták a jeleket a klaviatúrán, gondot okozott billentyűkombinációk használata 30 Problémák adódtak a görgetéssel 15 A tanulók teszteléshez fűződő attitűdje Motiváltak, érdeklődőek voltak a diákok 34 A tanulók online tesztelés közben mutatott megoldási stratégiája Nem használták a jegyzetpapírokat 10 Javaslatok Konkrétabb jelölés arra vonatkozóan, hogy hány feladatot oldott meg a tanuló, mennyi az összfeladatszám, és mennyi ideje van még hátra 12 10. táblázat. A tesztelést követő mérésben résztvevők által kitöltött kérdőív eredménye
- 30. A kutatás eredményeinek értelmezése • Az online tesztek belső konzisztenciája és a Rasch-modell személyszeparációs indexei minden évfolyamon, minden tesztváltozat esetében megfelelő volt • A korrelációs értékek különbségeinek megfelelően, mind a minta, mind az itemeknél jelentkező különbségek elsődlegesen és jelentékenyen az első három évfolyam esetén fordultak elő
- 31. A kutatás eredményeinek értelmezése • Első három évfolyamon az alternatív választípusnál a diákok online jobban teljesítenek • bátrabban mernek próbálkozni, tippelni a válaszokra ebben a tesztkörnyezetben (Johnson és Green, 2006) • 15%-kal több válasz született számítógépen • kizárólag ennek a feladattípusnak az alkalmazása, feltehetőleg nem tenné lehetővé az eredmények összehasonlítását
- 32. A kutatás eredményeinek értelmezése • A kombinatorikai tartalmú feladatoknál, • hatodik évfolyamon a statisztika tartalommal bíró feladatoknál és • a magasabb szintű gondolkodási műveleteket igénylő feladatok a diákok papíron teljesítenek jobban • Nem használtak jegyzetpapírt • Feltehetőleg fejben próbálták megoldani a feladatokat (Johnson és Green, 2006) • Nincs kialakult megoldási stratégiájuk online feladatmegoldásban
- 33. A kutatás eredményeinek értelmezése • A grafikus elemeket használó itemek számítógép alapon első évfolyamon eredményesebbek • számítógépen való szebb megjeleníthetőség, élethűbb ábrázolás feltehetőleg nagyobb figyelmet vált ki, több időt szánnak a diákok a feldolgozásukra (Richardson és mtsai, 2002) • nagyobb a feladatmegoldási motiváció • szemben akár a fekete-fehérben kinyomtatott papír alapú verzióval
- 34. A kutatás eredményeinek értelmezése • A nyíltvégű feladatok azonosan nehéznek bizonyultak mindkét médiumon • Statisztikailag azonosak az itemnehézségi értékek • De nem tudjuk azonos időt is vett-e igénybe a válaszok begépelése • Ezért lehet nem az itemek, hanem a teszt szintjén jelentkezik a feladattípus hatása
- 35. A kutatás eredményeinek értelmezése • Az életkor szerepe • Számítógépes gyakorlottsággal állhat összefüggésben (Applegate,1993; Choi és Tinkler, 2002; Ito és Sykes, 2004; Barnes, 2010) • El kell érnie egy minimális szintet, aminek további fejlettsége viszont már nem okoz különbségeket
- 36. A kutatás eredményeinek értelmezése • első évfolyamon a lányok számítógépen szignifikánsan rosszabbul teljesítenek • fiúk gyakorlottabbak • jobban mernek tippelni (Johnson és Green, 2006) • fontosabb nekik a számítógépen való jó teljesítés (Halldórsson, McKelvie és Björnsson , 2009)
- 37. A kutatás eredményeinek értelmezése • A felsőfokú végzettséggel rendelkező szülők gyerekeinél jelentkeztek különbségek az első három évfolyamon, a papír alapú eredmények javára • a jobb teljesítményű tanulóknál nagyobb a megfelelési kényszer, a jó teljesítés iránti motiváció, így nagyobb zavart kelthet, hogy a megszokott, bevált megoldási stratégiák, mechanizmusok nem alkalmazhatóak, érzékenyebben reagálnak a tesztmédium megváltozására. (Bennett és mtsai, 2008)
- 38. Javaslatok • A tanulók technológiai jártasságához kapcsolódó problémák kezelésére • Tutorial program, példafeladat megoldása • Javaslat a médiahatás előrejelzésére vonatkozóan • Kontextuális adatok gyűjtése alapján • Javaslat a technológiához kapcsolódó problémák kezelésére • hardver, szoftver (rendszer) diagnosztikai eszközök használata • Javaslat az infrastruktúrához kapcsolódó paraméterek kezelésére • A gép adatainak a megoldásokkal együtt történő tárolása • Minősítési rendszer bevezetése
- 39. Javaslatok • Javaslat a rajzolást igénylő feladattípusok számítógépes megvalósítására • Feladatok átalakítása -> nem összevethetőek • Digitális ceruza használata • Javaslat a diákok online tesztelésére való áttérésének segítéséhez • Attraktív feladatütemező eszköz használata • Javaslat a speciális karakterek beillesztésére, karakterformázások elvégzésére • dedikált gombok, ikonok elhelyezése • Tutorial • Javaslat a tesztelés megszakadására vonatkozóan • Akcióterv készítése • Javaslat a tesztszerkesztésre vonatkozóan • Sablonok használata
- 40. Összegzés • Megbízhatóan alkalmazható a matematika online tesztelés általános iskolában is • Összehasonlításnál az első három évfolyam tanulói igényelnek körültekintést • Feladattípus tekintetében a papír alapú teszteléshez hasonlatosan a változatos feladattípusok alkalmazása ajánlott • A diákoknak tapasztalatot kell szerezniük az online tesztelésben, hogy kialakulhassanak az elektronikus feladatmegoldó stratégiáik
- 41. Limitáció • Matematika műveltségterület • Eltérő minta • Eltérő mintaelemszám eloszlás évfolyamonként különböző paraméterek mentén • Technikai paraméterek vizsgálatának hiánya
- 42. Köszönöm a figyelmet! Hülber László hulber.laszlo@gmail.com
Editor's Notes
- #7: Az összehasonlító vizsgálatok ugyanis más-más konstruktumot, eltérő hardver/szoftver rendszerekkel, különböző mintán és itemformátukkal, különféle mintakialakítással, elemzési eljárásokkal vizsgálták illetve eltérő dokumentációs stílussal (pl.: részletezettséggel) publikáltak (Wang és Shin, 2009) Pommerich (2004) a helyzet megoldására azt javasolja, hogy a számítógép alapú tesztelésre való áttérés előtt minden mérési intézet végezzen összehasonlító tanulmányokat a saját tesztjeivel és technológiai hátterével, mert a tanulmányok eredményei nem teljeskörűen általánosíthatóak és országonként, kultúránként is lehetnek egyéni eltérések (Björnsson, 2008).
- #31: első és második évfolyamon kettő, harmadik évfolyamon egy régió esetén Nem egyértelmű a kapcsolat.
- #32: Az első három évfolyamon jelentkeztek a különbségek Azoknak a szülőknek a gyermekei, akik a legmagasabb végzettséggel rendelkeztek, azaz főiskolai, vagy egyetemi oklevéllel, kerültek hátrányba számítógép alapon