Prečo sa Slovensko zapojilo do projektu OECD AHELO a čo mu to prinieslo
0 likes379 views
/ doc. RNDr. Peter Mederly, CSc., Ministerstvo školstva, vedy, výskumu a športu, SR Prezentace ze 2. dne závěrečné konference projektu IPN KVALITA.
More Related Content
Similar to Prečo sa Slovensko zapojilo do projektu OECD AHELO a čo mu to prinieslo (19)
More from MŠMT IPN KVALITA (20)
Prečo sa Slovensko zapojilo do projektu OECD AHELO a čo mu to prinieslo
- 1. Prečo sa Slovensko zapojilo do projektu OECD AHELO a čo mu to prinieslo www.kvalita.reformy-msmt.cz Praha, 24. 4. 2014 doc. RNDr. Peter Mederly, CSc. Ministerstvo školstva, vedy, výskumu a športu SR
- 2. Obsah prezentácie • Čo je projekt AHELO • Ako projekt AHELO prebiehal • Prečo a ako sa Slovensko do projektu AHELO zapojilo • Príklady testových úloh • Čo priniesol projekt AHELO Slovensku • Aké sú výsledky projektu AHELO a jeho budúcnosť • Záver 1
- 3. Čo je projekt AHELO • AHELO je skratka odvodená od názvu Assessment of Higher Education Learning Outcomes, teda Hodnotenie výsledkov vysokoškolského vzdelávania • AHELO je názov projektu OECD; dôvod jeho vzniku je potrebné hľadať v radikálnych zmenách v oblasti vysokého školstva na začiatku 21. storočia • Súčasťou týchto zmien je rastúca potreba informácií o výsledkoch vysokoškolského vzdelávania / kvalite vysokoškolského vzdelávania prezentovaná rôznymi zainteresovanými spoločenskými skupinami (zamestnávatelia, štát, vysoké školy, študenti a ich rodičia ...) • Na medzinárodnej úrovni v súčasnosti neexistuje žiadny prostriedok na priame hodnotenie kvality vysokoškolského vzdelávania • Všetky medzinárodné rebríčky kvality vysokých škôl – rankingy – sú založené, z pohľadu kvality vzdelávania a jeho výsledkov, len na nepriamych ukazovateľoch • Na odborných medzinárodných podujatiach nezriedka zaznieva názor, že uvedené rankingy majú marketingový charakter a často narobia pre kvalitu vysokoškolského vzdelávania viac škody ako osohu 2
- 4. Čo je projekt AHELO (2) • Návrh na zváženie možnosti vývoja nástroja na medzinárodné hodnotenie výsledkov vysokoškolského vzdelávania vznikol na stretnutí ministrov školstva krajín OECD v Aténach v roku 2006 • Tento návrh vyvolal veľkú diskusiu vo vysokoškolských kruhoch v rokoch 2006 – 2008; časť expertov a zainteresovaných návrh s entuziazmom podporovala, iní boli kritickejší a poukazovali na potenciálne riziká (zložitosť problému, možné problematické použitie na ranking a alokáciu prostriedkov, ohrozenie autonómie, osobitne problematické meranie všeobecných schopností v prostredí VŠ) • OECD v priebehu roku 2007 iniciovala 3 medzinárodné stretnutia expertov k problematike AHELO; ich výsledkom bola séria odporúčaní pre štúdiu uskutočniteľnosti AHELO • Tieto odporúčania boli prezentované na neformálnom stretnutí ministrov školstva krajín OECD konanom v roku 2008 v Tokiu; ministri návrh privítali a podporili; v nadväznosti na to OECD iniciovala projekt AHELO 3
- 5. Čo je projekt AHELO (3) • Projekt mal výskumný charakter a formu štúdie uskutočniteľnosti s cieľom zistiť, či je možné hodnotiť a porovnávať výsledky vysokoškolského vzdelávania medzi jednotlivými krajinami s rôznou kultúrou a jazykmi; úplný názov projektu, ktorý zbehol, je AHELO – štúdia uskutočniteľnosti • Projekt AHELO prebiehal v troch oblastiach: • v oblasti všeobecných schopností (generic skills - GS) • v oblasti ekonómie (economy - ECO) • v oblasti stavebníctva (engineering - ENG) • V rámci projektu AHELO študenti v poslednom roku bakalárskeho štúdia absolvovali testy • Oblasti ekonómie a stavebníctva boli určené pre študentov príslušných odborov; oblasť všeobecných schopností bola určená pre všetkých študentov 4
- 6. Čo je projekt AHELO (4) • Do projektu sa zapojili vysoké školy zo 17 krajín z 5 kontinentov • Do projektu boli zapojení aj učitelia; nerobili testy, ale vypĺňali tzv. kontextové dotazníky, v ktorých sa vyjadrovali najmä o podpore kvality na svojej vysokej škole • Z každej vysokej školy zapojenej do projektu dostalo možnosť zúčastniť sa testovania 200 študentov; ak mala vysoká škola menej ako 200 študentov končiacich bakalárske štúdium v príslušnej oblasti, alebo tento počet tesne presahoval číslo 200, dostali príležitosť zúčastniť sa všetci • Väčšinu nákladov na projekt hradili zúčastnené krajiny a niečo sponzori; na spoločné (medzinárodné) náklady sa zúčastnené krajiny skladali formou príspevku pre OECD na projekt AHELO; výška príspevku závisela od počtu oblastí, ktorých sa daná krajina zúčastnila; krajina, ktorá sa zúčastnila len v jednej oblasti, prispela sumou 350 000 € 5
- 7. Zoznam zúčastnených krajín a oblastí 1. Abu Dhabi – ENG 10. Južná Kórea - GS 2. Austrália – ENG 11. Kuvajt - GS 3. Belgicko – ECO 12. Mexiko - GS, ECO, ENG 4. Kanada – ENG 13. Holandsko - ECO 5. Kolumbia - GS, ENG 14. Nórsko - GS 6. Egypt - GS, ECO, ENG 15. Rusko – ECO, ENG 7. Fínsko – GS 16. Slovensko - GS, ECO, ENG 8. Taliansko – ECO 17. Spojené štáty americké - GS 9. Japonsko - ENG 6
- 8. Ako projekt AHELO prebiehal • Projekt AHELO – štúdia uskutočniteľnosti prebiehal od januára 2010 do decembra 2012 • V prvej fáze, od januára 2010 do júna 2011, prebiehal vývoj testovacích nástrojov a ich overovanie na malých skupinách • V druhej fáze, od júla 2011 do decembra 2012, prebiehala implementácia hodnotiacich nástrojov a kontextových prehľadov a analýza zozbieraných údajov – samotné testovanie prebehlo od januára do mája 2012 • Na záver projektu AHELO – štúdia uskutočniteľnosti sa uskutočnila záverečná medzinárodná konferencia v marci 2013 v Paríži 7
- 9. Prečo a ako sa Slovensko do projektu AHELO zapojilo • Slovensko sa zapojilo do projektu na poslednú chvíľu – v januári 2011 • Účasť Slovenska iniciovalo ministerstvo školstva; projekt AHELO vnímalo ako možnosť prispieť k zvýšeniu kvality vysokého školstva na Slovensku • Pre ministerstvo to bolo aj možné východisko k zefektívneniu nekonečných debát o kvalite vysokého školstva, ktoré vychádzajú len z nepriamych alebo z neoverených a nepodložených informácií • Slovensko sa zapojilo do všetkých 3 oblastí projektu • Ministerstvo sa obrátilo na všetky slovenské vysoké školy s výzvou prihlásiť sa do projektu; vo výzve garantovalo, že každá škola dostane informáciu o výsledkoch svojich študentov a aj ich porovnanie s výsledkami podobných inštitúcií v medzinárodnom meradle • Ministerstvo garantovalo, že výsledky jednotlivých vysokých škôl nebudú zverejňované 8
- 10. Prečo a ako sa Slovensko do projektu AHELO zapojilo (2) • Slovenské vysoké školy zareagovali na výzvu ministerstva pozitívne, v medzinárodnom porovnaní bol záujem o účasť nadpriemerný • Ministerstvo projekt kompletne financovalo a koordinovalo na centrálnej úrovni • Ministerstvo sa pre každú z oblastí dohodlo s jednou z vysokých škôl, že bude zabezpečovať koordináciu a implementáciu projektu na Slovensku v danej oblasti – práve tieto 3 vysoké školy odviedli prevažnú väčšinu implementačnej práce • Účasť slovenských vysokých škôl v jednotlivých oblastiach • GS - 16 VŠ (11 verejných, 3 súkromné a 2 štátne) – koordinácia UMB B. Bystrica • ECO - 8 VŠ (7 verejných a 1 súkromná) – koordinácia UK Bratislava • ENG - 3 VVŠ (všetky, kde sa ENG vyučuje) – koordinácia STU Bratislava • Celkové náklady Slovenska na projekt AHELO boli 1,44 mil. €, z toho príspevok pre OECD na spoločné náklady projektu bol 0,73 mil. € 9
- 11. Príklady testových úloh • Vo všetkých troch oblastiach boli na testovanie použité 2 nástroje: • problémová úloha s tvorbou odpovede (CRT, Constructive Response Task) • tradičný výberový test (MCQ, Multiple Choice Questions) • Pre každú z 3 oblastí boli zostavené 2 CRT – každý študent riešil jednu z nich • Pre každú z oblastí bolo zároveň zostavených niekoľko skupín výberových testov MCQ a každý študent mal za úlohu riešiť jemu priradenú zostavu týchto skupín • Nie všetci študenti teda riešili rovnaké úlohy 10
- 12. Príklad úlohy typu CRT v oblasti GS • Jedna z 2 CRT úloh v oblasti GS sa volala Sumec (Catfish); študent bol postavený do pozície poradcu primátorky mesta, ktorá ho žiada o prípravu podkladov pre zasadnutie mestskej rady zvolanej kvôli nedávnemu objavu znetvorenej ryby v neďalekom jazere • Študent mal k dispozícii informácie zo 6 rozličných zdrojov - dva novinové články, list, mapu, odbornú správu a prepis rozhlasového rozhovoru; pre výskyt deformovaného sumca existovali tri alternatívne teórie - príbuzenské kríženie, parazity a chemická kontaminácia • Úlohou študenta bolo v informačných zdrojoch, ktoré mal k dispozícii, nájsť najsilnejšie argumenty pre a proti jednotlivým teóriám, rozhodnúť, ktorá z nich je najpravdepodobnejšia, a navrhnúť optimálne riešenie problému • Odpovede študentov sa hodnotili v 3 dimenziách (na škále 0 – 6): • analýza a hodnotenie informácií • riešenie problému • efektívnosť písania 11
- 13. Príklad úlohy typu MCQ z oblasti ECO • Ak je v krajine so situáciou ako na obrázku na cenu za prenájom domov stanovený strop R0 a je striktne dodržiavaný (neexistuje čierny trh), čo z nasledujúceho sa s najväčšou pravdepodobnosťou stane? • (A) Niektorí ľudia, ktorí si potrebujú prenajať dom, už si viac dom prenajať nechcú • (B) Niektorí ľudia, ktorí si potrebujú prenajať dom, si nemôžu dom na prenájom nájsť • (C) Niektorí majitelia domov na prenájom nedokážu nájsť ľudí ochotných si tieto domy prenajať • (D) Majitelia domov na prenájom budú mať zvýšenú motiváciu vylepšiť si svoj majetok 12
- 14. Kontextový dotazník študenta • V závere testovania študenti vypĺňali kontextový dotazník • V rámci tohto dotazníka sa zisťovali údaje • o študentovi – napríklad povolanie a najvyššie dosiahnuté vzdelanie otca a matky; miera vynaloženého úsilia pri vypĺňaní testu • o priebehu štúdia – napríklad proporcia času venovaného osnovami predpísanej výučbe, príprave na vyučovanie, platenej práci; miera dôrazu na memorovanie analýzu, syntézu a skupinovú prácu v rámci štúdia • o študijných skúsenostiach a interakciách – napríklad miera ústretovosti vyučujúcich; frekvencia konštruktívnych vyjadrení k práci študenta zo strany vyučujúcich; miera celkovej spokojnosti so štúdiom odboru • Kontextový dotazník spracovávali aj učitelia a vypĺňal sa aj za inštitúciu 13
- 15. Čo priniesol projekt AHELO Slovensku z hľadiska zúčastnených vysokých škôl • Viac ako polovica slovenských vysokých škôl (18 z 33) vrátane všetkých najdôležitejších získala informácie z prvého priameho merania výsledkov vzdelávania organizovaného na globálnej úrovni a metodikou, na ktorej prišlo k istej zhode na medzinárodnej úrovni • Zúčastnené vysoké školy dostali podrobné výsledky svojich zúčastnených študentov a mali tak možnosť zistiť, v ktorých oblastiach uspeli a v ktorých nie • Výsledky zúčastnených vysokých škôl zo všetkých krajín boli vyjadrené v škále tak, že priemer dosiahnutých bodov všetkých zúčastnených študentov je 500, smerodajná odchýlka je 100; každá vysoká škola dostala v rámci tzv. Institutional Report aj informáciu o svojej pozícii voči ostatným zúčastneným vysokým školám (ale bez identifikácie týchto ostatných vysokých škôl), ako aj porovnanie niektorých údajov z kontextových dotazníkov (napríklad o úsilí, ktoré študenti vynaložili na riešenie úloh) s celkovým priemerom všetkých zúčastnených • AHELO predstavuje impulz na spoluprácu slovenských vysokých škôl v ekonómii a stavebníctve pri analýze a odstraňovaní slabých miest v študijných programoch 14
- 16. 15 Časť informácií z Institutional Report pre vysokú školu
- 17. Čo priniesol projekt AHELO Slovensku z hľadiska systému vysokého školstva • Najdôležitejší prínos: AHELO pre Slovensko reprezentuje svetlo na konci tunela nekonečných debát o kvalite slovenského vysokého školstva pretože ukázalo, že meranie výsledkov vzdelávania je (v prijateľnom rozsahu) možné a technicky uskutočniteľné • Ďalšie pozitíva • vysoký záujem vysokých škôl a dobrá, v niektorých prípadoch mimoriadne dobrá, účasť študentov • získanie nových informácií o slovenskom vysokom školstve na základe metodiky dohodnutej na medzinárodnej úrovni – výsledky slovenských vysokých škôl sa vo väčšine prípadov pohybovali okolo priemeru • organizačné a technické zvládnutie rozsiahleho a náročného projektu • dobrá reprezentácia Slovenska na pôde OECD z hľadiska jeho angažovanosti a príspevku k organizácii projektu AHELO 16
- 18. Čo priniesol projekt AHELO Slovensku z hľadiska systému vysokého školstva (2) • Najväčšie výzvy vnímané na začiatku projektu • ako motivovať vysoké školy a študentov pre účasť na projekte • zvládnuť v skrátenom čase a bez predchádzajúcich skúseností rozsiahly a zložitý projekt • ísť do rizika pomerne vysokej finančnej investície do projektu, ktorého vývoj a výsledky boli v čase rozhodovania nejasné • Závery zo slovenských skúseností po skončení projektu • v princípe je možné realizovať porovnávanie výsledkov vysokých škôl vo vzdelávaní v rámci danej krajiny aj na medzinárodnej úrovni • je možné motivovať vysoké školy a ich študentov na účasť v inovatívnych aktivitách a angažovať ich pri ponuke získať informácie o ich výsledkoch a možnosti porovnať ich s výsledkami ich kolegov • úspech v projekte tohto typu si vyžaduje synergiu viacerých faktorov: entuziazmus a profesionalitu ľudí na vysokých školách aj v centre; primerané financovanie, ochotu prevziať na seba riziko a centrálnu podporu (ministerstva) 17
- 19. 18 Účasť vysokých škôl a študentov v projekte AHELO
- 20. Výsledky projektu AHELO a jeho budúcnosť • V záverečných materiáloch OECD k projektu AHELO sa konštatuje, že výsledky štúdie uskutočniteľnosti ukázali, že komparatívne hodnotenie výsledkov vysokoškolského vzdelávania uskutočnené na širokej báze je konceptuálne opodstatnené (valid) a do značnej miery technicky realizovateľné • Zároveň však boli jasnejšie identifikované aj 4 problémové oblasti, na ktoré sa bude potrebné pri ďalšom vývoji hodnotenia výsledkov vysokoškolského vzdelávania sústrediť: • účel AHELO – hodnotenie vysokej školy alebo pomoc vysokej škole? • hodnota výsledkov – vysoké školy by potrebovali bohatšie údaje na zlepšenie vzdelávania a študenti podrobnejšiu spätnú väzbu ako poskytla štúdia uskutočniteľnosti • rozsah – aké sú možnosti pre pridanie ďalších oblastí? • udržateľný business plan - potrebné bude zabezpečiť dlhodobý finančný rámec, ktorý umožní dôveryhodné plánovacie rozhodnutia 19
- 21. Výsledky projektu AHELO a jeho budúcnosť (2) • V nadväznosti na výsledky štúdie uskutočniteľnosti OECD vypracovala návrh na pokračovanie projektu AHELO formou tzv. hlavnej štúdie (Main study) • Tento návrh reagoval na problémové oblasti identifikované počas štúdie uskutočniteľnosti nasledovne: • Cieľ – AHELO má poskytnúť vysokej škole údaje na podporu skvalitňovania jej vzdelávacej činnosti; nemá byť nástrojom pre ranking • Hodnota výsledkov – vysoká škola by mala mať možnosť porovnať svoje výsledky vzdelávania oproti medzinárodným štandardom a s inými vysokými školami doma a v zahraničí; osobitne s vysokými školami podobnými danej vysokej škole • Rozsah – hlavná štúdia by mala pokračovať v oblastiach GS, ENG a ECO; boli stanovené kritériá pre výber ďalších oblastí; ako najvhodnejšie sa javia medicína, informatika, matematika, strojárstvo, ošetrovateľstvo, fyzika; je vypracovaný návrh postupu zavedenia nových oblastí do testovania • Finančná udržateľnosť - je urobená štruktúra, analýza a odhady nákladov; závisia od počtu zúčastnených krajín a tiež od počtu oblastí, v ktorých by prebiehalo testovanie 20
- 22. Výsledky projektu AHELO a jeho budúcnosť (3) • Na rokovaniach v rámci OECD koncom roku 2013 viaceré krajiny vyslovili pokračovaniu AHELO opatrnú podporu podmienenú doriešením otvorených otázok • Niektoré krajiny sa však postavili jednoznačne proti s použitím rôznych argumentov (často rovnakých, ako bolo identifikované pred začatím projektu) – akademická sloboda, existencia odborových akreditácií, nemožnosť zabezpečiť účasť vysokých škôl a študentov, nemožnosť zabrániť využitiu výsledkov na tvorbu rebríčkov • V rámci štandardného procesu určovania priorít programu práce OECD v oblasti vzdelávania na roky 2015 – 2016, ktorý prebiehal v prvých mesiacoch roku 2014, získalo pokračovanie projektu AHELO pomerne malú podporu, a tak o jeho pokračovaní rozhodne to, či sa nájde dosť krajín ochotných poskladať sa na jeho financovanie 21
- 23. Záver • Bez ohľadu na to, ako sa členské krajiny OECD nakoniec rozhodnú, projekt AHELO ukázal, že možnosť merania výsledkov vysokoškolského vzdelávania je reálna • Aj keď náklady na zavedenie merania výsledkov vzdelávania do štandardného chodu vysokoškolských systémov sú značné, drahé je aj nerobiť nič; „bez takýchto údajov budú výsledky vysokoškolského vzdelávania naďalej posudzované na báze excentrických (idiosyncratic) rankingov odvodených od vstupov do neho“ (Andreas Schleicher, osobitný poradca pre vzdelávaciu politiku generálneho tajomníka OECD a zástupca riaditeľa pre vzdelávanie v OECD, november 2013) 22