More Related Content
Similar to Prezentácia_Peter Mederly (10)
More from arraweb (20)
Prezentácia_Peter Mederly
- 1. Hodnotenie výskumu vbritskom systéme RAE sdôrazom na hodnotenie humanitných aspoločenskovedných odborov Peter Mederly Ministerstvo školstva, vedy, výskumu a športu SR Seminár ARRA, máj 2011
- 2. Cieľ príspevku podať základné informácie o systéme na hodnotenie vysokoškolského výskumu RAE používaného v Spojenom kráľovstve (UK) na príklade odboru filozofia ilustrovať ako sa v RAE uskutočňuje hodnotenie humanitných a spoločenskovedných odborov naznačiť smer ďalšieho vývoja v hodnotení výskumu v príspevku sú použité informácie dostupné na www.rae.ac.uk a www.ref.ac.uk Seminár ARRA, máj 2011
- 3. Čo je RAE? RAE ( R esearch A ssessment E xercise) je systém, ktorý v periodických viacročných intervaloch poskytuje informácie o výkone vysokých škôl v UK v oblasti výskumu tieto informácie používajú financujúce inštitúcie v UK na rozpis štátnych dotácií vysokým školám RAE je aktivitou 4 financujúcich inštitúcií: HEFCE – HE Funding Council of England SHEFC – Scottish HE Funding Council HEFCW – HE Funding Council of Wales DEL – Dpt for Employment and Learning, Northern Ireland bezprostredné riadenie RAE zabezpečuje RAE team sídliaci na HEFCE Seminár ARRA, máj 2011
- 4. Definícia výskumu v RAE (mierne skrátená) výskumom na účely RAE sa rozumie pôvodné skúmanie (original investigation) zamerané na získavanie poznatkov v prípadoch, kde nasledujúce aktivity vedú k novému alebo podstatne zlepšenému preniknutiu do podstaty vecí, do výskumu patria aj práce priamo súvisiace s potrebami obchodu, priemyslu, verejnosti a tretieho sektora tvorba, vývoj a udržiavanie intelektuálnej infraštruktúry predmetov a disciplín formou slovníkov, katalógov a príspevkov do veľkých výskumných databáz invencia a generovanie myšlienok, predstáv, výkonov, výtvorov (artefacts) použitie existujúcich poznatkov v experimentálnom vývoji na produkciu nových alebo podstatne zlepšených materiálov, zariadení, výrobkov a procesov, vrátane dizajnu a konštrukcie do výskumu nepatria rutinné testovanie a rutinné analýzy materiálov, komponentov a procesov vývoj učebných materiálov nezahŕňajúci pôvodný výskum Seminár ARRA, máj 2011
- 5. História RAE prvé RAE sa uskutočnilo vroku 1986 (vtedy pod názvom RSE – Research Selectivity Exercise) – zaviedol sa ním explicitný aformalizovaný proces hodnotenia kvality výskumu na vysokých školách v UK ďalšie kolá sa uskutočnili vrokoch 1989, 1992, 1996, 2001 a2008 RAE sa postupne vyvíjalo smerom kzvýšenej transparentnosti a komplexnosti; posilňoval sa aj jeho systémový charakter vnateraz poslednom kole vroku 2008 sa do hodnotenia zapojilo (o hodnotenie požiadalo) 2344 kolektívov zo 159 vysokých škôl RAE je základný nástroj, použitím ktorého vysoké školy môžu zistiť aká je kvalita ich výskumu vrámci vysokoškolského sektora Seminár ARRA, máj 2011
- 6. RAE 2008 po RAE 2001 si financujúce subjekty objednali zhodnotenie dovtedajších kôl s cieľom určiť ďalší postup hodnotiacu správu vypracoval tím G.Robertsa z Wolfson College, Oxford po vypracovaní hodnotiacej správy nasledovala široká diskusia prišlo kistým zmenám, avšak zostal zachovaný základný princíp, že jadrom systému je hodnotenie podaní (submissions) predložených vysokými školami založené na názoroch expertov (expert review, peer assessment) formulovaných komisiami expertov (panelmi) po jednotlivých oblastiach výskumu predmetom hodnotenia sú len najlepší výskumníci a ich najlepšie práce, podľa výberu inštitúcie Seminár ARRA, máj 2011
- 7. Zmeny v RAE 2008 oproti RAE 2001 základný princíp hodnotenia (peer assessment) zostal zachovaný, nastalo však niekoľko významných zmien: výsledky hodnotenia sú formulované ako profil kvality (pätica čísiel), nie ako jedno číslo zo sedem stupňovej škály ako v roku 2001 tento prístup umožňuje identifikáciu excelentných lokalít a citlivejší spôsob financovania vporovnaní shodnotením založeným na jednej známke (redukcia „cliff edge“ efektu) dvojstupňový systém komisií expertov (panelov) zabezpečujúci väčšiu vnútornú konzistentnosť aväzbu na medzinárodné porovnania explicitné kritériá pre každú oblasť výskumu umožňujúce primerané hodnotenie aplikovaného výskumu, výskumu založeného na praktických potrebách (practice-based) ainterdisciplinárneho výskumu Seminár ARRA, máj 2011
- 8. Komisie expertov - panely vRAE 2008 prebiehalo hodnotenie v67 oblastiach výskumu (Units of Assessment – UOA) pre každú oblasť bola stanovená komisia expertov (sub-panel) členovia sub-panelov (spravidla predseda + cca 15 členov) boli určovaní zvysokých škôl aširšej výskumnej komunity 67 oblastí výskumu bolo rozčlenených do 15 hlavných skupín pozostávajúcich zoblastí spríbuzným prístupom k výskumu pre každú hlavnú skupinu bola stanovená koordinujúca komisia (main panel, hlavný panel, označenie od Apo O), ktorá dohliadala na konzistentný prístup khodnoteniu vpríslušných oblastiach hlavné panely pozostávali zpredsedu, predsedov príslušných sub-panelov aďalších zahraničných adomácich expertov Seminár ARRA, máj 2011
- 9. Komisie expertov – panely (2) hlavné panely boli zodpovedné za revíziu aschválenie kritérií apostupov používaných sub-panelmi schválenie profilov kvality pre jednotlivé podania vysokých škôl navrhnutých sub-panelmi komunikáciu aspoločné práce sostatnými hlavnými panelmi sub-panely boli zodpovedné za prípravu návrhov kritérií apostupov pre príslušnú hodnotenú oblasť hodnotenie podaní vysokých škôl pre danú oblasť návrh profilov kvality pre jednotlivé podania vysokých škôl vpríslušnej oblasti členovia panelov boli nominovaní na základe návrhov asociácií vpríslušných oblastiach ainých zainteresovaných organizácií; menovali ich financujúce organizácie – predpokladom bola preukázaná odbornosť voblasti členov panelov bolo viac ako 1000 Seminár ARRA, máj 2011
- 10. Hlavné panely voblasti humanitných aspoločenských vied oblasti (UOA) patriace medzi spoločenské ahumanitné vedy patrili do viacerých hlavných panelov; uvedieme dva príklady, jeden zoblasti spoločenských vied ajeden zoblasti humanitných vied hlavný panel J (časť spoločenských vied) pozostáva znasledujúcich oblastí výskumu: právo politické amedzinárodné štúdiá sociálna práca asociálna politika ariadenie sociológia antropológia vývojové štúdiá hlavný panel N (časť humanitných vied) pozostáva znasledujúcich oblastí výskumu: história staroveku, byzantské amoderné grécke štúdiá filozofia teológia anáboženské štúdiá história Seminár ARRA, máj 2011
- 11. Podania vysokých škôl vrámci RAE 2008 každá vysoká škola oprávnená prijímať financie zo 4 financujúcich organizácií UK mohla dať podanie vhociktorej zo 67 hodnotených oblastí súčasťou podania boli nasledovné informácie podrobnosti ozamestnancoch, ktorí sa predkladajú v podaní (formuláre RA0 aRA1) výstupy výskumu (formulár RA2) doktorandi aštipendiá (formuláre RA3a aRA3b) získané financie na výskum (formulár RA4) prostredie výskumu aocenenie výskumu (formuláre (RA5a, RA5b aRA5c) Seminár ARRA, máj 2011
- 12. Profily kvality sub-panely zhodnotili informácie ovýskume uvedené vpodaniach vysokých škôl podľa stanovených kritérií anavrhli hlavnému panelu profil hodnotenia pre každé zpodaní profil hodnotenia je tvorený piatimi číslami vyjadrujúcimi podiely hodnoteného výskumu v4 kvalitatívnych úrovniach avúrovni „neklasifikované“ pri určovaní podielov vjednotlivých kvalitatívnych úrovniach sa brali do úvahy tri základné zložky každého zpodaní, ato výstupy výskumu prostredie výskumu ocenenie výskumu Seminár ARRA, máj 2011
- 13. Príklad profilov kvality pre dve podania Seminár ARRA, máj 2011
- 14. Definícia úrovní kvality Seminár ARRA, máj 2011
- 15. Pravidlá hodnotenia výstupov výskumu pravidlá hodnotenia výstupov výskumu sú vsystéme RAE 2008 upravené na 3 úrovniach: na generickej úrovni; pravidlá na tejto úrovni platia pre všetky hodnotené oblasti na úrovni hlavnej skupiny hodnotených oblastí; pravidlá na tejto úrovni platia pre všetky hodnotené oblasti príslušnej skupiny na úrovni hodnotenej oblasti; pravidlá na tejto úrovni platia len pre hodnotenú oblasť Seminár ARRA, máj 2011
- 16. Pravidlá hodnotenia výstupov výskumu na generickej úrovni za každého výskumného pracovníka uvedeného v podaní sa predkladajú 4 výstupy výskumu; ak sa nepredložia 4, postupuje sa podľa povahy prípadu, v niektorých prípadoch sa chýbajúce výstupy pokladajú za neklasifikované (a teda sa znižuje úroveň pracoviska) výstupom výskumu sa rozumie každá forma verejne dostupného a hodnotiteľného výstupu zahŕňajúceho výskum v zmysle definície RAE (cielene široko chápané výstupy) forma výstupu samotná neindikuje vyššiu alebo nižšiu kvalitu; osobitne: žiadny panel nebude používať impakt faktor časopisu ako proxy pre kvalitu v kritériách pre konkrétnu oblasť možno špecifikovať, že ak sub-panel neskúma daný výstup podrobnejšie, možno využiť na hodnotenie nejaký existujúci výsledok recenzie expertmi Seminár ARRA, máj 2011
- 17. Pravidlá hodnotenia výstupov výskumu na úrovni hlavného panelu vhumanitných vedách ako príklad na hodnotenie výstupov výskumu voblasti spoločenských vied uvedieme pravidlá platné pre hlavný panel N (filozofia, teológia, história) váha výstupov výskumu 80 %, váha prostredia 15 % aváha ocenenia 5 % neočakáva sa podobná distribúcia profilov kvality vjednotlivých oblastiach panelu hlavný panel však bude dávať pozor, aby rozdiely vprofiloch kvality neboli výsledkom rôznych prístupov khodnoteniu Seminár ARRA, máj 2011
- 18. Pravidlá hodnotenia výstupov výskumu na úrovni hodnotenej oblasti (filozofia) pravidlá hodnotenia výstupov výskumu vo filozofii (UOA 60) zahŕňajú: okrem kvality sa váha výstupu môže zvýšiť na základe jeho rozsahu ašírky záberu pri hodnotení kvality výstupov sa nebude brať do úvahy médium, prostredníctvom ktorého prišlo kpublikovaniu (papier, elektronicky) pri hodnotení kvality sa budú brať do úvahy originalita, príspevok kposunu poznania, rozsah práce avedecká precíznosť všetky typy výstupov budú posudzované ako rovnocenné; nerecenzované výstupy nebudú pokladané ztohto dôvodu za výstupy menšej kvality hodnotia sa všetky typy výstupov obsahujúcich výskumný prínos, od článkov až po vzdelávacie materiály spoločné práce sa posudzujú ako individuálne, ztohto titulu sa neznižuje ich kvalita ani nedelí ich počet; predpokladá sa však významný príspevok všetkých autorov Seminár ARRA, máj 2011
- 19. Pravidlá hodnotenia výstupov výskumu vo filozofii (2) pravidlá na určenie profilu kvality pre výstupy: každý výskumný pracovník zahrnutý do hodnotenia poskytne 4 výstupy; vo vymedzených výnimočných prípadoch môže poskytnúť menej; ak poskytne menej bez príčiny, neposkytnuté sa rátajú ako neklasifikované členovia sub-panelu prečítajú všetky poskytnuté výstupy aindividuálne ich ohodnotia známkami 4*, 3*, 2*, 1*, neklasifikované každý výstup dostane váhu od 1 do 4 na základe rozsahu apovahy výskumu, ktorý bolo potrebné na dosiahnutie výstupu uskutočniť; štandardne váha neprekračuje 2 váha sa priznáva nezávisle od kvality aak je väčšia ako jedna, tak sa výstup započítava viackrát pri výpočte profilu existujú presne vymedzené dôvody, kedy môže pracovník dať menej ako 4 výstupy – nezohľadní sa to však na kvalitatívnom zaradení Seminár ARRA, máj 2011
- 20. Pravidlá hodnotenia prostredia výskumu vo filozofii pre hodnotenie prostredia výskumu sa berú do úvahy počty PhD študentov vo vzťahu kpočtu zamestnancov azískané štipendiá pre PhD študentov počet ukončených dizertácií, tréningy výskumníkov, apodporné aktivity pre post-dokov suma získaných financií na podporu výskumu štruktúra výskumu – výskum vo filozofii sa dá robiť vrôznych druhoch prostredia – dôležitá je podpora individuálnych výskumníkov aj skupín výskumníkov atréning novej generácie udržateľná kultúra výskumu, disponibilné zdroje na vytvorenie dobrého výskumného prostredia, existencia strategického plánu; individuality akolektívy; manažment výskumu; podpora interdisciplinárneho akolaboratívneho výskumu; fyzická infraštruktúra, špeciálne zariadenia afinančné zdroje; zariadenia aaktivity kdispozícii PhD študentom vzťahy spriemyslom aobchodom, múzeami, galériami aknižnicami aďalšími používateľmi výskumu – aj zohľadnenie vládnych politických iniciatív acieľov príspevok kširšiemu výskumnému prostrediu presahujúcemu hranice univerzity politika voblasti ľudských zdrojov stratégia výskumu Seminár ARRA, máj 2011
- 21. Pravidlá hodnotenia ocenenia vo filozofii hodnotia sa len tie skutočnosti voblasti ocenenia, ktoré prispievajú krozvoju disciplíny príklady hodnotených indikátorov: členstvo vexterných komisiách na obsadenie vedúcich pozícií členstvo vrôznych odborných združeniach pozvané prednášky na konferenciách členstvo v edičných radách vedecké ocenenia členstvo vo výboroch vedeckých spoločností preklady prác do iných jazykov ponuka miesta hosťujúceho profesora návštevy zahraničných výskumníkov a študentov zameraných na výskum Seminár ARRA, máj 2011
- 22. Aplikovaný výskum avýskum založený na potrebách praxe hodnotia sa všetky formy výskumu, vrátane aplikovaného výskumu avýskumu vychádzajúceho zpraktických potrieb príklady: vedecké výstavy, televízne programy, muzeálne expozície niektoré výstupy si môžu vyžadovať pozvanie špecialistov na ich posúdenie Seminár ARRA, máj 2011
- 23. Pracovné postupy vo filozofii definície úrovní kvality pre výstupy výskumu: 4*: primary point of reference: príspevok, oktorom vie alebo by mal vedieť každý, kto seriózne pracuje vdanej oblasti 3*: point of reference: príspevok, oktorom seriózni pracovníci vdanej oblasti vedia alebo by mali vedieť 2*: práca prinášajúca podstatný príspevok azasluhujúca si pozornosť vodbore 1*: práca prinášajúca cenný príspevok azasluhujúca si istú pozornosť Seminár ARRA, máj 2011
- 24. Pracovné postupy vo filozofii (2) definície úrovní kvality pre prostredie výskumu aocenenie výskumu: 4*: vynikajúci – vzorový pre jednotku daného rozsahu atypu 3*: excelentný – významne viac ako minimum, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu atypu 2*: dobrý - viac ako minimum, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu atypu 1*: primeraný – nie menej ako minimum, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu atypu neklasifikovaný: neprimeraný – pod minimom, ktoré môže byť rozumne očakávané pre jednotku daného rozsahu atypu Seminár ARRA, máj 2011
- 25. Pracovné postupy vo filozofii (3) výstupy výskumu: detailne sa zhodnotia všetky výstupy výskumu každá inštitúcia bude mať člena, sub-panelu, ktorý zhodnotí všetky jej výstupy; každý výstup prečíta aj druhý člen, ktorý je expertom vpríslušnej časti filozofie prostredie výskumu: hodnotia sa dve dimenzie prostredia – vnútorné aširšie vo vnútornej dimenzii ide ovýskumný ethos, infraštruktúru, ...., stratégiu vo vonkajšej dimenzii ide opríspevok pre širšie prostredie – editovanie časopisov, recenzie článkov, organizovanie konferencií ... pri určovaní profilu kvality pre výskumné prostredie sa skôr oceňujú existujúce aspekty ako penalizujú neexistujúce Seminár ARRA, máj 2011
- 26. Pracovné postupy vo filozofii (4) ocenenie: oceňujú sa indikátory uvedené vyššie apri stanovovaní profilu sa berie do úvahy veľkosť departmentu aprofil zamestnancov hodnotenie ocenenia sa obvykle urobí priradením 100% profilu jednej úrovni kvality celkový profil pre podanie sa určí z profilov výstupov, prostredia a ocenenia s použitím stanovených váh Seminár ARRA, máj 2011
- 27. Výsledky hodnotenia v rámci RAE v oblasti filozofie (prvých 20 zo 42 VŠ) Seminár ARRA, máj 2011
- 28. Výsledky hodnotenia v rámci KA v oblasti humanitných vied (prvých 20 z 26 VŠ) Seminár ARRA, máj 2011
- 29. Porovnanie hodnotenia v rámci komplexnej akreditácie a v rámci RAE Seminár ARRA, máj 2011
- 30. Väzba na financovanie financujúca organizácia určí objemy dotácií pripadajúce na jednotlivé hlavné panely (vychádza pritom z rozsahu výskumu zisteného v rámci RAE, ekonomickej náročnosti oblastí a potenciálne aj z priorít vlády) rozpis na jednotlivé oblasti hlavného panelu a na vysoké školy sa uskutoční proporcionálne podľa prepočítaného výkonu vo výskume prepočítaný výkon vo výskume sa určí na základe počtu zamestnancov uvedených v podaní, častí 4*, 3* a 2* z profilov a k nim priradených váh a koeficientov ekonomickej náročnosti Seminár ARRA, máj 2011
- 31. Väzba na financovanie (2) Pre akademický rok 2010/2011 stanovilo HEFCE nasledovné koeficienty a váhy: koeficienty ekonomickej náročnosti: vysoko-nákladové laboratórne a klinické oblasti = 1,6 stredne nákladové oblasti = 1,3 ostatné = 1 váhy pre úrovne kvality : úroveň 4* = 9 úroveň 3* = 3 úroveň 2* = 1 ostatné úrovne = 0 Seminár ARRA, máj 2011
- 32. Výsledky hodnotenia v rámci RAE v oblasti filozofie (prvých 20 zo 42 VŠ) Seminár ARRA, máj 2011
- 33. Ďalšie plány v oblasti hodnotenia výskumu – REF 2014 v roku 2006 sa rozhodlo, že po RAE 2008 sa prejde na nový, jednoduchší a menej administratívne náročný systém hodnotenia výskumu nový systém dostal meno Research Excellence Framework – REF REF sa sústreďuje na tri aspekty výskumu (dva sú spoločné s RAE): kvalita výstupov výskumu dopad (impakt) výskumu prostredie výskumu hodnotenie bude prebiehať v 36 oblastiach združených do 4 hlavných panelov (RAE 67 oblastí a 15 hlavných panelov) pre všetky hodnotené oblasti sa navrhuje jednotné váhovanie hodnotených aspektov, a to 65% : 20% : 15% Seminár ARRA, máj 2011
- 34. Ďalšie plány v oblasti hodnotenia výskumu – REF 2014 (2) hodnotenie kvality výstupov bude, tak ako v RAE, výsledkom hodnotenia expertov v niektorých oblastiach (prírodné vedy, technické vedy a medicína) sa pri hodnotení budú v podstatne väčšej miere ako doteraz využívať citácie a iné kvantitatívne ukazovatele; úplné nahradenie hodnotenia expertov indikátormi nie je však ani v týchto oblastiach v súčasnosti akceptovateľné použitie citácií pri hodnotení výstupov v oblasti humanitných vied, spoločenských vied a umenia sa neočakáva v REF sa zavádza explicitné hodnotenie dopadov (impakt) výskumných aktivít na spoločnosť a ekonomiku; dopady sa budú v podaniach prezentovať najmä formou prípadových štúdií treťou zložkou hodnotenia bude výskumné prostredie Seminár ARRA, máj 2011
- 35. Záver 25-ročné skúsenosti britského vysokého školstva s hodnotením vysokoškolského výskumu v rámci RAE a v rámci nadväzujúcich aktivít stoja za to, aby sme sa s nimi podrobne zoznámili Seminár ARRA, máj 2011
- 36. Ďakujem za pozornosť Seminár ARRA, máj 2011