2019 10-24 AVČR - Obecně o bibliometrii
- 1. O bibliometrii obecně Michal Petr Masarykova univerzita, Brno Informační seminář AV ČR, Praha, 24. 10. 2019 @Michal_Petr_MU
- 2. Evaluace výzkumu, financování. Scientometrie. Přednášky, semináře (bibliometrie, hodnocení, etika…) Výzkum. Publikační vzorce v SSH. Bibliotheca Academica 2019 http://scientometrics.muni.cz Centre for Scientometrics Support
- 3. Informační seminář AV ČR 2019, Praha Téma Proč se bibliometrií zabývat Zdroje pro bibliometrii (databáze, software) Indikátory a analýzy
- 4. Hodnocení výzkumu Source: Michael Ochsner, Emanuel Kulczycki, Aldis Gedutis & Agnė Girkontaitė. The Diversity of Research Evaluation Systems. ENRESSH Informační seminář AV ČR 2019, Praha
- 5. Bibliotheca Academica 2019 Hodnocení výzkumu v České republice Sice máme Metodiku 2017+ (5 modulů),… …ale v nastavení mysli stále obecně vítězí důraz na kvantitativní metody v hodnocení. Publikační výkon (performance) se nahlíží skrze články v prestižních časopisech. JIF (AIS) vládne všem. Přesné měření kvality vědecké práce? Kvantitativně: publikace, citace, peníze. Kvalitativně: hodnota, společenský dopad, kvalita.
- 6. Informační seminář AV ČR 2019, Praha Proč se zabývat bibliometrií? Evaluace výzkumu Podpůrný nástroj. Zodpovědné používání metrik. Informace Data potřebujeme… Definování strategií a priorit …namísto přejímání národního modelu dovnitř VO. Výzkum Publikační vzorce a dynamika oborů.
- 7. 1. Bibliometrie – pojmy a koncepty Informační seminář AV ČR 2019, Praha
- 8. Informační seminář AV ČR 2019, Praha Bilbiometrie x Scientometrie x Informetrie INFOMETRIE - Vědní obor, který používá matematicko-statistických metod k popisu a analýze informačních jevů za účelem hledání jejich zákonitostí. Jako součást informační vědy se zabývá především kvantifikací informace, kvantitativní analýzou informačních toků a dokumentů apod.; její výsledky slouží např. pro analýzu kvantitativního růstu literatury, účinnosti informačních systémů, role informací ve vědecké komunikaci apod. SCIENTOMETRIE -Vědní obor zabývající se metodami matematické a statistické analýzy vědeckého výzkumu, především v přírodních vědách. BIBLIOMETRIE -Vědní obor zabývající se kvantitativní analýzou dokumentů vznikajících v rámci vědecké komunikace, který vychází z předpokladu, že zkoumané dokumenty jsou odrazem stavu vědeckého poznání. Bibliometrické výzkumy směřují k formulaci kvantitativních zákonitostí souvisejících s formální a sémantickou strukturou dokumentů (např. Bradfordův zákon, Lotkův zákon, Zipfův zákon atd.). Bibliometrie se chápe jako součást informetrie anebo scientometrie, prakticky se však s těmito disciplínami výrazně překrývá. Hodnota, dopad, excelence, reputace, viditelnost… Soubor metod, kterými se kvantitativně analyzuje vědecká literatura Sleduje vztahy mezi různými autory, články, institucemi.
- 9. Informační seminář AV ČR 2019, Praha Dilema bibliometrie x peer-review Finančně nákladné a subjektivní peer-review vs. levná a objektivní bibliometrie? Ovlivnění peer-review metrikami? „citation-based indicators are sufficiently aligned with peer review results at the institutional level to be used to lessen the overall burden of peer review on national evaluation exercises“ Pride, D., & Knoth, P. (2018). Peer review and citation data in predicting university rankings, a large-scale analysis. arXiv preprint arXiv:1805.08529. Harzing A-W (2017) Running the REF on a rainy Sunday afternoon: do metrics match peer review? https://harzing.com/publications/white-papers/running-the-ref-on-a-rainy-sunday-afternoon-do-metrics-match-peer- review
- 10. sfdora.org @DORAssessment Declaration On Research Assessment Improving how research is assessed Signed by >500 organizations and >12,500 individuals Supporting organizations
- 11. Meaningful Assessment Improves Research •Promotes value of all scholarly outputs •Focuses on the merits of the work ‒ Journal articles ‒ Preprints ‒ Datasets ‒ Software ‒ Protocols ‒ Research materials ‒ Well-trained researchers ‒ Societal outcomes and policy changes ‒ Reduces JIF-chasing ‒ Facilitates Open Science practices ‒ Improves rigor and reproducibility ‒ Enhances collaboration
- 12. Informační seminář AV ČR 2019, Praha Využití bibliometrie Peer review Bibliometrie Makro Meso Mikro Global developments National R&D systems Research and grant programs Academic fields Universities, institutes University departments Research groups Individuals
- 13. Informační seminář AV ČR 2019, Praha Leiden Manifesto for Research Metrics Kvantitativní hodnocení jen jako podpora kvalitativního, odborného posouzení. Výkonnost ve vztahu k cílům. Je třeba chránit vynikající výzkum regionálního významu. Kvalita, transparentnost a srozumitelnost vstupních dat. Ti, kteří jsou hodnoceni, by měli mít možnost ověřit data a analýzy. Adekvátní zohlednění oborových specifik a kontextu. Hodnocení jednotlivých výzkumníků by mělo být založeno na kvalitativním posouzení jejich portfolií. Vyhněte se nemístné konkrétnosti a falešné přesnosti. Věnujte pozornost vlivu hodnocení a indikátorů na systém. Indikátory by měly být pravidelně přezkoumávány a aktualizovány. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. The Leiden Manifesto for research metrics. Nature. 2015 Apr 23;520(7548):429-31. https://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351
- 14. Informační seminář AV ČR 2019, Praha 'We are transforming our university into a place where talent once again feels valued and nurtured’ Ghent University is deliberately choosing to step out of the rat race between individuals, departments and universities. We no longer wish to participate in the ranking of people. http://bit.ly/ugent-statement
- 15. Bibliotheca Academica 2019 Metriky nejsou dobré nebo špatné. Pro kvalitní informace potřebujeme kvalitní data. Ale někdy mají nežádoucí vliv na systém. Např. impakt faktor v dostatečně robustním datasetu odráží úroveň výzkumu, ale jeho nezodpovědné použití v hodnocení vede k nežádoucím motivacím v publikování.
- 16. Informační seminář AV ČR 2019, Praha Rizika indikátorového hodnocení Přizpůsobení se systému je nevyhnutelné. Campbellovo a Goodhartovo pravidlo. Když se opatření stane cílem, přestane být dobrým opatřením. Čím více se používají kvantitativní ukazatele, tím více naruší procesy, které sleduje. Australian researchers presumably changed their publication behaviour in the early 1990s in response to a new national funding model, partly based on productivity measures undifferentiated by any measure of ‘quality’. … publication output increased considerably, with the highest relative increases in lower-impact journals. For a consecutive number of years, this behaviour seemingly led to a general drop in overall citation impact. …The experience from Australia has been perceived as a warning of what would likely happen if funding were linked to publication activity. Zdroj: Jesper W. Schneider, Kaare Aagaard, Carter W. Bloch; What happens when national research funding is linked to differentiated publication counts? A comparison of the Australian and Norwegian publication-based funding models, Research Evaluation, 2016, 25(3), 244–256, https://doi.org/10.1093/reseval/rvv036. John Godfrey Saxe (1872): The Blind Men and the Elephant
- 17. Informační seminář AV ČR 2019, Praha Výzkum Výzkum: CWTS (Leiden, Nizozemsko) Časopisy: Scientometrics, Research Evaluation, Quantitative Science Studies Konference: ISSI (International Society for Scientometrics and Informetrics), RESSH (Research Evaluation in SSH), STI Sítě: ENRESSH (EU)
- 18. Informační seminář AV ČR 2019, Praha Bibliometrie ve světě – aktuálně I4OC Helsinki Initiative on Multilingualism in Scholarly Communication Research on Research Institute
- 19. 2. Zdroje pro bibliometrii Informační seminář AV ČR 2019, Praha
- 20. Národní databáze ̶ IS VaVai, ČR; VABB–SHW, Belgie (Flandry); VIRTA, Finsko; Norwegian Science Index (NSI); The Polish Scholarly Bibliography (PBN); CREPČ, Slovensko; COBISS, Slovinsko; BFI, Dánsko Oborové databáze ̶ RePEc/IDEAS (ekonomie), MathSciNet (matematika), SciFinder – CAS (chemie, biochemie), PubMed, Astrophysics Data System, PsycInfo (Psychology), arXiv (Informatics) Multidisciplinární databáze Databáze výzkumných organizací Otázka využití Google Scholar Informační seminář AV ČR 2019, Praha Databáze a zdroje pro bibliometrii
- 21. Informační seminář AV ČR 2019, Praha Obory – klasifikace Kognitivní x organizační x časopis „At a higher aggregation level, we find that 73% of publications from the humanities are published in humanities publication channels, while this is only the case for 59% of publications from the social sciences.“ Guns, R., Sīle, L., Eykens, J. et al. Scientometrics (2018) 116: 1093. https://doi.org/10.1007/s11192-018- 2775-x
- 22. Informační seminář AV ČR 2019, Praha Zdroj: CWTS
- 23. Informační seminář AV ČR 2019, Praha Institute for Scientific Information – od 1960
- 24. Informační seminář AV ČR 2019, Praha www.webofscience.com
- 25. Informační seminář AV ČR 2019, Praha
- 26. www.scopus.com Informační seminář AV ČR 2019, Praha
- 27. Informační seminář AV ČR 2019, Praha
- 28. Informační seminář AV ČR 2019, Praha Publish or Perish (analýza Google Scholar)
- 29. 3. Indikátory a analýzy Informační seminář AV ČR 2019, Praha
- 30. Bibliotheca Academica 2019 Jak pracovat v bibliometrii? Ptát se na účel! Základní kontextualizace. Skupina srozumitelných indikátorů. Interpretace (vysvětlení, popis). Vizualizace. Komunikace. Ptát se, co měříme (= jakými indikátory)? Diverzita indikátorů. „One size doesn't fit all.“ Pokrývají různé aspekty publikační činnosti. Propojení bibliometrie s jinými metodami hodnocení.
- 31. Metriky – co sledujeme a proč? Informační seminář AV ČR 2019, Praha Velikostně závislé x velikostně nezávislé indikátory celkový počet publikací, citací vs. počet citací na publikace Pozor na míchání těchto typů indikátorů častý jev u univerzitních žebříčků Sledovaná vlastnost Indikátor Vědecký výstup Publikace Vědecký dopad Citace Vědecká spolupráce Společné publikace s nár./mezinárodní Interdisciplinarita Zařazení publikací do oborů Společenský dopad Společné publikace s aplikační sférou, účast na klinických studiích/pokynech, patenty, ohlasy na sociálních sítích, … Produktivita Publikace na výzkumníka
- 32. Informační seminář AV ČR 2019, Praha Streetlight effect Začít od zadání, záměru. Co sledujeme a proč. … ne u dat/metrik, které máme zrovna k dispozici.
- 33. Informační seminář AV ČR 2019, Praha Metriky časopisů – vlivnost, viditelnost Impact factor (IF) – WoS Article Influence Score (AIS) – větší váha významných časopisů Scimago Journal Rank (SJR) – Scopus Odvozené indikátory založené na percentilech – kvartily, decily, …
- 34. Informační seminář AV ČR 2019, Praha článek A ̶ 1 článek z roku 2012 v časopise s IF 12 ̶ ̶ ̶ článek B ̶ 1 článek z roku 2012 v časopise s IF 4 ̶ ̶ ̶ ̶ Lepší Horší
- 35. Informační seminář AV ČR 2019, Praha článek A ̶ 1 článek z roku 2012 v časopise s IF 12 ̶ Multioborový časopis ̶ Počet citací: 9 ̶ 18 autorů článek B ̶ 1 článek z roku 2012 v časopise s IF 4 ̶ Specializovaný oborový časopis ̶ Počet citací: 30 ̶ Bilaterální spolupráce se zahraniční univerzitou (domácí know-how) ̶ Článek je v odborné komunitě sdílen prostřednictvím příspěvků na Twitteru
- 36. Informační seminář AV ČR 2019, Praha Journal Impact Factor (Web of Science) Měří průměrnou citovanost článků v časopise (ne kvalita). Vlivnost (popularita) časopisu. Impakt faktor v roce X"="citace všech článků v daném časopise získané v letech X−1 a X−2 počet „citovatelných“ článků publikovaných v letech X−1 a X−2 Omezení: Vlastnosti IF jsou specifické pro obory. Na výši IF má zásluhu menšina vysoce citovaných článků (Paret 80/20). Manipulovatelný redakční politikou (frekvence čísel; vyšší podíl přehledových článků; citační mafie).
- 37. Informační seminář AV ČR 2019, Praha AIS – Article Influence Score Průměrný vliv článků v časopise AIS = 0,01 . 𝐸𝑖𝑔𝑒𝑛𝑓𝑎𝑐𝑡𝑜𝑟 𝑆𝑐𝑜𝑟𝑒 5−𝑦𝑒𝑎𝑟 𝐽𝑜𝑢𝑟𝑛𝑎𝑙 𝐴𝑟𝑡𝑖𝑐𝑙𝑒 𝐶𝑜𝑢𝑛𝑡 5−𝑦𝑒𝑎𝑟 𝐴𝑟𝑡𝑖𝑐𝑙𝑒 𝐶𝑜𝑢𝑛𝑡 𝑓𝑟𝑜𝑚 𝐴𝑙𝑙 𝐽𝑜𝑢𝑟𝑛𝑎𝑙𝑠 The Eigenfactor Score = number of times articles from the journal published in the past five years have been cited in the JCR year, but it also considers which journals have contributed these citations so that highly cited journals will influence the network more than lesser cited journals. References from one article in a journal to another article from the same journal are removed, so that Eigenfactor Scores are not influenced by journal self-citation.
- 38. Informační seminář AV ČR 2019, Praha JIF – diskuse IF (i AIS) obecně odráží pouze jednu z mnoha poloh a funkcí vědeckého žurnálu. The IF plays a pervasive role in today’s science system, and this may have all kinds of undesirable consequences. From a statistical point of view, it is not necessarily wrong to use the IF for assessing individual articles. The debate on the IF should not be based on misplaced statistical arguments. Whether article-level citation statistics should be preferred over the IF depends on how accurately citations can be considered to represent the value of an article. L Waltman, VA Traag (2017). Use of the journal impact factor for assessing individual articles need not be wrong. https://arxiv.org/abs/1703.02334
- 39. Pokrytí Role autora Seznam časopisů (relevantní pro obor vs. top-tier) Kvartily Bibliotheca Academica 2019 Produktivita a viditelnost 1 1 1 3 1 6 3 4 4 3 6 9 7 8 7 9 7 7 12 12 1 1 1 1 1 1 1 3 1 1 2 1 0 2 4 6 8 10 12 14 16 Scholarly outputs (Web of Science) Article Review Proceedings Paper Book Chapter Other Q1 38% Q2 42% Q3 9% Q4 7% Other 4% % Publications in Quartiles 1 2 2 1 1 4 5 2 2 2 2 4 3 8 6 6 2 3 3 1 3 4 1 2 3 4 4 3 6 4 4 5 5 1 2 1 1 2 1 1 1 1 3 1 1 1 1 1 2 1 1 1 1 1 1 1 3 0 2 4 6 8 10 12 14 16 Publications in Quartiles Q1 Q2 Q3 Q4 Other
- 40. Informační seminář AV ČR 2019, Praha H-index (J. E. Hirsch, 2005) h udává počet článků, které mají h a více citací. Plošně využívaný zejména na individuální úrovni. Omezení Liší se napříč různými databázemi. Nelze srovnávat jeho hodnoty mezi odlišnými obory. Obvykle roste s věkem.
- 41. Informační seminář AV ČR 2019, Praha H-index = 7 (cca)
- 42. Informační seminář AV ČR 2019, Praha Metriky článků – ohlas, dopad (vědecký) Počet publikací, počet citací. Citační dopad (Citation Impact) – průměrný počet citací na publikaci. Normalizovaný citační dopad – poměr aktuálních citací vůči očekávaným v oboru a roce. Pozor na malá čísla a průměry (tzv. Bill Gates efekt). Category Normalized Citation Impact (Clarivate Analytics). Field Weighted Citation Impact (Elsevier). Percentily a pp(top x%).
- 43. Souhrnné metriky Oborově normalizované metriky (na mikro úrovni s rezervou) Nejcitovanější publikace Citující dokumenty Citační dopad WoS Docs* CNCI Times Cited* PP (top 1%) PP (top 10%) Average Percentile % Docs Cited % Intl. Collab. 128 1,29 2427 1,56% 16,41% 39,54 92,2% 65,6% <1% 2% 1%-10% 10% 10%-25% 18% 25%-50% 30% >50% 35% uncited 5% Percentile distribution Bibliotheca Academica 2019 0 2 4 6 8 10 12 Uncited > 0 < 0,125 > 0,125 < 0,25 > 0,25 < 0,5 > 0,5 < 1,0 > 1 < 2 > 2 < 4 > 4 < 8 > 8 CNCI distribution Web of Science WoS – reprint or first Scopus Scopus – reprint or first # publications 134 66 131 65 Sum of Times Cited 2507 1141 2551 1138 Without self- citations 1568 886 1650 Not available % self- citations 37,5% 22,3% 35,3% Not available Q1 39% Q2 32% Q3 15% Q4 8% n/a 6% % Citing articles in Quartiles*
- 44. Lokální / mezinárodní spolupráce Sebecitovanost Bibliotheca Academica 2019 Spolupráce
- 45. Informační seminář AV ČR 2019, Praha Další metriky Nature Index. Produkce ve vybraných vlivných časopisech. Article Count a Fractional Count. Lens metrics. Patenty, citace v patentech. Žebříčky.
- 46. Informační seminář AV ČR 2019, Praha Alternativní metriky Indikátory vhodné pro SSH (např. Libcitations). Altmetrics, Mendeley, CiteULike. Vědecké sociální sítě.
- 47. Informační seminář AV ČR 2019, Praha 50 Altmetric it! www.altmetric.com
- 48. Bibliotheca Academica 2019 Závěrečné myšlenky Bibliometrie by neměla nahradit expertní posouzení. Snažme se neustále sledovat vliv indikátorů na systém. Berme v úvahu koho a proč evaluujeme! Uvažujme kontext! Zdravý rozum!
- 49. Informační seminář AV ČR 2019, Praha Děkuji za pozornost! Michal Petr petr@rect.muni.cz http://scientometrics.muni.cz @scientometrics.muni.cz
- 50. Informační seminář AV ČR 2019, Praha Kolega A ̶ H-index 7 ̶ 50 publikací ve WoS ̶ 200 citací ̶ ̶ Kolega B ̶ H- index 4 ̶ 9 publikací na WoS ̶ 67 citací ̶
- 51. Informační seminář AV ČR 2019, Praha Kolega A ̶ H-index 7 ̶ 50 publikací ve WoS (80% proceedings v in-house sborníku, 20% výzkumné články) ̶ 200 citací (1/3 autocitací, zbytek většinou citace z vlastní instituce) ̶ Vědec A cituje z 80% kolegy z vlastní organizace nebo lokální zdroje ̶ Lokální vědecké problémy Kolega B ̶ H- index 4 ̶ 9 publikací na WoS (vše výzkumné články v předních časopisech v oboru) ̶ 67 citací (4% autocitací, zbytek ze světových časopisů s vysokým renomé) ̶ Je zřejmé, že jeho výsledky zajímají vědecký svět
Editor's Notes
- Simplification of the view at the research performance.
- DORA is an initiative supported by nine organizations to push for real change in research assessment. The vision of DORA is to advance practical and robust approaches to research assessment globally and across all scholarly disciplines. Individuals and organizations can sign the declaration pledging to improve culture around research evaluation. DORA is collecting best practices to help members of the community learn from each other and create change. More information is on the website: sfdora.org Journal-based metrics are often misused and ill applied in research and researcher evaluation. This is happens at key transition points during a researcher’s career, including hiring, promotion, and tenure.
- Let´s have a look at the history
- Let´s have a look at the history
- 6 blind people are confronted with an elephant and each grabs a part of it (trunk, leg, tail) and proceeds to define the elephant by the part they have (“it’s like a snake…a tree…a rope”).