際際滷

際際滷Share a Scribd company logo
Bibliometrick叩 podpora na Masarykov univerzit
Michal Petr
Masarykova univerzita, Brno
Bibliotheca academica 2019, Brno, 23. 10. 2019
@Michal_Petr_MU
Bibliotheca Academica 2019
Outline
Centre for Scientometric Support (Masaryk University).
P鱈klad 1: Anal箪za pro habilitace a profesorsk辿 鱈zen鱈.
P鱈klad 2: Mapov叩n鱈 v箪zkumn辿ho potenci叩lu univerzity.
V箪chodiska
Bibliotheca Academica 2019
Evaluace  hlavn鱈 metoda
Source: Michael Ochsner, Emanuel Kulczycki, Aldis Gedutis & Agn Girkontait. The Diversity of Research Evaluation Systems. ENRESSH
Bibliotheca Academica 2019
Bibliotheca Academica 2019
Hodnocen鱈 v箪zkumu v esk辿 republice
Sice m叩me Metodiku 2017+ (5 modul哲),
ale v nastaven鱈 mysli st叩le obecn v鱈tz鱈
d哲raz na kvantitativn鱈 metody v hodnocen鱈.
Publikan鱈 v箪kon (performance) se nahl鱈転鱈 skrze l叩nky v presti転n鱈ch asopisech.
JIF (AIS) vl叩dne v邸em.
V箪zkumn辿 organizace.
P鱈moar辿 pej鱈m叩n鱈 n叩rodn鱈ho modelu hodnocen鱈 pro men鱈 publikan鱈ho v箪konu i pro
rozhodov叩n鱈 na 炭rovni v箪zkumn辿 organizace.
Nehled叩me vlastn鱈 hodnotu!
Bibliotheca Academica 2019
Metriky nejsou zlo.
Pro kvalitn鱈 informace potebujeme kvalitn鱈 data.
Ale nkdy maj鱈 ne転叩douc鱈 vliv na syst辿m.
Nap. impakt faktor v dostaten robustn鱈m datasetu odr叩転鱈 炭rove
v箪zkumu, ale jeho nezodpovdn辿 pou転it鱈 v hodnocen鱈 vede k
nesmysln箪m motivac鱈m v publikov叩n鱈.
Bibliometrie na Masarykov univerzit
Bibliotheca Academica 2019
Evaluace v箪zkumu a financov叩n鱈.
V箪zkum.
Publikan鱈 vzorce v SSH.
Pedn叩邸ky, semin叩e (bibliometrie, hodnocen鱈, etika)
Neust叩l箪 boj s univerzitn鱈mi 転eb鱈ky
Bibliometrie.
Bibliotheca Academica 2019
Aktivity
Centre for Scientometrics Support
Budovat d哲vru v bibliometrii jako u転iten箪 n叩stroj pro podporu
v箪zkumu.
Zodpovdnost.
Principy Leiden Manifesto, DORA.
Dobr叩 praxe vdeck辿ho publikov叩n鱈 (2017).
Doporuen鱈 pro pr叩ci s bibliometrick箪mi indik叩tory a jejich interpretaci (2016).
Postoj MU k tzv. pred叩torsk箪m vydavatel哲m a odborn箪m asopis哲m (2016).
Garantovat expert鱈zu.
Pr哲b転n辿 vzdl叩v叩n鱈.
Bibliotheca Academica 2019
C鱈le a principy
Centre for Scientometrics Support
Bibliometrie na Masarykov univerzit
Kvalita a istota dat v lok叩ln鱈m IS, ve WoS (+MyOrg), Scopus.
Pravideln辿 anal箪zy publikan鱈ch aktivit MU: evaluace fakult
(ron), monitoring v箪zkumn辿ho potenci叩lu, benchmarking.
On-demand anal箪zy fakult, pracovi邸泥, t箪m哲, jednotlivc哲.
Informuj鱈c鱈 materi叩l pro rozhodov叩n鱈 na MU.
V箪ron鱈 zpr叩va, marketingov辿 materi叩ly.
Bibliotheca Academica 2019
Zdroje
Datab叩ze
Web of Science.
N叩rodn鱈 / institucion叩ln鱈 IS.
Scopus.
Google Scholar.
Platforma InCites (od 2013)
B&A, ESI, JCR, MyOrganization.
Anal箪za dat a vizualizace
Bibexcel, VOSViewer, Pajek, Gephi.
Altmetrics (pilotn)
Bibliotheca Academica 2019
Bibliotheca Academica 2019
Jak pracujeme?
Pt叩me se na 炭el!
Z叩kladn鱈 kontextualizace.
Skupina srozumiteln箪ch indik叩tor哲.
Interpretace (vysvtlen鱈, popis).
Vizualizace.
Komunikace.
Diverzita indik叩tor哲. One size doesn't fit all.
Pokr箪vaj鱈 r哲zn辿 aspekty publikan鱈 innosti.
Podporujeme a informujeme
P鱈klad 1: Anal箪za pro habilitace a
profesorsk辿 鱈zen鱈
Bibliotheca Academica 2019
Po転adov叩n seznam citac鱈.
Extr辿mn鱈 p鱈pad  2000k+ citac鱈.
438 stran, 1 lovk, 320 hodin.
Bibliotheca Academica 2019
P鱈klad 1: Motivace  邸patn箪 p鱈klad
Anal箪za portfolia!
Pibli転n 15 stran.
R哲zn箪 p鱈stup k STM a SSH.
Aktivita, produktivita.
Viditelnost (visibility).
Spolupr叩ce.
Citan鱈 dopad.
Popis, vysvtlen鱈, interpretace.
Bibliotheca Academica 2019
Komponenty
P鱈klad 1: Anal箪za portfolia, ne jen metriky
Pokryt鱈
Role autora
Seznam asopis哲 (relevantn鱈 pro obor vs. top-tier)
Kvartily
Bibliotheca Academica 2019
Produktivita, viditelnost
P鱈klad 1: Anal箪za
1 1 1
3
1
6
3
4 4
3
6
9
7
8
7
9
7 7
12 12
1
1
1 1
1
1
1
3
1
1
2
1
0
2
4
6
8
10
12
14
16
Scholarly outputs (Web of Science)
Article Review Proceedings Paper Book Chapter Other
Q1
38%
Q2
42%
Q3
9%
Q4
7%
Other
4%
% Publications in Quartiles
1
2 2
1 1
4
5
2 2 2 2
4
3
8
6 6
2
3
3
1
3
4
1
2
3
4 4
3
6
4
4
5
5
1
2
1
1
2
1 1
1
1
3
1
1
1 1
1
2
1
1
1
1
1
1
1
3
0
2
4
6
8
10
12
14
16
Publications in Quartiles
Q1 Q2 Q3 Q4 Other
Souhrnn辿 metriky
Oborov normalizovan辿 metriky (na mikro 炭rovni s rezervou)
Nejcitovanj邸鱈 publikace
Cituj鱈c鱈 dokumenty
Citan鱈 dopad
P鱈klad 1: Anal箪za
WoS
Docs*
CNCI
Times
Cited*
PP (top
1%)
PP (top
10%)
Average
Percentile
% Docs
Cited
% Intl.
Collab.
128 1,29 2427 1,56% 16,41% 39,54 92,2% 65,6%
<1%
2% 1%-10%
10%
10%-25%
18%
25%-50%
30%
>50%
35%
uncited
5%
Percentile distribution
Bibliotheca Academica 2019
0
2
4
6
8
10
12
Uncited > 0 <
0,125
> 0,125
< 0,25
> 0,25 <
0,5
> 0,5 <
1,0
> 1 < 2 > 2 < 4 > 4 < 8 > 8
CNCI distribution
Web of
Science
WoS 
reprint
or first
Scopus
Scopus 
reprint
or first
# publications 134 66 131 65
Sum of Times
Cited
2507 1141 2551 1138
Without self-
citations
1568 886 1650
Not
available
% self-
citations
37,5% 22,3% 35,3%
Not
available
Q1
39%
Q2
32%
Q3
15%
Q4
8%
n/a
6%
% Citing articles in Quartiles*
Lok叩ln鱈 / mezin叩rodn鱈
spolupr叩ce
Sebecitovanost
Bibliotheca Academica 2019
S鱈泥 spolupr叩ce
P鱈klad 1: Anal箪za
P鱈klad 2: Mapov叩n鱈 v箪zkumn辿ho potenci叩lu
univerzity
Bibliotheca Academica 2019
Bibliotheca Academica 2019
P鱈klad 2: V箪zkumn叩 ot叩zka a metoda
Jak叩 jsou profilov叩 v箪zkumn叩
t辿mata?
Bottom-up
Identifikace vlivn箪ch v箪zkumn箪ch t辿mat
Top percentily, citan鱈 dopad (normalizovan箪), viditelnost.
Autoi, klastry autor哲, (mikro)obory, kl鱈ov叩 slova.
Highly Cited publikace (Essential Science Indicators)
IIdentifikace autor哲, klastr哲 autor哲, obor哲.
Top-down
Zapojen鱈 fakult
empirie; tradice; presti転n鱈 granty; n叩rodn鱈 hodnocen鱈; ocenn鱈.
P鱈klad 2: University Profile Map
Velikost & Dopad
Data: InCites
Visualizace: VOSViewer
k叩la = Category Normalized Citation Impact
Bibliotheca Academica 2019
Bibliotheca Academica 2019
T辿mata (kl鱈ov叩 slova)
Data: InCites
Visualizace: VOSViewer
k叩la = Category Normalized
Citation Impact
Bibliotheca Academica 2019
P鱈klad 2: V箪sledky
Synergie top-down a bottom-up p鱈stupu.
Panoramatick箪 i detailn鱈 pohled na v箪zkumn辿 prosted鱈.
Hot topics a Classics.
V鱈ce d哲vry v bibliometrii (dobr箪 sluha).
Strategick辿 interpretace.
Tzv. excelentn鱈ch v箪sledk哲 na fakult dosahuj鱈 relativn mal辿, 炭zce specializovan辿 t箪my
soustedn辿 kolem nkolika osobnost鱈. Pouze v tchto 炭zk箪ch specializac鱈ch, nkolika m叩lo
mikrooborech m哲転e instituce velikosti fakulty dosahovat skuten mezin叩rodn 邸pikov箪ch
v箪sledk哲.
Bibliotheca Academica 2019
P鱈klad 2: V箪sledky
Ofici叩ln鱈 prezentace
profilov箪ch t辿mat (web, m辿dia).
http://bit.ly/focus-topics-poster
Bibliotheca Academica 2019
Z叩vren辿 my邸lenky
Profesion叩ln鱈 vzhled m哲転e sv叩dt ke slep辿 v鱈e v bibliometrii.
Nedopus泥mme, aby bibliometrie nahradila expertn鱈 posouzen鱈.
Sna転me se neust叩le sledovat vliv indik叩tor哲 na syst辿m.
I kdy転 m叩me kr叩sn辿 user-friendly n叩stroje, neexistuje nic jako one-
button anal箪za.
Hloubji do dat!
Uva転ujme kontext!
Bibliotheca Academica 2019
Dkuji za pozornost!
Michal Petr
petr@rect.muni.cz
http://scientometrics.muni.cz
@scientometrics.muni.cz

More Related Content

2019 10-23 bibliotheca-academica

  • 1. Bibliometrick叩 podpora na Masarykov univerzit Michal Petr Masarykova univerzita, Brno Bibliotheca academica 2019, Brno, 23. 10. 2019 @Michal_Petr_MU
  • 2. Bibliotheca Academica 2019 Outline Centre for Scientometric Support (Masaryk University). P鱈klad 1: Anal箪za pro habilitace a profesorsk辿 鱈zen鱈. P鱈klad 2: Mapov叩n鱈 v箪zkumn辿ho potenci叩lu univerzity.
  • 4. Evaluace hlavn鱈 metoda Source: Michael Ochsner, Emanuel Kulczycki, Aldis Gedutis & Agn Girkontait. The Diversity of Research Evaluation Systems. ENRESSH Bibliotheca Academica 2019
  • 5. Bibliotheca Academica 2019 Hodnocen鱈 v箪zkumu v esk辿 republice Sice m叩me Metodiku 2017+ (5 modul哲), ale v nastaven鱈 mysli st叩le obecn v鱈tz鱈 d哲raz na kvantitativn鱈 metody v hodnocen鱈. Publikan鱈 v箪kon (performance) se nahl鱈転鱈 skrze l叩nky v presti転n鱈ch asopisech. JIF (AIS) vl叩dne v邸em. V箪zkumn辿 organizace. P鱈moar辿 pej鱈m叩n鱈 n叩rodn鱈ho modelu hodnocen鱈 pro men鱈 publikan鱈ho v箪konu i pro rozhodov叩n鱈 na 炭rovni v箪zkumn辿 organizace. Nehled叩me vlastn鱈 hodnotu!
  • 6. Bibliotheca Academica 2019 Metriky nejsou zlo. Pro kvalitn鱈 informace potebujeme kvalitn鱈 data. Ale nkdy maj鱈 ne転叩douc鱈 vliv na syst辿m. Nap. impakt faktor v dostaten robustn鱈m datasetu odr叩転鱈 炭rove v箪zkumu, ale jeho nezodpovdn辿 pou転it鱈 v hodnocen鱈 vede k nesmysln箪m motivac鱈m v publikov叩n鱈.
  • 7. Bibliometrie na Masarykov univerzit Bibliotheca Academica 2019
  • 8. Evaluace v箪zkumu a financov叩n鱈. V箪zkum. Publikan鱈 vzorce v SSH. Pedn叩邸ky, semin叩e (bibliometrie, hodnocen鱈, etika) Neust叩l箪 boj s univerzitn鱈mi 転eb鱈ky Bibliometrie. Bibliotheca Academica 2019 Aktivity Centre for Scientometrics Support
  • 9. Budovat d哲vru v bibliometrii jako u転iten箪 n叩stroj pro podporu v箪zkumu. Zodpovdnost. Principy Leiden Manifesto, DORA. Dobr叩 praxe vdeck辿ho publikov叩n鱈 (2017). Doporuen鱈 pro pr叩ci s bibliometrick箪mi indik叩tory a jejich interpretaci (2016). Postoj MU k tzv. pred叩torsk箪m vydavatel哲m a odborn箪m asopis哲m (2016). Garantovat expert鱈zu. Pr哲b転n辿 vzdl叩v叩n鱈. Bibliotheca Academica 2019 C鱈le a principy Centre for Scientometrics Support
  • 10. Bibliometrie na Masarykov univerzit Kvalita a istota dat v lok叩ln鱈m IS, ve WoS (+MyOrg), Scopus. Pravideln辿 anal箪zy publikan鱈ch aktivit MU: evaluace fakult (ron), monitoring v箪zkumn辿ho potenci叩lu, benchmarking. On-demand anal箪zy fakult, pracovi邸泥, t箪m哲, jednotlivc哲. Informuj鱈c鱈 materi叩l pro rozhodov叩n鱈 na MU. V箪ron鱈 zpr叩va, marketingov辿 materi叩ly. Bibliotheca Academica 2019
  • 11. Zdroje Datab叩ze Web of Science. N叩rodn鱈 / institucion叩ln鱈 IS. Scopus. Google Scholar. Platforma InCites (od 2013) B&A, ESI, JCR, MyOrganization. Anal箪za dat a vizualizace Bibexcel, VOSViewer, Pajek, Gephi. Altmetrics (pilotn) Bibliotheca Academica 2019
  • 12. Bibliotheca Academica 2019 Jak pracujeme? Pt叩me se na 炭el! Z叩kladn鱈 kontextualizace. Skupina srozumiteln箪ch indik叩tor哲. Interpretace (vysvtlen鱈, popis). Vizualizace. Komunikace. Diverzita indik叩tor哲. One size doesn't fit all. Pokr箪vaj鱈 r哲zn辿 aspekty publikan鱈 innosti. Podporujeme a informujeme
  • 13. P鱈klad 1: Anal箪za pro habilitace a profesorsk辿 鱈zen鱈 Bibliotheca Academica 2019
  • 14. Po転adov叩n seznam citac鱈. Extr辿mn鱈 p鱈pad 2000k+ citac鱈. 438 stran, 1 lovk, 320 hodin. Bibliotheca Academica 2019 P鱈klad 1: Motivace 邸patn箪 p鱈klad
  • 15. Anal箪za portfolia! Pibli転n 15 stran. R哲zn箪 p鱈stup k STM a SSH. Aktivita, produktivita. Viditelnost (visibility). Spolupr叩ce. Citan鱈 dopad. Popis, vysvtlen鱈, interpretace. Bibliotheca Academica 2019 Komponenty P鱈klad 1: Anal箪za portfolia, ne jen metriky
  • 16. Pokryt鱈 Role autora Seznam asopis哲 (relevantn鱈 pro obor vs. top-tier) Kvartily Bibliotheca Academica 2019 Produktivita, viditelnost P鱈klad 1: Anal箪za 1 1 1 3 1 6 3 4 4 3 6 9 7 8 7 9 7 7 12 12 1 1 1 1 1 1 1 3 1 1 2 1 0 2 4 6 8 10 12 14 16 Scholarly outputs (Web of Science) Article Review Proceedings Paper Book Chapter Other Q1 38% Q2 42% Q3 9% Q4 7% Other 4% % Publications in Quartiles 1 2 2 1 1 4 5 2 2 2 2 4 3 8 6 6 2 3 3 1 3 4 1 2 3 4 4 3 6 4 4 5 5 1 2 1 1 2 1 1 1 1 3 1 1 1 1 1 2 1 1 1 1 1 1 1 3 0 2 4 6 8 10 12 14 16 Publications in Quartiles Q1 Q2 Q3 Q4 Other
  • 17. Souhrnn辿 metriky Oborov normalizovan辿 metriky (na mikro 炭rovni s rezervou) Nejcitovanj邸鱈 publikace Cituj鱈c鱈 dokumenty Citan鱈 dopad P鱈klad 1: Anal箪za WoS Docs* CNCI Times Cited* PP (top 1%) PP (top 10%) Average Percentile % Docs Cited % Intl. Collab. 128 1,29 2427 1,56% 16,41% 39,54 92,2% 65,6% <1% 2% 1%-10% 10% 10%-25% 18% 25%-50% 30% >50% 35% uncited 5% Percentile distribution Bibliotheca Academica 2019 0 2 4 6 8 10 12 Uncited > 0 < 0,125 > 0,125 < 0,25 > 0,25 < 0,5 > 0,5 < 1,0 > 1 < 2 > 2 < 4 > 4 < 8 > 8 CNCI distribution Web of Science WoS reprint or first Scopus Scopus reprint or first # publications 134 66 131 65 Sum of Times Cited 2507 1141 2551 1138 Without self- citations 1568 886 1650 Not available % self- citations 37,5% 22,3% 35,3% Not available Q1 39% Q2 32% Q3 15% Q4 8% n/a 6% % Citing articles in Quartiles*
  • 18. Lok叩ln鱈 / mezin叩rodn鱈 spolupr叩ce Sebecitovanost Bibliotheca Academica 2019 S鱈泥 spolupr叩ce P鱈klad 1: Anal箪za
  • 19. P鱈klad 2: Mapov叩n鱈 v箪zkumn辿ho potenci叩lu univerzity Bibliotheca Academica 2019
  • 20. Bibliotheca Academica 2019 P鱈klad 2: V箪zkumn叩 ot叩zka a metoda Jak叩 jsou profilov叩 v箪zkumn叩 t辿mata? Bottom-up Identifikace vlivn箪ch v箪zkumn箪ch t辿mat Top percentily, citan鱈 dopad (normalizovan箪), viditelnost. Autoi, klastry autor哲, (mikro)obory, kl鱈ov叩 slova. Highly Cited publikace (Essential Science Indicators) IIdentifikace autor哲, klastr哲 autor哲, obor哲. Top-down Zapojen鱈 fakult empirie; tradice; presti転n鱈 granty; n叩rodn鱈 hodnocen鱈; ocenn鱈.
  • 21. P鱈klad 2: University Profile Map Velikost & Dopad Data: InCites Visualizace: VOSViewer k叩la = Category Normalized Citation Impact Bibliotheca Academica 2019
  • 22. Bibliotheca Academica 2019 T辿mata (kl鱈ov叩 slova) Data: InCites Visualizace: VOSViewer k叩la = Category Normalized Citation Impact
  • 23. Bibliotheca Academica 2019 P鱈klad 2: V箪sledky Synergie top-down a bottom-up p鱈stupu. Panoramatick箪 i detailn鱈 pohled na v箪zkumn辿 prosted鱈. Hot topics a Classics. V鱈ce d哲vry v bibliometrii (dobr箪 sluha). Strategick辿 interpretace. Tzv. excelentn鱈ch v箪sledk哲 na fakult dosahuj鱈 relativn mal辿, 炭zce specializovan辿 t箪my soustedn辿 kolem nkolika osobnost鱈. Pouze v tchto 炭zk箪ch specializac鱈ch, nkolika m叩lo mikrooborech m哲転e instituce velikosti fakulty dosahovat skuten mezin叩rodn 邸pikov箪ch v箪sledk哲.
  • 24. Bibliotheca Academica 2019 P鱈klad 2: V箪sledky Ofici叩ln鱈 prezentace profilov箪ch t辿mat (web, m辿dia). http://bit.ly/focus-topics-poster
  • 25. Bibliotheca Academica 2019 Z叩vren辿 my邸lenky Profesion叩ln鱈 vzhled m哲転e sv叩dt ke slep辿 v鱈e v bibliometrii. Nedopus泥mme, aby bibliometrie nahradila expertn鱈 posouzen鱈. Sna転me se neust叩le sledovat vliv indik叩tor哲 na syst辿m. I kdy転 m叩me kr叩sn辿 user-friendly n叩stroje, neexistuje nic jako one- button anal箪za. Hloubji do dat! Uva転ujme kontext!
  • 26. Bibliotheca Academica 2019 Dkuji za pozornost! Michal Petr petr@rect.muni.cz http://scientometrics.muni.cz @scientometrics.muni.cz

Editor's Notes

  1. Simplification of the view at the research performance.
  2. Let卒s have a look at the history
  3. Let卒s have a look at the history
  4. Actually, we were also testing CWTS microfields. What is problematic on this picture?