jindřich leitner vŠcht praha
DESCRIPTION
Jaká je hodnota našich publikací. Jindřich Leitner VŠCHT Praha. „Work-finish-publish“ (M. Faraday, 1791-1867). „Publish or perish“ (L. Wilson, 1942). Získat body pro hodnocení. Sdělit výsledky. Proč publikovat?. Goodhartův zákon. Je-li nějaká sociální nebo ekonomická veličina - PowerPoint PPT PresentationTRANSCRIPT
Jindřich LeitnerJindřich Leitner VŠCHT PrahaVŠCHT Praha
Jaká je hodnota našich publikacíJaká je hodnota našich publikací
2
Proč publikovat?Proč publikovat?
„„Work-finish-publish“Work-finish-publish“(M. Faraday, 1791-1867)(M. Faraday, 1791-1867)
Sdělit výsledkySdělit výsledky
„„Publish or perish“Publish or perish“(L. Wilson, 1942)(L. Wilson, 1942)
Získat bodyZískat bodypro hodnocenípro hodnocení
3
Goodhartův zákonGoodhartův zákon
Charles E.A. Goodhart
Je-li nějaká sociální nebo ekonomická veličinaJe-li nějaká sociální nebo ekonomická veličinaužita jako kvantifikovaný cíl nějaké politiky,užita jako kvantifikovaný cíl nějaké politiky,pak tato veličina ztrácí svoji vypovídací schopnost,pak tato veličina ztrácí svoji vypovídací schopnost,protože zainteresované subjekty jsou motivoványprotože zainteresované subjekty jsou motivoványk jejímu zkreslování. k jejímu zkreslování.
Příklad :Příklad :Hodnocení kvality pedagogů podle počtu Hodnocení kvality pedagogů podle počtu „úspěšných“„úspěšných“ studentů. studentů.
4
Hodnocení VEVIHodnocení VEVI Kariérní růst akademických pracovníkůKariérní růst akademických pracovníků Akreditace studijních programů a oborů na VŠAkreditace studijních programů a oborů na VŠ Poskytování finančních prostředků na grantové projektyPoskytování finančních prostředků na grantové projekty Hodnocení institucí zabývajících se VEVIHodnocení institucí zabývajících se VEVI … …
Kvantita = počet publikací + počet citacíKvantita = počet publikací + počet citací
Kvalita publikace = kvalita časopisu (IF)Kvalita publikace = kvalita časopisu (IF)
Kvalita jednotlivce = Kvalita jednotlivce = suma kvalitysuma kvality jeho publikací jeho publikací
Kvalita kolektivu = Kvalita kolektivu = suma kvalitysuma kvality jeho členů jeho členů
Hodnocení odborných publikací:Hodnocení odborných publikací:kvantita a kvalitakvantita a kvalita
5
ScientometrieScientometrie
Elsevier, 2007IF2010 = 3,119
Springer, 1978IF2010 = 1, 905
Scientometrics is the science of measuring and analysing science.Scientometrics is the science of measuring and analysing science.In practice, scientometrics is often done using bibliometricsIn practice, scientometrics is often done using bibliometrics
which is a measurement of the impact of (scientific) publications.which is a measurement of the impact of (scientific) publications.http://en.wikipedia.org/wiki/Scientometrics
Wiley, 1950IF2010 = 2,137
6
Bibliografické databázeBibliografické databázeThomson ReutersThomson Reuters
7 citačních databází7 citačních databází
SCI-Expanded od r. 1945 SCI-Expanded od r. 1945
2011: 1907 zdrojů2011: 1907 zdrojů
ElsevierElsevier
Dokumenty od r. 1996Dokumenty od r. 1996
2011: 3448 zdrojů, 3140 časopisů2011: 3448 zdrojů, 3140 časopisů
GoogleGoogle
+ + Publish or PerishPublish or Perish (Anne-Wil (Anne-Wil Harzing)Harzing)
7
Kvantitativní ukazateleKvantitativní ukazatele
Počet publikací (dle kategorie)Počet publikací (dle kategorie)- Nadprodukce publikací- Nadprodukce publikací
- Problém stejných jmen (- Problém stejných jmen (GS - GS - Smith: 1Smith: 1..330330..000, Li: 2000, Li: 2..140140..000)000)
Počet citacíPočet citací- Proč jsou práce citovány- Proč jsou práce citovány
-- Celkový počet citací Celkový počet citací vs.vs. distribuce počtu citací ( distribuce počtu citací (h-h-index)index)
-- Problém autocitací Problém autocitací
O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall:Protein measurement with the Folin phenol reagent,J. Biol. Chem. 193 (1951) 265.
22.5.2012WoS: 297485-krátGS: 249809-krát
8
0.0003 0.025 0.082
2.29
4.78
10.111.2
10.6
19.5
24.7
16.8
0
5
10
15
20
25
>100
00
1000
-999
9
500-
999
100-
499
50-9
9
25-4
9
15-2
4
10-1
45-
92-
4 1
0.0003 0.025 0.1072.40
7.18
17.2
28.4
39.0
58.5
83.2
100
0
20
40
60
80
100
>100
00
>100
0>5
00>1
00 >50
>25
>15
>10 >5 >2 1
Analýza citovanosti prací 1900-2005Analýza citovanosti prací 1900-2005Celkem prací 38.163.319Celkem prací 38.163.319
Citováno alespoň 1x 19.938.769 (tj.52,25%)Citováno alespoň 1x 19.938.769 (tj.52,25%)
Kvantitativní ukazateleKvantitativní ukazatele
9
Citační ohlas prací z oblasti TACCitační ohlas prací z oblasti TAC
1. Homer E. Kissinger: Reaction kinetics in differential thermal analysis, Anal. Chem. 29 (1957) 1702-1706 (5254 citací dle GS, 4629 citací dle WoS) 24.5.2012.
2. Takeo Ozawa: A new method of analysing thermogravimetric data, Bull. Chem. Soc. Jpn. 38 (1965) 1881-1886 (2491 citací dle GS, 2294 citací dle WoS) 24.5.2012.
10
Proč jsou publikace citoványProč jsou publikace citovány
- Délka názvu- Délka názvu
- Přítomnost zkratek, znaků (např. – nebo :) a určitých slov- Přítomnost zkratek, znaků (např. – nebo :) a určitých slov
- Specifické geografické vymezení- Specifické geografické vymezení
- …- …
- Aktivní/pasivní citace- Aktivní/pasivní citace
- Specifické preference (autor, zdroj, „indukční efekt“, …)- Specifické preference (autor, zdroj, „indukční efekt“, …)
- Negativní citace- Negativní citace
- Autocitace- Autocitace
11
Jorg E. Hirsch:An index to quantify an individual's scientific research output,Proc. Natl. Acad. Sci. USA. 102 (2005) 16569.2265 citací dle GS, 1017 citací dle WoS (24.5.2012)
Ncit
1 32
2 28
3 27
4 19
5 16
6 16
7 13
8 12
9 12
10 11
11 11
12 11
13 10
Hirschův indexHirschův index
12
O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall:Protein measurement with the Folin phenol reagent,J. Biol. Chem. 193 (1951) 265.
Rosebrough N.J.Suma citací 297694h-index 3
hh-index: výhody-index: výhody- Eliminuje vliv výrazně hodně/málo citovaných prací- Eliminuje vliv výrazně hodně/málo citovaných prací
hh-index: nevýhody-index: nevýhody- Výrazné rozdíly mezi obory (nelze porovnávat)- Výrazné rozdíly mezi obory (nelze porovnávat)
- S rostoucím věkem roste/neklesá- S rostoucím věkem roste/neklesá
- Při výpočtu jsou uvažovány autocitace- Při výpočtu jsou uvažovány autocitace
- Hodnota může záviset na databázi, ze které je vypočtena- Hodnota může záviset na databázi, ze které je vypočtena
- …- …
Hirschův indexHirschův index
13
Kvalitativní ukazateleKvalitativní ukazatele
Kvalita publikace = kvalita časopisu (IF)Kvalita publikace = kvalita časopisu (IF)
http://www.garfield.library.upenn.edu/
IF = IF = Garfield story Garfield story ......Science, Vol:122, No:3159, p.108-111, July 15, 1955Citation Indexes for Science:A New Dimension in Documentation throughAssociation of IdeasEugene Garfield, Ph.D.
cit (2010/ 2008) cit (2010/ 2009)2010
pub(2008) pub(2009)
IFN N
N N
SCImagoCites per Doc.(2y)
14
IF: nevýhodyIF: nevýhody- Výrazné rozdíly mezi obory (nelze porovnávat)- Výrazné rozdíly mezi obory (nelze porovnávat)
- Závisí na charakteru časopisu - Závisí na charakteru časopisu (obecný/specializovaný,(obecný/specializovaný,
původní/přehledné články, jazyk, …)původní/přehledné články, jazyk, …)
- Při výpočtu jsou v některých případech - Při výpočtu jsou v některých případech uvažovány různé uvažovány různé soubory pro publikace a citace soubory pro publikace a citace (Letters to Editor)(Letters to Editor)
- Při výpočtu jsou uvažovány autocitace- Při výpočtu jsou uvažovány autocitace
- Může se výrazně měnit v čase- Může se výrazně měnit v čase
- Nevhodné použití - není mírou kvality jednotlivé - Nevhodné použití - není mírou kvality jednotlivé práce práce
Impakt-faktor časopisuImpakt-faktor časopisu
„The use of journal impacts in evaluating individuals has its inherent dangers.“ (E. Garfield, 2005)
15
Impakt-faktor časopisuImpakt-faktor časopisu
16
Impakt-faktor časopisuImpakt-faktor časopisu
17
Lze iLze impakt-faktor časopisumpakt-faktor časopisu ovlivnit ? ovlivnit ?Proč ?Proč ?Osobní zájem vydavatelů, redaktorů i autorů.Osobní zájem vydavatelů, redaktorů i autorů.
Jak ?Jak ?Zvýšením počtu autocitací (citace na články ve stejném časopise).Zvýšením počtu autocitací (citace na články ve stejném časopise).
18
Časopisy s vysokým impakt-faktoremČasopisy s vysokým impakt-faktorem
Journal Journal (Country)(Country) CategoryCategory NNcitcit
NNpupu
bb
IFIF201201
00
A Cancer Journal for Clinicians (USA) Oncology 3962 4294,33
3
New England Journal of Medicine (USA)
Medicine, General @ Internal
37868
70853,48
6
Reviews of Modern Physics (USA) Physics, Multidisciplinary 4239 8251,69
5
Nature (GB) Multidisciplinary 6372
41765
36,104
Chemical Reviews (USA)Chemistry, Multidisciplinary
(1)1113
3337
33,036
Science (USA) Multidisciplinary 5519
21759
31,377
Nature Materials (GB) Chemistry, Physical (1) 7869 26329,92
0
Annual Review of Physical Chemistry (USA)
Chemistry, Physical (3) 649 5312,24
5
Chemistry of Materials (USA) Chemistry, Physical (15)1163
51818 6,400
Journal of Physical Chemistry C (USA) Chemistry, Physical (27)2683
85933 4.524
Journal of Chemical Thermodynamics (GB)
Chemistry, Physical (46) 1196 428 2,794
Thermochimica Acta (NL) Chemistry, Physical (71) 849 445 1,908
cit (2010/ 2008) cit (2010/ 2009)2010
pub(2008) pub(2009)
IFN N
N N
19
Body RIVBody RIV
• Články v prestižních časopisech Science a Nature (500 bodů).
• Články v mezinárodních časopisech s IF (10–305 bodů).
• Články v mezinárodních recenzovaných časopisech bez IF (Časopis musí být veden v databázi Scopus) (12 bodů).
• Články v českých recenzovaných časopisech (4 body).
• Články ve sbornících z konferencí (Sborník musí být evidován v databázi Conference Proceedings Citation Index - Science společnosti
Thomson Reuters) (8 bodů).
impmax
1 1J 10 295 ;
1 0,057 1
N PN
N P
Institucionální podporaInstitucionální podporana dlouhodobý koncepční rozvoj výzkumné organizace na dlouhodobý koncepční rozvoj výzkumné organizace
20
JJimpimp vybraných časopisů vybraných časopisů
JournalJournalIFIF201201
00
Category (Category (PPmaxmax)) PP NNavav JJimpimp
Thermochim. Acta 1,908Chem., Analytical (73)Chem., Physical (127)
3371
0,500 25,1
J. Therm. Anal. Calorim.
1,752Chem., Analytical (73)Chem., Physical (127)
3976
0,562 21,9
J. Chem. Thermodyn. 2,794Chem., Physical (127)Thermodynamics (51)
463
0,199 62,7
Polymer 3,829 Polymer Sci. (79) 9 0,103 104,6
Eur. Polym. J. 2,518 Polymer Sci. (79) 17 0,205 61,0
J. Alloy Compd. 2,138
Chem., Physical (127)Mater. Sci., Multi (225)
Metall. Metall. Eng., (76)
63505
0,255 50,2
J. Non-Cryst. Sol. 1,492Mater. Sci., Ceramics
(25)Mater. Sci., Multi (225)
486
0,252 50,7
1 bod ≈1 bod ≈
21
České univerzityČeské univerzity
NázevNázev CelkemCelkem Na 1 a.p.Na 1 a.p.Univerzita Karlova, Praha 513337,71 148,15
ČVUT, Praha 211795,96 141,16
Masarykova Univerzita, Brno 197255,59 139,41
VUT, Brno 134933,71 135,26
Univerzita Palackého, Olomouc 122834,71 107,44
VŠCHT, Praha 79556,49 191,93
Jihočeská univerzita, České Budějovice
65244,23 110,96
Západočeská Univerzita, Plzeň 62430,50 75,94
Univerzita Pardubice 56924,88 110,96
VŠB-TU, Ostrava 52307,64 51,47
Body RIV v r. 2011 (2006-2010)Body RIV v r. 2011 (2006-2010)
1 bod ≈1 bod ≈
22
Hlavní nedostatkyHlavní nedostatky
Kvalita vědecké práce je velmi obtížně Kvalita vědecké práce je velmi obtížně kvantifikovatelná.kvantifikovatelná.
Běžně užívané kvantitativní indikátory mají Běžně užívané kvantitativní indikátory mají řadu řadu zřejmých a obecně známých nedostatků, zřejmých a obecně známých nedostatků, jejich jejich hodnoty lze cíleně manipulovat.hodnoty lze cíleně manipulovat.
Kvantitativní ukazatele jsou mnohdy nevhodně Kvantitativní ukazatele jsou mnohdy nevhodně užívány a užívány a všeobecně přeceňovány.všeobecně přeceňovány.
Důsledkem současného systému Důsledkem současného systému hodnocení vědy pouze/zejména podle hodnocení vědy pouze/zejména podle
počtu a kvality publikací vede počtu a kvality publikací vede k nadprodukci publikací a k účelové k nadprodukci publikací a k účelové
manipulaci s citacemi.manipulaci s citacemi.
23
Lze to i jinak ?Lze to i jinak ?
Projekt „Technopolis“Projekt „Technopolis“ – – Mezinárodní audit VVI v Mezinárodní audit VVI v ČR (2010-11)ČR (2010-11)
Různé Různé aspektaspektyy vědní politiky včetně hodnocení organizací vědní politiky včetně hodnocení organizací zabývajících se VEVIzabývajících se VEVI
Systém není optimální – změna je nevyhnutelná.Systém není optimální – změna je nevyhnutelná.
Změny provádějte pomalu, aby systém mohl přirozeně Změny provádějte pomalu, aby systém mohl přirozeně reagovat na měnící se podmínky.reagovat na měnící se podmínky.
Nepoužívejte pouze přístupy založené na kvantitativních Nepoužívejte pouze přístupy založené na kvantitativních indikátorech (body RIV), kombinujte je s jinými principy indikátorech (body RIV), kombinujte je s jinými principy rozdělování zdrojů (posouzení nezávislými experty, rozdělování zdrojů (posouzení nezávislými experty, posouzení přínosů, sebehodnocení).posouzení přínosů, sebehodnocení).
Berte v úvahu rozdíly mezi jednotlivými vědními obory.Berte v úvahu rozdíly mezi jednotlivými vědními obory.