möglichkeiten und grenzen bibliometrischer analysen · 2 journal a 2,345 4,69 1 journal b 10,114...
TRANSCRIPT
Mitg
lied
de
r H
elm
ho
ltz-G
em
ein
sch
aft
Möglichkeiten und Grenzen bibliometrischer Analysen
Dr. Dirk Tunger | Forschungszentrum Jülich | 08. Februar 2013
Folie 2
Therefore it is suggested that a better name for this
subject [statistical bibliography] is BIBLIOMETRICS, i.e.
the application of mathematics and statistical methods to
books and other media of communication.
(Alan Pritchard, 1969)
Was ist Bibliometrie?
Folie 3
Bibliometrie ist definiert als “Anwendung mathematischer und
statistischer Methoden zur Erklärung der Prozesse von
schriftlichen Mitteilungen”
Das verwendete Instrumentarium ist die Zählung und die Analyse
der verschiedenen Aspekte von Wissenschaftskommunikation in
schriftlicher Form.
Definition von Bibliometrie nach Gorraiz
Definition von Bibliometrie
Folie 4
Definition von Bibliometrie nach Pritchard (1969)
Definition von Bibliometrie
Alan Pritchard: Statistical Bibliography or Bibliometrics?,
Journal of Documentation, Vol. 25, Nr. 4, S. 348f, 1969
„… the application of mathematics and statistical
methods to books and other media of communication.“
Folie 5
Historische Entwicklung
1927: P. L. K. Gross und E. Gross nutzten zum ersten Mal Zitate als bibliometrische Datenquelle für eine Untersuchung chemischer Zeitschriften
1934: Das Wort „bibliométrie“ wird von Paul Otlet benutzt
1903: James McKeen Cattells systematische Statistiken über Wissenschaft im Fach Psychologie
1917: Untersuchung zur Anatomie-Literatur (1550 -1860 von Francis Joseph Cole und Nellie Eales) „The history of comparative Anatomy“
Folie 6
1955: Erstes Paper zum Science Citation Index von Eugene Garfield
1963: De Solla Price´ „Little Science, Big Science“
1966: G. M. Dobrovs „Nauka Nauke“
1969: Begriff „Bibliometrics“ wird von Alan Pritchard vorgeschlagen: „[…] the application of mathematics and statistical methods to books and other media of communication“.
2004: Definition nach Juan Gorraiz: Bibliometrie ist die “Anwendung mathematischer und statistischer Methoden zur Erklärung der Prozesse von schriftlichen Mitteilungen”.
Historische Entwicklung
Folie 7
Informationen allgemein (Informetrie)
Real vorhanden (Bücher, Zeitschriften, Menschen etc.)
Virtuell vorhanden (Web, Datenbanken, etc.)
Wiss. Wissen und Informationen (Szientometrie)
Publikationen (Bibliometrie)
Patente (Patentometrie)
Webdokumente, Datenbanken (Webometrie)
Begriffsabgrenzungen
Folie 8
Grundlagen wissenschaftlicher KommunikationWarum teilt ein Wissenschaftler seine neuen Ergebnisse mit?
Reputation erlangen
Fortschritt der Disziplin
Finanzielle Verwertung
Um Rechenschaft abzulegen
Folie 9
Grundlagen wissenschaftlicher KommunikationWie teilt ein Wissenschaftler seine neuen Ergebnisse mit?
Publikation
Patent
Konferenzbeitrag
Persönliches Gespräch
Zusammenarbeit
Vortrag
Folie 10
Grundlagen wissenschaftlicher KommunikationIn welcher schriftlichen Form publiziert ein Wissenschaftler Ergebnisse?
Zeitschriftenaufsatz
Rückblick (review)
Konferenzbeitrag
Buch
…
Folie 11
Grundlagen wissenschaftlicher KommunikationWarum ergibt sich der Wunsch, Wissenschaft zu evaluieren?
Überblick über Forschung
Effizienz von Forschung
thematische Entwicklung
Feststellung der Reputation
Bestandspflege in Bibliotheken
Folie 12
Beispiele aus der Naturwissenschaft
• Steigende Anzahl wissenschaftlicher Artikel
• Steigende Zahl an Patenten
• Steigende Zahl an Zitationen
• Steigende Zahl an Versuchsergebnissen
Die Produktion von Daten nimmt ständig zu
Grundlagen wissenschaftlicher Kommunikation
Folie 13
Eine permanente Steigerung des Outputs verringert die Zeit, einzelne
Ergebnisse wahrzunehmen
Beispiele:
• Begrenzte Aufnahmekapazität von schriftlicher
Kommunikation
• Begrenzter Raum für Fussnoten
• Begrenzter Raum für die Anwendung von
Erfindungen
Grundlagen wissenschaftlicher Kommunikation
Folie 14
Wissenschaftskommunikation
(De Solla Price: Little Science –
Big Science, 1963)
Folie 15
Entwicklung von Publikationszahlen
Folie 16
Kooperation von Wissenschaftlern
Folie 17
Der Science Citation Index
Folie 18
Der Science Citation Index
Folie 19
Der Science Citation Index
Folie 20
Der Science Citation Index
Folie 21
Die Idee
Folie 22
Siehe hierzu
Science indicators revisited - Science citation index
versus SCOPUS: A bibliometric comparison of both
citation databases in: Information Services and Use,
Volume 26, Issue 4, 2006, Pages 293-301
ZitationsindicesScopus
Folie 23
ZitationsindicesGoogle Scholar
Folie 24
Es ist doch eigentlich alles ganz einfach ...
Im Fokus stehen Forschungsinstitutionen als Urheber
eines ständig wachsenden, multidisziplinären
wissenschaftlichen Outputs. Diese stehen im Wettbewerb,
international zu den führenden Einrichtungen ihrer Disziplin
zu gehören und dies auch durch die Wahrnehmung ihrer
Veröffentlichungen zu dokumentieren.
(Price, 1963)
Folie 25
... aber hier gehen die Probleme schon los!
… there is a need, to document the publication output and
its perception performance in the scientific community.
But: the disciplines of the institutes research are very
different and the work is often multidisciplinary.
“Citation (and publication) practices vary between fields and
over time.“
(Garfield 1989)
Folie 26
Was viele gerne hätten ...
Folie 27
STM-Publikationen weltweit im SCI
Folie 28
STM-Publikationen weltweit im SCI
(aus Craig & Ferguson, 2009, S. 163)
Folie 29
... und warum es das nicht gibt!
Es gibt keinen 'Superindikator', der die Frage nach der
Qualität wissenschaftlicher Arbeit ultimativ beantworten
würde. Die Frage nach der Qualität von Forschungs-
ergebnissen wird nicht beantwortet, sondern ersetzt
durch Informationen, die verschiedene Aspekte
wissenschaftlicher Aktivität und des 'Erfolges' dieser
Aktivität sichtbar machen.
(Hornbostel, 1997)
Folie 30
Warum Bibliometrie?
• Output nimmt ständig zu, …
• … die Aufnahmefähigkeit von Wissenschaftlernaber nicht (Bibliometrie als Ordnungsinstrument)
• Masse des Outputs macht Bibliometrie erst möglich
• Neue Möglichkeiten der Erkenntnis (Bibliometrie als Forschungs- und Prognoseinstrument)
• Bibliometrische Daten können dank der IT-Fortschritte mit anderen Methoden kombiniert werden (Bibliometrie als Mappinginstrument)
• Daten sind „objektiv“ (Bibliometrie als Bewertungsinstrument)
Wissenschaftskommunikation
Folie 31
Warum Bibliometrie?
• Gewinnung belastbarer, quantifizierbarer Aussagen zu wissenschaftlichen Leistungen
• Grundlage für die Einführung von leistungsorientierter Mittelvergabe in der Forschung
• Bewältigung eines Massenproblems durch Verarbeitung großer Mengen digital verfügbarer bibliometrischer Daten
Wissenschaftskommunikation
Folie 32
In der Evaluation wissenschaftlicher Arbeit mit Hilfe von Bibliometrie
sind die gestellten Leitfragen immer wieder ähnlich:
• In welchen Zeitschriften publiziert eine Einrichtung überwiegend?
• Welchen thematischen Schwerpunkt verfolgt eine Einrichtung?
• Welche Zeitschriften versprechen überdurchschnittlichen
Zitationserfolg?
• Welche Wahrnehmung erhält eine bestimmte Einrichtung im
Vergleich zu einem gewählten Benchmark auf nationaler oder
internationaler Ebene?
• Wie können unterschiedliche Einrichtungen eines
Forschungsgebietes miteinander verglichen werden?
• Wie können Einrichtungen, die auf verschiedenen
Forschungsgebieten arbeiten, miteinander verglichen werden?
• Welche Informationen erhält man aus einer veränderten oder
unveränderten Positionierung einer Einrichtung in einem Ranking
in Form eines regelmäßigen Monitoring?
(vgl.: Da Pozzo et al., 2001)
Wissenschaftskommunikation
Folie 33
P: Anzahl der Veröffentlichungen
C: Anzahl der Zitationen
CPP: Zitationsrate
%P nc: Anteil nicht zitierter Veröffentlichungen
CPP/JCSm: Zitationsrate im Vergleich zum
internationalen Journal-Durchschnitt
CPP/FCSm: Zitationsrate im Feldvergleich
CPP/D-FCSm: Zitationsrate im Feldvergleich zu Deutschland
JCSm/FCSm: Vergleich Journalimpact zu Feldimpact
% sc: Anteil der Selbstzitationen
Bibliometrische Indikatoren
Folie 34
Abhängigkeit bibliometrischer Indikatoren
Die Publikationszahl P - Größe
einer Einrichtung - Fleiß
hängt ab von: - (Qualität)
- Publikationsgewohnheit
im Fachgebiet
Die Zitationszahl C - P
einer Einrichtung - Qualität
hängt ab von: - Zitationsgewohnheit
im Fachgebiet
Die Zitationsrate CPP - Qualität
hängt ab von: - Fachgebiet
soll gemessen werden
muss normalisiert werden
Folie 35
Der Hirsch-Index ist ein Indikator, der die Zitation von zu
Grunde liegenden wissenschaftlichen Artikeln beschreibt.
Im Gegensatz zur Zitationsrate ist dieser Indikator allerdings
abhängig von der Grösse der zu Grunde liegenden
Artikelzahlen. Es werden Einrichtungen oder Personen mit
einer höheren Zahl an Veröffentlichungen bevorzugt.
Der Hirsch-Index (benannt nach J. E. Hirsch (Hirsch, 2005))
bezeichnet die Anzahl der Artikel "h" einer Einrichtung oder
Person, die mindestens h-Mal zitiert wurden.
Der h-Index
Folie 36
"A scientist has index h if h of his/her Np papers have
at least h citations each, and the other (Np − h) papers
have no more than h citations each."
(Hirsch, 2005)
Publikation 1 12 Zitationen
Publikation 2 8 Zitationen
Publikation 3 6 Zitationen
Publikation 4 4 Zitationen
Publikation 5 4 Zitationen
Publikation 6 1 Zitationen
Publikation 7 0 Zitationen
h = 4
Der h-Index
Folie 37
Definition allgemeinEin Indikator für die Anzahl der Artikel, die ein
Journal in zwei aufeinanderfolgenden Jahren
veröffentlicht hat (Publikationsfenster) und die
Anzahl der Zitationen dieser Artikel im Folgejahr.
Impactfaktor
Folie 38
Kumulativer Impact-Faktor
Summe der Journal-Impact-Faktoren (JIF)
aller Journalpublikationen einer Einheit
Anzahl Veröffent-lichungen
Journal JIF Inkre-ment
2 Journal A 2,345 4,69
1 Journal B 10,114 10,114
3 Journal C 5,777 17,331
1 Journal D 3,245 3,245
Kumulativer Impact-Faktor 35,38
Der JIF hat nur
Aussagekraft in
Bezug auf ein
bestimmtes Journal.
Es ist nicht möglich,
eine Aussage mit
Hilfe des JIF für
einzelne Artikel
abzuleiten, die in
einem bestimmten
Journal
veröffentlicht
wurden!
Folie 39
Der J-Faktor
gesI
I
S R
I
p
Sp
Scpp
ScppRIJ
,
)(
)(
)(),(
J(I,R): J-Faktor der Institution I, in Relation zum Standard R
S: Zeitschrift
CPPI(S): durchschnittliche Zitationsrate der Publikationen von
Institution I in der Zeitschrift S
CPPB(S):durchschnittliche Zitationsrate der Publikationen von
Standard R in der Zeitschrift S
pI(S): Anzahl der Publikationen von Institution I in der Zeitschrift S
pI,ges: Gesamtanzahl der Publikationen von Institution I
Folie 40
Beispielberechnung J-FaktorBenchmark Institut Berechnung
Dok. Typ Jahr Journal P C CPP P C CPP rel. CPPGewich-
tungInkre-ment
Article 2005Journal of Applied Crystallography
130 1300 10 3 9 3 30% 14% 4%
Article 2007Journal of Crystal Growth
75 450 6 5 15 3 50% 23% 11%
Review 2008Nature Reviews Immunology
14 210 15 2 60 30 200% 9% 18%
Article 2008The Journal of Immunology
150 1500 10 10 300 30 300% 45% 136%
Letter 2005American Journal of Human Genetics
16 32 2 2 6 3 150% 9% 14%
gesamt 395 22 100 % 184 %
Rechenweg für Journal of Applied Crystallography
relative CPP: 3 / 10 = 0,3 = 30 % Gewichtung: 3 Paper / 22 Paper = 14 %Inkrement: 0,3 * 0,14 = 4 %
abschliessend Summe über alle Inkremente → J = 184 %
Folie 41
Feldnormalisiertes Ranking mit J-Faktor
Feldnormalisiertes Ranking von drei Städten
98,2
100,0
105,2
108,9
90 92 94 96 98 100 102 104 106 108 110
Köln
Deutschland
Hamburg
München
relative Zitationsrate einer Stadt im Verhältnis zum Benchmark (Deutschland)
Folie 42
Ebenen bibliometrischer Analysen
• Analyse von Regionen / Ländern
• institutionelle Analyse
• Analyse auf Ebene von Arbeitsgruppen
• Analyse von Einzelpersonen
Ab
ste
ige
nd
er G
rad
an
Sta
nd
ard
isie
run
g
Folie 43
Bibliometrische Analyse von Einrichtungen
AD=(KF* OR FZJ or Rese* C* OR 52425 OR 5170 OR Res Ctr OR Forsch* OR FZ Julich OR
FZ Juelich OR Forsch* Zentr* OR 52426 OR Kernforsch* OR Nucl* Res* OR Kern Forsch*
or Kern Forch Anlage or Kern Forsh Anlage or Fortshungszentrum OR Forshungszentrum
OR Forschungszentrun OR Forschugnszentrum OR Fordchungszentrum OR FKA OR
Forchungszentrum OR Forscungszentrum OR Festkorper* OR Helmhol* OR HGF OR HZJ OR
EURATOM or NIC or neum* or JSC or supercom* or compu* or IFF or PTJ or IKP or Bra*
Ima* C* or JARA or Ctr Neutron Sci or JCNS or Jul* Aac* Res* All* or Inst Solid
State or Inst Plasmaphys or Inst Energy Res or Dynam Geosphere Agrosphere or Inst
Bio & Nanosyst or Inst Med or Inst Festkoperforsch or Inst Neurosci & Biophys or
Inst Biotechnol or Inst Chem & Dynam Geosphere or Inst Grenzflachenforsch &
Vakuumphys or Inst Schichten & Grenzflachen or Inst Thin Films & Interfaces or ISGI
or Inst Nucl Phys or Microstruct Res Inst or Inst Stratospher Chem or ICG or Res
Sch Simul* or Dept Neurosci or Inst Thin Film or Ctr Nanoelect Syst or Inst
Schichten & Grenz* or Inst Bioengn or Res C Juelich or foschungszentrum or FZ
Julichand or Proje$ttra$ger or Inst Microstruct Res or Inst Festko$rperf* or Ctr
Neutr* Scatt* or Inst Biol Informat Processing or Inst Schicht* & Grenzfla$chen or
Inst Biol Informationsverarbeitung or Inst Biol Informat Verarbeitung or Inst Thin
Film & Ion or Inst Chem Belasteten Atmosphare or Juelich Inst Biol Strukturforsch
or INST CHEM DYNAM GEOSPHARE or INST REAKTORWERKSTOFFE JULICH or HLRZ or CENT INST
ANGEW MATH or INST NUCL MAT or INST PETR & ORGAN GEOCHEM or INST CHEM TECHNOL or
INST KERNPHYS or INST REACTOR DEV or INST CHEM TECHNOL or INST REAKTORWERKSTOFFE or
KERN SCH ANLAGE JULICH or INST KERNPHYS or ZENTRALINST ANAL CHEM or Ctr Sci Res or
Inst Atmospher Chem) and ad=(Julich OR Juelich or Yulich))
Folie 44
Bei Analysen über Personen zu beachten
• Das Alter und die Position eines Wissenschaftlers sind maßgeblich für
dessen Publikations- und Zitationsdaten verantwortlich.
• Disziplinübergreifende bibliometrische Vergleiche sind generell auf
Grund unterschiedlicher Kommunikationsgewohnheiten nicht direkt
möglich.
• Auf Ebene von Personen sind bibliometrische Analysen nur bedingt
aussagekräftig auf Grund geringer Publikationszahlen.
• Wissenschaftler sollten die Zeitschrift, in der sie bestimmte Beiträge
veröffentlichen, sehr bewusst auswählen. Hierbei kann die Frage, ob
das gewählte Medium die bestmögliche Resonanz ermöglicht, als
Leitlinie gewählt werden.
Der Journal Citation Report von ISI liefert Hinweise mit Hilfe des
Impact Faktors auf die durchschnittliche Resonanz von Beiträgen.
Eine Überprüfung gibt darüber Aufschluss, ob die eigenen Beiträge
häufiger oder seltener als das gewählte Journal zitiert werden.
• Ein Wissenschaftler sollte seine Beiträge auf möglichst wenige
Zeitschriften konzentrieren.
Folie 45
Personenanalyse
• Das Alter und die Position eines Wissenschaftlers sind maßgeblich für
dessen Publikations- und Zitationsdaten verantwortlich.
• Disziplinübergreifende bibliometrische Vergleiche sind generell auf
Grund unterschiedlicher Kommunikationsgewohnheiten nicht direkt
möglich.
• Auf Ebene von Personen sind bibliometrische Analysen nur bedingt
aussagekräftig auf Grund geringer Publikationszahlen.
• Wissenschaftler sollten die Zeitschrift, in der sie bestimmte Beiträge
veröffentlichen, sehr bewusst auswählen. Hierbei kann die Frage, ob
das gewählte Medium die bestmögliche Resonanz ermöglicht, als
Leitlinie gewählt werden.
• Der Journal Citation Report von ISI liefert Hinweise mit Hilfe des
Impact Faktors auf die durchschnittliche Resonanz von Beiträgen.
Eine Überprüfung gibt darüber Aufschluss, ob die eigenen Beiträge
häufiger oder seltener als das gewählte Journal zitiert werden.
• Ein Wissenschaftler sollte seine Beiträge auf möglichst wenige
Zeitschriften konzentrieren.
Folie 46
Beispiel „Verlorener Artikel“
Fehler in Zitationsdatenbanken
Folie 47
Beispiel „Verlorener Artikel“
Fehler in Zitationsdatenbanken
Folie 48
Beispiel „Verlorener Artikel“
Fehler in Zitationsdatenbanken
Folie 49
Beispiel „Verlorener Artikel“
Fehler in Zitationsdatenbanken
Folie 50
Beispiel „Schreibfehler im Namen“
Fehler in Zitationsdatenbanken
Folie 51
Beispiel „Schreibfehler im Namen“
Fehler in Zitationsdatenbanken
Folie 52
Dr. Dirk Tunger
Forschungszentrum Jülich
Zentralbibliothek
52425 Jülich
Vielen Dank!