Ob h-Index, Journal Impact Factor oder Citation Counts: Wissenschaftliche Metriken begleiten die Karriere von Forschenden.
Definition
Was sind wissenschaftliche Metriken? Unter Bibliometrie versteht man die Anwendung statistischer Methoden zur Messung der Leistung wissenschaftlicher Publikationen. Die verschiedenen Kennzahlen, die sich daraus ergeben, werden allgemein als wissenschaftliche Metriken bezeichnet. Dabei ist zu beachten, dass mit quantitativen Methoden versucht wird, Qualität zu beurteilen.
Arten von Metriken
Metriken können sich auf verschiedene Ebenen beziehen, daher gibt es drei Arten von Metriken: Metriken, die sich auf Autor*innen, Zeitschriften oder Artikel beziehen.
Metriken, die sich auf Autor*innen beziehen, sind Zitationsmetriken, die versuchen, den Einfluss oder die Leistung von einzelnen Forschenden oder Gruppen von Forschenden zu messen. Ein bekanntes Beispiel für eine solche Metrik ist der h-Index.
Metriken auf Zeitschriftenebene versuchen den Impact bzw. die Qualität von ganzen Zeitschriften zu messen. Ein Beispiel hierfür ist der Journal Impact Factor, der auf der Datenbank Web of Science basiert und daher nur für dort indizierte Zeitschriften verfügbar ist. Ein Äquivalent zum Journal Impact Factor ist z.B. der CiteScore, der wiederum nur Zeitschriften bewertet, die in der Datenbank Scopus indexiert sind.
Metriken auf Artikelebene versuchen wiederum, den Impact, aber auch die Nutzung einzelner Artikel zu messen, z.B. durch Zitations- und Downloadzahlen.
Anwendung von Metriken
Wissenschaftliche Metriken finden in unterschiedlichen Szenarien Verwendung: zur Beförderung von Forschenden, zur Verteilung von Forschungsgeldern oder für Universitätsrankings. Auch Forschende selbst nutzen diese Kennzahlen aktiv, beispielweise, um sich für die geeignetste Zeitschrift zu entscheiden, um den eigenen Forschungsoutput zu publizieren. Dafür werden oft sogenannte High-Impact-Zeitschriften gewählt. Ob das ein relevantes Entscheidungskriterium für eine Zeitschrift darstellt, wird aber von Forschungsdisziplin zu Forschungsdisziplin unterschiedlich bewertet. Allerdings wird der Druck, in einer Zeitschrift mit hohem Journal Impact Factor zu publizieren, zunehmend kritisch gesehen.
Nachteile und Kritik
Wie eingangs erwähnt, versucht die Wissenschaftsmetrik, die Qualität von Forschungsleistungen mit quantitativen Methoden zu bewerten. Damit ist jedoch nicht gewährleistet, dass die Qualität in ihrer Gesamtheit ausreichend beurteilt werden kann.
Ein Beispiel hierfür ist der h-Index, der sich aus der Anzahl an Publikationen und deren Zitationen zusammensetzt. Ein h-Index von 10 bedeutet, dass von allen Publikationen der forschenden Person 10 Publikationen mindestens 10 Zitationen erhalten haben. Daher wird der h-Index zu Beginn einer Forschungskarriere immer niedriger sein als bei Forschenden, die bereits seit längerer Zeit publizieren, da er nie höher sein kann als die Anzahl der publizierten Artikel - auch wenn diese von hoher Qualität sind.
Darüber hinaus sind die Metriken nicht interdisziplinär vergleichbar. Jedes Forschungsgebiet hat eine eigene Publikationskultur und damit ein anderes Zitationsverhalten. Hinzu kommt, dass nicht nur unterschiedliche Disziplinen unterschiedlich zitieren, sondern auch unterschiedliche Dokumenttypen unterschiedlich häufig zitiert werden. So werden beispielsweise Reviews häufiger zitiert als Primärstudien.
In einigen Fällen wird auch nicht die geeignete Metrik für die Bewertung verwendet. Beispielsweise wenn zur Bewertung von Forschenden oder Artikeln der Journal Impact Factor herangezogen wird. Dieser kann aber nur eine Bewertung der Zeitschrift liefern. Er sagt nichts über die einzelnen Artikel oder Autor*innen aus, die in der Zeitschrift publizieren.
Ein weiteres Problem sind übermäßige Selbstzitate, die Metriken verzerren können. Wenn sich ganze Gruppen von Forschenden zusammenschließen, um sich gegenseitig zu zitieren - mit dem einzigen Ziel, höhere Zitationszahlen zu erreichen - spricht man auch von einem Zitationskartell.
Verantwortungsvoller Umgang mit Metriken
Aufgrund dieser Schwächen wissenschaftlicher Metriken ist ein verantwortungsvoller Umgang mit ihnen wichtig. Ein solcher Umgang kann bedeuten, nicht nur eine Metrik zu verwenden, sondern mehrere, um ein umfassenderes Bild zu erhalten. Zusätzlich ist es empfehlenswert, beispielsweise Expert*innen - also eine qualitative Beurteilung - zur Bewertung hinzuzuziehen, um die Forschungsleistung ganzheitlicher zu erfassen.
Es gibt auch Initiativen, die sich für einen verantwortungsvollen Umgang mit Metriken in der Wissenschaft einsetzen, beispielsweise das Leiden Manifesto oder DORA (San Francisco Declaration of Research Assessment). Zentrale Forderung von DORA ist die Abkehr vom Journal Impact Factor und anderen Metriken auf Zeitschriftenebene als Qualitätsindikator. Darüber hinaus enthält DORA auch Handlungsempfehlungen für Forschende und alle anderen Akteur*innen im wissenschaftlichen Publikationsprozess, die zu einer Veränderung bei der Forschungsbeurteilung beitragen wollen. Diese Empfehlungen beinhalten beispielsweise, in Ausschüssen zur Forschungsfinanzierung und zur Einstellung, Festanstellung oder Beförderung von Forschenden Bewertungen anhand des Inhalts von wissenschaftlichen Publikationen durchzuführen, anstelle der reinen Betrachtung von Kennzahlen. Für Empfehlungs- und Gutachterschreiben empfiehlt DORA, eine Palette an Kennzahlen für Artikel zu nutzen, um deren Bedeutung nachzuweisen, anstatt sich auf eine einzige zu stützen.
Links
