„This is a report about the use and misuse of citation data in the asssessment of scientific research“. So beginnt ein online (hier) zugänglicher Artikel der International Mathematical Union (IMU) in Kooperation mit dem International Council of Industrial and Applied Mathematics (ICIAM) und dem Institute of Mathematical Statistics (IMS) – Herausgeber also, denen wir aus den Sozial- und Bildungswissenschaften gemeinhin den Status der Objektivität schlechthin zugestehen und von denen wir sicher sein dürfen, dass sie Fragen zu statistischen Konzepten perfekt bearbeiten können. Zu den „citation data“ gehören u.a. der bekannte Zitationsindex – also die Frage, wie oft wird jemand wo zitiert, wobei das Wo eine wichtige Rolle spielt – und auch der sog. Impact Factor (einen guten Überblick gibt hierzu z.B. Peter Baumgartner hier), der zeigen soll, wie wichtig und angesehen z.B. einer Zeitschrift ist, in der es sich für einen Forscher folglich zu publizieren lohnt. Dass nun diese quantitativen Maße keineswegs, wie erhofft, objektiver sein müssen als Gutachten und andere qualitative Bewertungen (wie z.B. Peer Reviews, die aber im Übrigen bei einer Zeitschrift mit Impact Factor im Prozess auch eine zentrale Rolle spielen) ist Gegenstand des Beitrags mit dem Titel „Citation statistics“.

Die Autoren beklagen, dass Zitationsdaten viel zu wenig erforscht sind, dass es einen naiven Glauben an Zahlen (und deren unanfechtbare Objektivität) gibt und dass Missbrauch mit diesen Zahlen stattfindet: Das gelte für die Beurteilung von Zeitschriften ebenso wie die von Artikeln oder einzelnen Forschern. Vor allem dreht man sich mitunter im Kreis, wenn man die Güte einer Zeitschrift daran festmacht, wie „berühmt“ (quantitativ betrachtet natürlich) deren Autoren sind und deren Forscherqualitäten wiederum daran gemessen werden, wie angesehen die Zeitschriften sind, in denen sie publizieren. Dabei geht es den Autoren nicht darum, statistische Konzepte aus dem Assessment von Forschung und Forschern zu verbannen. Zurecht aber stellen sie fest, dass z.B. das alleinige Vertrauen auf den Impact Factor zur Beurteilung einer Fachzeitschrift dem Versuch gleichkommt, die Gesundheit einer Person nur am Körpergewicht festzumachen.

Danke an Joachim Kahlert, der mich auf diesen Artikel hingewiesen hat. Er ist ein wichtiger Beitrag für mehr Ausgewogenheit und Besonnenheit sowie gegen die Verabsolutierung effizient handhabbarer Instrumente im Zeitalter von Evaluationen und Rankings, welche die Komplexität der (Forscher-)Welt so schön reduzieren können.