Angesichts unserer ersten Gehversuche in Sachen „Peer Review mal anders“, sammle ich gerade, was mir zum Thema Peer Review in die Hände fällt. Dabei muss ich natürlich feststellen, dass fast alle Überlegungen, die wir im Kontext der bisher noch nicht so erfolgreich laufenden Community „(Bildungs-)Wissenschaftler 2.0“ vor Augen haben, schon länger im Gespräch sind. Nun, vielleicht wäre es tatsächlich besser gewesen, dies zunächst einmal aufzuarbeiten, aber dann kommt das halt jetzt in nächster Zeit. Mir ist das Thema SEHR wichtig, denn Peer Reviews spielen eine herausragende Rolle für die Entwicklung von Wissen einerseits und für wissenschaftliche Karrieren andererseits.

Aus den zahlreichen, in den meisten Fällen aber durchweg englischsprachigen Beiträgen (wiederum am häufigsten bezogen auf Naturwissenschaften, vor allem Medizin) zu diesem Thema, möchte ich an dieser Stelle exemplarisch auf EIN lesenswertes Beispiel aufmerksam machen:

Smith, S. (2006). Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicin, 99, 178-182. Online hier.

Smith war jahrelang Herausgeber einer britischen Zeitschrift für Medizin (BMJ) und hat dort das Thema Open Access und neue Formen des Review-Prozesses vorangetrieben. Der Beitrag ist eine gute und verständliche Einführung in das Thema Peer Review – und unterhaltsam zu lesen obendrein. Gleich zu Beginn stellt Smith die aus meiner Sicht wichtige Frage, wer den eigentlich ein „Peer“ ist, wobei er da vor allem inhaltliche Differenzierungen (genau das gleiche Fachgebiet oder „nur“ die gleiche Disziplin etc.) vorschlägt. Genauso unklar aber finde ich, wie das mit den unterschiedlichen Expertise-Levels (also Fachwissen plus Erfahrung) bei solchen Begutachtungen ist. Darüber habe ich bisher noch nichts gefunden. Nachdem das Feld, was man als Peer Review gelten lassen kann, abgesteckt ist, kommt die Frage, ob das Peer Review-Verfahren denn „funktioniert“. Nun ist das natürlich eine Frage der Ziele, die man verfolgt. Selektion funktioniert natürlich auf jeden Fall – aber um welchen Preis? Smith ist hier eher nüchtern – er kennt viele Beispiele, in denen der Erfolg beim Peer Review eher dem Knacken eines Jackpots gleicht. Dem Faktor Zufall komme eine eminente Bedeutung zu. Bei seiner Analyse, was denn die Defizite des klassischen Per Reviews sind, clustert er die Probleme in vier Gruppen: Peer Reviews sind (a) langsam und teuer, (b) inkonsistent (in mehrfacher Hinsicht), (c) fehlerbehaftet mit einer starken Tendenz zum Matthäus-Effekt (wer hat, dem wird gegeben) und (d) immer in Gefahr, missbraucht zu werden. Und wie könnte man es besser machen? Hier sammelt er in aller Kürze die bisherigen Problemlöseversuche, nämlich: die Identität der Autoren verbergen (was aber schwer ist), Reviewer trainieren, den gesamten Review-Prozess öffnen und (Achtung) der Wissenschaft mehr Vertrauen schenken. Interessant ist, dass Smith von Versuchen berichtet, bei der Zeitschrift BMJ einige dieser Verfahren zu selbst testen und experimentell zu überprüfen (vor allem „blind“-Verfahren und Training) – leider ohne dass es Verbesserungen gab.

Am meisten überzeugt hat mich in der Literatur bisher das Verfahren, das bei der Zeitschrift Atmospheric Chemistry and Physics angewandt wird. In aller Kürze wird das Vorgehen, das auf eine Öffnung des Review-Prozesses setzt, dabei aber Elemente des klassischen Peer Reviews beibehält, von Pöschl und Koop hier beschrieben. Ebenfalls lesenswert und natürlich auch online abrufbar, nämlich hier! Was mich wirklich wundert ist, dass es dazu im deutschsprachigen Raum so wenige Nachahmer gibt, und dass vor allem die Bildungswissenschaften auf diesem Sektor weit hinter den Naturwissenschaften liegen. Wenn das keine Herausforderung ist :-).

Nachtrag: Noch eine interessante (sicher schon längst bekannte) Fundstelle zum Thema im Kontext des Open Access befindet sich hier. Darin findet sich auch ein weiterer Artikel vom oben zitierten Modell, beschrieben von Pöschl.