Ja, ich habe mich schon oft für das Open Peer Review stark gemacht (dazu z.B. ein Beitrag im GMW-Jahresband von 2010 hier auf den Seiten 218-229). Und ja, die bisherigen eigenen Versuche waren nicht erfolgreich: Mit Christian Spannagel gab es mal den Versuch, eine Art informelle Review-Plattform aufzubauen – hat aber nicht funktioniert, und unsere Erkenntnis war damals, dass eine solches öffentliches gegenseitiges Begutachten nur im Zusammenhang mit einer Zeitschrift sinnvoll ist. Mit iTeL (siehe hier) haben wir dann genau so einen Versuch gestartet, aber auch hier sind die Probleme noch zu groß und der Weg offenbar noch nicht der richtige, um das heute gängige Peer Review-Verfahren zu verbessern. Unterschätzt habe ich unter anderem das Problem, das entsteht, wenn Beiträge z.B. handwerklich verbesserungsbedürftig sind. Die dann erforderlichen Rückmeldungen können in einem Open Peer Review peinlich wirken, schrecken vor allem weniger erfahrene Autor/innen ab und bringen Leser/innen freilich auch wenig. Ich hatte wahrscheinlich zu sehr an die (spannenderen) Fälle gedacht, in denen es nicht (nur) um sprachliche und formale Probleme und andere handwerkliche Mängel geht, sondern um inhaltliche Auseinandersetzungen, um den Streit zwischen verschiedenen Auffassungen, aus denen dann Ablehnungsgründe generiert werden. Und genau das nämlich würde durch ein öffentlich sichtbares Review eher zu einem interessanten Diskurs führen und weniger zu einseitigen Selektionsmechanismen.

Vor einiger Zeit habe ich auf einen aus meiner Sicht sehr instruktiven Beitrag von Kriegeskorte (siehe hier bzw. direkt zum Text hier) verwiesen. Seine Ideen habe ich nun in einem aktuellen Beitrag in Forschung und Lehre von Margit Osterloh und Alfred Kieser wiederentdeckt (hier). Es lohnt sich in jedem Fall, den am Ende des Beitrags angegebenen ausführlichen Artikel zu lesen (Osterloh M. & Kieser A. (2015). Double-Blind Peer Review: How to Slaughter a Sacred Cow. In I. Welpe, J. Wollersheim, S. Ringelhan & M. Osterloh (Hrsg.), Incentives and Performance – Governance of Research Organization (307-324). Heidelberg: Springer).

Sowohl Kriegeskorte als auch Osterloh und Kieser sprechen sich letztlich dafür aus, mehr und intensiver mit neuen Formen des Peer Review zu experimentieren und den potenziellen wissenschaftlichen Gewinn einer inhaltlichen Auseinandersetzung zu nutzen anstatt einem Zahlen-Spiel (Zeitschriften-Rankings, Impact-Faktoren) zu frönen, das zu Manipulation einlädt und die intrinsische Motivation am Erkenntnisgewinn langsam, aber sicher ruiniert. Oder wie Osterloh und Kieser es formulieren: „Manche mögen es als nachteilig ansehen, dass Lesen und Argumentieren aufwendiger ist als Zählen. Aber Argumentationspflicht erzieht zur intellektuellen Bescheidenheit.“

Die Kritik am (anonymen) Peer Review ebenso wie an quantitativen Evaluationskriterien zur Bewertung von Forschungsleistungen gibt es nun schon lange. Der ausführliche Beitrag von Osterloh und Kieser liefert eine ganze Menge Argumente wie auch empirischer Befunde, die dazu bereits veröffentlicht sind. Trotzdem scheint das nichts zu nutzen. Inzwischen werden sogar Dissertationen kumulativ geschrieben, das einen früh auf dieses Spiel einstimmt – ein Spiel, dessen Regeln sich nicht mehr danach richten, was publiziert wird, sondern wo publiziert wird.

Mich beschäftigt das Thema weiterhin, das heißt: Ich bin nach wie vor auf der Suche nach einem Peer Review-Modell (bzw. versuche mich selber daran), das einerseits die bereits gemachten Erfahrungen berücksichtigt und andererseits das Ziel im Auge behält, dass wissenschaftliches Peer Review nicht einfach nur der Selektion dienen darf, sondern eben auch der Verbesserung und dem Diskurs. Und wie extrem fruchtbar der Diskurs sein kann, das habe ich zumindest einmal bei der Zeitschrift Erwägen – Wissen – Ethik erleben dürfen (siehe hier). Auch das, was da abläuft,  ist Peer Review, aber eben mit einer ganz anderen Intention und mit anderen Folgen als man es bei den „high-ranked journals“ praktiziert!