Wer kennt das nicht: Man schreibt einen Artikel (oder auch einen Antrag) und bekommt ein Feedback von zwei oder gar drei Gutachter/innen und fühlt sich nach dem Lesen der Gutachten missverstanden, falsch beurteilt, unnötig in eine bestimmte Richtung abgestempelt etc. Gut, manchmal ist es „nur“ der normale Ärger, den fast jeden befällt, wenn Kritik zu heftig oder umfangreich ausfällt. Manchmal zeigt einem der zweite Blick am nächsten Tag, dass Kritikpunkte gerechtfertigt sind, dass der Beitrag noch nicht „reif“ war oder dass es keine Passung gab zwischen den wissenschaftlichen Auffassungen des Autors und des Gutachters. Manchmal ist man aber einfach nur fassungslos (und darüber habe ich in diesem Blog auch schon öfter relativ ehrlich berichtet): Genau so ist es gerade Peter Baumgartner ergangen, der hier ausführlich über seine Erfahrungen bei der Begutachtung eines Textes zum Musteransatz in der Didaktik im Kontext der Jahrestagung der Gesellschaft für Medien in der Wissenschaft (GMW) berichtet. Grund für den Ärger ist, dass das „Peer Review“ (double blind) keine Peers zusammenbringt, sondern dass Gutachter in die Lage kommen (bzw. sich bringen lassen), zu sagen: „Ich hab keine Ahnung, machs aber trotzdem“.

Es hat schon fast satirischen Charakter, wenn Peter die Vorbemerkungen der Gutachter/innen zu seinem Beitrag (wie folgt) zitiert:

Ich muss vorweg anmerken, dass ich weder mit der Theorie von Christoph Alexander, noch mit den Diskussionen in der Didaktik vertraut bin.(1. Satz im Gutachten 1)

Vorab möchte ich darauf hinweisen, dass mir die von Alexander entwickelten architektonischen Gestaltungsprinzipien und das Konzept der räumlich definierten “Lebenseigenschaften” nicht vertraut waren.(1. Satz im Gutachten 2)

Ich muss zugeben, dass das Thema für mich gänzlich neu ist und ich mich bisher noch nicht mit Christopher Alexander auseinandersetzen durfte.(1. Satz im Gutachten 3)

Lassen sich auf dieser Grundlage sinnvolle Gutachten erstellen? Sicher kann man als Wissenschaftler auch seine Meinung über Texte abgeben, die einen Gegenstand behandeln, den man fachlich nicht oder nur am Rande kennt: Man kann sagen, ob man den Beitrag versteht, man kann sich darüber äußern, ob der Beitrag nachvollziehbar aufgebaut ist, man kann auf formale (auch sprachliche) Probleme hinweisen, und man kann offene Fragen formulieren und ähnliches. Aber man kann eben nicht sagen, ob der Beitrag auf dem Stand der aktuellen Fachdiskussion ist, man kann nicht die Originalität der Erkenntnisse bewerten und man kann daher vor allem auch kein wirklich stichhaltiges Votum zur Annahme oder Ablehnung abgeben.

Peter kommt in seinem lesenswerten Beitrag zu dem Schluss, dass Double Blind Reviews bestenfalls “Torhüter” seien, „die verhindern, dass inhaltlicher Schrott die Autoritätsweihe von Wissenschaft bekommt.“ An eine fachliche Weiterentwicklung der jeweiligen Themen innerhalb einer Wissenschaftsdisziplin glaubt er dagegen nicht – ich auch nicht. Ich glaube da schon lange nicht mehr dran. Immerhin hatten wir mal bei der GMW (!) einen positiv begutachteten Beitrag zum Thema Peer Review (hier) ;-). Der damals (2009) angestoßene Versuch, eine Community mit offenen Reviews aufzubauen, ist allerdings gescheitert (siehe hier). Heute sind wir mit iTeL einen ganz kleinen Schritt weiter, aber immer noch weit davon entfernt, Begeisterungsstürme auszulösen – und das obschon die skizzierten Erfahrungen, die Peter eben auch gerade gemacht hat, zuhauf die Gemüter erhitzen! Wir HABEN ein Problem, aber wir halten nach wie vor an den alten Lösungen fest – schon seltsam!

Alternativen sind Writers´ Workshops (dazu haben sowohl Peter als auch ich unabhängig voneinander schon sehr gute Erfahrungen gemacht: siehe z.B. hier). Alternativen sind ganz andere Zeitschriften-Konzepte wie das der interdisziplinären Zeitschrift „Erwägen – Wissen – Ethik“ (meine ebenfalls höchst positiven Erfahrungen dazu hier), die aber aus diversen Gründen (wie immer auch das liebe Geld) wohl in Bälde eingestellt wird (was für ein Jammer – wirklich!!). Und Alternativen sind Verfahren des Open Peer Review bzw. Open Evaluation, wie wir es bei iTeL versuchen – na ja, dazu habe ich hier ja schon genug geschrieben (hier z.B., nutzt aber nicht viel ;-)).

Peters Fazit zum Double Blind Review: „Double Blind Review-Verfahren sind wenig effizient, weil aus zeitlichen Gründen häufig nur oberflächliches Feedback gegeben wird, sich GutachterInnen manchmal fachlich nicht zuständig fühlen aber aus zeitlichen Gründen doch zu einer Bewertung angehalten werden und weil (im besten Fall) nur wenig Personen viel Aufwand betreiben und daher die Lernchance für die Scientific Community und damit für die Weiterentwicklung der Wissenschaften eingeschränkt wird.“ Ja, kann man so sagen!

Vielleicht noch eine Nachbemerkung: Kürzlich wurde ich gebeten, in einem Double Blind Peer Review-Prozess mein Gutachten „anzupassen“, denn zwei weitere Gutachten hätten wesentlich schlechtere Bewertungen abgegeben als ich. Ich habe mir daraufhin den Text eben ein zweites Mal sowie die beiden Gutachten angesehen. Ich bin zu dem Schluss gekommen, dass in der Tat von verschiedenen (fachlichen) Perspektiven aus auf den Text geschaut worden war. Das ist bei interdisziplinären Themen ja eher ein positives Zeichen. An der Stelle würde es jetzt auch interessant werden, wie man damit umgeht. Seltsam fand ich daher, dass ich mein Gutachten nun „anpassen“ sollte – anpassen an die beiden schlechteren Gutachten!? Da ich im vorliegenden Fall aber das Gefühl hatte, dass das Thema durchaus weiter weg ist von dem, was ich sonst so begutachte, habe ich dann mein Gutachten zurückgezogen, denn die eher informationstechnischen Anteile des Textes konnte ich zugegebenermaßen nicht gut beurteilen. In einem offenen Verfahren hätte man sich nun darüber mit dem Autor austauschen können, was genau hier sicher fruchtbar gewesen wäre.