In der Community „(Bildungs-)Wissenschaftler 2.0“ hat Joachim Wedekind auf einen sehr interessanten Blogeintrag von George Siemens zum Thema Peer Reviews aufmerksam gemacht. In unserer Community geht es ja unter anderem um die Frage, wie man ein öffentliches Peer Review etablieren könnte, was natürlich auf kritischen Urteilen und einige Unzulänglichkeiten des klassischen Peer Reviews aufbaut. Dass das nicht leicht ist, habe ich an anderer Stelle (hier) bereits erörtert. Nun schildert Siemens seine Erfahrungen mit dem Peer Review und vieles von dem, was er sagt, kann ich nur bestätigen. Ich empfehle, den Beitrag ganz zu lesen, und möchte nur hervorheben, was ICH besonders bemerkenswert fand:

• Erstens die Gründe, weshalb klassische Peer Reviews einen mitunter unzufrieden machen: Peer Review-Verfahren sind in der Regel sehr langsam; ihre Qualität ist abhängig davon wie treffend die Auswahl der Gutachter zum Thema des Beitrags ist; und sie sind nicht auf Entwicklung (der Beiträge und ihrer Autoren) ausgerichtet.
• Zweitens die Beispiele: Siemens beschreibt, wie lange er an Artikeln, aber auch an deren Begutachtung sitzt. Die angegebenen Zeiten kann ich gut nachvollziehen. Selbst außerhalb offizieller Review-Verfahren sitze ich z.B. am Gegenlesen und Kommentieren von Texten meiner Mitarbeiter (bei ca. 12 Seiten) bis zu drei Stunden. Für ein ordentliches Review für eine Zeitschrift, benötige ich ca. vier Stunden – je nachdem wie gut oder schlecht der Text ist: Je mehr Kritik, umso länger dauert es natürlich.
• Drittens die Unzufriedenheit mit schlechten Reviews: Auch das kann ich bestätigen. Teilweise gibt es Gutachten, über die man sich nur aufregen kann, deren Inhalt deutlich zeigen, dass der Reviewer keine Ahnung vom Thema hat oder aber keine Lust hatte, den Text richtig zu lesen geschweige denn vernünftig zu kommentieren. Aber es gibt auch Gegenbeispiele (die Siemens ebenfalls schildert) – Beispiele, die zeigen, dass Reviews sowohl für den Reviewer als auch für den Autor keine verschwendete Zeit sein müssen.
• Viertens der Hinweis darauf, dass die skizzierten Probleme vor allem bei interdisziplinären Themen wie Wissen oder Lernen mit digitalen Medien weitgehend ungelöst sind. Auch da kann ich nur zustimmen. Auch wir an der Professur wissen oft nicht, in welcher Zeitschrift ein Beitrag gut aufgehoben wäre. Darüber wurde in der Community im Übrigen auch schon kurz diskutiert. Wir behelfen uns oft damit, dass wir einfach einen Arbeitsbericht daraus machen. Das geht schnell, ist online greifbar, aber leider (auch wenn mir hier mein Blog-Kommentator Her Dr. Graf wieder widersprechen wird ;-)) nicht sonderlich förderlich für die wissenschaftliche Karriere – na ja, vielleicht NOCH nicht förderlich.

Noch haben wir in unserer Community keinen systematischen Austausch von Vorschlägen für eine Entwicklung von Review-Prozessen. Joachims Link aber ist schon mal ein erster Schritt. Der Beitrag von Siemens jedenfalls umfasst ein paar Eckpunkte, an denen man ansetzen kann. Ich nehme mir auf jeden Fall vor, das Thema weiterhin oben auf der Agenda zu haben.