Gabi Reinmann

Hochschuldidaktik

Vom Peer Review zur Umerziehung?

Ich weiß, dass man das an sich nicht macht. Ich mache es trotzdem – einen abgelehnten Forschungsantrag online stellen. Warum? Man kann es als Beitrag zum Wissensmanagement (allgemeine Infos hierzu z.B. hier) im Wissenschaftsbereich sehen: Neben „Best Practices“ können Fehlschläge ebenfalls einen Lerneffekt nicht nur für einen selbst, sondern auch für andere (Nachwuchs-)Wissenschaftler haben – also durchaus eine Form von Wissensteilung. Man kann es vielleicht auch als einen Aspekt von „öffentlicher Wissenschaft“ interpretieren, wie es Christian Spannagel vertritt. Vor allem aber möchte ich damit anregen, über ein Problem nachzudenken und zu diskutieren, das man ansonsten gerne in seiner privaten Schublade verstaut (weil man es halt AN SICH nicht öffentlich macht).

Aber zum Inhalt: Es handelt sich um einen Antrag, in dem wir unsere Erfahrungen und bisherigen praktischen Versuche wie auch theoretischen und empirischen Arbeiten zum Thema „Emotion und Lernen“ einerseits sowie „Assessment und Feedback“ andererseits heranziehen und darauf aufbauend eine Studie (im Feld) durchführen wollten. Maßgeblich an diesem Antrag beteiligt war Silvia Sippel (die mit diesem Blog-Beitrag einverstanden ist).

Ein (kürzeres) Gutachten bewertet den Antrag positiv, moniert aber die beantragten Ressourcen. Dies ist einsichtig und hätte bei einer Überarbeitung auch entsprechend geändert werden können. Auch andere Änderungsvorschläge hätten wir gerne berücksichtigt – unser Vorhaben ist/war sicher nicht frei von Mängeln. Ein zweites (langes) Gutachten dagegen kommt zu einem weitgehend vernichtenden Urteil. Um hier keine Missverständnisse aufkommen zu lassen: Bei einem Peer Review-Verfahren ist das nun einmal so und wenn man sich in dieses „Spiel“ begibt, hat man es zu akzeptieren, was selbstredend auch für mich/uns ist (Gedanken zum Thema in diesem Blog siehe auch hier, hier und hier). Allerdings bestärkt mich dieses (eigene) Beispiel mal wieder, dass es unter (sicher nicht allen, aber doch) bestimmten Bedingungen fruchtbar wäre, ein „open peer review“ durchzuführen. Ich würde zu diesen Bedingungen z.B. die Situation zählen, in der verschiedene methodische Auffassungen, letztlich auch erkenntnistheoretische Positionen aufeinanderprallen. Obschon wir bei diesem Antrag versucht haben, den Schwerpunkt auf einen quasi-experimentellen Vergleich zu legen, beinhaltet der Antrag doch auch entwicklungsorientierte Aspekte (wie ich sie z.B. hier und hier versucht habe, theoretisch zu begründen). Diese Richtung bedingt eine an mehreren Stellen andere Vorgehensweise als dies z.B. in der klassischen psychologischen oder pädagogisch-psychologischen Forschung favorisiert wird. Es wäre daher schon spannend gewesen, mehrere Meinungen auf diesen Antrag einzuholen und eine Chance zu haben, genau diese strittigen Punkte unter Peers (!) zu diskutieren. Nun gut, das Verfahren ist eben nicht so, aber man kann es ja immer wieder mal anregen, zumindest darüber nachzudenken, wo und wie man Peer Review-Verfahren auch anders gestalten bzw. Alternativen zur gängigen Praxis in unserer Disziplin ausprobieren könnte.

Kein Verständnis habe ich dagegen für einen speziellen Ablehnungsgrund, der auch im anschließenden Urteil (auf der Basis der Gutachten) formuliert wurde: Dieser Grund ist meine Publikationspraxis und die Feststellung, dass ich kaum in referierten Zeitschriften publiziert hätte, wobei gleich deutlich wird, dass hier ein recht enger Begriff von „Peer Review“ herangezogen wird (nämlich double blind reviews in fast ausschließlich englischsprachigen Journals). Unabhängig davon, dass man bereits darüber streiten kann, ob der Begriff des Peer Review in dieser Enge adäquat ist (zudem: ich mache viele Beiträge online zugänglich, sodass jeder, der es will, ein „Review“ durchführen kann), wundere ich mich schon: Habe ich ein persönliches Stipendium beantragt oder die Finanzierung eines Forschungsprojekts? Geht es um die Förderung meiner Person oder die einer Sache? Darf die Art der Publikationen (wohl gemerkt: nicht die Vorarbeiten, sondern der Ort deren Veröffentlichung) eines Antragstellers wirklich ein Kriterium für die Beurteilung der Qualität eines Forschungsantrags sein? Mir wird geraten, mich im Hinblick auf weitere Anträge diesbezüglich mehr zu engagieren. Gut gemeinter Tipp! Leider aber sind viele dieser Journals ja auch wieder so gestrickt, dass die meisten meiner Arbeiten darin eher keinen Platz finden. Ich müsste also meine Arbeit auf die Zeitschriftenpraxis abstimmen (als Wissenschaftler meint ja erst mal ganz naiv, es sollte umgekehrt sein). Was soll das werden? Ein Umerziehungsprogramm? Das macht mich schon ein bisschen nachdenklich und auch ratlos. Hier der Antrag:

Forschungsantrag

15 Kommentare

  1. Ich finde es grandios, dass du einen abgelehnten Forschungsantrag online stellst. So können wir alle aus dieser Situation lernen. Und damit meine ich nicht aus einem „schlechten Antrag lernen“ (beim (zugegebenermaßen groben) Drüberschauen hab ich eigentlich einen sehr positiven Eindruck), sondern man erhält einen Eindruck, wie Peer Reviews eigentlich gestrickt sind und dass auch renommierte Wissenschaftlerinnen wie du ähnliche Probleme damit haben. Genial wäre es eigentlich noch, wenn du die Reviews dazustellen würdest. Sie sind ja anonym… 🙂
    Und das Argument, du hättest kaum Publikationen in referierten Zeitschriften, ist meiner Ansicht nach absolut daneben.

  2. Hallo Christian,
    also ich beherrsche mich und stelle die Reviews nicht online, denn das würde das Prozedere, das eben nicht „open“ ist, verletzten und – wie oben gesagt – ich akzeptiere ja die „Spielregeln“. Würde ich das nicht tun, dürfte ich nicht einreichen. Meine eigene Arbeit dagegen kann ich auf diese Weise zugänglich machen.
    Unabhängig davon findet für meinen Geschmack zu wenig öffentlicher Diskurs über verschiedene Wege der Wissenschaft im Bereich der Bildung statt. Das vermisse ich sehr und das ist auch der tiefer liegende Grund für meine Entscheidung, dieses „Ablehnungsthema“ transparent zu machen. Forschungsdesigns und -methoden sind das Handwerkszeug jeden Wissenschaftlers, das man doch auch immer wieder kritisch hinterfragen muss, weil es schließlich, so meine ich, einer Entwicklung unterliegt, weil es verschiedene Vorgehensweisen und Instrumente gibt, die, mit unterschiedlichen Absichten eingesetzt, sicher auch zu verschiedenen Ergebnissen führen. Ich mag nicht akzeptieren, dass es hier nur ein fest definiertes Set am Möglichkeiten geben soll – jedenfalls nicht, wenn darüber nicht explizit diskutiert wird – das erwarte ich mir einfach in der Wissenschaft.
    Gabi

  3. Das erinnert mich an abgelehnte Artikel, mit Begründungen wie „Mangel an renommierten Affiliates“ und „URLs in den Zitaten“…

  4. Vielen Dank für dein Engagement!
    Ich kann mich Christian nur anschließen: Den bisherigen „Ort“ der Publikationen als Qualitätskriterium für einen Forschungsantrag zu wählen, finde ich mehr als fragwürdig.

  5. krude Logik: Wer in den erwünschten Journalen nicht publiziert hat, bekommt auch keine Projekte, die es dort zu publizieren gälte. Soviel zu Peer Review als Qualitätssicherungsinstrument …

  6. Vielen Dank für den Antrag, ist sehr spannend zu lesen!
    Schade, dass die Journal-Logik auch das imb-Team jetzt unmittelbar trifft. Mich verunsichert die Entwicklung zunehmend. Beispiel Summer School dieses Jahr. Wenn man da „traditionell“, d.h. mit einem Buch promoviert wird man schon mal bemitleidet, weil man dann ja die Publikationen noch zusätzlich machen muss.
    Wenn man dann noch zugibt, dass man gar nicht so sicher ist, in welchen A-Journals man seine Resultate publizieren möchte (und ob es in unserem Bereich überhaupt spezielle A-Journals gibt), ist eh alles zu spät: Mitleid bzw. mildes Lächeln auf der ganzen Linie…

  7. Hallo Tobias! Ich habe von den Kommunikationswissenschaftlern gelernt, was eine Schweigespirale ist. Man mag auch da die Methode kritisieren können, die hinter der Entwicklung und Überprüfung dieser Theorie steckt: Sie bringt aber doch gut auf den Punkt, was man im Wissenschaftsbetrieb auch beobachten kann, nämlich ein verschämtes Verschweigen genau dieser Erfahrungen der Etablierung einer Art „Zwei-Klassen-Forschung“. Ich halte das erkenntnistheoretisch für ein Trauerspiel!
    Gabi

  8. I have been thinking of this post all week, and I think I might be able to add to it, and support our work, by calling your attention to three places which will offer what I hope to be a helpful perspective.
    The first is a lecture, Blogging and the Transformation of Legal Scholarship, by the lawyer Laurence Solum, speaking at Harvard’s Berkman Center for Internet and Society, where he argues that blogging is associated with a dramatic reduction in the length of legal scholarship published in academic law reviews, the increasing relevance to society of that scholarship, and the phenomena of „disintermediation“ — the going around of traditional mediators — as an integral part of the new scholarship: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=898168#_jmp0_.
    The second is an interview with Chris Anderson, „The Long Tail“, appearing in the book Blogging Heroes, sub-titled „Blogging is a way to make myself smarter,“ where he describes how the publication of his „work in progress“ benefits his research and writing by giving him a chance to think out loud, so to speak, solicit comments, stake his claim on an ideal, market his idea, build community, and so advance his thought and work and place in his community of peers: http://www.longtail.com/bloggingheroes.pdf.
    The first offers an historical view that suggests, as I characterized it, dramatic changes in the disciplines whereby blogging offers powerful new ways of working that complement traditional publication and peer review by offering rich opportunities in smaller, more transparent, interactive, communicative, and collaborative ways and ways that help overcome the inherent limits of peer review, including, the very long periods of time to publication, the very limited forms of participation, its often narrowly mediating, exclusive, „gate-keeping“ role. The second offers a view into the subtle, interactive, suggestive, and conversational nature of scholarly work in general, including, how we all benefit through engaging others at every step of the research process and how the new web practices support „beta testing“ of ideas — that wonderfully productive and fun work that open source software development communities routinely enjoy.
    The third link is to a tag on one of my Delicious sites to a collection of blogs I made in 2007 in the natural sciences and designed to show that one finds blogging at many, many steps of the research process, and clearly, offering scientists wonderful opportunities to share their work and find valuable support: http://delicious.com/bruce.spear/science-blogs.
    Following these links, I think you will recognize immediately that we are part of something new and quite wonderful, something that benefits us and our work … and simply too bad for those who are not enjoying this, and simply how foolish are those who are trashing us and getting in our way, for example, those on a program committee for a recent „e-learning“ conference who rejected my application to talk on twitter based on my submission of a blog post, How We Twitter (http://brucespear.com/how-we-twitter/), because it did not conform to the print publication requirements (they had no trouble finding my article online and published an online version nonetheless): „NOTE: This reviewer finds it completely unacceptable (not to say scandalous) to submit just the text of a homepage which does not at all respect the conventions of a scientific paper to a high-level conference such as … without doing any modifications/adjustments in the a priori existing text (… and even worse than that, having eliminated some of the original formatting being indispensable for an understanding of the structure of the text), cf. http://brucespear.com/how-we-twitter (Access, Thursday April 9, 2009)“ — and this for a conference where Twitter made a spectacular appearance and was the subject of considerable debate then and thereafter. The author was formally and procedurally correct, but in respect to me and what turned out to be one of the hottest topics of the conference, this move is of questionable relevance and functioned to block the participation of a well-informed member of the community and deprive the other members of an opportunity to discuss something that was on most everyone’s mind. If ever there was a need for „disintermediation“ it was, and remains, here.

  9. Erst mal tausend Dank für diese vielen interessanten Links. Ich werde ein paar Tage brauchen, bis ich diesen nachgegangen bin – ein erster Blick in die Links verspricht interessante Lektüre! Danke auch für das Beisteuern eigener Erlebnisse, wozu ich an der Stelle noch kurz etwas sagen möchte. Was „Konventionen“ betrifft (also z.B. auch die im Beispiel genannte „Form“), bin ich durchaus hin- und hergerissen. Werner Sesink hat in seinem Buch „Einführung in das wissenschaftliche Arbeiten“ (7. Auflage) einen Abschnitt über „Formvorschriften und -konventionen“ (Seite 11-13), die er einerseits als „gute Manieren des Wissenschaftsbetriebs“ bezeichnet und andererseits auch als Hilfe für die gegenseitige Verständigung, was über bloße Gepflogenheiten hinausgeht. Fortschritt und Wandel gibt es aber eben oft nur dann, wenn Konventionen ab und zu verlassen werden, wobei es sicher sinnvoll ist, trotzdem in irgendeiner Form (da mag es Unterschiedliches geben) anschlussfähig zu bleiben. In deinem Beispiel war es ganz klar der Inhalt und noch dazu die Passung des Inhalts zur Form, welche diese Anschlussfähigkeit an sich sicherstellt. Es scheint im Wissenschaftsbetrieb schwer zu fallen, trotz der berechtigten Forderung nach Konventionen auch einen Wandel zuzulassen, der die „Sache“ voranbringen könnte. Übrigens: Sehr spannend zu lesen sind Briefwechsel von bekannten Wissenschaftlern (z.B. Albert und Feyerabend oder Albert und Popper), die zeigen, dass dieses Problem so neu nicht ist.
    Gabi

  10. Pingback: e-Denkarium » Blog Archiv » Up-to-date, broad and authoritative

  11. Liebe Gabi
    Ich hatte mir gleich nach dem Lesen Deines Beitrags die ganzen Probleme im Wissenschaftsbetrieb von Zitier- und anderen -kartellen über Kritikrisiko und ProfessorInnendemut bis hin zur Vereinsmeierei von der Seele geschrieben. Gut, wenn man so emotionsgeladene Texte dann mal ein paar Tage ruhen lässt 🙂 Dass ich dies nun nicht öffentlich mache hat letztendlich nichts mit Befürchtungen zu tun, sondern mit der Frage, wer solche Kritik auch sinniger Weise äussert und ob dies in der Form überhaupt zielführend ist. Zum Schluss war ich mir dann auch nicht mehr sicher, ob ich Dich überhaupt in Deinem Anliegen richtig verstanden habe.
    Ich sehe in Deinem mutigen Beitrag nur die Spitze eines Eisbergs an Problemen und den Anfang einer notwendigen Auseinandersetzung mit meines Erachtens tiefgreifenden Problemen in der bisherigen Forschungs- und Wissenschaftspraxis.
    Wie Du aber richtig bemerkst, sind die eigenen Idealvorstellungen einer sich gegenseitig respektierenden und freien Wissenschaft wohl so noch nie existent gewesen. Die Thematisierung der Missstände ist sicherlich ein erster wichtiger Schritt, um in den Diskurs über die Grundsätze wissenschaftliche Moral zu kommen. Der andere Weg zur Veränderung führt über die Lehre und die neue Generation.
    So lange die Anpassung an die gegebenen Konventionen über „drin“ und „draussen“ (in der Community) entscheidet, nimmt in erster Linie die Wissenschaft Schaden. Und nicht nur die: Macht man sich mal bewusst, wie u.a. die Förderpolitik Einfluss auf Erkenntnisgewinn und damit auch das Leben nimmt, wird das Ausmass erst richtig deutlich.

  12. Lieber Matthias,
    es ist an sich kein Wunder, dass du unsicher bist, verstanden zu haben, was meine Botschaft ist. Es ist deswegen kein Wunder, weil man bei diesem Thema sehr leicht missverstanden werden kann. Ein erstes Missverständnis z.B. wäre die Folgerung, dass Peer Reviews nichts taugen. Das nämlich meine ich nicht (im Gegenteil!), aber ich denke, man kann Peer Reviews (a) multipler (je nach Zweck) gestalten und allem voran (b) verändern und verbessern. Ein zweites Missverständnis wäre, dass der Beitrag einen ganz speziellen Antrag (nämlich den abgelehnten) thematisieren will. Auch das ist nicht meine Intention. Vielmehr geht es mir darum, mit dem Beispiel die Schwierigkeit aufzuzeigen, die sich auftut, wenn das Urteil über „richtige“ Forschungsauffassungen und -methoden monopolisiert wird, wenn Mechanismen (z.B. die Abhängigkeit von Forschungsgeldern) in Gang kommen, die einen offenen Austausch an wissenschaftlichen Meinungen verhindern oder zumindest erschweren. Einige haben mir z.B. nach dieser Ablehnung gesagt, dass sie sich gar nicht erst unter dieses „Joch“ begeben und z.B. lieber Drittmittel aus der Industrie akquirieren (wobei man dann ja nur einem anderen Joch unterliegt). Das ist verständlich, zementiert aber den Status quo und führt genau zu keiner fachlichen Auseinandersetzung.
    Eine „freie Wissenschaft“, die du thematisierst, ist ein Ideal. Ich glaube, Realität war das wohl noch nie, was aber kein Grund ist, an diesem Ideal nicht festzuhalten. Die digitalen Technologien bieten uns heute aber mehr Möglichkeiten und führen vielleicht zu neuen Wegen, Freiräume in der Wissenschaft zu gestalten. Ich bleibe also trotz allem Optimist 🙂 (jedenfalls bis man mir den Hahn ganz zudreht ;-))
    Gabi

  13. Pingback: Randnotizen » Wissenschaftsbetrieb und Konventionen

  14. Pingback: e-Denkarium » Blog Archiv » Nicht besser werden wollen?

  15. Pingback: e-Denkarium » Blog Archiv » Keine Wissenschaft