Wer kennt das nicht: Man schreibt einen Artikel (oder auch einen Antrag) und bekommt ein Feedback von zwei oder gar drei Gutachter/innen und fühlt sich nach dem Lesen der Gutachten missverstanden, falsch beurteilt, unnötig in eine bestimmte Richtung abgestempelt etc. Gut, manchmal ist es „nur“ der normale Ärger, den fast jeden befällt, wenn Kritik zu heftig oder umfangreich ausfällt. Manchmal zeigt einem der zweite Blick am nächsten Tag, dass Kritikpunkte gerechtfertigt sind, dass der Beitrag noch nicht „reif“ war oder dass es keine Passung gab zwischen den wissenschaftlichen Auffassungen des Autors und des Gutachters. Manchmal ist man aber einfach nur fassungslos (und darüber habe ich in diesem Blog auch schon öfter relativ ehrlich berichtet): Genau so ist es gerade Peter Baumgartner ergangen, der hier ausführlich über seine Erfahrungen bei der Begutachtung eines Textes zum Musteransatz in der Didaktik im Kontext der Jahrestagung der Gesellschaft für Medien in der Wissenschaft (GMW) berichtet. Grund für den Ärger ist, dass das „Peer Review“ (double blind) keine Peers zusammenbringt, sondern dass Gutachter in die Lage kommen (bzw. sich bringen lassen), zu sagen: „Ich hab keine Ahnung, machs aber trotzdem“.
Es hat schon fast satirischen Charakter, wenn Peter die Vorbemerkungen der Gutachter/innen zu seinem Beitrag (wie folgt) zitiert:
Ich muss vorweg anmerken, dass ich weder mit der Theorie von Christoph Alexander, noch mit den Diskussionen in der Didaktik vertraut bin.(1. Satz im Gutachten 1)
Vorab möchte ich darauf hinweisen, dass mir die von Alexander entwickelten architektonischen Gestaltungsprinzipien und das Konzept der räumlich definierten “Lebenseigenschaften” nicht vertraut waren.(1. Satz im Gutachten 2)
Ich muss zugeben, dass das Thema für mich gänzlich neu ist und ich mich bisher noch nicht mit Christopher Alexander auseinandersetzen durfte.(1. Satz im Gutachten 3)
Lassen sich auf dieser Grundlage sinnvolle Gutachten erstellen? Sicher kann man als Wissenschaftler auch seine Meinung über Texte abgeben, die einen Gegenstand behandeln, den man fachlich nicht oder nur am Rande kennt: Man kann sagen, ob man den Beitrag versteht, man kann sich darüber äußern, ob der Beitrag nachvollziehbar aufgebaut ist, man kann auf formale (auch sprachliche) Probleme hinweisen, und man kann offene Fragen formulieren und ähnliches. Aber man kann eben nicht sagen, ob der Beitrag auf dem Stand der aktuellen Fachdiskussion ist, man kann nicht die Originalität der Erkenntnisse bewerten und man kann daher vor allem auch kein wirklich stichhaltiges Votum zur Annahme oder Ablehnung abgeben.
Peter kommt in seinem lesenswerten Beitrag zu dem Schluss, dass Double Blind Reviews bestenfalls “Torhüter” seien, „die verhindern, dass inhaltlicher Schrott die Autoritätsweihe von Wissenschaft bekommt.“ An eine fachliche Weiterentwicklung der jeweiligen Themen innerhalb einer Wissenschaftsdisziplin glaubt er dagegen nicht – ich auch nicht. Ich glaube da schon lange nicht mehr dran. Immerhin hatten wir mal bei der GMW (!) einen positiv begutachteten Beitrag zum Thema Peer Review (hier) ;-). Der damals (2009) angestoßene Versuch, eine Community mit offenen Reviews aufzubauen, ist allerdings gescheitert (siehe hier). Heute sind wir mit iTeL einen ganz kleinen Schritt weiter, aber immer noch weit davon entfernt, Begeisterungsstürme auszulösen – und das obschon die skizzierten Erfahrungen, die Peter eben auch gerade gemacht hat, zuhauf die Gemüter erhitzen! Wir HABEN ein Problem, aber wir halten nach wie vor an den alten Lösungen fest – schon seltsam!
Alternativen sind Writers´ Workshops (dazu haben sowohl Peter als auch ich unabhängig voneinander schon sehr gute Erfahrungen gemacht: siehe z.B. hier). Alternativen sind ganz andere Zeitschriften-Konzepte wie das der interdisziplinären Zeitschrift „Erwägen – Wissen – Ethik“ (meine ebenfalls höchst positiven Erfahrungen dazu hier), die aber aus diversen Gründen (wie immer auch das liebe Geld) wohl in Bälde eingestellt wird (was für ein Jammer – wirklich!!). Und Alternativen sind Verfahren des Open Peer Review bzw. Open Evaluation, wie wir es bei iTeL versuchen – na ja, dazu habe ich hier ja schon genug geschrieben (hier z.B., nutzt aber nicht viel ;-)).
Peters Fazit zum Double Blind Review: „Double Blind Review-Verfahren sind wenig effizient, weil aus zeitlichen Gründen häufig nur oberflächliches Feedback gegeben wird, sich GutachterInnen manchmal fachlich nicht zuständig fühlen aber aus zeitlichen Gründen doch zu einer Bewertung angehalten werden und weil (im besten Fall) nur wenig Personen viel Aufwand betreiben und daher die Lernchance für die Scientific Community und damit für die Weiterentwicklung der Wissenschaften eingeschränkt wird.“ Ja, kann man so sagen!
Vielleicht noch eine Nachbemerkung: Kürzlich wurde ich gebeten, in einem Double Blind Peer Review-Prozess mein Gutachten „anzupassen“, denn zwei weitere Gutachten hätten wesentlich schlechtere Bewertungen abgegeben als ich. Ich habe mir daraufhin den Text eben ein zweites Mal sowie die beiden Gutachten angesehen. Ich bin zu dem Schluss gekommen, dass in der Tat von verschiedenen (fachlichen) Perspektiven aus auf den Text geschaut worden war. Das ist bei interdisziplinären Themen ja eher ein positives Zeichen. An der Stelle würde es jetzt auch interessant werden, wie man damit umgeht. Seltsam fand ich daher, dass ich mein Gutachten nun „anpassen“ sollte – anpassen an die beiden schlechteren Gutachten!? Da ich im vorliegenden Fall aber das Gefühl hatte, dass das Thema durchaus weiter weg ist von dem, was ich sonst so begutachte, habe ich dann mein Gutachten zurückgezogen, denn die eher informationstechnischen Anteile des Textes konnte ich zugegebenermaßen nicht gut beurteilen. In einem offenen Verfahren hätte man sich nun darüber mit dem Autor austauschen können, was genau hier sicher fruchtbar gewesen wäre.
Es ist schon interessant zu erfahren, was im Hintergrund alles abläuft.
Ich wunderte mich kürzlich auch, als ich gleich fünf Gutachten für einen interdisziplinären Beitrag erhielt. Jeder Gutachter hatte sich auf den für ihn relevanten Teil konzentriert und entsprechende Forderungen formuliert den Text zu erweitern.
Am Ende erhielt ich keine Ablehnung, sondern das Angebot den Beitrag in Kurzform, um zwei Drittel reduziert einzureichen. Paradox.
Danke für die Ergänzung. Hier kommt aus meiner Sicht noch dazu, dass es leider an Standards für die Einschätzung speziell interdisziplinärer Arbeiten weitgehend fehlt (was übrigens auch bei Dissertationen eine ziemliche Herausforderung ist). Und ja: Bitte mehr ausführen und am Ende kürzen, ist wohl eine Anforderung, über die sich viele schon gewundert und/oder geärgert haben 😉
Wenn man nach der Abgabe der ersten Version eines Gutachtens sich mit den anderen Gutachten auseinandersetzt und mit den Gutachtern über die Bewertungen und auch Maßstäbe diskutiert, die zu der Bewertung geführt haben, kann man in diesem Diskussionsprozess manchmal durchaus neue Erkenntnisse gewinnen, die zu einer veränderten Bewertung des Beitrags führen können. Es ist meines Erachtens dann durchaus sinnvoll, die erste Einschätzung zu überarbeiten und an die neuen eigenen Erkenntnisse anzupassen. Wenn sich aufgrund der Auseinandersetzung mit den anderen Gutachten/Gutachtern und der Diskussion keine neuen Erkenntnisse ergeben, so sollte man sein Gutachten auch nicht anpassen.
Ich denke, dass gerade bei interdisziplinären Beiträgen eine Diskussion zwischen den Gutachtern (ja und auch mit den Autoren!) absolut sinnvoll wäre, da u.a. auch das Forschungsdesign in den Disziplinen unterschiedlich ist.
Da stimme ich zu! Ein Abwägen ist immer dann sinnvoll, wenn deutlich wird, dass ein- und derselbe Text aus verschiedenen Perspektiven bewertet wurde und/oder wenn deutlich wird, das verschiedene Bewertungsmaßstäbe angelegt worden sind. Dann müssten allerdings auch die Bewertungsmaßstäbe prinzipiell veränderbar sein. Zudem müsste eine solche (sehr zu begrüßende) Diskussion im Ergebnis offen sein (versus Vorgabe einer Anpassungsrichtung) – und genau: ohne den Autor wird das ab einem bestimmten Punkt schwierig,. Denn die Frage ist ja auch: Wäre der Auto bereit, seinen Text den Empfehlungen anzupassen oder hat er eine dritte Perspektive, die man erst einmal nachvollziehen müsste?