Was ist aufwändiger als Zählen? Lesen!

Ja, ich habe mich schon oft für das Open Peer Review stark gemacht (dazu z.B. ein Beitrag im GMW-Jahresband von 2010 hier auf den Seiten 218-229). Und ja, die bisherigen eigenen Versuche waren nicht erfolgreich: Mit Christian Spannagel gab es mal den Versuch, eine Art informelle Review-Plattform aufzubauen – hat aber nicht funktioniert, und unsere Erkenntnis war damals, dass eine solches öffentliches gegenseitiges Begutachten nur im Zusammenhang mit einer Zeitschrift sinnvoll ist. Mit iTeL (siehe hier) haben wir dann genau so einen Versuch gestartet, aber auch hier sind die Probleme noch zu groß und der Weg offenbar noch nicht der richtige, um das heute gängige Peer Review-Verfahren zu verbessern. Unterschätzt habe ich unter anderem das Problem, das entsteht, wenn Beiträge z.B. handwerklich verbesserungsbedürftig sind. Die dann erforderlichen Rückmeldungen können in einem Open Peer Review peinlich wirken, schrecken vor allem weniger erfahrene Autor/innen ab und bringen Leser/innen freilich auch wenig. Ich hatte wahrscheinlich zu sehr an die (spannenderen) Fälle gedacht, in denen es nicht (nur) um sprachliche und formale Probleme und andere handwerkliche Mängel geht, sondern um inhaltliche Auseinandersetzungen, um den Streit zwischen verschiedenen Auffassungen, aus denen dann Ablehnungsgründe generiert werden. Und genau das nämlich würde durch ein öffentlich sichtbares Review eher zu einem interessanten Diskurs führen und weniger zu einseitigen Selektionsmechanismen.

„Was ist aufwändiger als Zählen? Lesen!“ weiterlesen

Ich hab keine Ahnung, machs aber trotzdem

Wer kennt das nicht: Man schreibt einen Artikel (oder auch einen Antrag) und bekommt ein Feedback von zwei oder gar drei Gutachter/innen und fühlt sich nach dem Lesen der Gutachten missverstanden, falsch beurteilt, unnötig in eine bestimmte Richtung abgestempelt etc. Gut, manchmal ist es „nur“ der normale Ärger, den fast jeden befällt, wenn Kritik zu heftig oder umfangreich ausfällt. Manchmal zeigt einem der zweite Blick am nächsten Tag, dass Kritikpunkte gerechtfertigt sind, dass der Beitrag noch nicht „reif“ war oder dass es keine Passung gab zwischen den wissenschaftlichen Auffassungen des Autors und des Gutachters. Manchmal ist man aber einfach nur fassungslos (und darüber habe ich in diesem Blog auch schon öfter relativ ehrlich berichtet): Genau so ist es gerade Peter Baumgartner ergangen, der hier ausführlich über seine Erfahrungen bei der Begutachtung eines Textes zum Musteransatz in der Didaktik im Kontext der Jahrestagung der Gesellschaft für Medien in der Wissenschaft (GMW) berichtet. Grund für den Ärger ist, dass das „Peer Review“ (double blind) keine Peers zusammenbringt, sondern dass Gutachter in die Lage kommen (bzw. sich bringen lassen), zu sagen: „Ich hab keine Ahnung, machs aber trotzdem“.

„Ich hab keine Ahnung, machs aber trotzdem“ weiterlesen

Potenziell risikoreich

Die neue Interdisziplinäre Zeitschrift für Technologie und Lernen (iTeL) experimentiert mit einem offenen Begutachtungsverfahren. Der erste Open Peer Review-Prozess hat diese Woche begonnen. Das Verfahren im Detail kann man hier nachlesen.

Im Hintergrund wird das Open Journal System (OJS) verwendet (wie es z.B. auch die Zeitschrift für Hochschulentwicklung nutzt). Für das offene Verfahren ist das System an sich nicht ausgelegt, es wurde aber aus dem Kreis der Hauptherausgeber (hier nachzulesen) sozusagen „technisch nachgerüstet“, um das zu ermöglichen.

Uns ist klar, dass es lange dauern wird, bis sich da eine größere Zahl von Wissenschaftlern herantrauen wird, denn natürlich gibt es auch Argumente GEGEN ein Open Peer Review, und Erfahrungen dazu sammelt man bislang vor allem in den Naturwissenschaften, weniger aber in den Bildungswissenschaften. Die Zurückhaltung ist auch in anderen Projekten zu Open Peer Review groß – trotz der seit längerem bestehenden Möglichkeiten ist das einfach nach wie vor außerhalb des Mainstreams und damit potenziell risikoreich.

„Potenziell risikoreich“ weiterlesen

Minderheitenmeinungen

Erst jetzt bin ich auf einen kurzen Beitrag (hier) von Hans Brügelmann aufmerksam geworden, mit dem er ein „offenes Forum“ zu bildungswissenschaftlichen Themen (Titel: Erziehungswissenschaft und Bildungsforschung kontrovers) anstößt und auf diesem Wege eine Alternative zu anonymen Peer Review-Verfahren anbietet. Das Forum (leider etwas versteckt eingebettet in das Pädagogische Journal) soll die Möglichkeit bieten, auch Minderheitenmeinungen zu diskutieren, „insbesondere von Manuskripten und Förderanträgen, die in Peer-Review-Verfahren abgelehnt worden sind“. Na ja, da wäre ich ja ein geeigneter Kandidat, der das Forum allein füllen könnte. 😉 Aber entweder es geht wenigen so wie mir (was nicht anzunehmen ist) oder es traut sich keiner (was schon wahrscheinlicher ist). Gestartet im Spätsommer 2008 hat das Forum bis jetzt nämlich keinen großen Zulauf finden können: Lediglich ein Beispiel findet sich dort – eines, das aber gut die Probleme des Peer Reviews aufzeigt und vor allem eine große Lernchance für Autoren bieten könnte – wenn denn auch diskutiert werden würde.

In seinem Zweiseiter fasst Brügelmann knapp, aber sehr deutlich die Gründe für seine Initiative zusammen. Dabei macht er vor allem auf die Schwierigkeit aufmerksam, Minderheitenmeinungen einen Platz zu geben. Das formuliert er so: „Sucht man kompetente Peers, werden in der Regel lang gediente VertreterInnen einer Fachdisziplin angefragt, die meist etablierte Positionen vertreten. Für sie aber ist die Versuchung groß, konkurrierende Minderheitenmeinungen klein zu halten. In der Jurisprudenz spricht man zu Recht von „herrschender Meinung“ – in einem doppelten Sinn: Sie prägt über Gerichtsurteile die soziale Wirklichkeit und sichert zudem mit der Ausbildung des Nachwuchses die zukünftige Deutungshoheit über eben diese Wirklichkeit. Diese Mechanismen werden auch bei der Förderung von Projekten durch Stiftungen oder durch die DFG wirksam.“

Ich habe mich mit Hans Brügelmann in Verbindung gesetzt, weil mich interessiert, wie er es sich erklärt, dass ein so wichtiges Angebot keine Resonanz findet: Ist die herrschende Meinung bereits zu stark? In diesem Zusammenhang ist übrigens noch ein anderer Beitrag von Uwe Laucken höchst interessant, obschon er fast 10 Jahre alt ist. Unter dem Titel „Qualitätskriterien als wissenschaftspolitische Lenkinstrumente“ arbeitet er für die Psychologie heraus, wie die herrschende Meinung (in dem Fall die Meinung, das Heil liege im naturwissenschaftlichen Paradigma) nicht nur das Denken und Handeln in der Wissenschaft, sondern auch das in Öffentlichkeit und Alltag beeinflusst. Dabei geht es zwar primär um Evaluation und Qualitätskriterien in der Wissenschaft, was aber aber natürlich in einem engen Zusammenhang zu Peer Reviews zu sehen ist. Der Beitrag ist etwas länger – die Lektüre aber lohnt sich!

Den Jackpot knacken

Angesichts unserer ersten Gehversuche in Sachen „Peer Review mal anders“, sammle ich gerade, was mir zum Thema Peer Review in die Hände fällt. Dabei muss ich natürlich feststellen, dass fast alle Überlegungen, die wir im Kontext der bisher noch nicht so erfolgreich laufenden Community „(Bildungs-)Wissenschaftler 2.0“ vor Augen haben, schon länger im Gespräch sind. Nun, vielleicht wäre es tatsächlich besser gewesen, dies zunächst einmal aufzuarbeiten, aber dann kommt das halt jetzt in nächster Zeit. Mir ist das Thema SEHR wichtig, denn Peer Reviews spielen eine herausragende Rolle für die Entwicklung von Wissen einerseits und für wissenschaftliche Karrieren andererseits.

Aus den zahlreichen, in den meisten Fällen aber durchweg englischsprachigen Beiträgen (wiederum am häufigsten bezogen auf Naturwissenschaften, vor allem Medizin) zu diesem Thema, möchte ich an dieser Stelle exemplarisch auf EIN lesenswertes Beispiel aufmerksam machen:

Smith, S. (2006). Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicin, 99, 178-182. Online hier.

Smith war jahrelang Herausgeber einer britischen Zeitschrift für Medizin (BMJ) und hat dort das Thema Open Access und neue Formen des Review-Prozesses vorangetrieben. Der Beitrag ist eine gute und verständliche Einführung in das Thema Peer Review – und unterhaltsam zu lesen obendrein. Gleich zu Beginn stellt Smith die aus meiner Sicht wichtige Frage, wer den eigentlich ein „Peer“ ist, wobei er da vor allem inhaltliche Differenzierungen (genau das gleiche Fachgebiet oder „nur“ die gleiche Disziplin etc.) vorschlägt. Genauso unklar aber finde ich, wie das mit den unterschiedlichen Expertise-Levels (also Fachwissen plus Erfahrung) bei solchen Begutachtungen ist. Darüber habe ich bisher noch nichts gefunden. Nachdem das Feld, was man als Peer Review gelten lassen kann, abgesteckt ist, kommt die Frage, ob das Peer Review-Verfahren denn „funktioniert“. Nun ist das natürlich eine Frage der Ziele, die man verfolgt. Selektion funktioniert natürlich auf jeden Fall – aber um welchen Preis? Smith ist hier eher nüchtern – er kennt viele Beispiele, in denen der Erfolg beim Peer Review eher dem Knacken eines Jackpots gleicht. Dem Faktor Zufall komme eine eminente Bedeutung zu. Bei seiner Analyse, was denn die Defizite des klassischen Per Reviews sind, clustert er die Probleme in vier Gruppen: Peer Reviews sind (a) langsam und teuer, (b) inkonsistent (in mehrfacher Hinsicht), (c) fehlerbehaftet mit einer starken Tendenz zum Matthäus-Effekt (wer hat, dem wird gegeben) und (d) immer in Gefahr, missbraucht zu werden. Und wie könnte man es besser machen? Hier sammelt er in aller Kürze die bisherigen Problemlöseversuche, nämlich: die Identität der Autoren verbergen (was aber schwer ist), Reviewer trainieren, den gesamten Review-Prozess öffnen und (Achtung) der Wissenschaft mehr Vertrauen schenken. Interessant ist, dass Smith von Versuchen berichtet, bei der Zeitschrift BMJ einige dieser Verfahren zu selbst testen und experimentell zu überprüfen (vor allem „blind“-Verfahren und Training) – leider ohne dass es Verbesserungen gab.

Am meisten überzeugt hat mich in der Literatur bisher das Verfahren, das bei der Zeitschrift Atmospheric Chemistry and Physics angewandt wird. In aller Kürze wird das Vorgehen, das auf eine Öffnung des Review-Prozesses setzt, dabei aber Elemente des klassischen Peer Reviews beibehält, von Pöschl und Koop hier beschrieben. Ebenfalls lesenswert und natürlich auch online abrufbar, nämlich hier! Was mich wirklich wundert ist, dass es dazu im deutschsprachigen Raum so wenige Nachahmer gibt, und dass vor allem die Bildungswissenschaften auf diesem Sektor weit hinter den Naturwissenschaften liegen. Wenn das keine Herausforderung ist :-).

Nachtrag: Noch eine interessante (sicher schon längst bekannte) Fundstelle zum Thema im Kontext des Open Access befindet sich hier. Darin findet sich auch ein weiterer Artikel vom oben zitierten Modell, beschrieben von Pöschl.