Schlagwort: Peer Review

Keine Kreativität ohne Autonomie

Sandra hat mich im August auf einen interessanten Text von Margit Osterloh und Bruno Frey aufmerksam gemacht, der bereits vor ein paar Jahren veröffentlicht worden ist (hier das pdf). Unter dem Titel „Anreize im Wissenschaftssystem“ diskutieren die beiden Autoren den Sinn und vor allem den Unsinn der Einführung von Anreizsystemen im Wissenschaftssystem, die an Outputs und ökonomischem Denken orientiert sind. Es wird vor allem zu Beginn des Textes gezeigt, in welcher Weise sich die wissenschaftliche Logik von einer Marktlogik unterscheidet. Dabei wird auch ausführlich auf die Rolle von Peer Reviews eingegangen – ein Thema, über das ich in diesem Blog ja bereits mehrfach geschrieben habe (z.B. hier, hier und hier). Interessanterweise kommen die Autoren unter anderem zu dem Schluss, dass es prinzipiell besser sei, das Peer Review generell einzudämmen. Begründet wird dies damit, dass das Wissenschaftssystem im Vergleich zu anderen Systemen einen besonders großen und langen Aufwand betreibt, um Personen als Professoren in diesem System aufzunehmen. Leitkriterium, so das Credo des Textes, müsse die Autonomie der Wissenschaft, der wissenschaftlichen Arbeit und damit auch des Wissenschaftlers sein. Die aber wird durch zu hohe Abhängigkeit von Drittmitteln und damit auch vom Peer Review (denn viele Drittmittel sind an positives Peer Review gekoppelt) zunehmend eingeschränkt. Ihre Argumentation lautet: „Autonomie ist eine wichtige Voraussetzung für Kreativität … Sie ist aber zugleich Teil des Belohnungssystems in der Wissenschaft, welches dem „taste for science“ entspricht. ForscherInnen nehmen Einkommenseinbußen in Kauf, wenn sie dafür mehr Autonomie erhalten. Die Attraktivität von Universitäten sinkt, wenn zusätzlich zum niedrigeren Einkommen auch noch die Autonomie in der Forschung reduziert wird.“

Ich finde den Text sehr gelungen. Er bringt die aktuelle Problematik im Wissenschaftssystem prägnant auf den Punkt. Zudem werden – wenn auch vergleichsweise kurz – konkrete Vorschläge gemacht, was man gegen die eher dysfunktionalen Entwicklungen tun könnte. Fragt sich, warum diese nicht aufgegriffen werden.

Peer Review auf der GMW

Für die Jahrestagung der GMW 2010 in Zürich haben Silvia Sippel, Christian Spannagel und ich einen Beitrag zum Peer Review eingereicht. Dieser wird im diesjährigen GMW-Band erscheinen, der selbst auch wieder online verfügbar sein wird. Wir haben uns dazu entschieden, die interaktiven Formate zu nutzen und ein „Learning Café“ zum Thema Peer Review anzubieten. Der Beitrag dient also nur als Aufhänger. Das Thema Peer Review ist streitbar. Welche Rolle digitale Medien, speziell Web 2.0-Anwendungen dabei spielen können, steigert die Kontroverse erfahrungsgemäß noch einmal. Von daher glauben bzw. hoffen wir, dass es viel Gesprächsstoff und Diskussionen gibt, aus denen womöglich auch ein paar neue Ideen hervorgehen.

PeerReview_GMW10

Was lange währt …

wird irgendwann (mitunter) doch noch was. Weihnachtsstress und (vor allem) andere Aufgaben sowohl bei Christian als auch bei mir haben leider dazu geführt, dass die Ergebnisse unserer kleinen Umfrage in der Community „(Bildungs-)Wissenschaftler 2.0“ etwas länger haben auf sich warten lassen als geplant. Aber jetzt können wir einen kleinen Bericht mit den Ergebnissen bieten, der natürlich auf der Community platziert und hier zu finden ist. An der Stelle noch einmal ganz herzlichen Dank an alle, die mitgemacht haben!

Minderheitenmeinungen

Erst jetzt bin ich auf einen kurzen Beitrag (hier) von Hans Brügelmann aufmerksam geworden, mit dem er ein „offenes Forum“ zu bildungswissenschaftlichen Themen (Titel: Erziehungswissenschaft und Bildungsforschung kontrovers) anstößt und auf diesem Wege eine Alternative zu anonymen Peer Review-Verfahren anbietet. Das Forum (leider etwas versteckt eingebettet in das Pädagogische Journal) soll die Möglichkeit bieten, auch Minderheitenmeinungen zu diskutieren, „insbesondere von Manuskripten und Förderanträgen, die in Peer-Review-Verfahren abgelehnt worden sind“. Na ja, da wäre ich ja ein geeigneter Kandidat, der das Forum allein füllen könnte. 😉 Aber entweder es geht wenigen so wie mir (was nicht anzunehmen ist) oder es traut sich keiner (was schon wahrscheinlicher ist). Gestartet im Spätsommer 2008 hat das Forum bis jetzt nämlich keinen großen Zulauf finden können: Lediglich ein Beispiel findet sich dort – eines, das aber gut die Probleme des Peer Reviews aufzeigt und vor allem eine große Lernchance für Autoren bieten könnte – wenn denn auch diskutiert werden würde.

In seinem Zweiseiter fasst Brügelmann knapp, aber sehr deutlich die Gründe für seine Initiative zusammen. Dabei macht er vor allem auf die Schwierigkeit aufmerksam, Minderheitenmeinungen einen Platz zu geben. Das formuliert er so: „Sucht man kompetente Peers, werden in der Regel lang gediente VertreterInnen einer Fachdisziplin angefragt, die meist etablierte Positionen vertreten. Für sie aber ist die Versuchung groß, konkurrierende Minderheitenmeinungen klein zu halten. In der Jurisprudenz spricht man zu Recht von „herrschender Meinung“ – in einem doppelten Sinn: Sie prägt über Gerichtsurteile die soziale Wirklichkeit und sichert zudem mit der Ausbildung des Nachwuchses die zukünftige Deutungshoheit über eben diese Wirklichkeit. Diese Mechanismen werden auch bei der Förderung von Projekten durch Stiftungen oder durch die DFG wirksam.“

Ich habe mich mit Hans Brügelmann in Verbindung gesetzt, weil mich interessiert, wie er es sich erklärt, dass ein so wichtiges Angebot keine Resonanz findet: Ist die herrschende Meinung bereits zu stark? In diesem Zusammenhang ist übrigens noch ein anderer Beitrag von Uwe Laucken höchst interessant, obschon er fast 10 Jahre alt ist. Unter dem Titel „Qualitätskriterien als wissenschaftspolitische Lenkinstrumente“ arbeitet er für die Psychologie heraus, wie die herrschende Meinung (in dem Fall die Meinung, das Heil liege im naturwissenschaftlichen Paradigma) nicht nur das Denken und Handeln in der Wissenschaft, sondern auch das in Öffentlichkeit und Alltag beeinflusst. Dabei geht es zwar primär um Evaluation und Qualitätskriterien in der Wissenschaft, was aber aber natürlich in einem engen Zusammenhang zu Peer Reviews zu sehen ist. Der Beitrag ist etwas länger – die Lektüre aber lohnt sich!

Wer zahlt?

Es geht schon Jahre hin und her – mit der Frage, ob und wie die Zeitschrift für E-Learning in ein Open Access-Modell überführt werden könnte. Im Herausgeberteam (Andrea Back, Peter Baumgartner, Rolf Schulmeister und ich) haben wir schon oft und auch erst wieder kürzlich durchaus kontrovers darüber diskutiert, unter welchen Bedingungen wir hier endlich weiterkommen könnten. Viele Open Access-Zeitschriften werden wieder eingestellt; manche sind nicht nur optisch schlecht, sondern auch fehlerhaft etwa in Sachen Rechtschreibung etc., weil es eben keinen Lektor gibt und die Ressourcen der ehrenamtlich Tätigkeiten auch mal erschöpft sind. Nun hat Andrea in ihrem Blog eine aus meiner Sicht gute Zusammenfassung eines entscheidenden Teils unserer Diskussionen ausformuliert – nämlich die Frage nach den Kosten (nachzulesen hier). In ihren Erläuterungen wird auch dargestellt, warum es mit dem Open Access nicht so simpel ist, wie man es sich vielleicht vorstellt, wenn man zu schnell Blogposts oder andere Kurzbeiträge im Netz mit wissenschaftlichen Beiträgen größeren Umfangs gleichsetzt.

Wir sind in unserem Team alle darum bemüht, möglichst viele Inhalte frei zugänglich bzw. verfügbar zu machen: über eigene Blogs, Preprints, Studientexte, Arbeitsberichte oder halbe Bücher im Netz (wie Rolfs dritte Version zur Netzgeneration: hier). Aber das ist eben nicht das Gleiche wie die Herausgabe einer wissenschaftlichen Zeitschrift. Trotzdem wollen wir – da sind wir uns einig – 2010 einen Weg finden, der die Probleme, wie sie Andrea beschreibt, löst und dann auch Chancen etwa für neue Formen des Peer Review eröffnet. Letzteres liegt vor allem mir ganz besonders am Herzen, ohne dass ich aber voraussagen könnte, wie leicht oder schwer es ist, eine Peer Review-Routine zu verändern, die in vielen Fach-Communities inzwischen unhinterfragten Status hat. Auch das verursacht übrigens Kosten – also ein Peer Review-Prozess, der nicht nur der Selektion, sondern auch der gegenseitigen Verbesserung, dem Lernen und der Unterstützung nicht nur, aber vor allem des wissenschaftlichen Nachwuchses dient. Vor diesem Hintergrund ist Andreas Frage danach, wer diese Kosten übernimmt, ganz entscheidend – eine Frage, die in der Web 2.0-Euphorie nur allzu oft untergeht.

Die vermeintliche Politikferne der Wissenschaft

Niels Taubert vom Institut für Wissenschafts- und Technikforschung (IWT) an der Universität Bielefeld hat mir in einem Kommentar auf den Blogbeitrag „Den Jackpot knacken“ einen höchst interessanten Linktipp auf einen Text von Stefan Hirschauer mit dem Titel „Die Innenwelt des Peer Review. Qualitätszuschreibung und informelle Wissenschaftskommunikation in Fachzeitschriften“ (aus dem Jahr 2002) gegeben, für den ich mich an der Stelle noch einmal herzlich bedanke. Der (soziologische) Beitrag beschäftigt sich mit der Forschung zum Peer Review, gibt einen Überblick über bisherige empirische Strategien und setzt sich kritisch mit den bislang gestellten Fragen wie auch Methoden auseinander. Ich habe darin viele mir bereits aus einigen anderen Texten bekannte Erkenntnisse zum Peer Review gefunden, aber auch eine ganze Reihe neuer Einsichten vor allem zur Forschung zu diesem Thema selbst. So weist der Autor z.B. darauf hin, dass man im Zuge von Reliabilitätsüberprüfungen von Gutachten im Peer Review durchaus einmal die Frage stellen sollte, ob Gutachterübereinstimmung denn überhaupt Zweck eines Peer Reviews sein kann. Zudem wird aufgedeckt, dass es auf der Ebene der Herausgeberentscheidungen in Zeitschriften fast gar keine empirischen Erkenntnisse gibt. Eine der Hauptaussagen des Textes aber ist, dass es in der Peer Review-Forschung ein paar gravierende Schwächen gibt, die zum einen mit der Erwartungshaltung (und den damit verbundenen Prämissen im Kontext des Peer Review) und zum anderen mit dem Theoriedefizit dieser Forschung zusammenhängen. Bemängelt werden auch methodische Vorgehensweisen etwa bei Reliabilitätsmessungen oder auch bei Inhaltsanalysen von Gutachten. Hitschauer plädiert vor diesem Hintergrund dafür, bisherige meist nur quantitative Forschungsmethoden durch qualitative zu ergänzen. Am Ende des Beitrags fasst Hirschauer seine Position zusammen, die ich an der Stelle gerne ausführlicher zitieren möchte, weil sie meiner Ansicht nach ein paar ganz zentrale Punkte sehr prägnant auf den Punkt bringt:

„Ich habe eingangs festgestellt, daß der Peer Review nicht nur ein wissenschaftsinternes Instrument ist, er wird auch zur externen Evaluation von Forschung (in Finanzierungsfragen) instrumentalisiert. Dies kann auf zwei Weisen problematische Effekte im Sinne einer Fehlsteuerung von Mitteln haben. Zum einen auf Seiten der Rezeption von Gutachten: Außerhalb der Wissenschaft werden Gutachten tendentiell nicht mehr als Äußerungen-im-wissenschaftlichen-Meinungsstreit aufgefasst, sondern als autoritative Expertenäußerungen ‚der Wissenschaft‘ und diese Verkürzung gelingt umso eher, je geringer die Zahl der Gutachter (d.h. je geringer die Dissenschancen). Zum anderen können solche Erwartungen der Politik auch entsprechende Sprecherpositionen in der Wissenschaft hervorbringen. Eben dies scheint das Gros der Peer Review Forschung wie auch der quantitativen Wissenschaftsevaluation zu bestätigen: Wenn etwa Dissens als ‘Random’ gilt, übernimmt eine für Zwecke politischer Evaluation eingesetzte Wissenschaftsforschung ein Fremdstereotyp von Wissenschaft – daß diese sicheres und objektives Wissen generiere – in ihre Selbstbeschreibung. Diese bestätigt dann wiederum die Erwartungen (und Hoffnungen) der Politik, daß Wissenschaft politikferner sei als sie es tatsächlich ist; daß es in ihr nicht auch um Öffentlichkeit und das Gelingen von Kommunikation, um Diskursivität und um Politik ginge: um Parteilichkeit und ihre Neutralisierung durch Verfahren, die Legitimität für hierarchiebedürftige Entscheidungen unter Gleichen beschaffen müssen.“ (Hirschauer, 2002, S. 20)

Den Jackpot knacken

Angesichts unserer ersten Gehversuche in Sachen „Peer Review mal anders“, sammle ich gerade, was mir zum Thema Peer Review in die Hände fällt. Dabei muss ich natürlich feststellen, dass fast alle Überlegungen, die wir im Kontext der bisher noch nicht so erfolgreich laufenden Community „(Bildungs-)Wissenschaftler 2.0“ vor Augen haben, schon länger im Gespräch sind. Nun, vielleicht wäre es tatsächlich besser gewesen, dies zunächst einmal aufzuarbeiten, aber dann kommt das halt jetzt in nächster Zeit. Mir ist das Thema SEHR wichtig, denn Peer Reviews spielen eine herausragende Rolle für die Entwicklung von Wissen einerseits und für wissenschaftliche Karrieren andererseits.

Aus den zahlreichen, in den meisten Fällen aber durchweg englischsprachigen Beiträgen (wiederum am häufigsten bezogen auf Naturwissenschaften, vor allem Medizin) zu diesem Thema, möchte ich an dieser Stelle exemplarisch auf EIN lesenswertes Beispiel aufmerksam machen:

Smith, S. (2006). Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicin, 99, 178-182. Online hier.

Smith war jahrelang Herausgeber einer britischen Zeitschrift für Medizin (BMJ) und hat dort das Thema Open Access und neue Formen des Review-Prozesses vorangetrieben. Der Beitrag ist eine gute und verständliche Einführung in das Thema Peer Review – und unterhaltsam zu lesen obendrein. Gleich zu Beginn stellt Smith die aus meiner Sicht wichtige Frage, wer den eigentlich ein „Peer“ ist, wobei er da vor allem inhaltliche Differenzierungen (genau das gleiche Fachgebiet oder „nur“ die gleiche Disziplin etc.) vorschlägt. Genauso unklar aber finde ich, wie das mit den unterschiedlichen Expertise-Levels (also Fachwissen plus Erfahrung) bei solchen Begutachtungen ist. Darüber habe ich bisher noch nichts gefunden. Nachdem das Feld, was man als Peer Review gelten lassen kann, abgesteckt ist, kommt die Frage, ob das Peer Review-Verfahren denn „funktioniert“. Nun ist das natürlich eine Frage der Ziele, die man verfolgt. Selektion funktioniert natürlich auf jeden Fall – aber um welchen Preis? Smith ist hier eher nüchtern – er kennt viele Beispiele, in denen der Erfolg beim Peer Review eher dem Knacken eines Jackpots gleicht. Dem Faktor Zufall komme eine eminente Bedeutung zu. Bei seiner Analyse, was denn die Defizite des klassischen Per Reviews sind, clustert er die Probleme in vier Gruppen: Peer Reviews sind (a) langsam und teuer, (b) inkonsistent (in mehrfacher Hinsicht), (c) fehlerbehaftet mit einer starken Tendenz zum Matthäus-Effekt (wer hat, dem wird gegeben) und (d) immer in Gefahr, missbraucht zu werden. Und wie könnte man es besser machen? Hier sammelt er in aller Kürze die bisherigen Problemlöseversuche, nämlich: die Identität der Autoren verbergen (was aber schwer ist), Reviewer trainieren, den gesamten Review-Prozess öffnen und (Achtung) der Wissenschaft mehr Vertrauen schenken. Interessant ist, dass Smith von Versuchen berichtet, bei der Zeitschrift BMJ einige dieser Verfahren zu selbst testen und experimentell zu überprüfen (vor allem „blind“-Verfahren und Training) – leider ohne dass es Verbesserungen gab.

Am meisten überzeugt hat mich in der Literatur bisher das Verfahren, das bei der Zeitschrift Atmospheric Chemistry and Physics angewandt wird. In aller Kürze wird das Vorgehen, das auf eine Öffnung des Review-Prozesses setzt, dabei aber Elemente des klassischen Peer Reviews beibehält, von Pöschl und Koop hier beschrieben. Ebenfalls lesenswert und natürlich auch online abrufbar, nämlich hier! Was mich wirklich wundert ist, dass es dazu im deutschsprachigen Raum so wenige Nachahmer gibt, und dass vor allem die Bildungswissenschaften auf diesem Sektor weit hinter den Naturwissenschaften liegen. Wenn das keine Herausforderung ist :-).

Nachtrag: Noch eine interessante (sicher schon längst bekannte) Fundstelle zum Thema im Kontext des Open Access befindet sich hier. Darin findet sich auch ein weiterer Artikel vom oben zitierten Modell, beschrieben von Pöschl.