Angesichts unserer ersten Gehversuche in Sachen „Peer Review mal anders“, sammle ich gerade, was mir zum Thema Peer Review in die Hände fällt. Dabei muss ich natürlich feststellen, dass fast alle Überlegungen, die wir im Kontext der bisher noch nicht so erfolgreich laufenden Community „(Bildungs-)Wissenschaftler 2.0“ vor Augen haben, schon länger im Gespräch sind. Nun, vielleicht wäre es tatsächlich besser gewesen, dies zunächst einmal aufzuarbeiten, aber dann kommt das halt jetzt in nächster Zeit. Mir ist das Thema SEHR wichtig, denn Peer Reviews spielen eine herausragende Rolle für die Entwicklung von Wissen einerseits und für wissenschaftliche Karrieren andererseits.
Aus den zahlreichen, in den meisten Fällen aber durchweg englischsprachigen Beiträgen (wiederum am häufigsten bezogen auf Naturwissenschaften, vor allem Medizin) zu diesem Thema, möchte ich an dieser Stelle exemplarisch auf EIN lesenswertes Beispiel aufmerksam machen:
Smith, S. (2006). Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicin, 99, 178-182. Online hier.
Smith war jahrelang Herausgeber einer britischen Zeitschrift für Medizin (BMJ) und hat dort das Thema Open Access und neue Formen des Review-Prozesses vorangetrieben. Der Beitrag ist eine gute und verständliche Einführung in das Thema Peer Review – und unterhaltsam zu lesen obendrein. Gleich zu Beginn stellt Smith die aus meiner Sicht wichtige Frage, wer den eigentlich ein „Peer“ ist, wobei er da vor allem inhaltliche Differenzierungen (genau das gleiche Fachgebiet oder „nur“ die gleiche Disziplin etc.) vorschlägt. Genauso unklar aber finde ich, wie das mit den unterschiedlichen Expertise-Levels (also Fachwissen plus Erfahrung) bei solchen Begutachtungen ist. Darüber habe ich bisher noch nichts gefunden. Nachdem das Feld, was man als Peer Review gelten lassen kann, abgesteckt ist, kommt die Frage, ob das Peer Review-Verfahren denn „funktioniert“. Nun ist das natürlich eine Frage der Ziele, die man verfolgt. Selektion funktioniert natürlich auf jeden Fall – aber um welchen Preis? Smith ist hier eher nüchtern – er kennt viele Beispiele, in denen der Erfolg beim Peer Review eher dem Knacken eines Jackpots gleicht. Dem Faktor Zufall komme eine eminente Bedeutung zu. Bei seiner Analyse, was denn die Defizite des klassischen Per Reviews sind, clustert er die Probleme in vier Gruppen: Peer Reviews sind (a) langsam und teuer, (b) inkonsistent (in mehrfacher Hinsicht), (c) fehlerbehaftet mit einer starken Tendenz zum Matthäus-Effekt (wer hat, dem wird gegeben) und (d) immer in Gefahr, missbraucht zu werden. Und wie könnte man es besser machen? Hier sammelt er in aller Kürze die bisherigen Problemlöseversuche, nämlich: die Identität der Autoren verbergen (was aber schwer ist), Reviewer trainieren, den gesamten Review-Prozess öffnen und (Achtung) der Wissenschaft mehr Vertrauen schenken. Interessant ist, dass Smith von Versuchen berichtet, bei der Zeitschrift BMJ einige dieser Verfahren zu selbst testen und experimentell zu überprüfen (vor allem „blind“-Verfahren und Training) – leider ohne dass es Verbesserungen gab.
Am meisten überzeugt hat mich in der Literatur bisher das Verfahren, das bei der Zeitschrift Atmospheric Chemistry and Physics angewandt wird. In aller Kürze wird das Vorgehen, das auf eine Öffnung des Review-Prozesses setzt, dabei aber Elemente des klassischen Peer Reviews beibehält, von Pöschl und Koop hier beschrieben. Ebenfalls lesenswert und natürlich auch online abrufbar, nämlich hier! Was mich wirklich wundert ist, dass es dazu im deutschsprachigen Raum so wenige Nachahmer gibt, und dass vor allem die Bildungswissenschaften auf diesem Sektor weit hinter den Naturwissenschaften liegen. Wenn das keine Herausforderung ist :-).
Nachtrag: Noch eine interessante (sicher schon längst bekannte) Fundstelle zum Thema im Kontext des Open Access befindet sich hier. Darin findet sich auch ein weiterer Artikel vom oben zitierten Modell, beschrieben von Pöschl.
Ich habe bei meinen bislang eingereichten Artikeln den Jackpot-Effekt ebenso gespürt. Auf die Spitze getrieben: Es reviewem zwei Wissenschaftler den Artikel. Wer das ist, ist im Prinzip zufällig. Das Journal zieht ja keine zweielementige Stichprobe aus der Menge aller Wissenschaftler, sondern die Wissenschaftler sind mehr oder weniger aus bestimmten Gründen als Reviewer registriert: sie sind idealistisch, sie wollen ihre eigenen Chancen bei dem Journal erhöhen, sie sind kontrollsüchtig, wasweißich. Zudem ist ihr eigener fachlicher Schwerpunkt mehr oder weniger zufällig (wenn nicht intern bereits die Reviewer nach bestimmten fachlichen Kriterien ausgesucht werden). Man müsste es wirklich mal probieren: 10 Artikel bei 10 verschiedenen Journals einreichen und schauen, welche Reviews zurückkommen. Ich bin mir sicher, von einer 1 mit Sternchen bis zu einer 6 ist alles mit dabei. Eben genauso, wie wenn man in der Schule den bewertenden Lehrer austauscht.
Insofern freue ich mich darauf, gemeinsam mir dir einmal neue Wege zu beschreiten.
An der Macquarie-University wird von Ernie Ghiglione an einer Softwarelösung gearbeitet.
* managing the research enterprise lifecycle (from grant planning to grant submission, to project initiation, to project lifecycle management, to research outcome dissemination),
* implementing auditable evaluation processes for assessing research quality (RQF assessor workflows, journal/conference peer review management, etc),
* designing and tracking article submission processes for Institutional Repositories,
* flexibly configuring and running online research collaboration processes (such as staged collaborative analysis and discussion for PhD/Postdocs around raw data, leading to interpretation, visualization, and ultimately publications), and
* process-oriented research data collection from human subjects (such as in the humanities, and social and cognitive sciences).
The common element of the above examples is people-based workflow, or „activityflow“. Activityflow is defined as workflow involving two or more human actors, often acting concurrently (not just sequentially) over multiple steps, potentially in multiple roles, co-ordinated by a software system that allows for authoring, running and tracking (including auditing) of activityflows. As many researchers collaborate across institutional boundaries, activityflows must be capable of running in distributed (trans-organisational) contexts.
A key focus of RAMS is capturing E-Research activityflows so that they can be analysed, shared, re-used and adapted via shared repositories of activityflows.
Das RAMS Projekt baut auf der LAMS Software auf. Mehr dazu: http://wiki.lamsfoundation.org/display/rams/Home;jsessionid=A5BA6C88A2D56BB2C6C5BFF631D19A6F#Home-EssentialUseCases%26Features
Ähnliche Fragestellungen werden derzeit im europäischen Network of Excellence Stellarnet (FP7) unter dem unglücklichen Namen „Science 2.0“ bearbeitet. Einer der lesenswertesten Artikel zu diesem Thema stammt aus meiner Sicht von Bruno Frey (Frey, B.S. (2003) Publishing as Prostitution? – Choosing Between One’s Own Ideas and Academic Success. Public Choice, Volume 116, Numbers 1-2, July 2003 , pp. 205-223(19)). Auch wenn ich besonders das Monopol von Thomson Reuters über diverse Citation-Indexes sehr kritisch sehe, wäre ich sehr vorsichtig damit, Journals über einen Kamm zu scheren in der Auswahl der Reviewer und Zuteilung der Reviews (siehe Kommentar von Christian Spannagel). Es gibt mittlerweile sehr viele verschiedene Modelle und Methoden, wie Reviews zugeordnet werden und ich kenne z.B. mehrere Journals im SSCI, die eine Art Voting-System integriert haben, das die Chance auf ein objektives Review erhöht.
Beste Grüße aus den Niederlanden
Marco Kalz
Gerhard Fröhlich, an der Universität Linz, hat im deutschsprachigen Raum viel im Bereich Peer Review gemacht, z.B.
* Informed Peer Review“ : Ausgleich der Fehler und Verzerrungen? (2006)
http://de.scientificcommons.org/38525996
* Kontrolle durch Konkurrenz und Kritik? Das »wissenschaftliche Feld« bei Pierre Bourdieu (2003)
http://de.scientificcommons.org/23682558
* Anonyme Kritik : Peer Review auf dem Prüfstand der Wissenschaftsforschung (2002)
http://de.scientificcommons.org/38526002
Hallo zusammen,
vielen Dank für die zusätzlichen Hinweise. Die Arbeiten von Fröhlich sind mir bekannt, der ein ebsonders heftiger Kritiker des klassischen Peer Review ist. Ich kann an der Stelle noch einen ergänzen, in dem das Thema in die Open Access-Diskussion integriert ist:
http://www.b-i-t-online.de/pdf/IWP2009-5.pdf (S. 253-258)
Ich denke allerdings, dass es durchaus auch positive Effekte des klassischen Peer Review (auch mit Anonymisierung) gibt, sodass ich besonders die Arbeiten sehr interessant finde, die gezielt versuchen, die Schwachstellen mit neuen Ideen zu begegnen. Mir fehlt es hier eindeutig an Experimentierfreude!
@Marco Kalz: Keineswegs geht es darum, Zeitschriften pauschal zu kritisieren. Mein Blogbeitrag ist ein Kommentar zu einem Artikel, der mir sehr gut gefallen hat, weil der Autor u.a. von verschiedenen konkreten Versuchen berichtet, die bekannten Probleme beim Peer Review anzugehen. Angesichts der Tatsache, dass Peer Reviews enorm mächtig sind und in den letzten Jahren noch mächtiger geworden sind, müssen wir hier aus meiner Sicht dringend was tun.
Gabi
Hallo Gabi,
mein Kommentar bezog sich eher auf den Kommentar von Christian Spannagel.
Ich habe in den letzten Jahren selbst recht viele Reviews für Journals und Konferenzen geschrieben und auch einige Veranstaltungen selbst organisiert. Dabei habe ich mich oft gefragt, welchen Wert das „Double-Blind-Review“ hat, in dem der Reviewer die Identität des Autoren nicht kennt und der Autor den Reviewer nicht. In einem großen Teil der Reviews wäre eine offene Diskussion viel hilfreicher für die Autoren gewesen, da durch ein Review auch sehr oft wichtiges Feedback zur eigenen Arbeit gegeben wird. Aus diesem Grund wäre es z.B. ein Ansatz, diese Anonymität von Seiten des Reviewers freiwillig aufzuheben und seinen Namen Preis zu geben.
Ich bin jedenfalls gespannt, was sich zu diesem Thema noch tut und was wir dazu beitragen können.
Marco
sehr spannend!! Zwei weitere Hinweise dazu; erster zu „fehlenden Nachahmern in den Bildungswissenschaften“: Niels Taubert macht (bei der Suche nach Gründen für unterschiedliche Akzeptanz von Open Access in den Disziplinen) eine idealtypische Unterscheidung zwischen integrierter, fragmentierter und öffentlichkeitsorientierter Wissenschaft und ordnet die Sozialwissenschaften als fragmentierte Wissenschaft ein (http://www.forschung-und-lehre.de/wordpress/Archiv/2009/09-2009.pdf, S. 657-659).
Zweiter Hinweis: die Pattern-Community pflegt bei der Entwicklung von Pattern das Verfahren des „Sheperding“. Die „Sheperds“ (erfahrende Pattern-Entwickler) werden einem Pattern-Entwickler zugeordnet und begleiten, moderieren den Prozess der Weiterentwicklung und Diskussion von Pattern. Also nicht anonym und bewusst den ganzen Prozess begleitend. Sehr aufwändig aber wird wohl von den meisten als sehr konstruktiv und hilfreich bewertet. Bei der EuroPlop wird z.B. Titel des „Sheperds of the Year“ vergeben, was den Stellenwert nochmal verdeutlicht.
Der entscheidende Unterschied zu herkömmlichen Reviews ist wohl, dass hier nicht Selektion sondern Förderung im Vordergrund steht.
Uii, seit wann gibts die ganze „Forschung & Lehre“ (also aktuelle Nummern) als pdf? 🙂 Ja, diese Berichte hatte ich auch gelesen. Du hast Recht, Joachim, die Besonderheit der Disziplinen muss man hier ins Kalkül ziehen. Das zweit Genannte läuft auf eine Art Mentorenschaft hinaus, oder? Wie auch immer: Du sprichts damit einen Punkt an, den ich mir noch aufgehoben hatte, nämlich die ungenutzten didaktischen Potenziale der doch recht aufwändigen Review-Prozesse.
Gabi
Für sehr lesenswert halte ich die Studie von Stefan Hirschauer, in der die Literatur zu peer review bis 2002 aufgearbeitet ist: http://www.sciencepolicystudies.de/dok/expertise-hirschauer.pdf. Dort finden sich weitere Verweise auf die klassischen Studien, die in der Tradition des Wissenschaftssoziologen Robert Merton entstanden sind. Von Hirschauer, der selbst einige Zeit als Managing Editor einer Zeitschrift tätig war, gibt es noch eine Publikation in der Zeitschrift „Soziale Systeme“ mit dem Titel „Publizierte Fachurteile. Lektüre und Bewertungspraxis im Peer Review. Soziale Systeme. Zeitschrift für soziologische Theorie 11“. Hier geht es um die Einbettung des peer review in die Entscheidungsprozesse der Redaktion einer wissenschaftlichen Fachzeitschrift. Die Publikation gibt Einblicke in einen sozialen Bereich, der (aus nachvollziehbaren Gründen) gemeinhin eher im Verborgenen bleibt.
Niels
Hallo Niels,
toll – danke! Heute ist ein verregneter Samstag, eine bessere Lektüre ist ja quasi grad nicht denkbar ;-). Ein sehr interessanter Linktipp, für den ich mich ganz herzlich bedanke!
Gabi