Niels Taubert vom Institut für Wissenschafts- und Technikforschung (IWT) an der Universität Bielefeld hat mir in einem Kommentar auf den Blogbeitrag „Den Jackpot knacken“ einen höchst interessanten Linktipp auf einen Text von Stefan Hirschauer mit dem Titel „Die Innenwelt des Peer Review. Qualitätszuschreibung und informelle Wissenschaftskommunikation in Fachzeitschriften“ (aus dem Jahr 2002) gegeben, für den ich mich an der Stelle noch einmal herzlich bedanke. Der (soziologische) Beitrag beschäftigt sich mit der Forschung zum Peer Review, gibt einen Überblick über bisherige empirische Strategien und setzt sich kritisch mit den bislang gestellten Fragen wie auch Methoden auseinander. Ich habe darin viele mir bereits aus einigen anderen Texten bekannte Erkenntnisse zum Peer Review gefunden, aber auch eine ganze Reihe neuer Einsichten vor allem zur Forschung zu diesem Thema selbst. So weist der Autor z.B. darauf hin, dass man im Zuge von Reliabilitätsüberprüfungen von Gutachten im Peer Review durchaus einmal die Frage stellen sollte, ob Gutachterübereinstimmung denn überhaupt Zweck eines Peer Reviews sein kann. Zudem wird aufgedeckt, dass es auf der Ebene der Herausgeberentscheidungen in Zeitschriften fast gar keine empirischen Erkenntnisse gibt. Eine der Hauptaussagen des Textes aber ist, dass es in der Peer Review-Forschung ein paar gravierende Schwächen gibt, die zum einen mit der Erwartungshaltung (und den damit verbundenen Prämissen im Kontext des Peer Review) und zum anderen mit dem Theoriedefizit dieser Forschung zusammenhängen. Bemängelt werden auch methodische Vorgehensweisen etwa bei Reliabilitätsmessungen oder auch bei Inhaltsanalysen von Gutachten. Hitschauer plädiert vor diesem Hintergrund dafür, bisherige meist nur quantitative Forschungsmethoden durch qualitative zu ergänzen. Am Ende des Beitrags fasst Hirschauer seine Position zusammen, die ich an der Stelle gerne ausführlicher zitieren möchte, weil sie meiner Ansicht nach ein paar ganz zentrale Punkte sehr prägnant auf den Punkt bringt:

„Ich habe eingangs festgestellt, daß der Peer Review nicht nur ein wissenschaftsinternes Instrument ist, er wird auch zur externen Evaluation von Forschung (in Finanzierungsfragen) instrumentalisiert. Dies kann auf zwei Weisen problematische Effekte im Sinne einer Fehlsteuerung von Mitteln haben. Zum einen auf Seiten der Rezeption von Gutachten: Außerhalb der Wissenschaft werden Gutachten tendentiell nicht mehr als Äußerungen-im-wissenschaftlichen-Meinungsstreit aufgefasst, sondern als autoritative Expertenäußerungen ‚der Wissenschaft‘ und diese Verkürzung gelingt umso eher, je geringer die Zahl der Gutachter (d.h. je geringer die Dissenschancen). Zum anderen können solche Erwartungen der Politik auch entsprechende Sprecherpositionen in der Wissenschaft hervorbringen. Eben dies scheint das Gros der Peer Review Forschung wie auch der quantitativen Wissenschaftsevaluation zu bestätigen: Wenn etwa Dissens als ‘Random’ gilt, übernimmt eine für Zwecke politischer Evaluation eingesetzte Wissenschaftsforschung ein Fremdstereotyp von Wissenschaft – daß diese sicheres und objektives Wissen generiere – in ihre Selbstbeschreibung. Diese bestätigt dann wiederum die Erwartungen (und Hoffnungen) der Politik, daß Wissenschaft politikferner sei als sie es tatsächlich ist; daß es in ihr nicht auch um Öffentlichkeit und das Gelingen von Kommunikation, um Diskursivität und um Politik ginge: um Parteilichkeit und ihre Neutralisierung durch Verfahren, die Legitimität für hierarchiebedürftige Entscheidungen unter Gleichen beschaffen müssen.“ (Hirschauer, 2002, S. 20)