Wer kennt das Problem nicht? Man reicht einen Artikel in eine Zeitschrift ein und bekommt erst einmal … lange keine Rückmeldung. Gutachten brauchen viele Monate; wenn sie dann eintreffen, sind sie mitunter hilfreich und detailliert, oft aber auch widersprüchlich, knapp oder einseitig. Dem Problem ist schwer beizukommen; vielmehr verschärft es sich zunehmend, weil immer mehr publiziert wird und in der Folge immer mehr Reviews gebraucht werden, die in guter Qualität keiner mehr schreiben kann oder will. Ist KI die Lösung? Könnten KI-Systeme zum neuen bzw. „künstlichen Peer“ im Review-Prozess werden?
Eine aktuelle Studie untersucht die Stärken und Schwächen von Peer-Reviews in den Geistes- und Sozialwissenschaften, die von menschlichen Experten durchgeführt werden, mit solchen, die KI-Systeme hervorbringen:
Farber, S. (2025). Comparing human and AI expertise in the academic peer review process: towards a hybrid approach. Higher Education Research & Development, 1-15.
Der Text schildert eine vergleichende Untersuchung der Reviews von zehn Texten, die jeweils sowohl von einem menschlichen Gutachter als auch von einem KI-System (Claude-3 Anthropic) erstellt worden sind. Wie wohl zu erwarten, ist die KI in Sachen Effizienz unschlagbar: Ein paar Minuten gegen ein paar Monate – es erscheint überflüssig, näher darauf einzugehen. Aber auch bei der Konsistenz konnte die KI punkten. Was Kontextwissen und ethisches Urteil betrifft – Aspekte, die der Text für gute Reviews hervorhebt – erwiesen sich die menschlichen Reviewer als besser. Der Autor folgert, dass die Ergebnisse der Studie für einen hybriden Ansatz sprechen, der die jeweiligen Stärken von Mensch und Maschine nutzt. Dazu werden im Text auch einige konkrete Vorschläge gemacht (z.B. in Bezug auf Trainingsdaten und Transparenz).
Ich bin mir ehrlich gesagt nicht sicher, ob KI-Einsatz die beste Lösung für das schon lange schwelende Peer-Review-Problem ist, das mit KI ja nochmal wächst, weil noch mehr noch schneller publiziert werden wird. Wie weit lässt sich diese Spirale drehen? Wo liegt da der Sinn – für die Wissenschaft, für die Gesellschaft, für den Menschen?