„Fast science generates research waste“ – das ist eine schon ältere Einsicht, die man sich aber immer wieder in Erinnerung rufen kann. Das tut unter anderem ein als Preprint hier verfügbarer aktueller Text von J. Weidlich, D. Gašević, H. Drachsler und P. Kirschner mit dem Titel „ChatGPT in education: An effect in search of a cause“. Hintergrund ist die Flut an Studien wie auch Übersichtsarbeiten zu diesen Studien seit dem Launch von ChatGPT, die offenbar überwunden geglaubte Fehler in der Bildungsforschung wiederholen.
Wenn ich jetzt meine Lektüreempfehlung vom letzten Blogpost aufgreife, nämlich den Beitrag von Bakker und anderen, der sich kritisch mit der „etablierten“ Auffassung von Kausalität im Zusammenhang mit Bildung auseinandersetzt, stellt sich die Frage: Ist das überhaupt sinnvoll, sich auf die Suche nach Ursachen zu machen, wenn es um generative KI (wie ChatGPT) in der Bildung geht? Tatsächlich stehen im Beitrag von Weidlich et al. Experimentalstudien bzw. Studien im Zentrum des Interesses, die sich zum Ziel setzen, die Wirkung von ChatGPT in der Bildung unter Rückgriff auf ein naturwissenschaftliches Kausalitätsverständnis zu untersuchen. Da diese Studien das Gros der Bildungsforschung ausmachen, wie Bakker et al. ebenfalls feststellen, erscheint es mir in jedem Fall relevant, trotz der offenen Frage nach dem Kausalitätsverständnis einen kritischen Blick auf diese Forschung zu werfen.
Weidlich et al. kommen nach ihrer Analyse zu dem Schluss, dass etliche empirische Studien zu ChatGPT ganz offensichtlich als Medienvergleiche in großer Eile durchgeführt und publiziert worden sind und zudem noch voreilige Schlussfolgerungen ziehen. Vor allem aber macht der Text darauf aufmerksam, dass sich gerade eine Forschungspraxis wiederholt, die aus früheren Technologiewellen und der dazugehörigen „Medien-/Methodendebatte“ (aus den 1980er und 1990er Jahren) eigentlich hinlänglich bekannt ist: Medienvergleiche, bei denen zu wenig oder gar nicht bedacht wird, dass ein Medium immer nur in Verbindung mit einer Methode eine Wirkung (in Bildungskontexten) entfaltet. Und so erinnern die Autoren an die viel diskutierte Konfundierung von Medien und Methoden: Lernzuwächse werden fälschlicherweise dem Medium zugeschrieben, obwohl sie in Wirklichkeit aus Unterschieden in der Gestaltung von Lehre/Unterricht, in der Qualität der Inhalte oder in den Lehrstrategien, die in das Medium eingebettet sind, resultieren. Und jetzt macht man den gleichen Fehler wieder? Offenbar!
Weidlich et al. betonen, dass ihre Kritik auf einem „positivistischen Paradigma“ basiert, da sie sich an der methodischen Tradition der untersuchten Studien orientieren. Gleichzeitig weisen sie darauf hin, dass es auch andere Forschungstraditionen (man könnte vielleicht auch sagen: Forschungsgenres) gibt, die andere (wertvolle) Perspektiven für das Lernen mit KI bieten würden. Und in einer Fußnote wird in diesem Zusammenhang sogar Design-Based Research (DBR) erwähnt, worüber man klagen (warum nur in einer Fußnote?) oder sich freuen (da wird DBR als Forschung anerkannt!) könnte; ich tue zweiteres. Eines dürfte jedenfalls sicher sein: DBR ist keine „fast science“ und versucht erst gar nicht, Ursachen in einzelnen Variablen zu suchen.