Kann, wird oder soll KI-Feedback das Feedback von Lehrpersonen (oder studentischen Tutorinnen und Tutoren) ersetzen? Unter welchen Bedingungen wäre das grundsätzlich vertretbar? Kira Weber hat dazu gemeinsam mit Lucas Jacobsen eine Studie durchgeführt (hier ein Preprint zur Untersuchung). Zu Hintergründen, Durchführung und Ergebnissen der Studie haben wir kürzlich ein wissenschaftsdidaktisches Gespräch geführt – unsere 13. Episode des ProfCast. Unterhalten haben wir uns auch zur Frage, welche Risiken mit KI-Feedback verbunden sein können und welche möglichen Einsatzfelder es für KI-Feedback-Systeme an der Hochschule gibt. Am Ende landen wir beim „hybriden Feedback“ – ein Thema, bei dem ich mir vorstellen kann, dass es viele interessante Gestaltungsfragen zu bearbeiten gibt. Ich hoffe daher auf viele Zuhörerinnen und Zuhörer!
Schlagwort: Feedback
Von Möglichkeiten, Wirkungen und Sinn
Generative KI als Feedback-Geberin in Studium und Lehre: Was ist da jetzt und künftig prinzipiell möglich, was wirkt und wie sinnvoll ist es? Das sind drei aus meiner Sicht drängende Fragen, von denen ich annehme, dass sie – in der skizzierten Reihenfolge – komplexer werden und schwerer zu beantworten sind mit der Folge: Antworten werden vor allem auf die erste, vielleicht noch auf die zweite, weniger aber auf die dritte gesucht.
„Von Möglichkeiten, Wirkungen und Sinn“ weiterlesenÜben als eine Praxis des Könnens
Gleich zwei Beiträge in der Juni-2022-Ausgabe von Forschung und Lehre drehen sich um das Thema Prüfen: meine eigener (online zugänglich hier) und ein Beitrag von Stefan Kühl (online hier). Mein Beitrag ist die (aktualisierte) Kurzform eines Textes mit Thesen zur Prüfungskultur, über den ich in einem anderen Zusammenhang schon mal berichtet habe (z.B. hier). Stefan Kühl beschäftigt sich in seinem Text mit dem oft fehlenden Feedback auf Prüfungsartefakte wie Hausarbeiten.
Erniedrigungsbürokratie
Manchmal liest man ja was und weiß sofort: Da schreibt jemand öffentlich auf, was man sich selber bisher nur getraut hat zu denken, ohne es laut auszusprechen. Kommt vor! Kam jetzt auch wieder vor, als ich ein Interview mit Reinhard Sprenger gelesen habe, der sich in der Managementliteratur einen Namen gemacht hat. Normalerweise interessiert ich das nicht sonderlich, aber da ich bin hängen geblieben: Sprenger spricht im Interview (hier) von der Entmündigung in großen Unternehmen, von Erniedrigungsbürokratie, psychosozialer Zudringlichkeit und Therapeutisierung. Ein Transfer auf Hochschulen fällt nicht allzu schwer.
Durchhalten!?
Ich möchte in diesem Blog-Post ein (vielleicht typisches?) hochschuldidaktisches Problem schildern.
Ausgangslage: Über drei Veranstaltungen hinweg (innerhalb eines Studienjahres, denn bei uns gibt es Trimester) sieht der Leistungsnachweis für ein Modul so aus, dass eine kleine – ich sage mal – E-Portfolio-ähnliche Zusammenstellung der Bearbeitung von drei Aufgaben zu Modulende abzugeben ist. Jede Aufgabe besteht aus zwei Teilen: Im ersten Teil sucht man sich als Studierender eine Frage aus einer Liste von acht bis zehn Fragen aus, die man mit Hilfe von Literatur und der im Seminar erworbenen Kenntnisse auf ca. zwei Seiten beantwortet. Die Fragen sind so formuliert, dass sie genau zu den Inhalten in der Veranstaltung passen und jedem die Möglichkeit geben, das, was er/sie im Seminar erarbeitet hat, auch nochmal zu nutzen. Da aus jeder der drei Veranstaltungen zudem kleinere „Produkte“ resultieren (z.B. eine durchgeführte Unterrichtseinheit, ein selbst gestaltetes Medium, Ergebnisse einer eigenen Evaluation – alles Teamprodukte), besteht die zweite Hälfte der Aufgabe darin, auf maximal einer Seite, das jeweilige „Produkt“ kurz zu beschreiben und selbstkritisch einzuschätzen. Wie das genau aussehen soll, ist in einem Merkblatt (Merkblatt_Leistungsnachweis_Portfolio) festgehalten.
Feedbackangebot: Die Studierenden haben die Möglichkeit, ihre drei nacheinander zu erarbeitenden Aufgabenlösungen bis zu einer bestimmten Deadline (ca. zwei Wochen nach Veranstaltungsende) bei mir einzureichen, um ein Feedback zu erhalten. Mit diesem Feedback können sie ihre Arbeit verbessern. Ohne dass es negative Auswirkungen auf eine Note hat, kann also jeder vorab eine Einschätzung zur Qualität seiner Texte bekommen und kann sich im Prozess verbessern. Das Ergebnis am Ende kann dann eigentlich nicht mehr wirklich schlecht sein – im Idealfall (und das sollte die Studierenden freuen, ist aber auch ein Stein des Anstoßes etwa für den Wissenschaftsrat, der ja zu gute Noten beklagt – siehe z.B. hier).
Jetzt die große Frage: Wie viele von 49 Studierenden nehmen wohl diese Möglichkeit wahr? Sieben! Oder anders formuliert: im aktuellen Jahrgang nur jeder siebte Studierende. Nun wird vermutlich der Einwand kommen: Die Deadline ist zu knapp gesetzt. Das mag sein, erscheint mir aber letztlich nicht wirklich stichhaltig, denn wie sinnvoll ist es denn, mehrere Wochen oder gar Monate verstreichen zu lassen, wenn man dann die relevanten Inhalte für die Aufgabe nicht mehr frisch im Kopf und am Ende viel mehr Mühe hat? Und kann man nicht eine rudimentäre Zeitplanung erwarten, wenn Anforderungen und Termine alle rechtzeitig bekannt sind?
Wie geht man damit um? Dass theoretisch sinnvolle didaktische Angebote praktisch scheitern, ist nicht neu – also auch nicht neu für mich! Schwierig zu klären ist aus meiner Sicht, wie man am besten reagiert: (a) Das Angebot einstellen – erscheint mir nicht sinnvoll, denn man „bestraft“ diejenigen, die es ja annehmen. (b) Das Angebot ändern, sodass es „angenehmer“ wird – kommt ebenfalls für mich eher nicht in Frage; habe ich früher tendenziell gemacht; heute bin ich da zurückhaltender, denn Lernerfolge erfordern eben schon auch Anstrengung auf Seiten der Studierenden; ich sehe keinen Sinn darin, den „Wohlfühlfaktor“ permanent zu erhöhen, weil das am Ziel vorbeigeht. (c) Das Angebot beibehalten und durchhalten – liegt wohl am nächsten, weil es auch eine Frage der „Lehr-Lernkultur“ ist, wie man mit Feedback umgeht; und das ist nun mal ein eher längerer Prozess.
Brauchen wir ABBs (Allgemeine Bildungsbedingungen)?
Bei der Reflexion meiner eigenen Lehre und beim Austausch mit anderen Lehrenden ist das Thema „Feedback geben und was die Studierenden damit eigentlich machen“ immer wieder präsent. Bei mir selbst beobachte ich eine mit den Jahren steigende Intensität der Rückmeldung (im Hinblick auf Umfang und Tiefe), die mich natürlich zeitlich ziemlich in Anspruch nimmt. An sich könnte man ja meinen, dass man im Laufe der Jahre eher etwas „laxer“ (man könnte auch freundlicher sagen „gelassener“?) wird. Warum ich da zum Gegenteil tendiere, kann ich mir selbst nicht so recht erklären. Vielleicht weil es mich ärgert, wenn nach einer Lehrveranstaltung die Ergebnisse nicht so gut sind? Weil ich dann gewissermaßen die letzte Chance eines Feedbacks nochmal nutzen will (damit nicht alles umsonst war)? Ich weiß es nicht … Wenn denn die ausführlichen und aufwendigen Rückmeldungen dazu führen, dass Studierende etwas lernen und über die Zeit tatsächlich besser werden, „lohnt“ es sich, es macht dann auch Spaß – das ist gut investierte Zeit (und das trifft so schätzungsweise auf 10, im besten Fall mal 20 Prozent der Studierenden zu). Wenn aber einerseits von Studierenden zu wenig Rückmeldung beklagt wird und andererseits keine Anstrengungsbereitschaft da ist, diese auch zu nutzen, dann wird es schwierig bis frustrierend.
Vielleicht – und das ist jetzt ein durchaus ernst gemeinter Vorschlag – sollte man so etwas wie AGBs für den Bildungsbereich einführen: quasi ABBs (Allgemeine Bildungsbedingungen). Das heißt: Wenn ich als Lernender Rückmeldung nicht nur in Form einer Note, sondern mit umfangreichen Erläuterungen (Erklärungen von Bewertungen und Verbesserungshinweise) erhalte, dann bin ich auch verpflichtet, diese zu lesen, nachzuvollziehen und für Verbesserungen zu nutzen, oder auch nachzufragen, wenn ich die Rückmeldungen nicht verstanden habe. Mit Abgabe einer Leistung plus Feedback kreuze ich dann an, ob ich mit den ABBs einverstanden bin. Wenn nicht, gibt es auch kein Feedback bzw. nur eines in Form einer Note (wenn man denn unbedingt eine solche vergeben muss; den Wert von Noten jedenfalls sehe ich ohnehin zunehmend skeptischer – aber das ist ein anderes Thema … über das ich erfreulicherweise auch auf der nächsten GMW in Wien berichten darf).
Nicht besser werden wollen?
Feedback geben – es gibt viele gute Argumente wie auch Studien, die zeigen, dass die Rückmeldung an studentische Leistungen im Rahmen der Hochschule wichtig ist. Studierende beklagen überdies häufig einen Mangel an Feedback und geben entsprechend an, sich mehr davon zu wünschen. Ich meine, viel Feedback in meiner Lehre zu geben. In einer Veranstaltung, die ich mit dem Konzept „Lernen durch Lehren“ mache, bekommt jedes Lehrteam mindestens zwei Seiten schriftliche Rückmeldung dazu, was gut war, was man verbessern kann und wie man es verbessern kann. Die anderen Lehrteams, auch die, die Ihre Lehreinheit noch vor sich haben, können diese Feedbacks ebenfalls lesen. Auf die abschließenden Hausarbeiten, die 10 bis 12 Seiten umfassen, kommen in der Regel ebenfalls bis zu zwei Seiten Rückmeldung von mir. Das ist extrem aufwändig. Ich habe mal den Zeitaufwand für zwei Kurse über drei Monate lang (insgesamt 30 bis 40 Studierende) zusammengestellt und komme auf ca. 45 bis 50 Stunden allein (!) für die Formulierung schriftlicher Rückmeldungen (und mir geht das wahrscheinlich inzwischen recht schnell von der Hand – ein Novize kann da locker mal das Doppelte brauchen). Gut, das muss ich nicht machen, ich bin also selber schuld. Ich muss also folglich Gründe haben, warum ich es mache. Habe ich: Ich erhoffe und erwarte mir, dass die Studierenden das Feedback aufnehmen, verstehen, für sich nutzen und besser werden – so einfach. Ich möchte, dass die Studierenden besser werden.
Meine eigenen Lehrevaluationen sowie meine Beobachtung (oft gestützt durch Silvias Beobachtungen, die mich in den letzten Kursen immer begleitet hat, sodass ich weiß, dass es kein Verfolgungswahn ist) zeigen allerdings ziemlich deutlich: Die Rückmeldungen haben wenig bis keine unmittelbaren Wirkungen. Verbesserungsvorschläge werden kaum aufgegriffen. Ich weiß ehrlich gesagt nicht einmal, wie viele der Studierenden das überhaupt lesen. Wenn sie es lesen, weiß ich nicht, ob sie es verstehen – mein Angebot nachzufragen, wird nämlich selten aufgegriffen. Falls sie es gelesen und verstanden haben, müssten sie es auch umsetzen – und davon sehe ich wenig. Die Rückmeldungen sind weitgehend so gestaltet, wie man „das so machen soll“: Informativ mit Hinweisen auf Stärken und Schwächen sowie konkreten Verbesserungsvorschlägen – oft auch mit Begründungen. Ein „handwerklicher Fehler“ beim Feedback sollte also eher nicht die Ursache sein. Nun ist das kein neues Problem und vielleicht kommt hier die Frage auf, warum ich das gerade jetzt schreibe (nachdem auch in Christians Blog hier kürzlich ein ähnlicher Beitrag für Diskussionsstoff gesorgt hat). Der aktuelle Grund: Zwei Studierende, die meine Kritik an zahlreichen unverständlich formulierten Botschaften in ihrer Arbeit darauf zurückführten, dass ich die Arbeit nicht richtig gelesen hätte …. Auf die Idee, dass es wohl eher umgekehrt sein könnte, dass also besonders gute Noten oft zustande kommen, weil manche Kollegen/innen diese Arbeiten genau nicht intensiv lesen, sind die beiden nicht gekommen. Sie beharrten darauf, „wissenschaftlich geschrieben“ zu haben, so wie es anderswo akzeptiert und nur von mir als unverständlich gewertet werden würde. Immerhin wurde dieses Feedback ja gelesen, wenn auch nicht verstanden, oder aber zwar verstanden, aber nicht akzeptiert.
So rechten Rat weiß ich mir keinen, wie man mit diesem Problem umgeht: Feedback geben ist anstrengend, Feedback annehmen und vor allem auch nutzen, allerdings auch (wir wollten dazu mal ein Forschungsprojekt machen, aber dafür haben wir leider keine Finanzierung bekommen – siehe hier). Fehlt es (manchen, vielen?) Studierenden an Anstrengungsbereitschaft? Die Vermutung habe ich mitunter schon, OHNE da alle unter Generalverdacht zu stellen. Wollen manche Studierende gar nicht besser werden? Auch das kann ein Grund sein, vor allem, wenn das Interesse an einem Thema oder gar am ganzen Fach fehlt. Haben einige Studierende (z.B. die besagten beiden) schlicht kein Vertrauen in die Lehrenden? Möglich ist das auch, jedenfalls in Einzelfällen wie dem geschilderten. So lange man keine Antworten auf diese Fragen hat, wird es wohl schwierig bleiben, das Problem zu lösen …. und die eigene Motivation aufrecht zu erhalten.