Eher zufällig bin ich auf einen Artikel in der Zeitschrift „Higher Education Research & Development“ gestoßen, der sich mit der Frage beschäftigt, wie man studentische Aktivität („engagement“) in der Online-Lehre sinnvoll erfassen kann und was sich da als weniger geeignet herausstellt:
Dyment, J., Stone, C. & & Milthorpe, N. (2020) Beyond busy work: rethinking the measurement of online student engagement, Higher Education Research & Development, 39:7, 1440-1453.
Ich halte die in diesem Text gestellte Frage grundsätzlich für sehr relevant, denn wer als Lehrender selber engagiert Online-Lehre anbietet, hat natürlich großes Interesse daran, die teilnehmenden Studentinnen und Studenten zu motivieren, zum Mitdenken und Aktiv-Werden anzuregen und dann auch zu erfassen, ob das denn gelingt. Nun ist es in der Präsenzlehre schon schwer zu erkennen, wer wirklich engagiert dabei ist (mentale Mitarbeit und ein sich entwickelndes Interesse kann man nicht unbedingt direkt sehen). Die Autorinnen des Textes nehmen als Ausgangspunkt die wachsende Tendenz, diese Frage über quantitative Maße zu beantworten, die sich etwa über den Einsatz von Learning Management Systemen anbieten. Gemeint sind damit verschiedene einfache Maßnahmen, um Aktivität zu “zählen“: „To combat high failure and student drop-out rates, universities have developed strategies to monitor student engagement through measurable activities such as logging in to the LMS, participating in discussion forums, providing feedback to a peer, completing a non-assessed quiz or survey, signing up for online discussion classes, completing a checklist, or downloading the syllabus” (pp. 1450).
In einer qualitativen (Interview-)Studie kommen sie jedoch zu dem Schluss, dass eben diese „Messungen“ von „engagement“ wenig taugen und kaum darüber hinauskommen, den Grad der Fleißarbeit zu erfassen (wobei natürlich ein wenig Fleiß durchaus eine gute Bedingung für verstehendes Lernen und engagiertes Studieren sein kann ;-)). Das Fazit der Autorinnen lautet: „Traditional measures of online student engagement need to be re-evaluated. While originally intended to improve student retention and success, many such checks – particularly those enabled by the affordances of Learning Management Systems – can be mechanistic. The risk is that these are perceived by students as arbitrary and alienating ‘busy work,’ deployed more for their effectiveness as surveillance than as authentic means towards engagement with course materials or learning. By contrast, authentic engagement can occur in behaviours and habits that are unobservable to the LMS” (pp. 1451).
Als Alternative wird vorgeschlagen, mehr Selbstevaluation und Reflexion („reflective journals) einzuführen – nicht unbedingt neue Ideen, zu denen die Erfahrungen auch nicht immer berauschend sind. Richtig aber erscheint mir die Folgerung, dass man die Aktivität der Studierenden nicht an dem festmachen kann, was man in einem LMS so alles beobachten kann (was im Prinzip ähnlich für Präsenzveranstaltungen gilt). Studierende aus der Interviewstudie etwa berichten, “how their engagement occurred in study groups operating outside of the LMS; they explained their engagement that came through following leads provided by the lecture to TED talks or YouTube clips; they noted their engagement through working on well-designed assessment tasks that were authentic and prompted their creativity” (pp. 1450 f.). Vielleicht muss man auch einfach zugestehen und damit leben, dass man nicht immer alles erfassen kann (und muss) ….
Vielen Dank für diese Gedanken. Als Berufsschullehrer unterschreibe ich diese Erkenntnisse. Mit meinen Klassengrössen habe ich noch den Vorteil, die Lernenden zu kennen. Wichtig scheint mir, dass Resultate von Tests, Beobachtungen in LMS und anderes, nicht als „Mass aller Dinge“ verstanden werden, sondern als Indikatoren.
Die Diskussion dürfte in der Arbeitswelt gerade ähnlich laufen. Präsenzzeit zählt mit Homeoffice nicht mehr. Wie messe ich nun den Output?
Liebe Grüsse und schöne Weihnachtstage