High Noon – Didaktik zu Mittag – so lautet die Veranstaltungsreihe zur Hochschuldidaktik des Zentrums für Lehrkompetenz an der Universität Graz. Heute durfte ich da um 12.00 Uhr mittags den letzten Vortrag im Wintersemester 2021/22 halten. Es ging um das Thema Prüfungen bzw. Prüfungskultur, zu dem ich bereits im Oktober 2021 einen Online-Workshop (organisiert von der Stiftung Innovation in der Hochschullehre und dem Hochschulforum Digitalisierung) angeboten hatte; ich habe in diesem Blog (hier) darüber berichtet. Der Vortrag ist nun online frei zugänglich.
Schlagwort: Assessment
Hoffen kann man ja
Hauptbeschäftigung der letzten Tage war für mich mal wieder die Prüfungskorrektur bzw. genauer: die Korrektur von Fallbearbeitungen von über 80 Studierenden (in Zweierteams). Bereits an der Universität Augsburg hatte ich mit dieser Assessment-Form gearbeitet und damit gute Erfahrungen gemacht. Die Studierenden erhalten einen kurzen Fall (wobei mehrere Fälle konstruiert werden, damit immer nur eine bestimmte Anzahl von Zweierteams den gleichen Fall erhält) und dazugehörige Teilaufgaben, die fallbezogen mit einer eher eng begrenzten Textmenge zu bearbeiten sind. Zur Bearbeitung sollen die Inhalte zweier vorausgegangener Veranstaltungen und die dort verwendeten Ressourcen (vor allem der Studientext Didaktisches Design) verwendet werden. Die Studierenden erhalten morgens die Angabe und müssen die Lösung 24 Stunden später eingereicht haben. Es gibt hier natürlich keine eindeutigen Lösungen. Zwar habe ich selbst Elemente denkbarer Musterlösungen erstellt, die mir bei der Korrektur helfen, aber je nach Argumentationsfähigkeit und Einfallsreichtum sind bei einigen der Teilaufgaben auch Ausführungen möglich, an die ich vorab nicht gedacht habe. Die Korrekturen sind daher schon ein bisschen aufwändig. Inzwischen aber brauche ich nur ca. 15 Minuten für sehr gute Arbeiten und bis zu 25 Minuten für sehr schlechte (das zur Orientierung, falls jemand das auch mal ausprobieren möchte).
Dass gegenseitig abgeschrieben wird, habe ich noch nie erlebt – es würde auch wenig sinnvoll sein. Dass dabei nur sehr gute Ergebnisse resultieren, habe ich leider auch noch nicht erlebt. Vielmehr sind die Ergebnisse in ihrer Qualität höchst (!) unterschiedlich und reichen von sehr guten Lösungen bis zu solchen, die man nicht annehmen kann.
Man sieht an den Lösungen gut, wer Fachbegriffe und Konzepte verstanden hat und diese argumentativ anwenden kann. Man erkennt auch sofort diejenigen Studierenden, die enorme sprachliche Probleme haben oder Sprache bereits kompetent als Denk- und Darstellungswerkzeug nutzen. Das kommentiere ich dann immer ausführlich mit Hinweisen, was die Studierenden versuchen sollten zu verbessern, denn: Wenn diese Dinge im ersten Studienjahr deutlich werden, hat man immerhin noch Zeit, daran zu arbeiten. Von allen schriftlichen Formen der Prüfung jenseits der Hausarbeit liefern mir diese Arbeiten meiner Einschätzung nach stets ein sehr gutes Bild über die Potenziale, aber auch über die Motivation der Studierenden. Was mich immer wieder verwundert ist, dass es auch Studierende gibt, die solche Prüfungsleistungen offenbar abgeben, ohne diese korrekturgelesen zu haben. Da schließe ich dann schon auch auf fehlende Motivation.
Da ich nächstes Jahr andere Fälle konstruieren werde (ich arbeite maximal zweimal hintereinander mit denselben oder ähnlichen), möchte ich diese hier online zur Anschauung zur Verfügung stellen. Wie ich die Lösungen korrigiere, kann ebenfalls im zweiten Dokument nachgelesen werden. Dabei bin ich übrigens dazu übergegangen, die Fehler direkt im Dokument zu kommentieren. Ob die Studierenden das auch lesen und versuchen, daraus zu lernen, weiß ich nicht. Ich hoffe halt einfach immer, dass ein paar dabei sind, die das tun, dabei erkennen, wo ihre Schwächen sind und dies zum Anlass nehmen, dagegen etwas zu unternehmen. Hoffen kann man ja …
Vom Peer Review zur Umerziehung?
Ich weiß, dass man das an sich nicht macht. Ich mache es trotzdem – einen abgelehnten Forschungsantrag online stellen. Warum? Man kann es als Beitrag zum Wissensmanagement (allgemeine Infos hierzu z.B. hier) im Wissenschaftsbereich sehen: Neben „Best Practices“ können Fehlschläge ebenfalls einen Lerneffekt nicht nur für einen selbst, sondern auch für andere (Nachwuchs-)Wissenschaftler haben – also durchaus eine Form von Wissensteilung. Man kann es vielleicht auch als einen Aspekt von „öffentlicher Wissenschaft“ interpretieren, wie es Christian Spannagel vertritt. Vor allem aber möchte ich damit anregen, über ein Problem nachzudenken und zu diskutieren, das man ansonsten gerne in seiner privaten Schublade verstaut (weil man es halt AN SICH nicht öffentlich macht).
Aber zum Inhalt: Es handelt sich um einen Antrag, in dem wir unsere Erfahrungen und bisherigen praktischen Versuche wie auch theoretischen und empirischen Arbeiten zum Thema „Emotion und Lernen“ einerseits sowie „Assessment und Feedback“ andererseits heranziehen und darauf aufbauend eine Studie (im Feld) durchführen wollten. Maßgeblich an diesem Antrag beteiligt war Silvia Sippel (die mit diesem Blog-Beitrag einverstanden ist).
Ein (kürzeres) Gutachten bewertet den Antrag positiv, moniert aber die beantragten Ressourcen. Dies ist einsichtig und hätte bei einer Überarbeitung auch entsprechend geändert werden können. Auch andere Änderungsvorschläge hätten wir gerne berücksichtigt – unser Vorhaben ist/war sicher nicht frei von Mängeln. Ein zweites (langes) Gutachten dagegen kommt zu einem weitgehend vernichtenden Urteil. Um hier keine Missverständnisse aufkommen zu lassen: Bei einem Peer Review-Verfahren ist das nun einmal so und wenn man sich in dieses „Spiel“ begibt, hat man es zu akzeptieren, was selbstredend auch für mich/uns ist (Gedanken zum Thema in diesem Blog siehe auch hier, hier und hier). Allerdings bestärkt mich dieses (eigene) Beispiel mal wieder, dass es unter (sicher nicht allen, aber doch) bestimmten Bedingungen fruchtbar wäre, ein „open peer review“ durchzuführen. Ich würde zu diesen Bedingungen z.B. die Situation zählen, in der verschiedene methodische Auffassungen, letztlich auch erkenntnistheoretische Positionen aufeinanderprallen. Obschon wir bei diesem Antrag versucht haben, den Schwerpunkt auf einen quasi-experimentellen Vergleich zu legen, beinhaltet der Antrag doch auch entwicklungsorientierte Aspekte (wie ich sie z.B. hier und hier versucht habe, theoretisch zu begründen). Diese Richtung bedingt eine an mehreren Stellen andere Vorgehensweise als dies z.B. in der klassischen psychologischen oder pädagogisch-psychologischen Forschung favorisiert wird. Es wäre daher schon spannend gewesen, mehrere Meinungen auf diesen Antrag einzuholen und eine Chance zu haben, genau diese strittigen Punkte unter Peers (!) zu diskutieren. Nun gut, das Verfahren ist eben nicht so, aber man kann es ja immer wieder mal anregen, zumindest darüber nachzudenken, wo und wie man Peer Review-Verfahren auch anders gestalten bzw. Alternativen zur gängigen Praxis in unserer Disziplin ausprobieren könnte.
Kein Verständnis habe ich dagegen für einen speziellen Ablehnungsgrund, der auch im anschließenden Urteil (auf der Basis der Gutachten) formuliert wurde: Dieser Grund ist meine Publikationspraxis und die Feststellung, dass ich kaum in referierten Zeitschriften publiziert hätte, wobei gleich deutlich wird, dass hier ein recht enger Begriff von „Peer Review“ herangezogen wird (nämlich double blind reviews in fast ausschließlich englischsprachigen Journals). Unabhängig davon, dass man bereits darüber streiten kann, ob der Begriff des Peer Review in dieser Enge adäquat ist (zudem: ich mache viele Beiträge online zugänglich, sodass jeder, der es will, ein „Review“ durchführen kann), wundere ich mich schon: Habe ich ein persönliches Stipendium beantragt oder die Finanzierung eines Forschungsprojekts? Geht es um die Förderung meiner Person oder die einer Sache? Darf die Art der Publikationen (wohl gemerkt: nicht die Vorarbeiten, sondern der Ort deren Veröffentlichung) eines Antragstellers wirklich ein Kriterium für die Beurteilung der Qualität eines Forschungsantrags sein? Mir wird geraten, mich im Hinblick auf weitere Anträge diesbezüglich mehr zu engagieren. Gut gemeinter Tipp! Leider aber sind viele dieser Journals ja auch wieder so gestrickt, dass die meisten meiner Arbeiten darin eher keinen Platz finden. Ich müsste also meine Arbeit auf die Zeitschriftenpraxis abstimmen (als Wissenschaftler meint ja erst mal ganz naiv, es sollte umgekehrt sein). Was soll das werden? Ein Umerziehungsprogramm? Das macht mich schon ein bisschen nachdenklich und auch ratlos. Hier der Antrag:
Konservativ im Web 2.0?
In den letzten beiden Wochen habe ich viel gelernt – nämlich im Austausch mit einigen Mitgliedern unserer „Versuchs-Community“ mit dem vielleicht etwas groß aufgehängten Titel „Wissenschaftler 2.0“. Wie meine ich das bzw. was genau habe ich gelernt?
- Ich habe erstens gelernt, dass ich auf Polemik im unmittelbaren Dialog empfindlich reagiere: Ich verliere dann offenbar die Freude an der Diskussion. Ich bin schon auch ganz gern mal polemisch – z.B. in Vorträgen, wenn ich niemanden direkt anspreche, quasi als rhetorische Figur. Im Dialog bin ich konservativ – ich versuche, dem anderen Respekt zu zollen, fordere das aber offenbar auch ganz massiv ein.
- Ich habe zweitens gelernt, dass es schwer ist, zwei Logiken oder Paradigmen, oder wie immer man das bezeichnen will, zusammenzubringen. Also, eigentlich weiß ich das, denn ich habe mir an solchen Dingen schon öfter die Zähne ausgebissen, aber nun habe ich ein Beispiel mehr: Der Versuch, überhaupt die Idee zu verbreiten, Vorteile eines klassischen Peer-Reviews mit Vorteilen neuer Formen des digital unterstützen Wissensaustausches zu verknüpfen, gelingt zumindest nicht auf Anhieb.
- Ich habe drittens gelernt, dass die verschiedenen Wege, etwas Neues anzustoßen, auf unterschiedliche Gegenliebe und Interpretationen stoßen: Vom Primat des Tuns über das Nachdenken (im Sinne von Theorien Aufstellen) über die Vorrangstellung des Nachdenkens vor dem Tun bis zum Versuch, beides parallel oder zumindest in sehr kurzen Zyklen zu betreiben. Da gibt es persönliche Vorlieben und Überzeugungen (ich neue zu letzterem).
- Ich habe viertens gelernt, dass sich schnell Gemeinschaften – ich hätte jetzt fast gesagt „zusammenrotten“, aber vielleicht sage ich besser: zusammentun, ohne dass an sich klar ist, welchen Beitrag man da als Einzelner leisten könnte. Ich bin unerfahren, was Online-Communities außerhalb der Lehre betrifft, und war der irrigen Annahme, dass man diesen nur beitritt, wenn man einen unmittelbaren Zweck damit verfolgt (z.B. Feedback einholen und geben in Bezug auf Artikel oder Ideenskizzen, wie es die Grundidee oder erste Idee der oben genannten Community ist). Welche Folgen es hat, dass das offenbar anders läuft, weiß ich noch nicht.
Der für meine Arbeit wichtigste Lerneffekt (den ich wohl gemerkt ohne die Community NICHT hätte!) ist aktuell der, den ich an zweiter Stelle genannt habe: Ich sehe es als große Herausforderung, die Vorteile des bisher praktizierten Peer-Reviews mit den neuen Chancen eines öffentlichen Peer-Reviews unter Nutzung aktueller digitaler Medien und der damit mitschwingenden „2.0-Philosophie“ genauer zu beleuchten, Lösungsideen zu entwickeln und natürlich auch zu erproben. Ich sehe hier auch eine Parallele zur momentanen Assessment-Diskussion, denn in gewisser Weise ist ein Review ja auch ein Assessment, nämlich bisher eines, das stark auf Selektion ausgerichtet ist, während ich mir eines vorstelle, das viel stärker auch einen Lerneffekt hat. Da werde ich nächster Zeit (bald ist Urlaub!) mal intensiver drüber nachdenken. Ich hoffe dann natürlich auch, dass ich das Ergebnis des Nachdenkens in konstruktiver Weise in unsere Wissenschaftler 2.0-Community einfließen lassen kann.
Nochmal Qualität … hoffentlich
Auf meinen schriftlichen Beitrag zum Zusammenhang von Kompetenz, Qualität und Assessment anlässlich der IATEL-Konferenz an der TU Darmstadt habe ich ja bereits hingewiesen (hier). Im dazugehörigen Vortrag habe ich michbemüht, das zugegebenermaßen etwas trockene Thema noch etwas eingängiger und abgespeckter darzulegen – ich hoffe, es ist mir zumindest in Ansätzen gelungen. Gerne stelle ich das Manuskript zur Verfügung, wobei natürlich die Artikel-Fassung insofern umfassender ist, als dass ich da meine Argumente mit Quellen belege. Anbei auch die Folien, die in diesem Fall möglicherweise hilfreich sind, weil sie das Gesagte sichtbar strukturieren. Zu Eindrücken aus der Konferenz demnächst mehr.
Was in 40 Jahren alles nicht passiert
Wie vor kurzem bereits angekündigt, habe ich am 9. Juni an der Universität Hamburg im Rahmen der Ringvorlesung „Medien und Bildung“ einen Vortrag zum „forschenden Lernen und wissenschaftlichen Prüfen“ gehalten. Ausgangspunkt meines Vortrags ist eine fast 40 Jahre alte Schrift der Bundesassistentenkonferenz zum forschenden Lernen und wissenschaftlichen Prüfen, die lange Zeit vergriffen war und nun wieder neu aufgelegt wurde (Infos dazu siehe hier). Ich stelle wieder mein Redemanuskript zur Verfügung. Diesmal biete ich auch die (Text-)Folien an, weil die da zu findende Gegenüberstellung „1970 – 2009“ zum besseren Verständnis möglicherweise hilfreich ist. Ich freue mich übrigens auch über Kommentare :-).
Kompetenz, Qualität und Assessment: Zwischenzeitlich verflucht
Am 19. und 20. Juni 2009 veranstaltet das DFG-Graduiertenkolleg „Qualitätsverbesserung im E-Learning durch rückgekoppelte Prozesse“ die Konferenz „Interdisziplinäre Zugänge zu technologiegestütztem Lernen“ an der TU Darmstadt. Die Konferenz ist in mehrere „Sessions“ unterteilt; in einer davon, nämlich der Session „Qualität und Kompetenz“, werde ich auch einen Vortrag halten (hier findet man das Programm). Mein Titel lautet: „Kompetenz – Qualität – Assessment: Hintergrundfolie für das technologiebasierte Lernen“. Zu den Vorträgen sollten auch schriftliche Beiträge verfasst werden, die in folgendem Buch publiziert werden:
Mühlhäuser, M., Sesink, W. & Kaminski, A. (Hrsg.). Interdisziplinäre Zugänge zu technologiegestütztem Lernen. (Arbeitstitel). Münster: Waxmann.
Gerne stelle ich meinen Beitrag als Preprint zur Verfügung. Ich hatte das Thema zwischenzeitlich schon verflucht, denn wie das so ist: Man wird um einen Vortrag gebeten, macht sich z.B. im Zug ein paar Gedanken, hat dann eine Idee und formuliert ein Abstract. Erst viele Wochen später dann beginnt die eigentliche Arbeit. Wenn man dann merkt, dass einen das gewählte Thema in irgendwelche Untiefen führt, in denen man sich zu verirren droht, ist es zu spät. Da muss man dann durch. Natürlich kann ich den Vortrag nicht so halten, wie der Text geschrieben ist – da würde ich wohl zu viel Zeit in Anspruch nehmen. Aber inhaltlich geht es natürlich in diese Richtung. Es ist vergleichsweise abstrakt – ich weiß. Aber ich hoffe, dass es trotzdem Diskussionsstoff gibt und nicht langweilig wird. Und eben weil es nicht ganz so eingängig ist, gibt’s ja auch schon vorab den Text dazu.
Kopfzerbrechen über Qualität, Kompetenz und Assessment
Was könnte man vor und während Ostern alles machen? Eier anmalen, Kuchen backen, Zeitung lesen, gemütliche Kafferunden …. man kann sich aber auch den Kopf über Qualität, Kompetenz und Assessment beim E-Learning zerbrechen – wenn man will. Ich habe im Eifer des Gefechts dieses Thema für die Tagung „Interdisziplinäre Zugänge zu technologiegestütztem Lernen“ bzw. da für die Session „Qualität und Kompetenz“ vorgeschlagen und wäre in den letzten Tagen fast verzweifelt daran, weil man vom Zehnten ins Tausendste kommt und sich zudem auch noch rasch im Kreis dreht. Nun habe ich einen Artikel dazu weitgehend fertig, aber es wäre zu früh, ihn online zu stellen. Zudem muss ich daraus erst noch einen Vortrag basteln, denn es ist leider ziemlich komplex geworden. Was ich aber gerne machen kann, ist schon mal die Einführung und damit auch eine Art Abstract sowie den Anhang in Form von zwei Tabellen verfügbar machen. Vielleicht regt es ja zur Diskussion an. Im Juni kommt dann ein vollständiger Preprint.
PS: Unsere Uni-Server sind in den letzten Tagen hoffnungslos überlastet. Darunter leidet auch mein Blog. Ich bitte das zu entschuldigen. Ich denke, ich werde in Kürze umziehen, um das in Zukunft zu vermeiden.
Wie gut ist ein Forscher in den Geistes- und Sozialwissenschaften?
Wie gut ist ein Forscher? So gut wie seine Publikationsliste. Aber natürlich nicht jede Liste! Das Gericht in einem Fünf-Sterne-Lokal erfordert ja auch erlesene Zutaten (aber wer weiß eigentlich schon, ob sich da nicht auch Discounter-Ware einschleicht?) und die kommen eben nicht irgendwo her. So ist das mit den Publikationen auch. Allerdings besteht wenig Konsens darin, was die „erlesenen Quellen“ sind und was man meiden muss – jedenfalls in den Geistes- und Sozialwissenschaften. Der Unmut darüber, dass sich schon seit längerem in den Geistes- und Sozialwissenschaften Beurteilungspraktiken breit gemacht haben, die aus den Naturwissenschaften kommen, war und ist groß. Umso erfreulicher sind Vorstöße, hier differenzierter zu werden und die Besonderheiten der Disziplinen sowohl in der Forschung als auch in der Art der Veröffentlichung Rechnung zu tragen. Hierzu gibt es aktuell bei der DFG einen interessanten Hinweis (hier):
Die DFG spricht sich gegen den European Reference Index for the Humanities (ERIH) aus – einen Ansatz zur Bewertung von Zeitschriften als Publikationsorten für geistes- und sozialwissenschaftliche Forschungsergebnisse. Kritisiert wird zum einen, dass auch dieser Ansatz erneut allein Zeitschriften im Blick hat (und z.B. nicht Monografien und Sammelbände), und zum anderen, dass ad hoc zusammengesetzte Expertenpanels die Klassifizierung dieser Zeitschriften vorgenommen hätten. Das Ergebnis sei unterkomplexen und lade zu Missbrauch ein. Zusammen mit drei anderen Förderorganisationen aus Frankreich, Großbritannien und den Niederlanden hat die DFG daher bereits Ende 2008 ein „Project Board unter Leitung von Professor Ben Martin, Universität Sussex“ initiiert – woher da jetzt die Experten kommen und wieso die nicht ad hoc zusammengesetzt sind, steht leider nirgendwo. Positiv aber ist folgendes Versprechen für die Arbeit dieser Gruppe (ich zitiere):
„Dabei sollen sowohl die Diversität europäischer Wissenschaftssprachen als auch die spezifischen Kommunikations- und Publikationsformen der einzelnen Disziplinen als besondere Herausforderungen mit bedacht werden. Beispielhaft sind hier die in vielen Fächern zentralen Publikationsformen der Monografie und des Sammelbandes zu nennen …“.
Schade, dass z.B. Lehrbücher und andere Lehrmaterialien wiederum NICHT berücksichtigt werden, obschon dies für den Transfer von Wissen und Wissenschaft und für die viel beschworene Einheit von Forschung und Lehre ja wohl auch SEHR wichtig wäre. Ein gutes Lehrbuch schreiben zu können, wäre das nicht auch eine wichtige Qualität eines Forschers? Wäre das nicht eine viel sinnvollere Initiative im Zuge einer höheren Wertschätzung der Lehre als ständig diese „Exzellenz-Wettbewerbe“? Ich frag ja nur …
Andere Zeitschriften, andere Sitten
Ende des Jahres 2008 hatte ich mich (siehe hier) davon überzeugen lassen, dass es sinnvoll ist, ein Themenheft zum Assessment für die Zeitschrift für Hochschulentwicklung (ZFHE) herauszugeben. Es war schon ein bisschen eine Feuerwehraktion und ich bin sehr froh, dass es doch ausreichend Einreichungen (wenn auch nicht übermäßig viele) gegeben hat. Danke an alle, die sich da beteiligt haben! (Bei der Gelegenheit: Der Call für Abstracts zum E-Assessment bei der Zeitschrift für E-Learning läuft bis Ende Juni: siehe hier). Aber zurück zur ZFHE:
Hier stand ich ein bisschen auf der Leitung und habe eine Weile gebraucht, bis ich verstanden habe, dass das Prozedere etwas anders abläuft. Die Redaktion der ZFHE hat mich da jetzt auf Nachfragen etwas genauer aufklärt: Die ZFHE versucht, so die Erklärung an mich, zwei tendenziell widersprüchliche Anforderungen unter einen Hut zu bringen: nämlich das Konzept der „Ausgabe“ oder „Nummer“ einer Zeitschrift als abgeschlossenes Werk (wie bei reinen Papier-Formen) und die schnellst mögliche Publikation eines fertigen Beitrags (als Vorteil der Online-Publikation). Daher werde jeder Beitrag sofort online gestellt, sobald er den Review- und Produktionsprozess positiv durchlaufen hat. Eine konkrete Nummer werde dagegen erst dann fertiggestellt, wenn alle Einzelbeiträge online sind oder zumindest bekannt ist, welche (nach positivem Review und ggf. Überarbeitung) in diese aufgenommen werden. Jetzt habe ich es verstanden! Die Begründung ist nachvollziehbar. Wie es die Leser sehen, weiß ich nicht. An sich sage ich jetzt mal spontan, dass es da nichts dagegen einzuwenden gibt. Nun gut, also mit so etwas wie einem Editorial muss ich natürlich warten, bis alles da ist. Ich habe zwar alle eingereichten Beiträge gelesen, um mir ein Bild zu machen, die dann aber an je zwei Gutachter gegangen sind.
Es gilt also, noch ein bisschen zu warten. Ich freue mich aber ganz besonders, dass Silvia (mit der ich gerade an einem DFG-Antrag sitze) mit ihrem Beitrag bei den Reviewern ohne nennenswerte Beanstandungen erfolgreich UND schnell war und nun sogar den Beginn zur „Themenreihe (?) Assessment“ macht: Ihr Beitrag ist bereits online (hier).