Schlagwort: Assessment

Call zum Thema Assessment

Vergleichsweise kurzfristig habe ich mich bereit erklärt, bei der Zeitschrift für Hochschulentwicklung ein Themenheft zu „Assessment im Hochschulunterricht“ herauszugeben. Gezögert habe ich, weil der Zeitplan verdammt eng ist (warum, das weiß ich leider als Externe nicht) und so natürlich die Gefahr besteht, dass nicht allzu viele Beiträge in hoher Qualität eingereicht werden. Aber ich setze jetzt mal darauf, dass in den den verschiedenen Fachcommunities, die sich mit der Hochschullehre aus unterschiedlichen Perspektiven beschäftigen, das brisante Thema gewissermaßen immer unterschwellig vorhanden ist, immer wieder als wichtig erlebbar ist und inzwischen auch häufiger diskutiert wird – und demnach auch bis Ende Februar aktivierbar ist :-). Was mich letztlich zur Zusage bewogen hat, ist die meiner Ansicht nach große Bedeutung des Assessments für die Lehr-Lernkultur an unseren Hochschulen – zwar nicht erst seit, aber vor allem sehr deutlich seit bzw. mit Bologna.

Hier der Call (zfhe-call-for-paper-assessment), den ich nun auch schon ein wenig verteilt habe und der natürlich auch in meinem Blog nicht fehlen soll.

Wichtig: Es geht um Assessment generell, nicht um das spezielle Assessment mit digitalen Medien. Dazu nämlich (zum E-Assessmen)  planen wir in der Zeitschrift für E-Learning selbst ein Themenheft für 2010 (was weit weg klingt, aber eben langfristiger geplant ist). Auch freue mich sehr darüber, dass wir Karsten Wolf als Herausgeber dafür gewinnen konnten.

Wer aber JETZT schon darauf brennt, seine Erkenntnisse loszuwerden, den bitte ich um Beiträge für das „eilige“ Themenheft der ZFHD. Lasst mich nicht im Stich! 😉

Frustrationstoleranz gefragt

Normalerweise nutzt man sein Blog wohl eher für „Jubelmeldungen“, können inzwischen doch mehrere Studien zeigen, dass diese Form der Kommunikation (via Blog) natürlich auch dem Selbst-Marketing dient. Aber um Eindrücke aus dem Universitätsalltag aus Professorensicht zu schilden, gehört es wohl dazu, dass man ab und zu berichtet, was alles NICHT klappt – z.B. Anträge (vor längerer Zeit habe ich über so etwas ja auch schon berichtet: siehe hier; allerdings hätte ich leider viel zu tun, würde ich das immer machen …).

Vom vor kurzem skizzierten Antragsmarathon liegen erste, leider negative Ergebnisse vor: Das mir wichtigste Thema – nämlich ein Projekt zum Assessment an der Hochschule – wurde beim bmbf abgelehnt, obschon aus meiner Sicht das Konsortium gut besetzt war und das Thema sollte nun eigentlich strategisch mehr als bedeutsam sein. Ich bin ja fest davon überzeugt, dass wir Prüfungen und Feedback im Rahmen von Bologna dringend angehen müssen, wenn wir auch nur irgendwas unserer didaktischen Ideen in die nächsten Jahre retten wollen. Nun ja, traurig ist, dass es keinerlei Begründungen gibt (also kein Feedback, aus dem man lernen könnte), sondern einfach nur eine Absage

Gleiches gilt für einen EU-Antrag, in welchem der Ansatz der Open Educational Resources im Vordergrund stand – allerdings recht themen- und kontextspezifisch (was das Ganze aber konkreter macht): Auch da noch keine Begründung, aber immerhin soll im Oktober eine kommen (bin gespannt, welche Defizite da hervorgehoben werden). Dieser EU-Antrag war der schlimmste für mich und hat mich die ganzen Osterfeiertage gekostet – wer solche Formulare konzipiert, der sollte ein Jahr lang dazu verdonnert werden, diese selbst mehrfach auszufüllen. Auch das OER-Thema ist ja angeblich politisch gewollt; trotzdem hat es nicht geklappt.

Überhaupt habe ich den Eindruck, dass es bei Forschungsanträgen besser ist, auf dem Mainstream zu schwimmen, vor allem aber bloß nicht vorneweg zu marschieren und es mit Ideen zu versuchen, die ein gewisses Risikopotenzial bergen, weil man was Neues ausprobieren will. Forschungsförderung scheint – so mein zunehmender Eindruck in den letzten Jahren – doch eher konservativ zu sein, vielleicht, weil man das besser beurteilen kann oder weil man sich so besser vor Fehlschlägen schützt? Ich weiß es nicht, aber es ist halt schon ein Jammer, wie viel Zeit man in manche Dinge investiert, die dann nichts werden, und die man ja angesichts der mageren oder gar nicht vorhandene Grundausstattung dann nicht einfach anderweitig umsetzen kann. Ebenso habe ich so meine Probleme mit der vielleicht erfolgreicheren Strategie, einfach anzubieten und zu beantragen, was gerade gefragt bzw. angesagt und gut akzeptiert ist – ich habe da so etwas von „Freiheit von Forschung und Lehre“ im Kopf, die sich mit einer solchen „Nachfrageorientierung“ ja schon etwas beißt. In jedem Fall ist – das kann ich mal festhalten – eine gewisse Frustrationstoleranz gefragt, wenn es heute darum geht, an Geld zu kommen, um das zu machen, wofür man eigentlich seine Ernennungsurkunde erhalten hat: Forschung.

Ich bin jetzt erst mal urlaubsreif und verabschiede mich heute für mind. zwei Wochen in den Urlaub – offline, versteht sich 😉

Wie man die Qualität von Forschung erfasst (und wie nicht)

„This is a report about the use and misuse of citation data in the asssessment of scientific research“. So beginnt ein online (hier) zugänglicher Artikel der International Mathematical Union (IMU) in Kooperation mit dem International Council of Industrial and Applied Mathematics (ICIAM) und dem Institute of Mathematical Statistics (IMS) – Herausgeber also, denen wir aus den Sozial- und Bildungswissenschaften gemeinhin den Status der Objektivität schlechthin zugestehen und von denen wir sicher sein dürfen, dass sie Fragen zu statistischen Konzepten perfekt bearbeiten können. Zu den „citation data“ gehören u.a. der bekannte Zitationsindex – also die Frage, wie oft wird jemand wo zitiert, wobei das Wo eine wichtige Rolle spielt – und auch der sog. Impact Factor (einen guten Überblick gibt hierzu z.B. Peter Baumgartner hier), der zeigen soll, wie wichtig und angesehen z.B. einer Zeitschrift ist, in der es sich für einen Forscher folglich zu publizieren lohnt. Dass nun diese quantitativen Maße keineswegs, wie erhofft, objektiver sein müssen als Gutachten und andere qualitative Bewertungen (wie z.B. Peer Reviews, die aber im Übrigen bei einer Zeitschrift mit Impact Factor im Prozess auch eine zentrale Rolle spielen) ist Gegenstand des Beitrags mit dem Titel „Citation statistics“.

Die Autoren beklagen, dass Zitationsdaten viel zu wenig erforscht sind, dass es einen naiven Glauben an Zahlen (und deren unanfechtbare Objektivität) gibt und dass Missbrauch mit diesen Zahlen stattfindet: Das gelte für die Beurteilung von Zeitschriften ebenso wie die von Artikeln oder einzelnen Forschern. Vor allem dreht man sich mitunter im Kreis, wenn man die Güte einer Zeitschrift daran festmacht, wie „berühmt“ (quantitativ betrachtet natürlich) deren Autoren sind und deren Forscherqualitäten wiederum daran gemessen werden, wie angesehen die Zeitschriften sind, in denen sie publizieren. Dabei geht es den Autoren nicht darum, statistische Konzepte aus dem Assessment von Forschung und Forschern zu verbannen. Zurecht aber stellen sie fest, dass z.B. das alleinige Vertrauen auf den Impact Factor zur Beurteilung einer Fachzeitschrift dem Versuch gleichkommt, die Gesundheit einer Person nur am Körpergewicht festzumachen.

Danke an Joachim Kahlert, der mich auf diesen Artikel hingewiesen hat. Er ist ein wichtiger Beitrag für mehr Ausgewogenheit und Besonnenheit sowie gegen die Verabsolutierung effizient handhabbarer Instrumente im Zeitalter von Evaluationen und Rankings, welche die Komplexität der (Forscher-)Welt so schön reduzieren können.

Programme for the International Assessment of Adult Competencies

Die OECD-Mitglieder haben im März 2008 grünes Licht für ein Projekt zur „Erfassung des Wissens und der Fähigkeiten von Erwachsenen“ gegeben (hier die Meldung. Das Kürzel ist nicht ganz so eingängig wie PISA – es lautet PIAAC: Programme for the International Assessment of Adult Competencies. Schwerpunkt sollen die kognitiven und beruflichen Fähigkeiten (genauer: das Kompetenzniveau in Mathematik, Leseverständnis und beim Umgang mit Informations- und Kommunikationstechnologien) sein, die zur erfolgreichen Teilnahme am Arbeitsleben Voraussetzung sind. Es soll daneben untersucht werde, wie diese Kompetenzen Einkommen, Beschäftigung und die Fähigkeit zu lebenslangem Lernen beeinflussen.

Ich finde das gar nicht schlecht, was mich aber stört ist, dass der primäre Fokus mal wieder auf der Frage liegt, ob und inwieweit Wissen und Fähigkeiten der Erwachsenen dergestalt sind, dass es sich (so heißt es auch in der Pressemeldung dazu) positiv auf das „Humankapital“ der Länder im globalen Wettbewerb auswirkt. Wäre es nicht auch wichtig, neben dem verwertbaren Kompetenzniveau nach einem Bildungsniveau zu fragen und es zu untersuchen, das z.B. Demokratiefähigkeit i.w.S. stärkt? Kritikfähigkeit in einer Welt, die von Medien durchsetzt ist? Toleranz und Aufgeklärtheit in Gesellschaften, in denen religiöse Konflikte zunehmen? Ich bin kein „Ökonomiefeind“: Die Wirtschaft ist ein ganz wesentlicher Teil unserer Gesellschaft; Arbeit ist Teil des Lebens von Erwachsenen und sie ist wichtig nicht nur für den Lebensunterhalt, sondern auch für die eigene Identität. Unternehmerisches Denken ist eine spannende Angelegenheit und Unternehmen können viel bewegen, wenn sie verantwortungsvoll wirtschaften. Wir alle müssen täglich ökonomische Prinzipien berücksichtigen – und das ist im Sinne eines verantwortungsvollen Umgangs mit Ressourcen gut so. Warum aber engen wir in den letzten Jahren, vielleicht sogar Jahrzehnten, beinahe alles darauf ein?

Zurück zu PIAAC: „Leseverständnis“ – das ist z.B. hervorragend, dass man das erheben will (Nachtrag: Fragt sich nur wie; siehe hierzu den Kommentar zu diesem Beitrag): Denn nur wer lesen kann, wer versteht, was er/sie liest, wird in unserer Gesellschaft zurecht kommen. Es ist auch eine Voraussetzung für eigene Artikulationsfähigkeit – aber die brauche ich ja bei Leibe nicht nur, um meinen Job gut machen zu können: Das ist die Eintrittskarte für Teilhabe an einer Gesellschaft (und die besteht nicht nur aus Ökonomie, sondern auch aus Kultur und Politik), für sozialverträgliche Problemlösungen und und und. Ich glaube, es wird klar, was ich meine …. Mal sehen also, wie PIAAC letztlich umgesetzt wird: In den kommenden zwei Jahren wird das Instrumentarium entwickelt, 2010 soll es getestet werden, 2011 ist die erste Untrsuchung geplant.