Schlagwort: Evaluation

Keine pauschale Ökonomie-Bekämpfung

Im Laufe der letzten Monate (oder sind es schon Jahre?) könnte der Eindruck entstanden sein, dass ich mich vom (auch) Wissensmanagement-Vertreter zum Ökonomie-Bekämpfer entwickelt habe. Dieser Eindruck aber – falls er denn entstehen sollte – täuscht. Und dafür habe ich Beweise ;-).

Beweis Nummer 1: Nach wie vor bearbeite ich das Thema Wissensmanagement sowohl in kommerziell tätigen als auch in Non Profit und öffentlichen Organisationen. Entsprechend schnellschüssig empfinde ich Gleichsetzungen des Wissensmanagement-Themas generell mit der auch von mir schon lange und öfter kritisierten Ökonomisierung etwa der Schul- und Hochschulbildung, wie es in einigen Beiträgen der aktuellen Ausgabe von Forschung & Lehre zu lesen ist (wobei einige sehr interessante Beiträge dabei sind – dieser hier z.B.). Wogegen ich mich nur wehre ist, die Leitideen und Vorgehensweisen blind von einer Organisationsform auf die andere zu übertragen und dabei die Logik und den Zweck verschiedener gesellschaftlicher Referenzsysteme zu missachten. Was mir auch widerstrebt, sind unklare oder gar falsche Versprechungen etwa seitens der Wirtschaft gegenüber Vertretern der Bildung: Ich bin da für klare Verhältnisse: Unternehmen müssen gewinnorientiert arbeiten und das sollen sie ja auch tun! (wobei es durchaus ethische Grenzen einer Gewinnmaximierung gibt oder geben sollte). Wenn es dennoch Spielräume auch für andere Dinge gibt und diese genutzt werden, ist das gut, aber ein Verstecken tatsächlicher Intentionen ist nicht nur ärgerlich, sondern auch schädlich.

Beweis Nummer 2: Im Schuljahr 2007/08 haben wir (das sind Sandra und ich, unterstützt von Tamara und Silvia) das Projekts „business@school“ (Infos zum Projekt finden sich hier und auch auf unserem Portal hier) evaluiert: Seit einigen Wochen ist der Abschlussbericht fertig, aber leider noch nicht in der Gänze verfügbar. Wohl aber gibt es inzwischen eine Ergebniszusammenfassung, die allerdings nur als „Teaser“ online ist (nämlich hier), aber immerhin per Mail bestellt werden kann. „Business in der Schule“ – und das unterstützen wir? Ja, wir haben das Projekt evaluiert, weil mich vor allem das dahinter stehende (didaktische) Konzept überzeugt hat. Es ist problemorientiert und eröffnet den teilnehmenden Schulen bzw. Schülern gänzlich neue Lernerfahrungen – und zwar über ein ganzes Schuljahr hinweg. Und ja, das finde ich sinnvoll und das ist für mich auch eine verantwortungsvolle Form der Kooperation zwischen Schule und Wirtschaft. Schade ist freilich, dass nur wenige Schulen und damit auch nur wenige Schüler in den Genuss dieses (aufwändigen) Projekts kommen: Insofern sehe ich in business@school auch ein Modell für weitere Projektideen in diese Richtung. business@school will betriebswirtschaftliches Wissen und Verständnis vermitteln und konzentriert sich entsprechend auf die Entwicklung von Produktideen. Das ist eine Möglichkeit. Besonders schön fände ich es, wenn öffentliche oder privatwirtschaftliche Initiativen entstehen würden, die die Erfolgsfaktoren von business@school z.B. für die Entwicklung sozialer Innovationen heranziehen. Auch hier – da bin ich mir sicher – würden Schüler eine ganze Menge an Engagement und Kreativität entwickeln. Allerdings sind solche Projekt eben nicht mal nebenher (als Marketing-Gag) zu machen; sie sind für alle Beteiligten aufwändig – auch für die Wirtschaftsvertreter. Vielleicht ist das der Grund, warum es – selbst nach 10 Jahren – an sich keine Nachahmer gibt?

Nachtrag: Seit heute (7.5.09) gibt es nun die längere Pressemitteilung online, nämlich hier.

Universitäre Praxis als Ressourcenmanagement

Angeregt durch die Lektüre von Richard Münchs „Globale Eliten, lokale Autoritäten“ (auf Rezensionen dazu habe ich hier verwiesen) lese ich gerade einige Artikel aus dem Sammelband „Wissenschaft unter Beobachtung. Effekte und Defekte von Evaluationen„, herausgegeben 2008 von H. Matthies und D. Simon (VS Verlag für Sozialwissenschaften). Die dort versammelten Autoren (mit Ausnahme des letzten: der ist Restaurantkritiker und bringt eine treffende Analogie für die „Evaluitis“ aus dem Bereich der Sterne-Restaurants) stammen (fast) alle aus dem weiten Umkreis von (Wissenschafts-)Soziologie und Politikwissenschaft. Für Psychologen und Pädagogen ist das daher nicht ganz so einfach zu lesen, aber äußerst anregend. Das Buch ist ein sehr gutes Pendant zu Münch, der natürlich einen eigenen (für mich an vielen Stellen durchaus überzeugenden) Argumentationsstil hat und sicher nicht alle möglichen Argumente und Sichtweisen entfalten kann, wenn es darum geht, Phänomene wie New Public Management und die damit verbundene Ökonomisierung von Bildung und Wissenschaft zu beschreiben und einzuschätzen.

Ein Beitrag beschäftigt sich mit der unternehmerischen Orientierung von Wissenschaftsorganisationen, der mich immer wieder daran erinnert, dass es Zeit wird, das auch von mir bearbeitete Thema „Wissensmanagement“ in öffentlichen und nicht kommerziell ausgerichteten Organisationen vor diesem Hintergrund noch kritischer zu beleuchten. In der Überarbeitung meines Studientextes (bei dem aber das letzte Kapitel leider immer noch aussteht; siehe hier) habe ich das bereits berücksichtigt, aber nachdem ich in den letzten Wochen wegen zweier im Juni anstehender Vorträge vermehrt Texte zum hier angerissenen Themengebiet gelesen habe, muss ich darüber noch vertiefter nachdenken. Leider gibt es zum Band von Matthies und Simon nichts online.

Zitiert wird in einem Artikel aber ein kurzer und lesenswerter Artikel von David Gugerli, Professor für Technikgeschichte an der ETH Zürich (2005), der die unternehmerische Ausrichtung der eigenen Universität zum Ausgangspunkt einiger Ausführungen nimmt (hier): Die forschungsorientierte Hochschule des 21. Jahrhunderts folge – so schreibt er – den Regeln des New Public Management und werde mit unternehmerischen Controlling- Technologien überwacht, sodass aus ihrer akademischen Autonomie eine betriebswirtschaftliche Budgetautonomie geworden sei. Aus der Managementkultur – so Gugerli – folge ein Zwang zur Formalisierung, der Inhalte oft zu einer zweitrangigen Sache werden lasse oder sogar die Wirkung von negativen Anreizen habe, in jedem Fall die in der Wissenschaft so notwendige Kreativität untergrabe. Zitat: „Management ist als Topos … allgegenwärtig – der Zuwachs der Bedeutung universitärer Verwaltung ist unübersehbar. Er geht einher mit einer zunehmenden Marktförmigkeit der Produkte und der Sozialbeziehungen innerhalb der Hochschule, und er verwandelt universitäre Praxis in eine Sonderform von Ressourcenmanagement.“

Eines frage ich mich: Wenn sich doch offenbar eine ganze Reihe von Hochschulangehören aus verschiedenen Disziplinen einig sind, dass der jetzt eingeschlagene Weg zwar eine notwendig andere Richtung nimmt als früher (denn früher war ja wohl nicht alles besser), aber offenbar nicht der richtige, sondern ein für das Gefährt sogar riskanter Weg ist (deren Wegweiser verwirrend und auch nicht immer glaubwürdig sind), warum bleiben wir dann nicht stehen und suchen einen anderen? Warum traben wir weiter zwanghaft auf diesem Weg weiter?

Vier Jahre Kooperation mit Intel

Vier Jahre wissenschaftliche Begleitung des Blended Learning-Lehrerfortbildungsprogramms „Intel® Lehren – Aufbaukurs Online“ gehen im Dezember 2008 zu Ende. Wer nachvollziehen möchte, was wir innerhalb dieser vier Jahre alles gemacht haben, kann sich an den Arbeitsberichten orientieren:

Aktuell wird gerade ein Reporting-System für die Trainingsplattform fertig gestellt, zu dem noch kein Bericht existiert. Mit diesem Modus der Evaluation sollen einzelne Module der Plattform durch die Nutzer/innen bewertet werden – schnell, einfach und abgekopppelt von der Zertifizierung (bei Absolvieren des gesamten Fortbildungsangebots). Denn es hat sich gezeigt, dass die Plattform viel mehr Besucher/innen hat als das Fortbildungsprogramm Teilnehmer/innen, so dass viele Nutzer/innen bei der „großen“ Evaluation nicht erfasst werden können.

Im neuen Jahr haben wir (das sind Alex, Eva und Jojo) vor, die verschiedenen Phasen der Evaluation in einem längeren Dokument darzustellen – mit exemplarischen Ergebnissen, vor allem auch mit Erfahrungen, die eine längerfristige Begleitung eines solchen Programms mit sich bringt. Für weitere Evaluationsarbeiten werden wir uns bei Intel nicht mehr bewerben, nicht weil die Zusammenarbeit nicht gut gewesen wäre, sondern weil die Anforderungen für die kommenden Evaluationsrunden doch so umfangreich geworden sind, dass Universitäten das wohl nicht werden leisten können (und wir damit eben auch nicht). Denn wir können nicht – wie z.B. kommerziell tätige Forschungsinstitute – mit einem festen Stammpersonal und freien Mitarbeitern arbeiten, sondern müssen nun mal „teure“ Mitarbeiter/innen extra einstellen (was nicht heißt, das ein wissenschaftlicher Mitarbeiter viel verdient ;-)). Zudem meine ich, dass es durchaus gut ist, wenn Evaluationspartner wechseln, denn auch als externe Evaluatoren kann man betriebsblind werden.

Alex hat mit dem Intel-Projekt seine Dissertation geschrieben. Eva konnte nach ihrer Dissertation viele neue Erfahrungen innerhalb des Projekts sammeln und dies mit ihrer Tätigkeit an der Akademie für Lehrerfortbildung und Personalführung verbinden, der wir (vor allem Johannes Böttcher) weiter gerne verbunden bleiben. Leider endet Evas Anstellung mit Projektende bei uns – und das ist natürlich ein wenig traurig: Eva gehört zu meinen längsten Wegbegleiter/innen in Augsburg und ich möchte ihr hier an der Stelle offiziell und öffentlich für die hervorragende Zusammenarbeit danken.

Was mir noch wichtig ist zu sagen: Die Zusammenarbeit mit der Wirtschaft ist eine Herausforderung und nicht vergleichbar mit Projekten, bei denen der Drittmittelgeber zwar auch an Ergebnissen interessiert ist, aber diese nichts selbst unmittelbar benötigt. Kompromisse sind mitunter nötig, die Sprache ist nicht immer die gleiche, Werte klaffen bisweilen auseinander, aber machbar und zufriedenstellend kann eine solche Kooperation durchaus erfolgen: Intel hat uns als Universitätspartner stets respektvoll behandelt und keinen Einfluss auf unsere Arbeiten in der Form ausgeübt, dass wir dies nicht vorab untereinander ausgehandelt hätten. Ich denke auch, nur unter solchen Bedingungen machen Kooperationen einen Sinn und ich bin froh, dass wir da keine gegenteiligen Erfahrungen gemacht haben.

Medidaprix 2008: Beiratssitzung

Am Donnerstag Abend (26.06.08) bis Freitag Spätnachmittag (27.06.2008) ist der neue Beirat des Medidaprix 2008 an der Donau-Universität Krems unter Leitung von Peter Baumgartner zusammengetreten. Leider waren nicht alle Beiratsmitglieder (hier der Überblick) da, aber immerhin die Mehrheit ;-). Der Medidaprix hat 2008 eine Neuausrichtung erfahren. Ich zitiere aus der Web-Seite: „In der neuen Ausschreibungsrunde sollen nun auch verstärkt Initiativen zur Entwicklung frei zugänglicher Bildungsressourcen und alles was für deren breite Nutzung notwendig ist (z.B. Austauschmodell, Qualitätssicherung, Metadaten, geeignete Lizenzierung etc.) in den Blickpunkt kommen. Damit will der MEDIDA-PRIX einen weiteren Schritt zur Verstetigung und Nachhaltigkeit digitaler Medien erreichen und andererseits sich auch als Teil des internationalen Trends zu Open Educational Resources begreifen.“

Ich meine, das ist eine sinnvolle Neuausrichtung, auch wenn die nicht bedeutet, dass ausschließlich explizite OER-Projekte eine Chance hatten weiterzukommen. Auf jeden fall hat diese Neuausrichtung meine Unterstützung; sollten doch zumindest die staatlichen Hochschulen von Neuerungen langfristig profitieren können, die sie durch eigene finanzielle und personelle Ressourcen geschaffen haben. Über die „Koexistenz“ offener und kommerzieller Angebote, Werkzeige und Strategien gab es interessante Diskussionen, denn es ist ja jetzt keineswegs so, dass man wirtschaftliche Initiativen quasi an den Pranger stellt oder gar anti-ökonomische Fronten aufbaut. Vielmehr geht es um die Frage, zu welchem Zweck unter welchen Bedingungen in welchen Kontexten welchen Strategien der Vorzug zu geben ist. Aber das nur am Rande.

Geändert wurde 2008 auch das Evaluationsverfahren. Vor zwei Jahren war ich auf dem Gutachterworkshop nach dem „alten Verfahren“ in Tübingen (ich habe hier davon berichtet). Ich hatte damals das Gefühl (und habe es immer noch), dass man infolge der intensiven Diskussionen den Mühen der Einreicher durchaus gerecht geworden ist. Trotzdem finde ich die jetzt vorgenommenen Änderungen positiv – sowohl inhaltlich als auch in Bezug auf die Effizienz des Verfahrens: Als Hintergrundtext wird auf der Web-Seite des Medidaprix auf einen einschlägigen Artikel verwiesen (hier). Ziel ist es, statt einer quantitativen Aufsummierung verschiedener Bewertungen eine qualitative Gewichtung zu erreichen. Ich kann an der Stelle nicht auf die vergleichsweise komplexen Einzelheiten eingehen, aber ich kann auf jeden Fall sagen: Auch in diesem Verfahren geht man sorgsam mit Einreichern und Gutachtern um, es wird diskutiert und abgewogen und man muss keine Angst haben, dass der Preis nach einem intransparenten Prozedere vergeben wird, wie das im Kontext anderer Preise, die teilweise kommerziellen Hintergrund haben, leider allzu oft der Fall ist.

Ich hoffe, dass die Neuausrichtung in den verschiedenen Aspekten gelingt und uns der Medidaprix noch lange erhalten bleibt: Digitale Medien zur Verbesserung der Hochschullehre einzusetzen, ist ja schließlich kein Thema, das sich bereits erledigt hätte – im Gegenteil!

E-Learning und Evaluation

Peter Baumgartner hatte es bereits (hier) angekündigt: Die Dissertation von Annabell Preußler mit dem Titel „Wir evaluieren uns zu Tode. Möglichkeiten und Grenzen der Bewertung von Online-Lernen“ ist fertig und nun auch – erfreulicherweise – online zugänglich. Auch in Augsburg werden zunehmend mehr Dissertationen online publiziert – ein paar werden bei uns in diesem Jahr auch fertig – ich werde natürlich informieren.

Hier noch die Kurzfassung der Arbeit von Frau Preußler:

E-Learning ist derzeit uneingeschränkt up to date. Der Frage, worin dessen Vorteile liegen, wird oftmals mit wissenschaftlichen Studien begegnet: Wird durch E-Learning tatsächlich ein höherer Lernerfolg erzielt als mit traditionellem Lernen? Wie ist dieser messbar? Um in der Praxis zu untersuchen, ob ein E-Learning-Setting oder eine Präsenzveranstaltung besser zum Lernen geeignet ist, werden in der Regel Vergleichsuntersuchungen durchgeführt. In diesem Beitrag soll es darum gehen, die Schwierigkeiten dieser Art von Bewertung aufzuzeigen. Nach einer theoretischen Auseinandersetzung mit den Konstrukten Lernqualität und Lernerfolg werden Studien, die sich mit dem Zusammenhang von E-Learning und Lernerfolg beschäftigen, im Rahmen einer Meta-Evaluation analysiert und bewertet. Das Forschungsinteresse geht der Vermutung nach, dass Lernerfolg nicht eindeutig operationalisierbar ist und unspezifische Vergleiche von Online- versus Präsenzlernen nicht uneingeschränkt sinnvoll anwendbar sind. Dennoch werden am Ende der Arbeit Lösungsmöglichkeiten vorgeschlagen – diese greifen vor allem den Aspekt der Lernziele auf.

Dazu passt ja vielleicht auch eine aktuelle HIS-Studie zu Kapazitätseffekten von E-Learning an deutschen Hochschulen. Auch diese Publikation kann man kosten (hier) runterladen.