Monat: November 2011

Geld, Reputation, Gestaltungsfreiheit, Zeit

Geld, Reputation, Gestaltungsfreiheit, Zeit – das sind laut neuester Empfehlungen des Wissenschaftsrats „zur Bewertung und Steuerung von Forschung“ (online hier zugänglich) die wichtigsten „steuerungswirksam einsatzbaren Anreize“ an Hochschulen. Diese konsequent einzusetzen, befürworten die einen, um die Leistungsfähigkeit in der Forschung zu erhöhen. Die anderen kritisieren dies als kontraproduktiv und attestieren solchen Verfahren eher negative Effekte für das Wissenschaftssystem. Die Gegensätzlichkeit dieser Positionen sowie deren Unvereinbarkeit hat jetzt der Wissenschaftsrat jetzt erkannt und liefert Empfehlungen dafür, wie man damit umgehen kann, falls es gelingt, dass man „beiden Seiten Zugeständnisse abverlangt“ (S. 10). Erklärtes Ziel des Papiers ist es, „die Auseinandersetzungen um die Bewertung und Steuerung von Forschung zu versachlichen“ (S. 13), was voraussetzt, dass diese bislang als unsachlich wahrgenommen wird. Zudem soll „eine Balance der unterschiedlichen Interessen“ (S. 13) angestrebt werden. was daraufhin hindeutet, dass hier verschiedene Wissenschaftlergruppenoffenbar tatsächlich verschiedene Interessen haben (Geld, Reputation, Gestaltungsfreiheit, Zeit?).

Zunächst werden einige Beobachtungen zusammengetragen zu: (a) Bewertung durch Peers, (b) Bewertung durch quantitative Indikatoren, (c) Evaluationsverfahren, (d) Ratings und Rankings, (e) Steuerung über Mittelallokation (leistungsorientierte Zuweisung des Landesmittel an Hochschulen, leistungsorientierte Mittevergabe innerhalb der Hochschulen und W-Besoldung), (f) Standards „guter wissenschaftlicher Praxis“, (g) Folgen für die Lehre und (h) wissenschaftspolitischen Rahmenbedingungen. Dann folgende die eigentlichen Empfehlungen: zunächst „übergeordnete Empfehlungen“, die – per definitionem – relativ abstrakt sind, und dann einzelne Empfehlungen, die sich auf die gerade genannten Gegenstände der Beobachtung beziehen.

Es ist aus meiner Sicht durchaus empfehlenswert, sich das durchzulesen. Viele Punkte sind derart, dass sie rasch auf Zustimmung stoße werden, so z.B. weniger Dokumentationen und Evaluationen, indem das alles besser koordiniert und getaktet wird. Dünn sind die Vorschläge zum Peer Review (S. 37 f.): Mehr Transparenz durch offene Peer Review-Verfahren werden z.B. gar nicht erwähnt. Dass der Begriff der Forschungsleistung möglichst breit gefasst werden sollte (S. 34), hört sich ebenfalls gut an: Hinweise auf die damit (unter anderem) verbundene Notwendigkeit, dass auch eine Diskurs über das Wissenschaftsverständnis in den einzelnen Disziplinen stattfinden muss, fehlt allerdings. Am Glauben, dass Wettbewerb prinzipiell die Dinge heiligt, wird weitgehend festgehalten, wenn z.B. empfohlen wird, Drittmittel, die „kompetetiv eingeworben“ wurden, höher zu gewichten als solche, die in nicht-kompetetiven Verfahren vergeben worden sind (S. 40). Auch wenn man vielen Ratings keine hohe Qualität bescheinigt, hält der Wissenschaftsrat auch in den aktuellen Empfehlungen an Ratings als Maßnahme der Steuerung von Forschungsleistungen fest (S. 44). Und zur W-Besoldung mag man jetzt noch nichts sagen (S. 46); dazu soll es eine eigene Empfehlung geben.

Was ich jetzt davon halte? Es ist gut, DASS sich der Wissenschaftsrat mit dem Thema beschäftigt, zeigt es doch, dass die in den letzten Jahren mehr gewordenen kritischen Stimmen nicht mehr überhört werden (können). Man kann auch einige „Zugeständnisse“ aus dem Empfehlungen ebenso wie durchaus sinnvolle Vorschläge herauslesen. Alles in allem aber läuft es meiner Einschätzung nach auf ein paar Korrekturen des gegenwärtigen Steuerungssystems hinaus, keinesfalls aber auf einen Kurswechsel. Es kann sich ja jeder (Wissenschaftler und Hochschullehrer) mal fragen, womit er sich am schnellsten locken lässt (mehr Geld, mehr Reputation, mehr Gestaltungsfreiheit, mehr Zeit?) und ob er einen echten Kurswechsel mittragen würde …

Entwicklungsforschung – allmählich einkreisen

Wie Anfang November bereits (hier) angekündigt, ist nun der Text zur Entwicklungsforschung bzw. entwicklungsorientierten Bildungsforschung fertig, den ich zusammen mit Werner Sesink verfasst habe. Entstanden ist dieser anlässlich eines Vortrags (siehe hier). Das Thema beschäftigt mich seit vielen Jahren. Den ersten Text dazu habe ich – mit einem Fokus auf die englischsprachigen Ausführungen zu Design-Based Research – 2005 für die Unterrichtswissenschaft geschrieben. Es folgte 2007 ein Herausgeberband i.w.S. zum Thema Bildungswissenschaften im Spannungsfeld zwischen Nutzen und Erkenntnis zusammen mit Joachim Kahlert, zu dem ich auch einen eigenen Text zur Entwicklungsforschung beigetragen habe. 2010 dann gab es noch einen Beitrag in einem Sammelband aus der Psychologie, in welchem ich stärker die Frage zu beantworten versuchte, welchen Erkenntniswert Entwicklungstätigkeiten in der Wissenschaft haben (siehe hier).

Man kann nicht sagen, dass diese Beiträge sonderlich viel diskutiert worden sind – weder zustimmend noch kritisierend. Nur vereinzelt kamen Diskussionsbeiträge, was sich aber in der letzten Zeit etwas zu ändern scheint – also in dem Sinne, dass thematisiert wird, welche Art(en) von Forschung die Bildungswissenschaft braucht. Dem Aspekt der Entwicklung (inklusive der Pilotierung, Umsetzung im „Echtbetrieb“ und beleitenden Erhebungen und Auswertungen) wird dabei ebenfalls eine gewisse Aufmerksamkeit geschenkt, auch wenn da nach wie vor die Meinung vorherscht, dass das an sich mit Wissenschaft nichts zu habe, denn das Hauptargument, das dann als Pro-Argument ins Feld geführt wird, ist der praktische Nutzen.

Wie auch immer: Nun kommt der nächste Anlauf – jedes Mal sozusagen aus einer leicht anderen Perspektive, was hoffentlich dazu beiträgt, die Chancen und Grenzen einer Entwicklngsforschung allmählich einzukreisen und – das wäre natürlich das Beste – Mitstreiter/innen zu finden, denn nur dann kann sich ein alternativer empirischer (!) Zugang auch entwickeln. Und ja – ich bezeichne das als empirisch und bin nicht bereit, den derzeit engen Empiriebegriff im Kontext der Schulforschung zu teilen.

Sesink-Reinmann_Entwicklungsforschung_v05_20_11_2011

Stabhochsprung-Talente

Gleich mehrere Themen bzw. Probleme der Hochschule, ein bisschen bunt durcheinander, aber anschaulich dargestellt, mischt ein Text (online hier) des Wirtschaftsinformatikers Peter Mertens (auf den mich Frank aufmerksam gemacht hat): (a) das Problem der zeitlich variierenden, etwas willkürlich wirkenden Verschiebung der Gewichtung verschiedener Aufgaben des Hochschullehrers (analog im Sinne einer Aufforderung an den Zehnkämpfer, sich jetzt möglichst zu 90%auf Stabhochsprung zu konzentrieren), (b) das Problem der einseitigen Ausrichtung wissenschaftlicher Methoden, (c) das damit zusammenhängende Problem der Konzentration von Publikationen auf englischsprachige Journals mit Double-Blind-Review-Verfahren, (d) das Problem der mangelnden Kooperation mit der Praxis (das ebenfalls mit a bis c zusammenhängt) und (d) das Problem der mangelnden Anerkennung von Lehrleistungen des Hochschul(!)lehrers. Dabei bringt Mertens bekannte Beispiele: junge Wissenschaftler, die sich gar nicht mehr trauen, sich zu bewerben, weil ihnen Publikationen in bestimmten Zeitschriften fehlen, mehrere hundert Stunden Aufwand zur Überarbeitung von Zeitschriftenartikeln auf der Grundlage mehrere, untereinander und in sich widersprüchlicher Gutachten oder Preisträger, die offenbar stolz darauf sind, mit der Lehre nichts am Hut zu haben. Mertens plädiert für ein rasches Umdenken und kommt zu folgendem Fazit: „Für das Umdenken steht nicht beliebig viel Zeit zur Verfügung. Denn wenn die Stabhochspringer überall dominieren, werden sie wieder Stabhochsprung-Talente um sich versammeln und die anderen Disziplinen bei der Vergabe von Punkten marginalisieren.“

Ernst gemeinte Exzellenz?

„Datenqualität als Schlüsselfrage der Qualitätssicherung von Lehre und Studium an Hochschulen“ – so lautet der Titel einer bereits 2008 online veröffentlichten Dissertation von Philipp Pohlenz, auf die ich vor kurzem gestoßen bin. Die Arbeit gibt einen guten Überblick über Qualitätsmanagement und Evaluation an Hochschulen und thematisiert vor allem die Gütekriterien der verwendeten Verfahren und resultierenden Ergebnisse. Online ist die Arbeit hier abrufbar.

Die Ergebnisse der Studie von Pohlenz lassen (was jetzt nicht so erstaunlich ist, aber immerhin nicht als Polemik abgetan werden kann) erhebliche Zweifel vor allem an der Validität studentischer Qualitätsurteile aufkommen – jedenfalls verglichen mit den Intentionen der Evaluierenden und im Zusammenhang mit der Art der Nutzung dieser Daten für Hochschulentwicklung und -politik! Das Interesse der Studierenden, die Studienphase, in der sie sich befinden, aber auch die Infrastruktur des Hochschulortes (um nur ein paar Beispiele zu nennen) beeinflussen das Urteil über Lehre und Studium erheblich und schränken die Aussagekraft entsprechend ein. Aber sogar die meist als objektiv geltenden Hochschulstatistiken halten, so eine Erkenntnis der Arbeit, nicht immer, was sie versprechen. Pohlenz kommt zu dem Schluss, dass vor allem die in der Praxis bevorzugten einfachen Evaluationsverfahren mit simplen Indikatoren zahlreichen Fehlerquellen ausgesetzt sind.

In den ersten Teilen der Arbeit werden auch andere Funktionen von Evaluationen thematisiert als z.B. die Leistungsbewertung von Hochschulen oder von Hochschullehrern (z.B. die Partizipation der Studierenden). Dies ist aus meiner Sicht ein ganz wesentlicher Punkt, der dann aber doch wieder in den Hintergrund rückt.

Das Abschluss-Statement in der Dissertation lautet: „Evaluation steht vor der Aufgabe, Routinen zu entwickeln, die der Vielgestaltigkeit der Qualität der Lehre sowie der Realität des Hochschulalltages gerecht werden. Nur so kann sie den Anspruch darauf erheben, als Instrument der Hochschulentwicklung ernst genommen zu werden. Insofern dies den Einsatz komplexer und verschiedene Ansätze versöhnende Verfahren und damit einen stärkeren Mitteleinsatz erfordert, ist das Hochschulwesen insgesamt gefragt, inwieweit die vielfach verkündete Formel von der Entwicklung von Exzellenz durch qualitätssichernde Verfahren ernst gemeint und mit der Bereitschaft verknüpft ist, die entsprechend notwendigen Investitionen in die Zukunft zu tätigen.“ Dem kann man nur zustimmen …

Alles gut mit Gutachten?

Einen Monat lang konnte man nun im GMW-Blog Kommentare zum Thema Peer Review bzw. Begutachtungsverfahren in der GMW (Jahrestagung bzw. Tagungsband) machen – nämlich hier. Gut – ich war mit meinem Kommentar auch spät dran. Aber dass es am Ende nur vier Personen gab, die etwas dazu zu sagen haben/hatten, ist vielleicht doch etwas wenig. Gibt es keinen Verbesserungsbedarf bzw. wird keiner gesehen? Oder war das nur zu versteckt und viele haben die Möglichkeit, ihre Meinung und ihre Vorschläge zu diesem Thema kundzutun, nicht bemerkt?

2010 hatte ich mit Silvia und Christian zusammen das Thema Peer Review bereits als Beitrag eingereicht (hier). Die Resonanz war auch damals eher verhalten. Da das gegenseitige Feedback zwischen Wissenschaftlern eine zentrale Säule des Wissenschaftsbetriebs ist und infolge von Evaluationen verschiedenster Art zudem über „Karrieren“ entscheiden kann, wundert es mich doch sehr, dass dieses Thema in Diskussionen so wenig aufgegriffen wird. Peer Reviews sind aus meiner Sicht einerseits so etwas wie eine besondere Art der Kommunikation und Vermittlung von Kritik und Begründung und damit ein ganz wichtiger Schritt in Erkenntnisprozessen. Andererseits haben Peer Reviews die Funktion von „Qualitätshütern“, sind mitunter eine Art Sozialisationsinstanz (manchmal hat man auch den Eindruck: Erziehungsinstanz) in einer wissenschaftlichen Community. Mit diesen zentralen Aufgaben sollte doch das Peer Review selbst Gegenstand der kritischen Reflexion sein und bleiben. Es darf sich meiner Meinung nach durchaus auch verändern, weiterentwickeln – und zwar mit Blick auf das Ziel, die jeweilige „Sache“ weiterzubringen, um die es geht.

Wo also bleiben all die (kritischen und kreativen) Stimmen?

 

Da muss man durch

Gestern war ich an der Uni Frankfurt auf einer hochschuldidaktischen Veranstaltung für Professoren: Es ging im Großlehrveranstaltungen und ich war gebeten worden, die Teilnehmer knapp eineinhalb Stunden mit Informationen und Anregungen zu diesem Thema zu beschäftigen. Zweiter Referent war Wolfgang Effelsberg von der Universität Mannheim, der von seinen Erfahrungen mit Response-Systemen in Vorlesungen berichtete.

Anbei das Vortragsmanuskript inklusive Folien

Vortrag_Frankfurt_Nov11

Folien_Vortrag_Frankfurt_Nov_11

Positiv war, dass Professoren aus recht verschiedenen Fachgebieten vertreten waren. Dabei wurde wieder einmal deutlich, dass es doch einerseits große fachspezifische Besonderheiten gibt, dass andererseits aber ähnliche Probleme vorhanden sind. Unter anderem das Thema „Erwartungen“ auf Seiten der Lehrenden und der Studierenden sowie das Problem der oft schwierigen Kommunikation dieser Erwartungen scheinen doch vielen unter den Nägeln zu brennen. Ungewöhnlich war übrigens aus meiner Sicht die folgende Erfahrung, die Holger Horz mitteilte: Es gäbe Studierende, die würden eine trockene und schwer verständliche Vorlesung als eine Art Initiationsritus erleben, die man entsprechend besser nicht verändern soll, denn: „Da muss man durch!“