Ranking – Gabi Reinmann

Man liest sogar

In Kürze wird der Wissenschaftsrat auf einer Veranstaltung (hier das Programm) über die Ergebnisse einer Initiative berichten, die bereits 2004 beschlossen wurde. Im Hochschulmagazin duz kann man hier nachlesen, dass es dabei um ein neues Forschungsrating geht – entstanden aus der Unzufriedenheit mit bekannten nationalen und internationalen Verfahren. Diese dienen dazu, Ranglisten zu erstellen, an denen Wissenschaftler wie auch Studierende (und Förderinstitutionen) ablesen können sollen, wie gut eine Universität ist.

Das neue Verfahren des Wissenschaftsrats arbeitet vor allem mit Peer Reviews und kombiniert quantitative mit qualitativen Daten. „Statt nur die Zahl von veröffentlichten Aufsätzen in Fachzeitschriften zu zählen, werden ausgewählte Publikationen von den Gutachtern auch gelesen und bewertet“, so heißt es im besagten duz-Artikel.

Im Pilotverfahren wurden vier Fächer untersucht. Ziel war es unter anderem, die Spezifika der Fächer für ein Rating besser herauszuarbeiten. Der Ranking-Kritiker Richard Münch (Uni Bamberg) war einer der Gutachter in der Pilotstudie, und beschreibt im Artikel den Aufwand als sehr hoch: „Jedes einzelne der 16 Mitglieder der Gutachtergruppe hat im Zeitraum von zwei Jahren etwa drei Monate seiner Arbeitszeit in das Begutachtungsverfahren gesteckt“, so wird er zitiert.

16 mal drei Monaten innerhalb von zwei Jahren für einen Pilotbetrieb mit vier Fächern, das macht zusammen genau vier Jahre Arbeitszeit eines Wissenschaftlers oder eben ein Jahr Arbeitszeit von vier Wissenschaftlern für einen Bruchteil dessen, was an sich Gegenstand eines solchen Ratings wäre. Immerhin kommen dann die so beschäftigten Wissenschaftler nicht zum Forschen, sodass vielleicht der Evaluationsgegenstand ein bisschen kleiner wird. Wenn es das ist, was angestrebt wird (nämlich weniger Forschungsoutput, weil dieser vielleicht eh zu redundant, zu wenig neu o. ä. ist), dann hätte ich da noch ein paar andere Ideen, wie man das erreichen kann: z.B. mehr Zeitinvestition in die Lehre, mehr Personal für Betreuungsleistungen etc.

Um nicht falsch verstanden zu werden: Ich finde es gut, dass man die bisherigen Ranking-Verfahren kritisch hinterfragt. Es ist auch völlig legitim, nach Alternativen zu suchen. Positiv ist, dass man erkannt hat, wie wichtig die Beachtung verschiedener Fächerkulturen ist. Und ich schließe mich auch gerne der Ansicht an, dass die Fachöffentlichkeit und alle interessierten Bürger ein Recht darauf haben, zu erfahren, was an Hochschulen so passiert – also auch in der Forschung. Aber ginge das nicht auch anders? Mit mehr Transparenz, die jeder Wissenschaftler und jede Universität jenseits der bloßen Marketing-Maßnahmen herstellt? Mit mehr echter gegenseitiger und vor allem kooperativ (versus auf Selektion) angelegter Kritik, die der Sache dient?

Außerdem: Glaubt denn jemand ernsthaft, dass Peer Review-Verfahren weniger anfällig für Fehleinschätzungen sind als manipulierbare Zählmethoden? Und was ist mit dem Aufwand? Wie lässt sich das rechtfertigen? Werden, wie der Artikel in der duz an einer Stelle suggeriert, tatsächlich Bund oder Länder die Ergebnisse heranziehen, um schwächeren Hochschulen unter die Arme zu greifen? Kann ich mir nicht vorstellen!

Übrigens: In einem Workshop der GMW 2012 zum Thema E-Science (Programm) habe ich mit Thomas Köhler und Klaus Wannemacher kurz diskutiert, welche Vorteile es hätte, wenn sich Wissenschaftler zu einer Publikationsbegrenzung verpflichten würden – also z.B. nur zwei Artikel im Jahre zu schreiben. Wir sind unter anderem zu dem Schluss gekommen, dass das eine Maßnahme zur Qualitätssteigerung sein und insbesondere den Diskurs über Publikationsinhalte erhöhen könnte. Und genau diesen Diskurs könnte man sicher mindestens parallel zu Reviews mit Selektionscharakter nutzen, um sich Einsicht in die Qualität von Forschung zu verschaffen.

Wie man die Qualität von Forschung erfasst (und wie nicht)

„This is a report about the use and misuse of citation data in the asssessment of scientific research“. So beginnt ein online (hier) zugänglicher Artikel der International Mathematical Union (IMU) in Kooperation mit dem International Council of Industrial and Applied Mathematics (ICIAM) und dem Institute of Mathematical Statistics (IMS) – Herausgeber also, denen wir aus den Sozial- und Bildungswissenschaften gemeinhin den Status der Objektivität schlechthin zugestehen und von denen wir sicher sein dürfen, dass sie Fragen zu statistischen Konzepten perfekt bearbeiten können. Zu den „citation data“ gehören u.a. der bekannte Zitationsindex – also die Frage, wie oft wird jemand wo zitiert, wobei das Wo eine wichtige Rolle spielt – und auch der sog. Impact Factor (einen guten Überblick gibt hierzu z.B. Peter Baumgartner hier), der zeigen soll, wie wichtig und angesehen z.B. einer Zeitschrift ist, in der es sich für einen Forscher folglich zu publizieren lohnt. Dass nun diese quantitativen Maße keineswegs, wie erhofft, objektiver sein müssen als Gutachten und andere qualitative Bewertungen (wie z.B. Peer Reviews, die aber im Übrigen bei einer Zeitschrift mit Impact Factor im Prozess auch eine zentrale Rolle spielen) ist Gegenstand des Beitrags mit dem Titel „Citation statistics“.

Die Autoren beklagen, dass Zitationsdaten viel zu wenig erforscht sind, dass es einen naiven Glauben an Zahlen (und deren unanfechtbare Objektivität) gibt und dass Missbrauch mit diesen Zahlen stattfindet: Das gelte für die Beurteilung von Zeitschriften ebenso wie die von Artikeln oder einzelnen Forschern. Vor allem dreht man sich mitunter im Kreis, wenn man die Güte einer Zeitschrift daran festmacht, wie „berühmt“ (quantitativ betrachtet natürlich) deren Autoren sind und deren Forscherqualitäten wiederum daran gemessen werden, wie angesehen die Zeitschriften sind, in denen sie publizieren. Dabei geht es den Autoren nicht darum, statistische Konzepte aus dem Assessment von Forschung und Forschern zu verbannen. Zurecht aber stellen sie fest, dass z.B. das alleinige Vertrauen auf den Impact Factor zur Beurteilung einer Fachzeitschrift dem Versuch gleichkommt, die Gesundheit einer Person nur am Körpergewicht festzumachen.

Danke an Joachim Kahlert, der mich auf diesen Artikel hingewiesen hat. Er ist ein wichtiger Beitrag für mehr Ausgewogenheit und Besonnenheit sowie gegen die Verabsolutierung effizient handhabbarer Instrumente im Zeitalter von Evaluationen und Rankings, welche die Komplexität der (Forscher-)Welt so schön reduzieren können.

Ranking – Nachtrag

Ach ja, was mir noch wegen des CHE-Rankings und der Forschungsreputation eingefallen ist: Schon bei der Eingruppierung in die Fächergruppe beim CHE gab es bei unserem Studiengang Probleme: Die Mischung aus Kommunikationswissenschaft einerseits sowie pädagogisch-didaktischen und technischen Aspekten anderereseits, führt dazu, dass wir in der jetzigen Fächergruppe an sich nur teilweise gut aufgehoben sind. Wir versuchen uns halt tatsächlich an einem interdisziplinären Studiengang und folglich sind wir, die wir den Studiengang tragen, auch in recht verschiedenen wissenschaftlichen Communities verhaftet – das macht die Frage nach der Reputation in der Forschung sicher schwierig, denn es kommt jetzt ganz darauf an, wen man wonach gefragt hat. Überhaupt denke ich ja nach wie vor, dass sich nur wenige Wissenschaftler mit einer Instititution, dafür aber mehr mit ihrem Fach und eben der dazugehörigen Community identifizieren. Gott sei Dank!! Einen Kult um eine „Corporate Identity“ einer Universität (wie in der Wirtschaft) – das wäre wirklich das letzte, was ich jetzt noch gebrauchen könnte – ich finde Personen und Inhalte interessanter ;-).

Noch ein Ranking – diesmal größer und vom CHE

So, nun liegt für unseren Studiengang Medien und Kommunikation das zweite CHE-Ranking vor – das erste war 2005. Erfreulicherweise – und hier gilt mein Dank den Augsburger-Studierenden für ihre positiven Wertungen – werden wir auf allen studienrelevanten Dimensionen (Studienorganisation, Praxisbezug, Betreuung, Studiensituation insgesamt) sehr positiv eingeschätzt und landen damit (zusammen mit Düsseldorf. Eichstätt, Erfurt, Friedrichshafen, Hannover, Hohenheim, Ilmenau, Münster und Potsdam) in der Spitzengruppe (Tabelle siehe hier). Das freut mich/uns natürlich sehr, zeigt es doch, dass sich das Bemühen lohnt – trotz der vergleichsweise schlechten Rahmenbedingungen und knappen Ressourcen (im Moment stemmen wir den Studiengang zum größten Teil mit zwei Professuren). Aber Besserung ist in Sicht – auch ressourcentechnisch (doch weil da alles noch nicht unterschriftsreif ist, kann mich darüber in einem öffentlichen Blog leider noch nicht äußern).

Ein Blick in die detaillierte Auflistung (hier) offenbart, dass uns das Thema E-Learning besonders gut gelingt – na das will ich aber auch hoffen, sonst wären unsere ganzen Projekte, Vorträge, Workshops und Publikationen ja auch wirklich für die Katz ;-). Für die IT-Infrastruktur, Bibliothek und sonstige technische Ausstattung haben wir leider nur bedingt Einfluss, aber hier hat sich gerade in den letzten zehn Monaten (dank des ITS-Projekts, an dem maßgeblich das Medienlabor beteiligt ist) einiges getan – das wurde natürlich letztes Jahr, als die Befragungen stattfanden, noch nicht erfasst. Mit den restlichen Einschätzungen, denke ich, können wir zufrieden sein, denn klar ist: Allen kann man es freilich nicht recht machen.

Ja, aber damit man nicht übermütig wird, kommt die Ohrfeige gleich mitgeliefert: Schlussgruppe in der Forschungsreputation (wie die Schlussgruppe in der Reputation in Studium und Lehre zustande kommt, nachdem die Studierenden doch so zufrieden sind, habe ich ehrlich gesagt nicht verstanden. Vielleicht kann mir das mal jemand vom CHE erklären). Also, da schaut man natürlich mal, wie das zustande kommt: Das kleine (i) führt einen zu folgender Erklärung: „Welche Hochschulen laut Urteil der Professor/-innen in der Forschung führend sind. Die Professorinnen und Professoren wurden gebeten, bis zu fünf Universitäten zu nennen, die sie in ihrem eigenen Fach für in der Forschung führend halten. Nennungen der eigenen Hochschule wurden nicht berücksichtigt. Angegeben wird, von wie viel Prozent der Professorinnen und Professoren die jeweilige Hochschule genannt wurde.“ Aha. Aber dann gibt es ja noch Kriterien (die findet man hier) und die lauten wie folgt

Besonderheiten Forschung & Entwicklung (hmm – haben wir da wirklich nichts zu bieten? Man kann sich hier und hier jetzt mal exemplarisch für Medienpädagogik ein eigenes Bild machen)
Besonderheiten in der Forschung (ist das nicht eine Doppelung?)
Erfindungen pro 10 Wissenschaftler (ui, wie macht man das bei nur zwei Professoren oder wer zählt alles als Wissenschaftler? Und was gilt als „Erfindung“ in einer Sozialwissenschaft? Wir können ja mal unsere Ideen zählen und sie dem CHE schicken)
Forschungsgelder pro Professor (also ich habe z.B. in den letzten 3 Jahren zwar keine Millionen eingeworben, aber ca. 220.00,- sind seit 2006 auch zusammen gekommen – zu wenig? Offenbar!)
Forschungsverbünde (na ja, also immerhin haben wir ein laufendes EU-Projekt und ein zweites gerade beantragt und beim bmbf versuchen wir auch gerade in einem Forschungsverbund unser Glück – und warum immer nur die finanziell sichtbaren Verbünde zählen, gelten andere Kooperationen, bei denen eben wenig oder kein Geld fließt, denn nichts?)
Graduiertenkolleg (gut, haben wir nicht, dafür sind wir aber auch viel zu klein)
Habilitationen pro Jahr (wie denn, wenn ich nicht mal eine Assistentenstelle habe?)
International sichtbare Publikationen (tja, das Credo der Internationalität geht halt über alles; immerhin liest man uns in Österreich, in der Schweiz und auch in Holland ;-))
Möglichkeiten, an Forschung zu partizipieren (na klar, u.a. machen wir uns auch deshalb so eine Mühe mit unserem Begleitstudiumsangebot: siehe hier)
Promotionen pro Professor (ja, leider haben sie beim CHE das Jahr 2008 nicht mitgezählt – da werden sechs bis sieben Doktoranden fertig – siehe hier)
Stiftungsprofessoren (ne, haben wir nicht – aber wir würden schon eine nehmen – ehrlich!)
Veröffentlichungen pro Professor/Wissenschaftler (ehrlich – ist das nicht genug, was wir haben? Hier geht’s zu unseren Publikationen)
Zitationen pro Publikation (na ja, darüber gibt es ja durchaus Streit, wohin das führt, wenn man nur noch publiziert, um in gereviewten (oh – was für ein Anglizismus) Journals wiederum zitiert zu werden – okay, mit dem Manko müssen wir dann leben).

Ja, also: So ganz schlau werde ich aus dieser Bewertung im Hinblick auf die Forschung nicht – aber das kann man jetzt nicht ändern. Vielleicht ist das auch eine gute Stelle, um nochmal an Richard Münchs Buch von der „akademischen Elite“ zu erinnern (ich habe letzten Sommer hier davon berichtet). Soweit …

Na sowas … oder: Was macht man mit einem Ranking-Platz?

Gestern flatterte mir eine Zeitung ins Haus, die ich – hätte Frank nicht den Briefkasten geleert – wahrscheinlich in gewohnter Manier gleich als Werbung wieder in den Papierkorb geworfen hätte, womit ich zugegebenermaßen manchmal zu schnell bin. Es handelte es sich um ein Belegexemplar der Zeitschrift wirtschaft + weiterbildung mit dem Titelthema „ich blogge, also bin ich“ und dem Versprechen, 10 Bildungs-Blogger auszumachen, „die Sie kennen sollten“. Ohne Zweifel verdient steht Jochen Robes mit seinem Weiterbildungsblog an Platz 1: Auch ich kenne niemanden, der derart konsequent, umfangreich und informativ ein Blog mit Bildungsinformationen führt und ich habe schon viele interessante Quellen dank seines Blogs gefunden.

Was mich dann aber schon erstaunt hat ist, dass mein E-Denkarium in dieser „Hitliste“ auftaucht (wenn auch nur auf Platz 8, aber immerhin ;-)), denn: Für Leute aus der Wirtschaft schreibe ich an sich ja eher nicht (wobei das bei mir schon auch die Frage auslöst: Für wen schreibe ich eigentlich?). Während die drei „Gewinner“ (Jochen Robes, Fritz Simon und Johannes Tönneßen) im Leitartikel genauer skizziert sind, erhalten die anderen sieben eine Kurzbewertung mit Stärken- und Schwächen-Analyse, wobei mir als Schwäche „ … zu viele Themen aus dem Bereich Pädagogik und Schule“ attestiert wird. Ja logisch – ich komme natürlich aus dem Bereich der Pädagogischen Psychologie, und es ist sogar was dran an der Formulierung, denn zumindest für die Schule habe ich in gewisser Weise eine „Schwäche“: Ohne dafür unbedingt einen offiziellen Auftrag zu haben, sind mir Bildungs- und Medienfragen in der Schule einfach wichtig!! Denn wo fängt denn Bildung in systematischer Form an? Doch in der Schule, oder? Und überhaupt meine ich ja, dass das Spannungsfeld zwischen Ökonomie und Bildung (wer will kann ja mal auf dem Portal unseres Vereins vorbeischauen, nämlich hier) gerade in der Schule besonders gut beobachtet werden kann und dringend auf neue konzeptionelle Vorschläge wartet.

Jedenfalls find eich es sehr positiv, wenn ein nicht auf Wirtschaft und Weiterbildung explizit ausgerichtetes Blog eben mit vielen Schul- und Hochschulthemen mit aufgeführt wird – das ist ja vielleicht auch ein kleiner (weiterer) Schritt der Annäherung. Wenn jetzt noch das Lehrerzimmer-Blog von Herrn Rau dabei wäre, wäre es perfekt, damit „umtriebige Experten und Forscher“ (so eine andere Formulierung in der Bewertung) auch von umtriebigen Lehrern ergänzt werden. 🙂