Peer Reviews: (keine) Zeitverschwendung?

In der Community „(Bildungs-)Wissenschaftler 2.0“ hat Joachim Wedekind auf einen sehr interessanten Blogeintrag von George Siemens zum Thema Peer Reviews aufmerksam gemacht. In unserer Community geht es ja unter anderem um die Frage, wie man ein öffentliches Peer Review etablieren könnte, was natürlich auf kritischen Urteilen und einige Unzulänglichkeiten des klassischen Peer Reviews aufbaut. Dass das nicht leicht ist, habe ich an anderer Stelle (hier) bereits erörtert. Nun schildert Siemens seine Erfahrungen mit dem Peer Review und vieles von dem, was er sagt, kann ich nur bestätigen. Ich empfehle, den Beitrag ganz zu lesen, und möchte nur hervorheben, was ICH besonders bemerkenswert fand:

  • Erstens die Gründe, weshalb klassische Peer Reviews einen mitunter unzufrieden machen: Peer Review-Verfahren sind in der Regel sehr langsam; ihre Qualität ist abhängig davon wie treffend die Auswahl der Gutachter zum Thema des Beitrags ist; und sie sind nicht auf Entwicklung (der Beiträge und ihrer Autoren) ausgerichtet.
  • Zweitens die Beispiele: Siemens beschreibt, wie lange er an Artikeln, aber auch an deren Begutachtung sitzt. Die angegebenen Zeiten kann ich gut nachvollziehen. Selbst außerhalb offizieller Review-Verfahren sitze ich z.B. am Gegenlesen und Kommentieren von Texten meiner Mitarbeiter (bei ca. 12 Seiten) bis zu drei Stunden. Für ein ordentliches Review für eine Zeitschrift, benötige ich ca. vier Stunden – je nachdem wie gut oder schlecht der Text ist: Je mehr Kritik, umso länger dauert es natürlich.
  • Drittens die Unzufriedenheit mit schlechten Reviews: Auch das kann ich bestätigen. Teilweise gibt es Gutachten, über die man sich nur aufregen kann, deren Inhalt deutlich zeigen, dass der Reviewer keine Ahnung vom Thema hat oder aber keine Lust hatte, den Text richtig zu lesen geschweige denn vernünftig zu kommentieren. Aber es gibt auch Gegenbeispiele (die Siemens ebenfalls schildert) – Beispiele, die zeigen, dass Reviews sowohl für den Reviewer als auch für den Autor keine verschwendete Zeit sein müssen.
  • Viertens der Hinweis darauf, dass die skizzierten Probleme vor allem bei interdisziplinären Themen wie Wissen oder Lernen mit digitalen Medien weitgehend ungelöst sind. Auch da kann ich nur zustimmen. Auch wir an der Professur wissen oft nicht, in welcher Zeitschrift ein Beitrag gut aufgehoben wäre. Darüber wurde in der Community im Übrigen auch schon kurz diskutiert. Wir behelfen uns oft damit, dass wir einfach einen Arbeitsbericht daraus machen. Das geht schnell, ist online greifbar, aber leider (auch wenn mir hier mein Blog-Kommentator Her Dr. Graf wieder widersprechen wird ;-)) nicht sonderlich förderlich für die wissenschaftliche Karriere – na ja, vielleicht NOCH nicht förderlich.

Noch haben wir in unserer Community keinen systematischen Austausch von Vorschlägen für eine Entwicklung von Review-Prozessen. Joachims Link aber ist schon mal ein erster Schritt. Der Beitrag von Siemens jedenfalls umfasst ein paar Eckpunkte, an denen man ansetzen kann. Ich nehme mir auf jeden Fall vor, das Thema weiterhin oben auf der Agenda zu haben.

Endlich: Kooperation mit Intel dokumentiert

Bereits gegen Ende 2008 habe ich (hier) darauf verwiesen, dass unsere vierjährige Kooperation mit Intel (Intel® Education) im Zusammenhang mit Blended Learning in der Lehrerbildung zu Ende gegangen ist. Kurz darauf haben wir uns entschlossen, diese Zusammenarbeit doch noch einmal abschließend und kompakt zu dokumentieren. Im März 2009 waren wir fertig. Leider hat es dann mit Verlagssuche, Satz und Korrekturschlaufen doch noch lange gedauert, aber jetzt ist das kleine Buch fertig:

Reinmann, G., Florian, A., Häuptle, E. & Metscher, J. (2009). Wissenschaftliche Begleitung von Blended Learning in der Lehrerfortbildung. Konzept, Methodik, Ergebnisse, Erfahrungen und Empfehlungen am Beispiel „Intel® Lehren – Aufbaukurs Online“. Münster: MV-Wissenschaft.

Man kann es für einen überschaubaren Preis bestellen (hier), aber auch online (hier) lesen. Unser langjähriger Kooperationspartner hat eine Veröffentlichung finanziert, die auch einen Open Access bietet. Darüber sind wir natürlich sehr froh. Wir hoffen, dass die gemachten Erfahrungen auch für andere Kooperationsprojekte nützlich sind.

Vom Meer zur Meta-Analyse

Bild_Amrum09Es ist der 1. September und ich melde mich zurück. Erst zwei Wochen Urlaub ohne Netz und dann zwei Wochen mit etwas weniger Geschwindigkeit Vorbereitungen für nahende Termine und Deadlines – so könnte man rein formal meine Blog-Pause im August beschreiben, die ich nun jedes Jahr machen werde. Zwei bis drei Posts in der Woche kosten durchaus Zeit, zumal da es genau nicht mein Ding ist, Minibeiträge oder ausschließlich kommentierte Links zu publizieren (daher auch meine Twitter-Abstinenz). Da tut es ganz gut, sich mal vier Wochen aus der aktiven Blogosphäre auszuklinken. Aber jetzt ist es auch gut ;-).

Immerhin habe ich die letzten beiden Wochen zumindest Blogs rezipiert und da ist mir natürlich auch die vom U.S. Department of Education in Auftrag gegebene Studie mit dem Titel „Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning Studies“ aufgefallen, auf die bereits Jochen Robes und Michael Kerres aufmerksam gemacht haben. Michael äußert sich hierzu aus meiner Sicht zu Recht kritisch sowohl zur Anlage der Meta-Analyse als auch zur Interpretation der Ergebnisse. Grundsätzlich finde ich eine Zusammenschau verschiedener Studie eine ganz wichtige Sache! Auch Meta-Analysen, die traditionsgemäß eine solche Zusammenschau ausschließlich vor dem Hintergrund der Berechnung statistischer Effekte betreiben, sind nützlich. Allerdings bedeutet letzteres natürlich eine massive Einschränkung der Art von Studien, die man bei der Analyse überhaupt berücksichtigt – so auch bei dieser Studie: Es wurden ausschließlich experimentelle oder (immerhin) quasi-experimentelle Vergleichsstudien herangezogen, die ein „objective measure of students“ sicherstellen.

Es wurde (hier) schon darauf hingewiesen, dass man in der Fach-Community an sich inzwischen zu der Ansicht gelangt ist, simple Vergleiche zwischen Medium A und Medium B oder zwischen medial und face-to-face  gehörten der Vergangenheit an, denn: Ein Medium nimmt immer auch Einfluss auf die Methode, zumal wenn es um komplexere Lehr-Lernszenarien geht. Auffällig, aber symptomatisch ist auch die Suche nach „objektiven Maßen“, also nach Beweisen, die sich politisch nutzen lassen. Diese Tendenz lässt sich auch bei uns schon lange beobachten: Statistiken und Zahlen müssen geliefert werden (vgl. PISA und Hochschul-Rankings) und werden dann als Entscheidungsgrundlage oder Impuls für neue Vorschläge im Kontext der Bildung gerne genutzt – vor allem von denen, die von empirischer Bildungsforschung eher wenig oder keine Ahnung habe (weil es z.B. eben keine Forscher sind). Schlimm ist, wenn das von Leuten unterstützt wird, die diese Ahnung durchaus haben! In diese Reihe passt wohl auch die US-amerikanische Meta-Analyse, die nebenbei bemerkt, zu Ergebnissen kommt, die keinen erstaunen werden:

(a) Blended Learning-Angebote erweisen sich als vorteilhafter als reine Online-Angebote. (b) Lernen mit Online-Angeboten führt im Vergleich zum Präsenzlernen dazu, dass Lernende mehr Zeit in Aufgaben investieren und daher besser lernen. (c) Die Effektivität solcher Angebote steht in einem engen Zusammenhang mit inhaltlichen Merkmalen und solchen, die die Lernenden mitbringen. Tja, wer hätte das gedacht!