Peer Reviews: (keine) Zeitverschwendung?

In der Community „(Bildungs-)Wissenschaftler 2.0“ hat Joachim Wedekind auf einen sehr interessanten Blogeintrag von George Siemens zum Thema Peer Reviews aufmerksam gemacht. In unserer Community geht es ja unter anderem um die Frage, wie man ein öffentliches Peer Review etablieren könnte, was natürlich auf kritischen Urteilen und einige Unzulänglichkeiten des klassischen Peer Reviews aufbaut. Dass das nicht leicht ist, habe ich an anderer Stelle (hier) bereits erörtert. Nun schildert Siemens seine Erfahrungen mit dem Peer Review und vieles von dem, was er sagt, kann ich nur bestätigen. Ich empfehle, den Beitrag ganz zu lesen, und möchte nur hervorheben, was ICH besonders bemerkenswert fand:

  • Erstens die Gründe, weshalb klassische Peer Reviews einen mitunter unzufrieden machen: Peer Review-Verfahren sind in der Regel sehr langsam; ihre Qualität ist abhängig davon wie treffend die Auswahl der Gutachter zum Thema des Beitrags ist; und sie sind nicht auf Entwicklung (der Beiträge und ihrer Autoren) ausgerichtet.
  • Zweitens die Beispiele: Siemens beschreibt, wie lange er an Artikeln, aber auch an deren Begutachtung sitzt. Die angegebenen Zeiten kann ich gut nachvollziehen. Selbst außerhalb offizieller Review-Verfahren sitze ich z.B. am Gegenlesen und Kommentieren von Texten meiner Mitarbeiter (bei ca. 12 Seiten) bis zu drei Stunden. Für ein ordentliches Review für eine Zeitschrift, benötige ich ca. vier Stunden – je nachdem wie gut oder schlecht der Text ist: Je mehr Kritik, umso länger dauert es natürlich.
  • Drittens die Unzufriedenheit mit schlechten Reviews: Auch das kann ich bestätigen. Teilweise gibt es Gutachten, über die man sich nur aufregen kann, deren Inhalt deutlich zeigen, dass der Reviewer keine Ahnung vom Thema hat oder aber keine Lust hatte, den Text richtig zu lesen geschweige denn vernünftig zu kommentieren. Aber es gibt auch Gegenbeispiele (die Siemens ebenfalls schildert) – Beispiele, die zeigen, dass Reviews sowohl für den Reviewer als auch für den Autor keine verschwendete Zeit sein müssen.
  • Viertens der Hinweis darauf, dass die skizzierten Probleme vor allem bei interdisziplinären Themen wie Wissen oder Lernen mit digitalen Medien weitgehend ungelöst sind. Auch da kann ich nur zustimmen. Auch wir an der Professur wissen oft nicht, in welcher Zeitschrift ein Beitrag gut aufgehoben wäre. Darüber wurde in der Community im Übrigen auch schon kurz diskutiert. Wir behelfen uns oft damit, dass wir einfach einen Arbeitsbericht daraus machen. Das geht schnell, ist online greifbar, aber leider (auch wenn mir hier mein Blog-Kommentator Her Dr. Graf wieder widersprechen wird ;-)) nicht sonderlich förderlich für die wissenschaftliche Karriere – na ja, vielleicht NOCH nicht förderlich.

Noch haben wir in unserer Community keinen systematischen Austausch von Vorschlägen für eine Entwicklung von Review-Prozessen. Joachims Link aber ist schon mal ein erster Schritt. Der Beitrag von Siemens jedenfalls umfasst ein paar Eckpunkte, an denen man ansetzen kann. Ich nehme mir auf jeden Fall vor, das Thema weiterhin oben auf der Agenda zu haben.

Endlich: Kooperation mit Intel dokumentiert

Bereits gegen Ende 2008 habe ich (hier) darauf verwiesen, dass unsere vierjährige Kooperation mit Intel (Intel® Education) im Zusammenhang mit Blended Learning in der Lehrerbildung zu Ende gegangen ist. Kurz darauf haben wir uns entschlossen, diese Zusammenarbeit doch noch einmal abschließend und kompakt zu dokumentieren. Im März 2009 waren wir fertig. Leider hat es dann mit Verlagssuche, Satz und Korrekturschlaufen doch noch lange gedauert, aber jetzt ist das kleine Buch fertig:

Reinmann, G., Florian, A., Häuptle, E. & Metscher, J. (2009). Wissenschaftliche Begleitung von Blended Learning in der Lehrerfortbildung. Konzept, Methodik, Ergebnisse, Erfahrungen und Empfehlungen am Beispiel „Intel® Lehren – Aufbaukurs Online“. Münster: MV-Wissenschaft.

Man kann es für einen überschaubaren Preis bestellen (hier), aber auch online (hier) lesen. Unser langjähriger Kooperationspartner hat eine Veröffentlichung finanziert, die auch einen Open Access bietet. Darüber sind wir natürlich sehr froh. Wir hoffen, dass die gemachten Erfahrungen auch für andere Kooperationsprojekte nützlich sind.

Vom Meer zur Meta-Analyse

Bild_Amrum09Es ist der 1. September und ich melde mich zurück. Erst zwei Wochen Urlaub ohne Netz und dann zwei Wochen mit etwas weniger Geschwindigkeit Vorbereitungen für nahende Termine und Deadlines – so könnte man rein formal meine Blog-Pause im August beschreiben, die ich nun jedes Jahr machen werde. Zwei bis drei Posts in der Woche kosten durchaus Zeit, zumal da es genau nicht mein Ding ist, Minibeiträge oder ausschließlich kommentierte Links zu publizieren (daher auch meine Twitter-Abstinenz). Da tut es ganz gut, sich mal vier Wochen aus der aktiven Blogosphäre auszuklinken. Aber jetzt ist es auch gut ;-).

Immerhin habe ich die letzten beiden Wochen zumindest Blogs rezipiert und da ist mir natürlich auch die vom U.S. Department of Education in Auftrag gegebene Studie mit dem Titel „Evaluation of Evidence-Based Practices in Online Learning A Meta-Analysis and Review of Online Learning Studies“ aufgefallen, auf die bereits Jochen Robes und Michael Kerres aufmerksam gemacht haben. Michael äußert sich hierzu aus meiner Sicht zu Recht kritisch sowohl zur Anlage der Meta-Analyse als auch zur Interpretation der Ergebnisse. Grundsätzlich finde ich eine Zusammenschau verschiedener Studie eine ganz wichtige Sache! Auch Meta-Analysen, die traditionsgemäß eine solche Zusammenschau ausschließlich vor dem Hintergrund der Berechnung statistischer Effekte betreiben, sind nützlich. Allerdings bedeutet letzteres natürlich eine massive Einschränkung der Art von Studien, die man bei der Analyse überhaupt berücksichtigt – so auch bei dieser Studie: Es wurden ausschließlich experimentelle oder (immerhin) quasi-experimentelle Vergleichsstudien herangezogen, die ein „objective measure of students“ sicherstellen.

Es wurde (hier) schon darauf hingewiesen, dass man in der Fach-Community an sich inzwischen zu der Ansicht gelangt ist, simple Vergleiche zwischen Medium A und Medium B oder zwischen medial und face-to-face  gehörten der Vergangenheit an, denn: Ein Medium nimmt immer auch Einfluss auf die Methode, zumal wenn es um komplexere Lehr-Lernszenarien geht. Auffällig, aber symptomatisch ist auch die Suche nach „objektiven Maßen“, also nach Beweisen, die sich politisch nutzen lassen. Diese Tendenz lässt sich auch bei uns schon lange beobachten: Statistiken und Zahlen müssen geliefert werden (vgl. PISA und Hochschul-Rankings) und werden dann als Entscheidungsgrundlage oder Impuls für neue Vorschläge im Kontext der Bildung gerne genutzt – vor allem von denen, die von empirischer Bildungsforschung eher wenig oder keine Ahnung habe (weil es z.B. eben keine Forscher sind). Schlimm ist, wenn das von Leuten unterstützt wird, die diese Ahnung durchaus haben! In diese Reihe passt wohl auch die US-amerikanische Meta-Analyse, die nebenbei bemerkt, zu Ergebnissen kommt, die keinen erstaunen werden:

(a) Blended Learning-Angebote erweisen sich als vorteilhafter als reine Online-Angebote. (b) Lernen mit Online-Angeboten führt im Vergleich zum Präsenzlernen dazu, dass Lernende mehr Zeit in Aufgaben investieren und daher besser lernen. (c) Die Effektivität solcher Angebote steht in einem engen Zusammenhang mit inhaltlichen Merkmalen und solchen, die die Lernenden mitbringen. Tja, wer hätte das gedacht!

Konservativ im Web 2.0?

In den letzten beiden Wochen habe ich viel gelernt – nämlich im Austausch mit einigen Mitgliedern unserer „Versuchs-Community“ mit dem vielleicht etwas groß aufgehängten Titel „Wissenschaftler 2.0“. Wie meine ich das bzw. was genau habe ich gelernt?

  • Ich habe erstens gelernt, dass ich auf Polemik im unmittelbaren Dialog empfindlich reagiere: Ich verliere dann offenbar die Freude an der Diskussion. Ich bin schon auch ganz gern mal polemisch – z.B. in Vorträgen, wenn ich niemanden direkt anspreche, quasi als rhetorische Figur. Im Dialog bin ich konservativ – ich versuche, dem anderen Respekt zu zollen, fordere das aber offenbar auch ganz massiv ein.
  • Ich habe zweitens gelernt, dass es schwer ist, zwei Logiken oder Paradigmen, oder wie immer man das bezeichnen will, zusammenzubringen. Also, eigentlich weiß ich das, denn ich habe mir an solchen Dingen schon öfter die Zähne ausgebissen, aber nun habe ich ein Beispiel mehr: Der Versuch, überhaupt die Idee zu verbreiten, Vorteile eines klassischen Peer-Reviews mit Vorteilen neuer Formen des digital unterstützen Wissensaustausches zu verknüpfen, gelingt zumindest nicht auf Anhieb.
  • Ich habe drittens gelernt, dass die verschiedenen Wege, etwas Neues anzustoßen, auf unterschiedliche Gegenliebe und Interpretationen stoßen: Vom Primat des Tuns über das Nachdenken (im Sinne von Theorien Aufstellen) über die Vorrangstellung des Nachdenkens vor dem Tun bis zum Versuch, beides parallel oder zumindest in sehr kurzen Zyklen zu betreiben. Da gibt es persönliche Vorlieben und Überzeugungen (ich neue zu letzterem).
  • Ich habe viertens gelernt, dass sich schnell Gemeinschaften – ich hätte jetzt fast gesagt „zusammenrotten“, aber vielleicht sage ich besser: zusammentun, ohne dass an sich klar ist, welchen Beitrag man da als Einzelner leisten könnte. Ich bin unerfahren, was Online-Communities außerhalb der Lehre betrifft, und war der irrigen Annahme, dass man diesen nur beitritt, wenn man einen unmittelbaren Zweck damit verfolgt (z.B. Feedback einholen und geben in Bezug auf Artikel oder Ideenskizzen, wie es die Grundidee oder erste Idee der oben genannten Community ist). Welche Folgen es hat, dass das offenbar anders läuft, weiß ich noch nicht.

Der für meine Arbeit wichtigste Lerneffekt (den ich wohl gemerkt ohne die Community NICHT hätte!)  ist aktuell der, den ich an zweiter Stelle genannt habe: Ich sehe es als große Herausforderung, die Vorteile des bisher praktizierten Peer-Reviews mit den neuen Chancen eines öffentlichen Peer-Reviews unter Nutzung aktueller digitaler Medien und der damit mitschwingenden „2.0-Philosophie“ genauer zu beleuchten, Lösungsideen zu entwickeln und natürlich auch zu erproben. Ich sehe hier auch eine Parallele zur momentanen Assessment-Diskussion, denn in gewisser Weise ist ein Review ja auch ein Assessment, nämlich bisher eines, das stark auf Selektion ausgerichtet ist, während ich mir eines vorstelle, das viel stärker auch einen Lerneffekt hat. Da werde ich nächster Zeit (bald ist Urlaub!) mal intensiver drüber nachdenken. Ich hoffe dann natürlich auch, dass ich das Ergebnis des Nachdenkens in konstruktiver Weise in unsere Wissenschaftler 2.0-Community einfließen lassen kann.

National und anwendungsorientiert

Nein, ich habe ihn noch nicht gelesen, den Herausgeberband von Jürgen Baumert mit dem einfallsreichen Titel „Einfallsreichtum. 60 Jahre Forschen und Lernen in der Bundesrepublik Deutschland. „An meinen gewohnten Stellen für Netzeinkäufe ist es noch nicht zu haben. Aber Kritiken gibt es schon, nämlich hier in der SZ: Alexander Kissler tut seine Meinung kund und es unschwer herauszulesen, dass er nicht allzu begeistert ist. Um den Charakter des Buches zu verdeutlichen, schreibt er z.B.: „Eine Finanzwissenschaftlerin versteht unter Bildung einen ´Treiber von Forschung und Innovation´, der die ´Wettbewerbsdefizite im internationalen Vergleich´ beseitigen solle. Eine Ökonomin sieht im ´Humankapital den wichtigsten Wachstumsbeitrag´, die Präsidentin der Hochschulrektorenkonferenz will ´unser Land wieder nach vorne bringen´ … National und anwendungsorientiert ist der vorherrschende Blickwinkel.“ Nun, wer die Bologna-Umsetzungsrhetorik im Bereich der Hochschule, Exzellenzinitiativen und Drittmittelakquise täglich miterlebt, wird darüber nicht allzu überrascht sein. Möglicherweise kann man sich das Buch also sparen, aber immerhin verspricht der Rezensent neben Texten im Beamtendeutsch auch ein paar kritische Beiträge. Ich werde mir also möglichst bald ein eigenes Urteil bilden.

Corporate Blogging

An sich bin ich kein Experte für Corporate Blogging. Ich habe auch so meine Zweifel, ob das praktikabel ist. Trotzdem habe ich mich bereit erklärt, darüber einen kurzen Beitrag für die Zeitschrift Organisationsentwicklung zu schreiben, die unter anderem eine Rubrik „Werkzeugkiste“ hat, in der in jedem Heft verschiedene Methoden zur Organisationsentwicklung vorgestellt werden. Immerhin sind solche Beiträge ein guter Anlass, um z.B. bestehende Erfahrungen und Erkenntnisse auf neue/andere Kontexte zu übertragen – so auch in diesem Fall beim Corporate Blogging. Es handelt sich um einen Praxisartikel, der allem voran Hilfestellung für den Unternehmensalltag geben soll.

Achtung (Nachtrag am 31.07.2009): Leider muss ich auf Wunsch des Verlags den Artikel als Preprint vom Netz nehmen. Ich finde zwar, dass ich hier kostenlos Marketing betreibe ;-), aber nun ja, ich respektiere diesen Wunsch. Ende Oktober kann ich ein Postprint im Layout der Zeitschrift zugänglich machen. Ich bitte also im Bedarfsfall um Geduld.

Nachtrag (20.10.2009): Es ist soweit. Ab heute kann ich den Beitrag im Original-Layout wieder online stellen. Hier ist er:

4_09 ZOE_Reinmann

In Rechtschreibung fast eine 1

Vor ein paar Tagen habe ich Post bekommen – vom Pons Verlag. Ich mache den Umschlag auf und zum Vorschein kommt ein A5-Schulheft in einem grünen Umschlag. Meine erste Assoziation: Mein Sohn hat irgendwo ein Schulheft rumliegen lassen. Aber halt: Beim Pons-Verlag? Die erste Seite ist leer, ich denke an einen Scherz und will es schon wie die immer wieder kommenden Briefe von Kabel Deutschland und irgendwelchen Möbelmärkten in den Müll werfen, da fällt mein Blick auf den Aufkleber, der am Umschlag haftet: „Gabi Reinmann E-Denkarium 07/2009“. Sowas: also nochmal einen Blick riskieren und weiterblättern. Zum Vorschein kommt ein Farbausdruck einer meiner Blogbeiträge (“Stille Helden des Alltags“) und eine nebenstehende handschriftliche Kommentierung. Das sieht dann so aus (bitte zum Vergrößern draufklicken):

Bild_Rechtschreibung

Auf der zweiten Seite bekomme ich sogar eine Rechtschreib-Note: eine 1-. Ein „Minus“ – Mensch Christian und das alles wegen eures dummen Kommafehlers (auf der Seite Bildungsexpeditition), den ich, wie es sich gehört, beim Zitieren NICHT verbessert habe.

Was für ein Marketingaufwand!! Wie viele solche mühevollen Kommentare mit dem klassischen Rotstift wurden verschickt? 50? 100? 300? 500? Billiges Marketing ist das bestimmt nicht. Wie nennt man das? Customized Marketing? Zur Sache ist zu sagen: Es ist schon richtig, dass es mit der Rechtschreibung gerade auch im Netz und (!) bei Studierenden nicht so weit her ist. Selbst muss ich allerdings auch ab und zu in den Duden schauen, z.B. ob es jetzt „im nachhinein“ oder „im Nachhinein“ heißt (man schreibt es übrigens groß). Wirklich nervig ist, dass ich selten eine Abschlussarbeit in der Hand halte, in der nicht auf jeder Seite mindestens fünf bis sechs Kommafehler sind. Ob eine Plattform „Deutsche Rechtschreibung Online“ da helfen kann? Na ja, vielleicht. An sich tut es auch der Blick in den Duden; viele aber sind offenbar zu faul, diesen Schritt zu tun. Ich werde mir die Plattform zumindest mal anschauen – nach so einem Marketing 😉

Doch keine Prosumenten?

Viele Studien (JIM-Studie, HIS-Studie zum Studierendenverhalten) kommen zu dem Schluss, dass selbst die netzaffinen Bevölkerungsgruppen (jung, hoher Bildungsgrad) keine überwältigenden „Produzenten“ in der Netzwelt sind, also z.B. Blogs schreiben, sich an Wikis beteiligen, Bookmarks öffentlich machen etc. Eine jetzt bei eleed veröffentlichte Studie mit Nachwuchswissenschaftlern (online hier abrufbar) kommt zu dem Schluss, dass es mit der aktiv-konstruktiven Nutzung des Web 2.0 auch im Wissenschaftsbetrieb nicht so weit her ist: „In unserer Studie konnten wir zeigen, dass auch Wissenschaftlerinnen und Wissenschaftler das Web 2.0 zurzeit noch hauptsächlich als Recherche-Tool und damit eher passiv nutzen“, heißt es im Fazit nach Darstellung der Befragungsergebnisse von immerhin 2361 Doktoranden. Auffällige Unterschied zwischen Fach und Geschlecht gibt es bei den Ergebnissen nicht, die durchaus Parallelen zu anderen Online-Studien mit anderen Bevölkerungsgruppen aufweisen, wenngleich auf einem höheren Nutzungsniveau. Interessant, aber nicht erstaunlich: Nur 3 % der Befragten geben an, in einem eigenen Blog über wissenschaftliche Themen zu schreiben.

Eine Generalisierbarkeit der Resultate auf „die“ Wissenschaft erscheint mir allerdings nicht gerechtfertigt: Immerhin konzentriert sich die Studie auf den wissenschaftlichen Nachwuchs. Professoren wurden nicht befragt; na ja, viele hätten wohl gar nicht geantwortet. Selbstreflexion auf dieser Ebene ist – das fürchte ich – nicht so gefragt: Vor zehn Jahren gab es an der LMU München mal den Versuch, eine interdisziplinäre Forschergruppe zum Wissensmanagement aufzubauen, was aber leider nicht geklappt hat: Immerhin aber waren wir schon so weit, dass jeder Fachbereich eine Projektidee entwickelt hatte. Für unseren Fachbereich hatte ich mich für die Idee stark gemacht, das Wissensmanagement in dieser Forschergruppe zu untersuchen. Das war allerdings nicht durchzusetzen: Zu groß war wohl die Sorge, wie diese Ergebnisse am Ende aussehen würden.

Trend-Tücken

Aktuell wird im Netz wieder vermehrt auf den seit 2006 vom MBB (Institut für Medien- und Kompetenzforschung) veröffentlichten „Trendmonitor“ zum E-Learning hingewiesen (online verfügbar hier). Dabei handelt es sich um eine Expertenbefragung, die leider etwas irreführend als „Learning Delphi“ bezeichnet wird, obschon die gleichnamige Delphi-Methode genau nicht in einer einfachen Befragung besteht (nähere Infos zur Delphi-Methode z.B. hier). Ziel der Studie bzw. der Studienreihe ist es, Prognosen über den „E-Learning-Markt“ etwa in Bezug auf favorisierte Methoden und technische Werkzeuge, aber auch in Bezug auf E-Learning als Arbeitsmarkt zu erstellen, also Trends ausfindig zu machen. Ich bin der Meinung, dass die Suche nach solchen Trends einige Tücken hat und das gilt auf jeden Fall auch für diese Studie.

Aber von vorne: Wer sind die befragten 54 Experten? Zur Hälfte (also 26 Personen) handelt es sich um Dienstleister/Produzenten; die nächst größte Gruppe (13 Personen) kommen aus „Wissenschaft/Forschung/Beratung“, wobei ich mich frage, ob man Berater und Wissenschaftler wirklich in einen Topf werfen sollte. Auch 2% Anwender sind dabei: Das macht also EINEN Anwender (sollte man da nicht besser auf Prozentangaben verzichten?). Die anderen Gruppen sind mit zwei bis vier Personen besetzt; acht Personen konnten gar nicht zugeordnet werden. Hm – sind das wirklich die Experten, die uns die E-Learning-Zukunft voraussagen können?

Neben der Zielgruppe stimmen mich auch einige Fragen skeptisch: Wenn nach dem Nutzen sowie nach dem kommerziellen Erfolg von „E-Learning“ gefragt wird, finden wir in den Items eine recht wilde Mischung von (a) Sammelbezeichnungen wie „Blended Learning“ und Open Educational Resources“, (b) Methoden und Aktivitäten (z.B. Simulationen und „Content Sharing“, (c) technische Werkzeuge (wie Weblogs, Wikis, Twitter) und noch einiges mehr. Ist es wirklich sinnvoll, all dies bei einer Frage gemeinsam einschätzen zu lassen? Wenn doch die meisten der Meinung sind, dass Blended Learning-Angebote einen hohen Nutzen haben, müssten dann nicht potenziell alle Methoden und Werkzeuge ähnlich eingeschätzt werden? Es ist doch zu vermuten, dass eher der Bekanntheitsgrad und/oder der aktuelle Verbreitungsgrad von Werkzeugen bei solchen Fragen eingeschätzt werden und sonst nichts. Dafür spricht, dass der Blick in die vergangenen Befragungen genau das zeigt: Dass die „Experten“ immer diejenigen Anwendungen als „nützlich“ einstuften, die gerade viel diskutiert und en vogue waren. Von den Kommunikationswissenschaftlern ahbe ich gelernt, dass es da das Agenda Setting gibt: Die Expertenmeinungen könnten mit diesem Ansatz aus meiner Sicht ganz gut gedeutet werden.

Sätze wie „Insgesamt belegen die Prognosen den Trend, dass Unternehmen auch zukünftig nicht gänzlich auf traditionelle Lernformen verzichten werden“ (S. 3) haben das Glück, dass sie wohl immer stimmen werden. Hilft uns das weiter? Sinnvoller ist da schon der ebenfalls gemachte Versuch, verschiedene „Szenarien“ einschätzen zu lassen, wie es in diesem Trendmonitor auch versucht wird. Allerdings sollten diese meiner Ansicht nach auch konkreter sein als z.B. „Deutschland wird seine Position als Bildungsexporteur ausbauen“ – ein Satz, bei dem es jedem Erziehungswissenschaftler ohnehin die Haare aufstellen wird.

An manchen Stellen hat man ja geradezu die Hoffnung, dass es mit den Seherfähigkeiten der befragten Experten nicht so weit her ist, z.B. wenn es heißt: „Deutlich weniger Experten glauben an eine steigende Wichtigkeit der Zielgruppen ´Mitarbeiter mit Migrationshintergrund´ (43%) und ´ungelernte Hilfskräfte´ (24%). Für letztere prognostizieren 19 Prozent der Befragten sogar ein sinkendes Interesse“ (S. 7). Prognostiziert man das jetzt oder wünscht man es sich eher oder nimmt man es als unweigerlich an, wenn die Wirtschaft kränkelt? Wer wird mit diesen Prognosen denn jetzt genau was machen? Sich als Depp fühlen, wenn man sich doch für diese „wenig interessanten“ Zielgruppen stark macht? Ich weiß nicht: Ist das sinnvoll – solche Prognosen anzustellen?