Gabi Reinmann

Hochschuldidaktik

Qualitätskriterien für Design-Based Research – was (nicht) funktioniert

| Keine Kommentare

In internationalen Texten werden nicht selten „design“ und „science“ einander gegenübergestellt; wörtliche Übersetzungen sind schwierig, weil der deutsche Wissenschaftsbegriff breiter ist als das Wort „science“, das (nicht nur aber vorrangig) die Naturwissenschaften bezeichnet. Viele wissenschaftliche Kriterien orientieren sich allerdings auch im Deutschen in hohem Maße am naturwissenschaftlichen Vorbild (und nicht etwa an dem der Geisteswissenschaften). Wenn daher für Design-Based Research (DBR) Gütekriterien oder Standards gefordert werden, dann werden auch hier (in Anlehnung an „science“) nicht selten die Naturwissenschaften als Referenz herangezogen. Und genau das funktioniert natürlich nicht, denn:

Für eine Design-Epistemologie ist es wichtig, sich vor Augen zu halten, dass sie sich von Science deutlich abgrenzt: Science beschäftigt sich damit, die natürliche Welt zu beobachten und zu beschreiben, während sich Design auf die „künstliche“ Welt bezieht. Science kümmert sich um das, was ist, Design um das, was sein könnte (oder sollte). Anders als bei Scientific Evidence gilt beim Design auch die Interpretation als eine valide Form der Evidenz. Naturwissenschaftlich begründete Evidenz kann im Designprozess herangezogen und genutzt werden, doch da der Zweck des Designs nicht in der Beschreibung der existierenden Welt, sondern darin liegt, Situationen zu verändern und (neue) Bedeutungen zu schaffen, muss auch der Stellenwert empirischer Methoden im Design anders bemessen werden. Infolge der hier nur angedeuteten großen Unterschiede ist es naheliegend, Gütekriterien bzw. Standards für die DBR zu haben, die sich vom naturwissenschaftlichen Modell deutlich unterscheiden. Diese Argumentation findet sich auch im folgenden Text, den ich etwas genauer vorstellen und diskutieren möchte:

Clarke, R.I. (2018). Toward a design epistemology for librianship. School of Information Studies – Faculty Scholarship, 175.

Die Autorin spricht in ihrem Text von „Elementen einer Design Epistemologie“, die ich im Folgenden als Anker für die Diskussion von Qualitätskriterien heranziehe und versuchsweise auf meine Erfahrungen in unserem DBR-Projekt SCoRe anwende. Ich verwende den Begriff „Qualitätskriterien“, weil ich nicht behaupten würde, wir haben es hier bereits mit Gütekriterien im klassischen Sinne und darauf aufbauenden Standards zu tun. Die folgenden Qualitätskriterien könnten aber eine Vorstufe hierfür bilden.

Clarke konzentriert sich auf 12 Elemente: artifacts; wicked problems; problem finding and framing; service orientation; iteration; repertoire; reflection; use of representation; abductive reasoning; rationale; critique; criteria-based evaluation

und gruppiert diese zu drei Gruppen: creation of problem solutions; generation of knowldege through making; design evaluation methods.

Ich übernehme diese „Elemente“ (das sind die nummerierten Aussagen, kursiv geschrieben) und passe sie für den Bereich Bildung an – mit entsprechend eigenen Deutungen, die vom Text durchaus abweichen können. Nicht alle diese Qualitätskriterien sind vermutlich gleich wichtig; zudem halte ich die Liste auch nicht für optimal. Aber: Clarkes Text bietet einen guten Anfang für eine Qualitätsdiskussion in DBR. Zudem sind Aspekte integriert, die deutlich Gefahr laufen, in Konflikt mit klassischem Projektmanagement zu geraten, und genau das sehe ich auch bei größeren Projekten wie SCoRe als eine besondere Herausforderung an. Sich dies bewusst zu machen und Ideen zu entwickeln, wie man eine angemessene Balance zwischen verschiedenen Ansprüchen finden kann und dabei noch DBR praktiziert, halte ich jedenfalls für wichtig.

Qualitätskriterien – Gruppe I: Entwicklung von „Problemlösungen“ (Interventionen)

  1. Artefakte als Ergebnis: DBR mündet immer in Artefakte, die den Prozess der „Problemlösung“ bzw. den der Entwicklung einer Intervention materialisieren.

Manche Interventionen sind per se materialisiert, etwa technische Werkzeuge oder Lehr-Lernmaterial; andere (z.B. Veranstaltungskonzepte) sind an sich immateriell, lassen sich aber z.B. aufschreiben oder aufzeichnen, münden daher in diesem Sinne ebenfalls in Artefakte (siehe auch hier). In einem Projekt wie SCoRe ist es entsprechend essenziell, kontinuierlich festzulegen, welche Artefakte (in welchen Teilprojekten) erarbeitet werden.

  1. Probleme, die es in sich haben: DBR hat es mit Problemen zu tun, die es in dem Sinne in sich haben, dass sie erst einmal einzigartig und kaum zu definieren sind, ständig ihre Gestalt ändern und stets mehrere Lösungen zulassen.

Zum Teil ergibt sich eine solche Kennzeichnung bereits daraus, dass die zu entwickelnden Interventionen in Bildungskontexten immer auch Handlungen von Personen erfordern, die anders als physische Gegenstände alle Merkmale aufweisen, die auch auf „wicked problems“ zutreffen. In SCoRe haben wir genau diese Erfahrung in den Arbeitsprozessen bereits gemacht und reagieren darauf, indem wir immer wieder unsere Arbeitsweise hinterfragen und anpassen.

  1. Explorierendes Einkreisen des Problemraums: DBR kreist die im Interesse stehende Herausforderung aus verschiedenen Perspektiven ein, testet unterschiedliche Ideen bereits im Prozess der Eingrenzung des Problemraums und gibt der Problemfindung viel Raum.

Die Vorstellung, dass sich Design-Prozesse in Phasen einteilen lassen (z.B. Analyse/Synthese/ Evaluation) zeigt sich in realen Design-Prozessen in der Regel nicht in dieser klaren Form. Von „Ableitungslogiken“ jedenfalls kann keine Rede sein; zyklische Vorgehensweisen erfolgen selbst im Mikrobereich. In SCoRe führt dies stellenweise zu einer gewissen Beunruhigung, weil man mit der Forschungsförderung Arbeitspakete und Meilensteine verspricht, die lange im Voraus geplant werden und sich mit der an sich erforderlichen Flexibilität nur schlecht vertragen. Das ist ein ganz grundsätzliches Problem, für das wir auch noch keine Lösung haben.

  1. Offene Nutzenorientierung: DBR will neben Erkenntnis einen Nutzen stiften, der aber darüber hinausgeht, nur einen oberflächlichen Bedarf zu decken und vorab nicht im Detail bestimmt werden kann.

Design schafft Artefakte und interveniert in das Leben anderer Menschen, indem diese die Artefakte nutzen oder aktualisieren. Das, was DBR hervorbringt, soll zu etwas Nutze sein (soll gebraucht werden), ohne dass man vorher in allen Einzelheiten weiß, was das alles umfassen kann. Diese Offenheit erscheint gerade im Bildungskontext und damit auch in Projekten wie SCoRe notwendig und sinnvoll, ist aber nicht immer leicht umzusetzen im Rahmen eines Projektplanes (in der Drittmittelforschung), der wiederum nach planmäßigen Entscheidungen ruft – ein kaum auflösbares Spannungsverhältnis.

Qualitätskriterien – Gruppe II: Wissensschaffung durch Machen

  1. Iteration im Prozess: In DBR gibt es nicht einen, sondern immer mehrere (auf verschiedenen Niveaus) wiederholte „Lösungsversuche“, die das „Problem“ kontinuierlich verändern.

Das „Problem“ einzukreisen, ist ein kontinuierlicher Prozess. In der Folge erfordert der Design-Prozess, sich rasch zwischen Situations-/Kontextexplorationen und Interventionsideen hin und her zu bewegt. Man verfeinert das Verständnis, indem man stets mehrere Lösungen versucht. Es gibt folglich keine klaren Projektphasen in dem Sinne, dass man erst mal alles „fertig designt“ und dann erprobt. Vielmehr werden Elemente aus dem Design mitunter parallel erarbeitet und öfter erprobt und dann auch wieder verändert. Je mehr Partner ein Projekt hat und je mehr Abhängigkeiten es dadurch gibt – wie in SCoRe –, umso mehr Schwierigkeiten können aus diesem notwendigen Merkmal freilich erwachsen.

  1. Vielfältiges Wissensrepertoire: In DBR fließen verschiedene Wissensquellen ein: von bestehenden Erkenntnissen über neu erhobene Informationen bis zu eigenen Erfahrungen.

Das facettenreiche Wissensrepertoire ist erforderlich sowohl für Interventionsideen als auch für die ständige Überprüfung und Evaluierung derselben. Zu diesem Repertoire gehört unbedingt auch das implizite Wissen vor allem erfahrener beteiligter Personen. In SCoRe stehen wir diesbezüglich vor der ständigen Herausforderung, unser Wissensrepertoire (in den Teilprojekten wie auch im Verbund) kontinuierlich zu dokumentieren, zu ordnen und dabei auch dem Impliziten Raum zu geben.

  1. Reflexion im und nach dem Handeln: In DBR fungiert Reflexion (in allen Varianten) als Evaluationsinstrument (neben anderen).

Reflexion hilft im Design-Prozess, von der Erfahrung zu lernen. Daher ist nicht nur generell die Reflexion in DBR wichtig, sondern im Besonderen ist die „reflection-in-action“ zentral. Die Frage ist, wie man das genau macht und wie verschiedene Möglichkeiten in größeren Projekten wie SCoRe auch miteinander verknüpft werden können: Jeder einzelne kann (und sollte) ebenso reflektieren wie die Teams in den Teilprojekten und alle zusammen; man kann das aufschreiben, miteinander sprechen, gegenseitig kommentieren etc. Der damit verbundene Aufwand ist nicht zu unterschätzen.

  1. Schnelle und spontane Design-Darstellungen: In DBR sind Design-Darstellungen aller Art wichtiger Bestandteil von Design-Prozessen und dienen gleichzeitig der Dokumentation.

Design-Ideen und Entwürfe schlagen sich nieder in Notizen, Zeichnungen, Texten, Modellen, ersten Prototypen, die sowohl dokumentierend als auch kommunikativ wirken. Solche „Repräsentationen im Prozess“ sind schnell, spontan, mitunter nur vorübergehend; sie sind zudem Ausdruck eines Experimentierens (mit Ideen) und dienen zugleich dem Verstehen. In SCoRe arbeiten wir viel mit verschiedenen Darstellungsmodi – inklusive (kommentierbarer) Videos. Das erscheint mir sinnvoll und ist auch hilfreich, führt aber in der Fülle nicht selten zu „losen Enden“, die nicht oder nur von einigen weiterverfolgt werden. Die Koordination in solchen Projekten, so meine Erfahrung, ist entscheidend; diesbezüglich sind wir in SCoRe selber noch in einem Lernprozess.

  1. Abduktives Denken: DBR bzw. die Design-Prozesse in DBR beruhen auf dem abduktiven Schließen und zielen darauf ab herauszubekommen, was möglich ist.

DBR lässt sich nicht auf eine analytisch-untersuchende Vorgehensweise reduzieren, sondern braucht zwingend die Generierung von Artefakten und das Verstehen infolge des „Machens“, was epistemologisch im abduktiven Schließen seine Entsprechung findet. In Drittmittelprojekten wie SCoRe läuft das auf Strategien hinaus, die zwischen Abduktion und traditionellem Projektmanagement geschickt changieren müssen – eine Anforderung, die sich nun schon aus mehreren hier erläuterten Qualitätskriterien ergibt.

Qualitätskriterien – Gruppe III: Design-Evaluation

  1. Gestaltungsgrundsatz: Jedes DBR-Vorhaben folgt einem Gestaltungsgrundsatz, der unter anderem Begründungen für das Artefakt und Prinzipien für das Vorgehen umfasst.

Der Gestaltungsgrundsatz im Sinne eines Sets an Werten, Gründen und Prinzipien einschließlich Annahmen aus der wissenschaftlichen Literatur, die einfließen, sollte explizit gemacht werden und fungiert dann als wichtige Referenz auch bei allen Evaluationsprozessen. Für unser Teilprojekt in SCoRe haben wir diesem Qualitätskriterium bereits viel Aufmerksamkeit geschenkt: Für unser Teilprojekt in SCoRe stellt sich nämlich vor allem die Frage, wie wir die Grundidee des forschenden Lernens aufrechterhalten können, obschon wir uns von einigen wesentlichen Merkmalen der klassischen Definition forschenden Lernens notgedrungen wegbewegen.

  1. Gestaltungskritik: Kritische Rückmeldungen aus verschiedensten Quellen sind Teil eines jeden DBR-Prozesses.

Kritik am Design bzw. an Zwischenschritten im Design schafft neues Wissen und ist daher höchst relevant für die Schaffung von Artefakten wie auch für den Verstehensprozess. Je größer DBR-Projekte sind, umso schwieriger ist es allerdings, diesen Grundsatz in einer Form umzusetzen, die nicht zu einer allgemeinen Überforderung führt. In SCoRe sind wir daher ständig auf der Suche nach schnellen und effektiven Strategien im Umgang mit Feedback und Kritik.

  1. Kriterien für Design und Evaluation: Kontextsensitivität und Innovation (im Sinne der Umsetzung von Neuem) sind zentrale Kriterien für das Design und dessen Evaluation.

Jede Evaluation in DBR muss den Kontext mitberücksichtigen. Daneben ist Originalität anzustreben, wobei eine „Problemlösung“ nicht absolut neu, sondern neu für den jeweiligen Kontext zu sein hat. In SCoRe sind wir derzeit noch gar nicht so weit, für das „Ganze“ gut begründete Evaluationskriterien zu haben, die diesen Aspekt der Innovativität berücksichtigt. Aus dem oben genannten Grundsatzpapier (zum forschenden Lernen) werden wir aber in nächster Zeit sicher eben solche Kriterien zumindest aus der Perspektive unseres Teilprojekts bestimmen.

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.