Das Bremer Lehrenden-Delphi: Studiendesign

Transkript

1 Das Bremer Lehrenden-Delphi: Studiendesign Manuela Pötschke Qualität universitärer Lehre: eine Frage ohne Antwort Die Qualität universitärer Lehre ist zunehmend in der Diskussion und Kritik. Dabei spielen insbesondere Fragen unterschiedlicher Rollenauffassungen, didaktischer Fähigkeiten und Möglichkeiten der Qualitätsmessung eine Rolle. In der Regel dienen Befragungen unter Studierenden zur Einschätzung dieser Frage, zumeist mit der Intention, über die Ergebnisse solcher Erhebungen in einen Dialog zu treten und gemeinsam Lehrkriterien festzusetzen und Qualität zu beschreiben. Befragungen von Lehrenden darüber, welche Vorstellungen sie mit guter Lehre verbinden und welche Wege und Ideen es gibt, diese umzusetzen, aber auch welche Hemmnisse immer wieder zu überwinden sind, werden dagegen sehr selten beobachtet. Das ist insofern verwunderlich, als in der fehlenden Übereinstimmung der Ansprüche an die Lehre möglicherweise bereits ein erstes Unzufriedenheitspotential auf beiden Seiten existiert. Neben der Unzufriedenheit mit Lehrsituationen sind aber auch vielfältige Aktivitäten und Initiativen zur Lehrverbesserung zu beobachten. Dazu zählt beispielsweise die gewachsene Bereitschaft zu hochschuldidaktischer Weiterbildung (vgl. Pötschke 003b) oder die Implementierung von Initiativen wie des Hospitationszirkels. Hierbei scheint die Kommunikation über Fachbereichs- oder Fächergrenzen hinweg äußerst schwierig. Dieser Austausch könnte dabei zwei Funktionen erfüllen: zum einen ermöglicht er die Übernahme von bestehenden Konzepten in andere Lehrinhalte, ohne dass die Konzepte mehrmals entwickelt werden müssen. Zum anderen zeigen sich fachspezifische Schwierigkeiten, die durch die kommunikative Situation eher gelöst werden können. Den Fragen nach dem Bedeutungsgehalt guter Lehre, Initiativen zur Lehrverbesserung und bestehenden Problemfeldern war ein Befragungsvorhaben gewidmet, dass in der Logik einer Delphierhebung an der Universität Bremen im Frühjahr und Sommer 003 durchgeführt wurde. Die Teilnehmer für diese Delphi wurden über eine standardisierte Mitarbeiterbefragung gewonnen, die im Wintersemester 00/ 003 stattfand. Darin wurden alle Lehrenden der Universität Bremen aufgefordert, über ihre Arbeitssituation und Arbeitszufriedenheit zu berichten. Inhaltliches Ziel dieser Befragung war die Eruierung der dreifachen Belastungen durch Lehre, Forschung und Selbstverwaltungsaufgaben. Am Ende der Befragung konnten die Teil- 1

2 nehmer angeben, ob sie an dem Delphi zu Lehrfragen teilnehmen würden und wie sie gegebenenfalls angesprochen werden möchten: per oder postalisch. Potentiale eines Delphi Delphi werden immer dann eingesetzt, wenn Experten eine Bewertung und Strukturierung über zunächst unsichere Sachverhalte vornehmen sollen. Häder (00) unterscheidet vier Formen nach der jeweiligen Zielstellung des Delphi (vgl. Abbildung 1). Abbildung 1: Strukturierung von Delphi nach ihrer Zielstellung Merkmal Typ 1 Typ Typ 3 Typ 4 Inhalt Ziel Auswahl der Experten Sammlung von Vorschlägen zur Problemlösung Aufgrund Exper- tise Prognosen Hypothesen zur Auffindung notwendig Fragen Offene Fragen Offene und geschlossene Fragen Verhältnis Teilnehmer/ Forscherteam Herausgehobene Rolle der Teilnehmer Gleich große Bedeutung Quelle: eigene Darstellung in Anlehnung an Häder (00: 36). Ermittlung von Expertenmeinungen Ermittlung und Bewertung von Expertenurteilen Totalerhebung oder bewusste Auswahl Aufgrund bestimm- baren Rahmens Offene und ge- schlossene Fragen Gleich große Bedeutung Beurteilungskonsens Herstellung der Ü- bereinstimmung der Teilnehmer Ideenaggregation Bestimmung eines Sachverhaltes Standardisierte Fragen Herausgehobene Bedeutung des Forscherteams Beim Bremer Lehrendendelphi handelte es sich nach dieser Klassifikation um eine Ideenaggregation, bei der sowohl standardisiert wie offen vorgegangen wurde. Die Kristallisation des Ergebnisses erfolgt dabei iterativ in mehreren aufeinanderfolgenden Befragungs- oder Diskussionsrunden. Häder (00) beschreibt die folgenden zentralen Schritte bei der Durchführung einer Delphistudie: Operationalisierung der Fragestellung Auswahl der Experten Festlegung der Anzahl und der Standardisierung der Befragungsrunden Pretest Erste Befragung

3 Feedback Weitere Befragungsrunden und jeweilige Feedbacks Verfassen des Berichts Die Art der Operationalisierung der Fragestellung hängt davon ab, welches Wissen über den Sachverhalt bereits vorliegt. Zur Frage der Lehrqualität gibt es zahlreiche empirische Evidenzen, Problemfelder sind vielfältig dargestellt und auch Lösungsmöglichkeiten werden in der Literatur ausführlich besprochen. Trotzdem scheint es immer wieder einen Bedarf nach Reflektion der Bedeutung von guter universitärer Lehre zu geben. Es ist deshalb sinnvoll, den Untersuchungsgegenstand mit standardisierten Instrumenten zu erfassen und gleichzeitig eine eher unstrukturierte Auseinandersetzung mit möglichen Inhalten und Zielen der Lehre zuzulassen. Diese unterschiedlichen Instrumente wurden den ausgewählten Experten in insgesamt drei Befragungsrunden vorgelegt. In der Literatur wird darauf verwiesen, dass die Expertise der ausgewählten Befragten vor der Befragung oder parallel dazu eingeschätzt werden soll, so dass Bewertungsgewichtungen vorgenommen werden können (Murry /Hammons 1995: 48). Duffield (1993: 8) weist darauf hin, dass die gefundenen Experten auch über den Einfluss verfügen sollten, die Ergebnisse des Delphi umzusetzen. Die notwendige, aber auch die maximale Größe der Expertengruppe ist dabei in der Literatur nicht unumstritten. Einerseits soll die Gruppe nicht zu klein sein, damit vielfältige Ideen Eingang in die Diskussionen finden können. Woudenberg (1991) schätzt eine Gruppengröße von drei Teilnehmern als zu klein, Parenté/ Anderson-Parenté (1987) geben 10 Teilnehmer als Mindestgröße an. Andererseits reduziert ein größeres Delphi den Fehler der Schätzungen (Cochran 1983), ist aber gleichzeitig in der Diskussion schwieriger zu moderieren, es sei denn die Bewertungen erfolgen stark standardisiert. 1 Im hier vorgestellten Projekt steht die Sammlung möglichst vielfältiger Ideen im Mittelpunkt des Interesses. Deshalb scheint eine größere Zahl von Experten um so besser zu sein. Solange die Argumente Für und Wider konkreter Initiativen übersichtlich darstellbar bleiben, muss also keine künstliche Reduktion der Expertengruppe in Betracht gezogen werden. Die notwendige Anzahl der tatsächlichen Befragungsrunden bleibt ähnlich der Gruppengröße in der Literatur uneindeutig (vgl. Häder/ Häder 000: 18). Einigkeit herrscht lediglich darüber, dass mindestens zwei Befragungsrunden mit einem Feedback integriert sein müssen, um von einem Delphi sprechen zu können. Empirische Studien haben nun gezeigt, dass nach der dritten Befragungsrunde keine wesentlichen Annäherungen und Meinungsverschiebungen 1 Die starke Standardisierung der Studie zur globalen Entwicklung von Wissenschaft und Forschung des BMBF ermöglichte den Einbezug von über 000 Experten. Diese Gruppengröße ist jedoch im Feld der Delphistudien eine Ausnahme. 3

4 mehr auftreten. Die Schlussfolgerung daraus, dass ein Delphi in der Regel drei Runden umfassen sollte, muss jedoch vor dem Hintergrund bewertet werden, dass das Veränderungspotential von den einbezogenen Experten aber auch vom jeweiligen Thema abhängen wird. Geht es darum, bestimmte Alternativen auszuwählen und andere zu verwerfen, sind auch längerfristige Austausche unterschiedlicher Argumente denkbar. Ganz generell sollte deshalb im Vorfeld zwar ein Kriterium entwickelt werden, dass die Beendigung des Delphi kennzeichnet, die konkrete Vorgabe von Befragungsrunden, die dann strikt einzuhalten sind, ist dagegen nicht immer sinnvoll (vgl. die Argumentation in Häder/ Häder 000: 16, zu empirischen Ergebnissen vgl. Linstone/Turoff 1975: 9, Kaynak et al. 1994, Murry/ Hammons 1995, Lanford 197, Häder/ Häder 1994, Häder/ Häder/ Zielger 1995). In einem Ideenaggregationsdelphi, das vor allem von den Berichten der Teilnehmer über positive und negative Erfahrungen mit selbst organisierten Initiativen bestimmt wird, scheint eine eher geringer anzunehmende Zahl von Befragungsrunden angemessen. Das Feedback zwischen den Befragungsrunden kann gleichermaßen aus der Aufbereitung von Streuungsinformationen und mittleren Schätzungen der Expertenbeurteilungen bestehen wie auch aus verbalen Kommentaren (Richey et al. 1985: 14, Ono/ Wedemeyer 1994: 93). Die Annahme ist nun, dass die Experten Ihre eigene Haltung im Fokus der allgemeinen Diskussion überdenken oder sich bestärkt fühlen und so sukzessive Annäherungsprozesse zu beobachten sind (Häder 000). Studiendesign des Bremer Lehrendendelphi Im Bremer Lehrendendelphi wurden alle diejenigen, die an der Befragung zur Arbeitssituation und Arbeitszufriedenheit teilnahmen als Experten für Fragen der Lehrqualität definiert. Die vermutete Expertise resultierte dabei aus dem Kriterium, im Wintersemester 00/ 003 mindestens eine Lehrveranstaltung durchgeführt zu haben. Die Erfahrungen waren deshalb recht unterschiedlich. In der Population waren sowohl gerade erst diplomierte Lehrende mit ihrer ersten Veranstaltung, wie auch gestandene Hochschullehrer, die vielfältige Versuche, die Lehrqualität zu verbessern, miterlebt haben. Angesprochen wurden die Experten am Ende der Befragung. Auf einem separaten Informationsblatt wurden sie über die geplante Durchführung des Delphi in Kenntnis gesetzt und gebeten, ihre Teilnahmebereitschaft zu signalisieren. 4

5 Diejenigen, die sich auf diesen Aufruf hin meldeten, konnten dann in einem ersten Schritt einen Fragebogen beantworten, in dessen Kern es darum ging, was die Befragten unter guter Lehre verstanden und wo einerseits Potentiale der Lehrverbesserung liegen, andererseits die größten Probleme zu finden sind. Dieser Fragebogen war teilweise standardisiert, teilweise offen. Aus den Antworten wurde ein Tableau entwickelt, dass die wesentlichen Probleme in der Lehre und gleichzeitig die in den Fragebögen vorgeschlagenen Maßnahmen zur Verbesserung der Lehre beschrieb. Diese Zusammenstellung wurde den Befragten als Feedback mit der Maßgabe zurück gemeldet, sich zu drei inhaltlichen Schwerpunkten erneut zu äußeren: 1. Sind die vorgeschlagenen Maßnahmen geeignet, die Probleme in der Lehre zu lösen?. Wie werden die konkreten Projekte zur Verbesserung der Lehre beurteilt? 3. Für welche der Projekte können die Befragten sich eine Umsetzung im eigenen Arbeitsbereich vorstellen? Das daraus resultierende Feedback sollte in einer abschließende Runde diskutiert werden. Hier ging es dann vor allem um Vor- und Nachteile unterschiedlicher Projekte und mögliche Übertragungen. Der Studienverlauf kann folgendermaßen zusammengefasst werden (vgl. Abbildung ). Abbildung : Studienverlauf 1. Delphirunde 1. Feedback. Delphirunde. Feedback 3. Delphirunde Mai 003 Anfang Juni 003 Juni 003 Anfang Juli 003 Juli 003 Teilstandardisierter Fragebogen Verbale Zusammenfassung und Häufigkeiten Offene Befragung zu drei Themenschwerpunkten Verbale Zusammenfassung Offene Befragung zur generellen Bewertung In der zweiten und dritten Runde des Delphi wurden zwei Merkmale der Erhebung variiert und auf ihre Wirkung hin getestet: es handelt sich dabei um die Frage nach der Anonymität der Delphiteilnehmer und die Art der Kommunikation des Feedbacks. Daraus ergab sich das in Abbildung 3 dargestellte Schema. Die Unterscheidung nach der Form der Anonymität bezieht sich dabei darauf, ob die Experten in ihrer Gruppe für die anderen Delphiteilnehmer jeweils ohne persönliche Kennzeichnung auftraten oder aberpersönlich identifizierbar waren. 5

6 Durch die verbreitete Kommunikation per mit der Forscherin, waren für sie die Teilnehmer natürlich nicht anonym. Die Differenzierung nach Schriftlich und Online bezog sich auf die Präsentation des Feedbacks durch die Forscherin. Die Onlinevariante ist hier ganz konkret der Versand per , die schriftliche per Hauspost. In weiteren Untersuchungen muss der Frage nachgegangen werden, ob die webbasierte Präsentation beispielsweise auf einer Lernplattform zu anderen Ergebnissen führt. Ein Unterschied zum hier vorgestellten Design wird dort auf jeden Fall darin bestehen, dass eine zeitunabhängige direkte Kommunikation zwischen den Delphiteilnehmern hergestellt werden kann. Die Differenzierung nach unterschiedlichen Feedbackformen erfolgte vor dem Hintergrund der wachsenden Bedeutung von Onlinekommunikation. Diese hat in aller Regel den Vorteil, der zeitlichen und örtlichen Unabhängigkeit der Befragten, wobei gleichzeitig die Kosten für den Forscher relativ gering gehalten werden können. Abbildung 3: Systematisierung der Delphigruppen Online Schriftlich Anonym Gruppe A (N=8) Gruppe B (N=6) Nicht anonym Gruppe C (N=7) Gruppe D (N=6) Die Befragten selber konnten Präferenzen für die Zusendung des Feedbacks angeben, die bei der Gruppenzuweisung beachtet wurden. Die Verteilung auf die anonymen vs. nicht anonymen Gruppen erfolgte zufällig. Dabei wurde eine gleichmäßige Verteilung unterschiedlicher Statusgruppen auf die Delphigruppen angestrebt. Eine der zentralen methodischen Fragestellungen in diesem Zusammenhang bezeiht sich nun darauf, ob sich die Datengüte zwischen schriftlichen und computergestützten Befragungen unterscheidet. Auch für das Delphi macht es Sinn, dieser Frage genauer nachzugehen. Auf der einen Seite ist die Kommunikation per sehr viel direkter und schneller als mit der Post. Andererseits ist eine angehangene Datei auch schneller verloren, während ein Brief dem Befragten auch nach einiger Zeit wieder in die Hände fallen kann. Hier bleibt zu untersuchen, ob die Feedbackgestaltung einen Einfluss auf die Teilnahme hat. Für die Rückantworten aller Befragten standen sowohl wie auch die Hauspost zur freien Verfügung. Die meisten der Befragten wählten die elektronische Variante. 6

7 Rücklauf in den Delphigruppen Von den insgesamt 347 Teilnehmern der ersten Befragung zur Arbeitssituation und Arbeitszufriedenheit baten 107 darum, den Delphifragebogen zur Qualität der Lehre zu erhalten. Davon schickten insgesamt 7 Befragte den ausgefüllten Fragebogen zurück und wurden dann auf die Delphigruppen verteilt, um anschließend zur zweiten und dritten Befragungsrunde eingeladen zu werden. Der Rücklauf in den einzelnen Gruppen war dann sehr unterschiedlich (vgl. Abbildung 4). Offensichtlich ist die nicht anonymisierte Form eine Möglichkeit, die Teilnahmebereitschaft zu erhöhen, wenn die Befragung per realisiert werden kann. In dieser Gruppe haben 6 der 7 Mitglieder ein Statement in der zweiten Runde zurückgeschickt. In der dritten Runde glich sich die Rücklaufquote eher aus. Auffällig dabei war, dass drei Befragte an der dritten Welle teilnahmen, obwohl sie in der zweiten aussetzten. Das wird mit dem großen thematischen Interesse begründet werden können. Andererseits war der Rücklauf insgesamt nicht besonders hoch. Gründe dafür können darin liegen, dass die Veränderungen zwischen zweiter und dritter Welle nicht mehr sehr groß waren, da die Argumente großenteils ohne Gegenrede akzeptiert wurden. Nur zum Thema der Studiengebühren gab es entgegengesetzte Ansichten, die aber im Rahmen des Delphi auch nicht aufgelöst werden konnten. Das heißt, dass ein weniger heterogenes Delphi dann Teilnehmer verliert, wenn sie das Gefühl entwickeln, alles sei gesagt. Abbildung 4: Rücklauf in den Delphigruppen Gruppe A (N=8) Gruppe B (N=6) Gruppe C (N=7) Gruppe D (N=6). Delphiwelle 3. Delphiwelle (aus. je teilgenommen) teilgenommen nicht teilgenommen teilgenommen nicht teilgenommen teilgenommen nicht teilgenommen teilgenommen nicht teilgenommen Alles in allem ist der Rücklauf nur eingeschränkt zufriedenstellend. Einerseits ist eine Sammlung von Vorschlägen zur Verbesserung der universitären Lehrqualität geglückt. Dabei zeigte sich wieder einmal, dass auch in diesem Bereichzahlreiche Initiativen gestartet werden und erfolgreich umgesetzt werden konnten. 7

8 Auf diese zentrale Zielstellung, Ideen über einen spezifischen Sachverhalt zu generieren, mag aber andererseits auch die insgesamt geringe Rücklaufquote in der zweiten und dritten Welle zurück zu führen sein. Einige der Befragten gewannen den Eindruck, die zentralen Gedanken waren schon geäußert und verzichteten deshalb auf ein eigenen Statement. Für zukünftige Delphi-Erhebungen sollte deshalb auf kontroverse Abschnitte im Feedback nicht verzichtet werden. Wenn sie nicht aus dem empirischen Material generiert werden können, sollten auch externe Quellen dazu herangezogen werden. Literatur: Cochran, S.W. 1983: The Delphi Method: Formulating and Refining Group Judgements. Journal of Human Sciences,,, Duffield, Ch. 1993: The delphi technique: a comparison of results obtaining using two expert panels. International Journal of Nursing Studies, 30, 3, Häder, Michael 000: Und wie kommen Sie darauf? Probings zu den kognitiven Prozessen bei der Beantwortung von Prognosefragen in einer Delphi-Studie. In: Häder, Michael/ Häder, Sabine (Hg.): Die Delphi-Technik in den Sozialwissenschaften. Wiesbaden: Westdeutscher Verlag, Häder, Michael, 00: Delphi-Befragungen. Ein Arbeitsbuch. Wiesbaden: Westdeutscher Verlag Häder, Michael/ Häder, Sabine 000: Die Delphi-Methode als Gegenstand methodischer Forschungen. In: Häder, Michael/ Häder, Sabine (Hg.): Die Delphi-Technik in den Sozialwissenschaften. Wiesbaden: Westdeutscher Verlag, Häder, Michael/ Häder, Sabine/ Ziegler, A. 1995: Punkt- versus Verteilungsschätzung: Ergebnisse eines Tests zur Validierung der Delphi-Methode, ZUMA-Arbeitsbericht 95/05, Mannheim. Linstone, H.A./ Turoff, M (Hrsg.) 1975: The Delphi Method: Techniques and Applications. Reading: Addison-Wesley. Murry, J.W. Jr./ Hammons, J.O., 1995: A Versatile Methodology for Conducting Qualitative Research. The Review of Higher Education, 18, 4, Parenté, F.J./ Anderson-Parenté, J.K : Delphi Inquiry Systems. In : Wright, G./ Ayton, P. (Hrsg.) 1987: Judgmental Forecasting. New York: John Wiley & Sons. Pötschke, Manuela 003b: Akzeptanz hochschuldidaktischer Weiterbildung. Online Paper: Woudenberg, F. 1991: An Evaluation of Delphi. Technological Forecasting and Social Change, 40,