Videographie in der empirischen Unterrichtsforschung

Transkript

1 Institut für Erziehungswissenschaft Videographie in der empirischen Unterrichtsforschung Summer School der GDM, 20. September 2012, Freiburg (D) Christine Pauli, Universität Zürich Überblick 1. Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen? 2. Videobasierte Unterrichtsforschung praktisch: Überlegungen zur Datenerhebung Beobachtungsverfahren Von der Videoaufnahme zur Datenanalyse (Ausblick) 3. Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen Christine Pauli, Universität Zürich 2

2 Vorteile von Videodaten Dichte : Unterrichtsprozesse in ihrer Komplexität der Beobachtung zugänglich machen; ganzheitliche Sicht auf Verläufe Permanenz : a) Verläufe einfangen; b) wiederholte Betrachtung aus unterschiedlichen Perspektiven und zu verschiedenen Zeitpunkten möglich ermöglicht Integration von unterschiedlichen Analysemethoden und -strategien Offenheit für unantizipierte Phänomene Komplexitätsreduktion ist reversibel erleichtern Kommunikation über Unterrichtsprozesse nutzbar für die Aus- und Weiterbildung von Lehrpersonen Christine Pauli, Universität Zürich Seite 3 3 Perspektiven auf Unterricht (die sich ergänzen) Lehrerbefragung + Beschreibung didaktischer Gestaltung - Beurteilung Qualität und Nutzung des Unterrichts! Schülerbefragung + subjektives Unterrichtserleben, bes. affektive und soziale Aspekte + Beschreibung von Routinen - differenzierte Beschreibung und Beurteilung didaktischer Konzeptionen! Angebot von Lerngelegenheiten Nutzung der Lernge- Wahrnehmung und Unterrichtsprozesse legenheiten Videoanalysen / Beobachtung + Beschreibung und Beurteilung didaktischer und methodischer Aspekte des Unterrichts und der Interaktion - Erfassung des subjektiven Erlebens von Unterricht - Erfassung individueller Lernprozesse - Erfassung seltener Ereignisse! Christine Pauli, Universität Zürich 4

3 2. Videobasierte Unterrichtsforschung praktisch (Von der Videoaufzeichnung...)... über die Entwicklung und Anwendung von Analyseinstrumenten... (... zur Datenanalyse und Beantwortung der Forschungsfrage(n)) Christine Pauli, Universität Zürich 5 Überlegungen zur Datenerhebung vgl. z.b. Praetorius, Lenske & Helmke (2012) 1. Festlegung des Beobachtungsfeldes: Wo, wann und unter welchen Rahmenbedingungen wird beobachtet? 2. Festlegung der Beobachtungseinheiten: Wer und was wird wie lange/wie oft beobachtet? 3. Festlegung der Stichprobe; Feldkontakt (wichtig: Massnahmen zum Datenschutz und ggf. zur erweiterten Nutzung des Videomaterials!) 4. Entwicklung und Erprobung (!) des Kameraskripts, incl. Begleitmaterialien 5. Schulung des Kamerapersonals 6. Durchführung der Aufzeichnung Christine Pauli, Universität Zürich Seite 6

4 Hintergrund: Angebots-Nutzungs-Modell Unterrichtsqualität und -wirksamkeit Angebotsbezogene Stützsysteme Nutzungsbezogene Stützsysteme System-Architektur, Lehrplan und Pädagogische Traditionen Lehrerbildung, Qualifikation, Ausund Fortbildung der Lehrpersonen Soziokultureller Kontext: gesellschaftliche Wertschätzung von Bildung Merkmale der Einzelschule Familie Peers Lehrermerkmale: professionelle Kompetenz Quantität, Qualität des Lehrangebots UNTERRICHT Qualität der Angebotsnutzung und der Lernaktivitäten Schülermerkmale MEHRDIMENSIONALE BILDUNGSWIRKUNGEN Reusser & Pauli (2003); vgl. auch Fend (1998); Helmke (2009) C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 7 BeispieI für eine Einbettung der Videoeinheiten in ein Gesamtdesign ( Pythagoras-Studie; Klieme, Pauli & Reusser, 2009) 1 school year (2002/2003)! Tutorial dialogues Tests, questionnaires! Pythagorean theorem unit 3 lessons Word problems 2 lessons Tests, questionnaires! Tests, questionnaires! Questionnaires! Sample: 20 German teachers/classrooms (9th grade) 20 Swiss teachers/classroom (8th grade) approx students Christine Pauli, Universität Zürich Seite 8

5 Datenschutz und Einwilligungen: Von allen LP und allen Eltern/Lernenden Lokale Datenschutzbestimmungen beachten; Anfrage bei Datenschutz- Beauftagten o.ä. Evtl. mehrstufiges Verfahren sinnvoll (für Verwendung in Lebi/Lefo) Christine Pauli, Universität Zürich Seite 9 Kameraskript: ein Beispiel zur Positionierung der Kameras (vgl. u.a. Petko, 2006) L: Follow the teacher S: Klassenüberblick (Nicht geeignet für Beobachtung von Schüler-Schüler-Interaktion bei Gruppenarbeit) Entscheidend: Tonqualität! L" Lehrerkamera (L)" s" Schülerkamera (S)" Christine Pauli, Universität Zürich Seite 10

6 Beispiel eines Kameraskripts! Petko, D. (2006). Kameraskript. In E. Klieme, C. Pauli & K. Reusser (Hrsg.), Dokumentation der Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie Unterrichtsqualität, Lernverhalten und mathematisches Verständnis, Teil 3: Hugener, I., Pauli, C. & Reusser, K.: Videoanalysen (S ). Frankfurt a.m.: DIPF.! Entscheidend ist nicht nur ein gutes, d.h. zielgerechtes Kameraskript, sondern die technische Ausrüstung (v.a.: Ton!) eine gute Kamerapersonenschulung Qualitätskontrolle und trotz Kameraskript intelligentes und adaptives Verhalten der Kameraperson Christine Pauli, Universität Zürich Seite 11 Quantitative Videoanalysen durchführen... über die Entwicklung und Anwendung von Analyseinstrumenten Christine Pauli, Universität Zürich 12

7 Ziele quantitativer Videoanalyse! Unterricht systematisch beschreiben und vergleichen: theoriegeleitet anhand bestimmter Dimensionen (und unter Ausschluss anderer Dimensionen) im Hinblick auf bestimmte Fragestellungen unter Einhaltung von wissenschaftlichen Gütestandards! Lernrelevante Qualitäts- und Gestaltungsmerkmale des Unterrichts identifizieren (unter Berücksichtigung der Angebots-Nutzungs-Struktur von Bildungsprozessen) Christine Pauli, Universität Zürich 13 Beobachtungsverfahren: zwei Grundunterscheidungen 1) Ausmass erforderlicher Schlussfolgerungen Urteil/die Entscheidung niedrig inferent hoch inferent 2) Beobachtungsverfahren kodieren beurteilen / Ratings Christine Pauli, Universität Zürich 14

8 Beobachtungsverfahren Verfahren Ziel Analyseeinheit Gütekriterien Kodierung Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen Beschreibung der Unterrichtsgestaltung, des Lehreroder Schülerverhaltens Ereignis- oder Zeitstichproben Hohe Beobachter-Übereinstimmung i.d.r. leichter erreichbar als bei Ratings Beurteilung ( Ratings ) Integration verschiedener Merkmale zu einem Urteil ( In welchem Ausmass ist Merkmal xy verwirklicht? ) Qualitative Einschätzung von Dimensionen der Unterrichtsgestaltung, der Lehrer- Schüler-Interaktion usw. meist längere Unterrichtssequenzen bis hin zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung (Reliabilität) oft schwer erreichbar 15 Zwei Analyseansätze Quantifizierende Verfahren der Videoanalyse Verhaltens- bzw. phänomennahe Codierung des Auftretens von Merkmalen Beurteilung ( Ratings ) auf der Basis von Standards (meist hoch inferent ) Time-Sampling Event-Sampling Flächen-Codes Ereignis-Codes Christine Pauli, Universität Zürich

9 Anwendungsbeispiele: Kodierung Christine Pauli, Universität Zürich 17 Anwendungsbeispiel 1: Kodierung (Beispiel aus Pythagoras-Studie Siehe Teilnehmerunterlage: 1) Basiskodierung im Pythagoras-Projekt:! Sozialformen! inhaltsbezogene Aktivitäten! Funktionen im Lernprozess " Lektionsübersichten Christine Pauli, Universität Zürich 18

10 Satz des Pythagoras: Verstehenselemente (Drollinger-Vetter, 2011) Kodierung Verstehenselemente (als Teil der Erfassung der fachdidaktischen Qualität ; vgl. Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006) 2 2 a + b = c 2 Nur im rechtwinkligen Dreieck Zwei Typen von Seiten Kleine Übung: Verstehenselemente : Kodierung von Vorkommen und Dauer 1. Kodierung 2. Kurzer Austausch mit Nachbar/in 3. Diskussion Christine Pauli, Universität Zürich Seite 20

11 Zusammenfassung Codierung (Lipowsky, 2006) Codiert werden Aspekte des beobachtbaren Verhaltens Arbeitsgrundlage: detailliertes Codier-Manual Codieranweisungen sorgen für geringen Interpretationsspielraum Codiereinheit: Zeiteinheit (time sampling) oder Sinneinheit (event sampling) Training: Genaue Kenntnis der Codierregeln Qualitätssicherung: Feststellung der Übereinstimmung zwischen Codierpersonen mittels Inter-Codierer- Reliabilitätsprüfungen (prozentuale Übereinstimmung, Kappa) Je nach erfasstem/ Aspekt/en ist Codierung sehr aufwändig und erfordert u.u. mehrere Durchgänge durch das Material (Bsp. Videostudie CH-D: 5 Durchgänge) Anwendungsbeispiel: Ratings Zur Erinnerung... Verfahren Ziel Analyseeinheit Gütekriterien Kodierung Erfassung von Auftreten, Häufigkeit, Dauer von beobachtbaren Ereignissen Beschreibung der Unterrichtsgestaltung, des Lehreroder Schülerverhaltens Ereignis- oder Zeitstichproben Hohe Beobachter-Übereinstimmung i.d.r. leichter erreichbar als bei Ratings Beurteilung ( Ratings ) Integration verschiedener Merkmale zu einem Urteil ( In welchem Ausmass ist Merkmal xy verwirklicht? ) Qualitative Einschätzung von Dimensionen der Unterrichtsgestaltung, der Lehrer- Schüler-Interaktion usw. meist längere Unterrichtssequenzen bis hin zu ganzen Unterrichtsstunden Hohe Beobachterübereinstimmung (Reliabilität) oft schwer erreichbar 22

12 Allgemeine Bemerkungen zu Ratings (vgl. auch Rakoczy, 2006)! Ratingverfahren waren (und sind) umstritten und werden von Methodikern häufig als wertend kritisiert (vgl. z.b. Fassnacht, 1995)! Videotechnologie trugen zur Verbesserung bei! In vielen Fällen gibt es kaum eine Alternative, die dem Untersuchungsgegenstand (komplexe Merkmale) angemessen wäre! Hauptkritik: Subjektivität und damit verbundene geringe Reliabilität und Validität: Messwert hängt nicht nur vom Objekt, sondern vom Rater (individuell) und der Beschaffenheit des Instruments (allgemein) ab Massnahmen:! Operationalisierung der Merkmale, Definition der Ratingdimensionen! Festlegen von Regeln für den Ratingprozess! Intensives Training der Rater! Qualitätssicherung (Überprüfung der intersubjektiven Übereinstimmung) Christine Pauli, Universität Zürich Seite 23 Entwicklung eines Kodier- oder Ratingmanuals Ziel: eine möglichst objektive Einschätzung bzw. Beschreibung des Unterrichts, die unabhängig von der Person ist, die das Verfahren durchführt Videobetrachtung Generierung von Kodier- oder Ratingperspektiven unter Rückgriff auf Theorie Evaluation; Anpassung Definitionen/ Kategorien Entwurf Kodierkategorien oder Ratingkriterien Suche nach genauen Definitionen Anwendung auf Videosequenzen Christine Pauli, Universität Zürich Schulung, Reliabilitätsprüfung, Codierung, Auswertung 24

13 Hoch inferente Ratings: vom theoretischen Konstrukt zur Beurteilung Verständnisorientierter Aufbau flexibel nutzbarer kognitiver Strukturen (vgl. u.a. Aebli, 1983; NCTM, 2001; 2003; usw.) Förderung des Verständnisses Qualität des Strukturaufbaus Anknüpfen an Vorwissen Operationalisierung Strukturelle Klarheit Aktive kognitive Auseinandersetzung mit dem Stoff weitere LP trennt Wichtiges von Unwichtigem. Die Theorie wird verständlich dokumentiert. Verknüpfung der Repräsentationsformen tragen zum Verständnis bei. (vgl. weiteres Beispiel in der Teilnehmerunterlage: Wahlmöglichkeiten) 25 Anwendungsbeispiel 2: Beurteilung/Rating Kleine Übung: Beurteilung von Aspekten der fachdidaktischen Qualität (Drollinger-Vetter, 2011; Drollinger-Vetter & Lipowsky, 2006):! Qualität des Strukturaufbaus! Strukturelle Klarheit (ausgewählte Items)! vgl. Teilnehmerunterlage (vgl. weiteres Beispiel eines Ratings in der Teilnehmerunterlage: Wahlmöglichkeiten für die Schüler/innen) Christine Pauli, Universität Zürich 26

14 Kleine Übung 2: Rating Qualität des Strukturaufbaus Strukturelle Klarheit 1. Beurteilung 2. Austausch mit Nachbar/in 3. Diskussion Christine Pauli, Universität Zürich Seite 27 Training für Rating-Personal (Beispiel: HIR- Training von K. Rakoczy, 2004) Ziel:! Intersubjektive Übereinstimmung der Ratings (Beobachterübereinstimmung, Interraterreliabilität) Inhalte eines Trainings: Entwickeln eines gemeinsamen theoretischen Verständnisses auf der Basis des Manuals Kennenlernen der Bandbreite des Materials (Ankerbeispiele für die Skalenausprägung werden gezeigt) Unabhängige Beurteilung der Merkmale im Beispielmaterial, Diskussion, wie Urteile zustande gekommen sind, Abstimmung der Kriterien, Üben Dauer: bei 20 Dimensionen mindestens 1 Woche Material: Videos sollten möglichst nicht Teil der Stichprobe, aber mit den Videos der Stichprobe vergleichbar sein (Folie nach Rakoczy, 2007) Christine Pauli, Universität Zürich Seite 28

15 Kodierung oder Rating? Quantifizierende Verfahren der Videoanalyse Verhaltens- bzw. phänomennahe Kodierung des Auftretens von Merkmalen Beurteilung ( Ratings ) auf der Basis von Standards! Entscheidung abhängig von der Fragestellung und der Komplexität der zu erfassenden Konstrukte! Kombination von Kodierung und Ratings möglich und oft sinnvoll (vgl. die folgenden Anwendungsbeispiele), z.b. Basiskodierung, welche bestimmte Analyseeinheiten definiert anschliessend qualitative Einschätzung der Analyseeinheiten Christine Pauli, Universität Zürich 29 Beispiel: Multiple Beobachtungsverfahren und Datenquellen Christine Pauli, Universität Zürich 30

16 Fachdidaktische Qualität und Unterrichtswirkung: Vorhersage der Nachtestleistung (Drollinger-Vetter, 2011) Modell 1 Klassenebene Mittleres Vorwissen.25*** Strukturelle Klarheit.21*** Schülerebene Vorwissen.17** Intelligenz.21*** Interesse.10** ***p<.001, **p<.005; +p<.10. Standardisierte Beta-Koeffizienten (Drollinger-Vetter, 2011, S. 284) C. Pauli, Universität Zürich, Institut für Erziehungswissenschaft, PPD Seite 31 Überblick 1. Quantitative Videoanalyse als wissenschaftliche Forschungsmethode: Warum Videoanalysen? 2. Videobasierte Unterrichtsforschung praktisch: Überlegungen zur Datenerhebung Beobachtungsverfahren Von der Videoaufnahme zur Datenanalyse (Ausblick) 3. Abschluss: Hinweise zu Qualitätssicherung, Austausch zu Videosoftware, Diskussion, Fragen Christine Pauli, Universität Zürich 32

17 Qualitätssicherung: Beobachterübereinstimmung Für Kodierungen (nominalskalierte Daten)! (Prozentuale Beobachterübereinstimmung )! Cohens Kappa Für (intervallskalierte) Ratings! Intraklassenkorrelation (ICC)! Generalisierbarkeitskoeffizient (G-Koeffizient) Literatur (Standardwerk): Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe. Zu Generalisierbarkeitskoeffizient z.b.: Holling, H. (2010). Generalisierbarkeitstheorie. In H. Holling & B. Schmitz (Eds.), Handbuch Statistik, Methoden und Evaluation (pp ). Göttingen: Hogrefe. siehe auch: Praetorius, A.-K., Lenske, G., & Helmke, A. (2012). Observer ratings of instructional quality: Do they fulfill what they promise? (in Druck). [doi: /j.learninstruc ]. Learning and Instruction. 33 Software zur Datenanalyse Videograph (Rimmele, IPN, Kiel): Transana (Open source software): Interact (Mangold): Weitere, mit denen Teilnehmende gute Erfahrungen gemacht haben? Ersatzlösungen bzw. je nach Fall sinnvolle Alternative:! Ratings oder Codes z.b. in Excel-Tabellen eingeben, je nach Komplexität; es braucht nicht immer spezielle Software 34

18 Ausgewählte Literatur Derry, S. (2007). Guidelines for conducting video research in education: Recommendations from an expert panel. Chicago: Data Research and Development Center (abrufbar unter: Derry, S., Pea, R. D., Barron, B., Engle, R. A., Erickson, F., Goldman, R. et al. (2010). Conducting video research in the learning sciences: Guidance on selection, analysis, technology, and ethics. Journal of the Learning Sciences, 19(1), 3-53." Goldman, R., Pea, R. D., Barron, B. & Derry, S. (Hrsg.). (2007). Video research in the learning sciences. Mahwah, N.J.: Erlbaum." Dalehefte, I. M., & Kobarg, M. (2012). Einführung in die Grundlagen systematischer Videoanalysen in der empirischen Bildungsforschung. In M. Gläser-Zikuda, T. Seidel, C. Rohlfs, A. Gröschner & S. Ziegelbauer (Eds.), Mixed Methods in der empirischen Bildungsforschung (pp ). Münster: Waxmann. Hugener, I., Pauli, C., & Reusser, K. (2006). Videoanalysen (= Teil 3 der Dokumentation Erhebungs- und Auswertungsinstrumente zur schweizerisch-deutschen Videostudie "Unterrichtsqualität, Lernverhalten und mathematisches Verständnis", hrsg. von E. Klieme, C. Pauli & K. Reusser). Frankfurt am Main: Gesellschaft zur Förderung Pädagogischer Forschung (GFPF)/Deutsches Institut für Internationale Pädagogische Forschung (DIPF). Hugener, I., Rakoczy, K., Pauli, C., & Reusser, K. (2006). Videobasierte Unterrichtsforschung: Integration verschiedener Methoden der Videoanalyse für eine differenzierte Sicht auf Lehr-Lernprozesse. In S. Rahm, I. Mammes & M. Schratz (Eds.), Schulpädagogische Forschung. Unterrichtsforschung. Perspektiven innovativer Ansätze (pp ). Innsbruck: StudienVerlag. Janik, T. & Seidel, T. (Hrsg.). (2009). The power of video studies in investigating teaching and learning in the classroom. Münster: Waxmann. Pauli, C., & Reusser, K. (2006). Von international vergleichenden Video Surveys zur videobasierten Unterrichtsforschung und -entwicklung. Zeitschrift für Pädagogik, 52(6), Pauli, C. (2008). Unterrichtsbeobachtung. In F. Hellmich (Hrsg.), Lehr-Lernforschung und Grundschulpädagogik (S ). Bad Heilbrunn: Klinkhardt. Seidel, T., Prenzel, M., Duit, R., & Lehrke, M. (Eds.). (2003). Technischer Bericht zur Videostudie "Lehr-Lern- Prozesse im Physikunterricht". Kiel: Leibniz-Institut für die Pädagogik der Naturwissenschaften (IPN). Seidel, T. & Prenzel, M. (2010). Beobachtungsverfahren: Vom Datenmaterial zur Datenanalyse. In H. Holling & B. Schmitz (Hrsg.), Handbuch Statistik, Methoden und Evaluation (S ). Göttingen: Hogrefe. Wirtz, M., & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen: Hogrefe. 35