Analyse der Evaluationsdaten des Netzwerkes Schülerbefragung zur Beurteilung der Unterrichtsqualität

Transkript

1 HUMBOLDT UNIVERSITÄT ZU BERLIN CENTER FOR APPLIED STATISTICS AND ECONOMICS TOP RANKING = TOP SCHULE? Analyse der Evaluationsdaten des Netzwerkes Schülerbefragung zur Beurteilung der Unterrichtsqualität top ranking = top school? Analysis of the evaluation data of the Netzwerk Schülerbefragung to assess the quality of teaching Bachelorarbeit zur Erlangung des akademischen Grades Bachelor of Science (B.Sc.) an der Wirtschaftswissenschaftlichen Fakultät der Humboldt Universität zu Berlin vorgelegt von Katja Weide Immatrikulationsnummer Studiengang Wirtschaftspädagogik Hamburg, 25. September 2013 Erstprüfer: Zweitprüfer: Betreuer: Prof. Dr. W. Härdle Prof. Dr. Dr. h.c. J. van Buer Dr. S. Klinke

2 Inhaltsverzeichnis 1 Einleitung Qualität und Schule Qualitätsbegriff Qualitätssicherung und Qualitätskriterien des Unterrichts Statistische Methoden explorative Faktorenanalyse Überblick Anwendung und genereller Zielkonflikt der Faktorenanalyse Eignung der Daten zur Durchführung einer EFA Vorgehensweise der explorativen Faktorenanalyse Unterrichtsentwicklung durch Evaluation am Beispiel Netzwerk Schülerbefragung Evaluation ein Instrument der Qualitätssicherung Netzwerk Schülerbefragung Fragebogendesign und methodisches Vorgehen Datensatz Stichprobe Rahmenbedingung der Untersuchung Beschreibung des Teilnehmerkreises Fehlende Werte Verdichtung der Variablen: explorative Faktorenanalyse 40 6 Datenauswertung Befunde zur Unterrichtsbeurteilung im Netzwerk Schülerbefragung Bereinigung des Datensatzes Wahrnehmungen des Unterrichts aus der Schülerperspektive ausgewählte deskriptive Befunde der Schülerbefragung Schulprofile im Vergleich Schüler- und Lehrerwahrnehmungen des Unterrichts im Vergleich Zusammenfassung / kritische Auseinandersetzung Literaturverzeichnis 66 Anhang A - Qualität in Schule. 71 Anhang B - Schüler- und Lehrerfragebogen. 74 Anhang C Datensatz.. 78 Anhang D Datenauswertung

3 Abkürzungsverzeichnis BerlSchG BG BOS BS BV CCA EFA FOS Gymn. IGLU KMK KMO ML MSA OBF OECD OG OSZ PAF PCA PISA QuaSSU TIMSS Berliner Schulgesetz Bildungsgang Berufsoberschule Berufsschule Berufsvorbereitung complete case approach Explorative Faktorenanalyse Fachoberschule Gymnasium Internationale Grundschul-Lese-Untersuchung Kultusministerkonferenz Kaiser Meyer - Olkin Maximum-Likelihood Measure of Sampling Adequacy Berufsfachschule Organisation for Economic Co-operation and Development (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) Berufliches Gymnasium Oberstufenzentrum principal axis factor analysis (Hauptachsenanalyse) principal component analysis (Hauptkomponentenanalyse) Programme for International Student Assessment (Schulstudien der OECD) QualitätsSicherung in Schule und Unterricht Trends in International Mathematics and Science Study (international vergleichende Schulleistungsuntersuchung)

4 Tabellenverzeichnis 2.1 Zehn Kriterien guten Unterrichts nach Hilbert Meyer Eignung der Daten zur Berechnung einer Faktorenanalyse mittels 14 KMO-Koeffizienten 5.1 Ergebnisse des Vergleichs der Gruppen Lehrerbogen vorhanden und 80 Lehrerbogen nicht vorhanden Skalendokumentation auf Basis der Items ausführliche Skalendokumentation auf Basis der EFA- Ergebnisse Ergebnisse des Vergleichs der Gruppen Datensatz komplett und 93 Datensatz bereinigt Zusammenhänge zwischen unterrichtlichem Selbstengagement der Schüler und 51 der Unterrichtsgestaltung der Lehrkräfte 6.3 Mittelwertvergleich des Merkmals Einstellung zur Schule nach Schulen Varianzanteile der Skalen auf Klassen-, Lehrer-, Bildungsgangs- und Schulebene Variablenzusammensetzung der Kennziffern Lehrende, Angebot und Wirkung

5 Abbildungsverzeichnis 2.1 Merkmale der Unterrichtsqualität Definition der Zehn Merkmale guten Unterrichts von Hilbert Meyer modifizierte Übersicht der Evaluationsformen Anzahl der befragten Schüler je Schule Verteilung der Schüler auf die Bildungsgänge Anzahl der befragten Schüler pro Klasse Altersstruktur der Lehrkräfte Verteilung der fehlenden Werte im Lehrerfragebogen nach Schulkennung Verteilung der fehlenden Werte des Lehrerfragebogens bzgl. der Items Verteilung der fehlenden Werte im Schülerfragebogen nach Schulkennung Schülerurteile zum Unterricht im Netzwerk Schülerbefragung wahrgenommene fachinhaltliche, unterrichtsmethodische, diagnostische und 47 soziale Kompetenz der Lehrenden Autonomie und Mitbestimmung im Unterricht Mittelwerte der Skala Schülerautonomie bezogen auf den 49 Bildungsgang Merkmal Unterrichtliches Selbstengagement nach Bildungsgängen Berufs- und Lebensbezug des Unterrichts Mittelwerte der Skala Berufs- und Lebensbezug bezogen auf den 53 Bildungsgang 6.8 Individuelles Fördern im Unterricht Einstellung der Schüler zur Schule.. 56

6 6.10 Schülerurteile zum Unterricht nach Bildungsgang Wahrnehmungen der Schüler zur Einstellung zur Schule nach 95 Bildungsgängen (95% - Konfidenzintervall) wahrgenommener Lernzuwachs der Schüler Gesamturteil der Schüler der 16 Netzwerk Schulen Schulprofile der 16 Netzwerk Schulen Mittlere Abweichungen zwischen Schüler- und Lehrerwahrnehmung auf Schulebene 62

7 1 Einleitung Die Ergebnisse der Teilnahme der Bundesrepublik an internationalen Schulleistungsstudien wie TIMSS, PISA oder IGLU hat die Frage nach der Qualität von Bildung in der Schule in den letzten Jahren verstärkt in die Öffentlichkeit gerückt. In den Forschungsprogrammen zum internationalen Vergleich von Schülerleistungen am Ende der obligatorischen Schulzeit (9. Jahrgangsstufe) schneiden die deutschen Schüler 1 regelmäßig unterdurchschnittlich ab (Feige, 2004). Insbesondere die hohe Zahl von Schulabgänger ohne Abschluss 2 ist besorgniserregend. Die Politik hat reagiert. Seit der Veröffentlichung der schockierenden Ergebnisse wurde die Erfordernis von Reformen der öffentlichen Bildungsinstitutionen und damit einhergehend ein dringender Bedarf an aktuellen Erkenntnissen über die Qualität und Effektivität von Schule festgestellt. In diesem Kontext hat auch der Qualitätsbegriff in den letzten Jahren einen entscheidenden Aufschwung erfahren. Die Schlagworte Qualitätskontrolle, Qualitätssicherung und Qualitätsmanagement bestimmen seit den 1990er Jahren die schulpädagogische und bildungspolitische Debatte. Im Zusammenhang mit der Einführung neuer Steuerungsmodelle im Bildungssystem sind Schulen in allen Bundesländern verstärkt mit der Aufgabe der Rechenschaftslegung, d.h. mit dem Nachweis ihrer pädagogischen und ökonomischen Wirksamkeit, beschäftigt (Gauger & Grewe, 2002). Mittels unterschiedlicher Instrumente wird das Ziel verfolgt, die pädagogische Arbeit in den Schulen systematisch weiterzuentwickeln, um hierdurch die Effizienz des Schulsystems insgesamt zu optimieren (ebd.). Im Fokus steht hierbei meist die Entwicklung des Unterrichts als Kerngeschäft von Lehrern sowie die Orientierung an den Schülerleistungen. Diese Entwicklungen stellen Schulen als Organisationen und Lehrer als Akteure, die den schulischen Wandel gestalten sollen, vor vielfältige Herausforderungen. 1 Geschlechtsneutrale Formulierung: Aus Gründen der einfachen Lesbarkeit wird auf die geschlechtsneutrale Formulierung verzichtet. Soweit im Folgenden Berufs- Gruppen- und / oder Personenbezeichnungen Verwendung finden, so ist auch stets die jeweils weibliche Form gemeint. 2 Im Abgangsjahr 2010 beendeten insgesamt (7%) Schüler ihre Schullaufbahn ohne einen Hauptschulabschluss an einer allgemeinbildenden Schule (Statistisches Bundesamt, 2012, S. 34) 6

8 Ausgehend von aktuellen Tendenzen in der Entwicklung von Einzelschulen sollen in dieser Arbeit unter anderem folgende Fragen behandelt werden: Inwieweit kann Evaluation, insbesondere in der Form einer Schülerbefragung, einen Beitrag zur Unterrichtsentwicklung leisten? Gibt es den Unterricht, der eine gute Schule ausmacht? Um den Zugang zur Thematik Qualitätsentwicklung in Schule und Unterricht zu erleichtern, wird im ersten Teil der Arbeit der Begriff Qualität in Schule definiert, um anschließend die Maßnahmen der Qualitätssicherung des Unterrichts vorzustellen (Kapitel 2). In Kapitel 3 wird dann das zur Anwendung kommende statistische Verfahren der explorativen Faktorenanalyse beschrieben. Die Frage, welchen Beitrag die Evaluation als Qualitätssicherungsinstrument zur Unterrichts- und Schulentwicklung leisten kann, ist Gegenstand des Kapitels 4. Dass die Durchführung der internen Evaluation nicht nur eine bestehende Forderung im Schulgesetzt ist, sondern von den Schulen auch praktisch umgesetzt wird, soll das Beispiel Netzwerk Schülerbefragung zeigen. Es ist ein Zusammenschluss von Berliner und Brandenburger Schulen zur Durchführung und Auswertung von Unterrichtsevaluation durch eine Schülerbefragung. Die Hintergründe und die Durchführung der Befragung werden in Kapitel 4.2 und 4.3 dargestellt. Von den qualitativen und faktoranalytischen Voruntersuchung (Kapitel 5) ausgehend, werden im sechsten Abschnitt die zentralen Befunde der deskriptivstatischen Untersuchung der Evaluationsdaten der Schülerbefragung beschrieben. Die Zusammenführung der Daten hinsichtlich vergleichender Analysen wird in Kapitel 6 vollzogen. Die Arbeit schließt mit einer Zusammenfassung der wichtigsten Erkenntnisse sowie einer kritischen Reflexion hinsichtlich weiterführender Aufgaben zur Qualitätssicherung des Unterrichts. 7

9 2 Qualität und Schule 2.1 Qualitätsbegriff Um die Frage zu beantworten, was eine gute Schule ausmacht, muss zunächst geklärt werden, was unter Schulqualität verstanden wird. Dazu ist es notwendig den Begriff Qualität zu definieren. Der Qualitätsbegriff erweist sich als komplexes Phänomen, der sehr vielschichtig verwendet wird. Je nach Betrachtungsweise können sich qualitativ verschiedene Auffassungen ergeben. Die Ambivalenz des Begriffs zeigt sich bereits in der Wortherkunft von Qualität : Der lateinische Wortstamm qualis fragt nach der Art und Weise der Beschaffenheit während qualitas sich sowohl auf die Eigenschaftlichkeit als auch auf ein Verhältnis zu Dingen oder Prozessen bezieht (Küpers, 2001, S. 843). Bei der vielseitigen Abgrenzung des Qualitätsbegriffs haben sich zwei grundlegende Ansätze herauskristallisiert. Zum einen soll Qualität fitness for use (Juran, 1974, S. 2) repräsentieren und damit vorgegebene Standards erfüllen. Zum anderen bestimmt sich Qualität durch den Grad der Erfüllung subjektiver Anforderungen: Quality is a Comparison between Expectations and Performance (...) (Parasuraman, Zeithaml & Berry, 1985, S. 42). Qualität ist demnach ein relativer und kein objektiver Begriff. Je nach Standpunkt des Betrachters wird unter Qualität unterschiedliches verstanden. Legt man beispielsweise die verschiedenen Aspekte des Qualitätsbegriffs der OECD zugrunde, so kann hohe Qualität an recht unterschiedlichen Kriterien fest gemacht werden. Beispielsweise an der Produktivität (Werden erwartete Ergebnisse erreicht?), der Effektivität (Haben die eingesetzten Instrumente die erwarteten Wirkungen?) oder der Effizienz (Werden gute Ergebnisse mit möglichst geringen Kosten erreicht?) von Schulen (bmbf, 2012). Eines wurde hier ganz deutlich: Die Antwort auf die Frage: Was eine gute Schule ausmacht, kann nicht allgemein beantwortet werden. Kollegien, Eltern, Schülerinnen und Schüler, Ministerien, Arbeitgeber und viele andere an Schule beteiligte Gruppen können sehr unterschiedliche Erwartungen, Vorstellungen und Ansprüche an Schule haben. Nicht zuletzt aus diesem Grund müssen Qualitätsmaßstäbe für Schule und Unterricht in einem politischen Diskurs ausgehandelt werden. Das dieses stattfindet, zeigt sich in den verbindlichen Vorgaben, wie beispielsweise Lehrplänen, Richtlinien oder anderen normativen Leittexten für Schulen (SenBJW, 2012). 8

10 Zusammenfassend kann man sagen, dass Schulqualität ein dynamischer Begriff ist, der nicht losgelöst von gesellschaftlichen Entwicklungen und Interessen sowie örtlichen Gegebenheiten definiert werden kann. Es geht nicht darum den Qualitätsbegriff von Schule und Unterricht allgemein zu normieren. Vielmehr wird die fortlaufende Überprüfung des gemeinsamen Qualitätsverständnisses sowie die Anpassung an den sich wandelnden Bedingungen fokussiert. Demnach muss Schulqualität immer wieder als Anspruch definiert werden, um Ziele beziehungsweise Anforderungen zu formulieren und somit den Schulen eine Orientierung zu bieten. (MK Niedersachsen, 2006) 2.2 Qualitätssicherung und Qualitätskriterien des Unterrichts Seit der ersten PISA-Veröffentlichung im Dezember 2001 haben die Länder und die Kultusministerkonferenzen zahlreiche durchgreifende Reformen im Schulwesen auf den Weg gebracht. Die von der Kultusministerkonferenz eingeleiteten Reformen haben einen Prozess zu mehr Eigenverantwortung in den Schulen hervorgebracht. Mit ihrem sogenannten Konstanzer Beschluss vom Oktober 1997 und der Beteiligung an internationalen und nationalen Vergleichsuntersuchungen hat die KMK Qualitätssicherung in Schulen zu einem Schwerpunkt ihrer Arbeit gemacht. Die Bundesländer haben systematisch versucht, die Qualitätssicherungsmaßnahmen zu eruieren und zu vergleichen (KMK, 1997). Das Bundesland Berlin hat mit der Novellierung des Schulgesetzes seit Januar 2004 die Implementierung umfassender Schulentwicklungsinstrumente für alle Schulen verbindlich vorgegeben. Dadurch sind die Schulen unter anderem zur Erstellung und Fortschreibung eines Schulprogramms, zur Durchführung von Schulentwicklungsprojekten ( 7 BerlSchG) und der internen Evaluation ( 9 BerlSchG) verpflichtet. Die externe Überprüfung der Einzelschule obliegt der Schulaufsichtsbehörde und dient dazu, die Standards, die für die Schulen gelten, zu sichern sowie die Entwicklung und Fortschreibung der Schulprogramme zu unterstützen. Dabei tritt sie mit einem klaren Anspruch auf. Sie will den Schulen zu wesentlichen Handlungsfeldern, Rückmeldungen und damit Impulse für die schulische Weiterentwicklung geben (MBJS, 2012). Das umfasst den Bereich der Schulorganisation und des Schullebens aber auch den Kernbereich der schulischen Arbeit, der tägliche Unterricht, wird dabei nicht ausgeblendet. 9

11 Mit der Schulinspektion erhalten Schulen ein relativ detailliertes Feedback zu Qualitätsaspekten ihres Unterrichts, wobei die Grundlage der Qualitätsanalyse die kriterienorientierte Bewertung geschulter Beobachter ist (ebd.). Damit steht die Frage im Raum, was guten Unterricht denn überhaupt auszeichnet. In der bildungsinteressierten Öffentlichkeit als auch in schulpädagogischen Fachdiskussionen scheint Einigkeit zu herrschen, wenn über Qualität von Schule und Unterricht debattiert wird. Demnach ist eine Schule, Lehrperson oder ein Schüler dann gut, wenn sie beziehungsweise er erfolgreich ist. Übersetzt für den Unterricht bedeutet dies, dass er nur dann gut ist, wenn er Effekte auf Schülerseite zeigt, er also dazu beiträgt, dass Lernzuwächse entstehen (Dobbelstein, 2007). Auf der Suche nach Kriterien, die guten Unterricht kennzeichnen, wird schnell klar, auf diesem Gebiet herrscht große Uneinheitlichkeit und Vielfalt. So liegt der erste Streitpunkt bereits in der Frage, inwieweit guter oder schlechter Unterricht überhaupt einen eindeutig positiven oder negativen Effekt auf den Lernerfolg hat. Laut dem Schulpädagogen Karl- Heinz Arnold (2007) ist die empirische Unterrichtsforschung sogar weit davon entfernt, Gesamtbewertungen der Bildungswirkungen von Unterricht zu messen. Sind nun damit alle Qualitätsanalysen ausdruckslos, wenn noch nicht einmal Einigung über die zu untersuchende Zielgröße besteht? Ein genauer Blick auf die empirische Unterrichtsforschung zeigt, dass es bei aller Vielfalt und Unterschiedlichkeit in der Ausdifferenzierung von qualitätsbestimmenden Faktoren durchaus Bereiche hoher Übereinstimmungen und stabiler Befunde gibt (Dobbelstein, 2007). Insbesondere ist dies in den Forschungsergebnissen der Psychologen und Schulpädagogen zur Einschätzung bestimmter Prozessqualitäten des Unterrichts zu sehen, die relativ unabhängig von Schülervoraussetzungen, fachlichen Erfordernissen oder konkreten Bildungszielen sind. In den 1980er Jahren wurden ausgehend von den Ergebnissen vielfältiger empirischer Vergleichsuntersuchungen, zunehmend differenziert Merkmale guter Schulen herausgearbeitet (Peek & Neumann, 2003). So fast Eckhard Klieme (2006) vom Deutschen Institut für Internationale Pädagogische Forschung die relevanten Merkmale eines guten Unterrichts in die drei großen Bereiche Unterrichts- und Klassenführung, Schülerorientierung und kognitive Aktivierung zusammen. 10

12 Betrachtet man die Forschungsergebnisse zur Unterrichtsqualität von Hartmut Ditton (2006), so liegt der Kern guten Unterrichts in der optimalen Nutzung der Unterrichts- bzw. Instruktionszeit, in der Explizitheit der Aufgabenstruktur sowie in der störungspräventiven und vor allem unterbrechungsarmen Klassenführung. Andreas Helmke, Empiriker und Psychologe der Universität Koblenz-Landau, betont, dass es den optimalen Unterricht und die ideale Lehrmethode nicht geben kann. Seine Merkmale "guten" Unterrichts (vgl. Abbildung 2.1) sind als Leitlinien oder Prinzipien zu verstehen, die man bei der Planung und Realisierung des Unterrichts berücksichtigen kann. Keinesfalls sollen sie im Sinne von rezepthafter Anwendung, sondern eher als Orientierungspunkte verstanden werden (Helmke, Helmke & Schrader, 2007). Gütekriterien für guten Unterricht nach Andres Helmke Effiziente Klassenführung und Zeitnutzung Aktivierung: Förderung aktiven, selbständigen Lernens Lernförderliches Unterrichtsklima Konsolidierung, Sicherung, intelligentes Üben Vielfältige Motivierung Ziel-, Wirkungs- und Kompetenzorientierung Strukturiertheit, Klarheit und Verständlichkeit von Lehreräußerungen Passung: Umgang mit heterogenen Lernvoraussetzungen Schülerorientierung, Unterstützung Angemessene Variation von Methoden und Sozialformen Abbildung 2.1: Merkmale der Unterrichtsqualität (Helmke 2007) Auf der Grundlage der Auswertung verschiedener empirischer Unterrichtsforschungsergebnisse hat der Didaktiker und Pädagoge Hilbert Meyer (2004) aus schulpädagogischer Sicht zehn Merkmale guten Unterrichts zusammengestellt (vgl. Tabelle 2.1 mit detaillierter inhaltlicher Beschreibung der Merkmale in Abbildung 2.2 im Anhang A). Wenngleich zwischen den Sichtweisen der Schulpädagogen und der empirisch forschenden Pädagogischen Psychologie gelegentlich Welten liegen, sind Meyers Gütekriterien im hohen Maß kompatibel zu den Auflistungen der Unterrichtsforschung. Meyers Zusammenstellung ist zudem auch aus der Perspektive der Lehrkräfte konsensfähig. Nicht zuletzt aus diesem Grund stützen sich viele Länder bei der Festlegung ihrer Indikatoren und Kriterien zur Unterrichtsbeobachtung auf den zehn Prinzipien von Meyer. 11

13 3 Statistische Methoden -explorative Faktorenanalyse 3.1 Überblick Die explorative Faktorenanalyse (EFA) ist ein Verfahren aus der multivariaten Statistik, mithilfe dessen, eine größere Anzahl von manifesten 3 Variablen (zum Beispiel Items eines Fragebogens) anhand der gegebenen Fälle auf eine kleinere Anzahl unabhängiger Einflussgrößen, sogenannte Faktoren reduziert wird. Dabei wird in einem Datensatz nach einer noch unbekannten korrelativen Struktur gesucht. Somit kann die EFA in die Gruppe der strukturentdeckenden Verfahren eingeordnet werden. Ziel der explorativen Faktorenanalyse ist es also, eine Vielzahl von korrelierenden, manifesten Variablen auf einen kleinen Satz latenter 4 Variablen (Faktoren) zu reduzieren und somit die beobachteten Zusammenhänge zwischen den gegebenen Variablen möglichst vollständig zu erklären (Bühl, 2012). Im Kern der Faktorenanalyse wird davon ausgegangen, dass sich jeder Wert einer Ausgangsvariablen additiv in eine gewichtete Summe aus den Faktoren zerlegen lässt. Diese Grundannahme lässt sich mathematisch folgendermaßen formulieren (Moosbrugger & Hartig, 2002): xx iiii = xx iiii λλ mmmm + xx iiii λλ mmmm + + xx iiii λλ mmmm + εε ii (3.1) Standardisiert man diese Werte, so lautet der Ausdruck wie folgt: zz iiii = xx iiii λλ mmmm + xx iiii λλ mmmm + + xx iiii λλ mmmm + εε ii = jj=11 xx iiii λλ mmmm + εε ii (3.2) wobei zz iiii den Beobachtungswert i auf der Variablen m, xx iiii den Beobachtungswert i auf dem Faktor j, λλ mmmm die Faktorladungen der beobachteten Variable m auf dem latenten Faktor j darstellt. ff bezeichnet dabei die Anzahl der dem Wert zz iiii zugrunde liegenden Faktoren und εε ii die Residual- und Fehlervarianz. ff 3 Manifeste Variablen sind direkt beobachtbar (Geschlecht, Gewicht, Alkoholmenge ) 4 Latente Variablen sind nicht beobachtbar bzw. sichtbar (Konzentrationsfähigkeit, Intelligenz ) 12

14 3.2 Anwendung und genereller Zielkonflikt der Faktorenanalyse Die Faktorenanalyse findet insbesondere dann Anwendung, wenn eine sehr große Anzahl von Merkmalen zu einer Fragestellung eines bestimmten Sachverhalts erhoben wurde und der Anwender an einer Reduktion bzw. Bündelung der Variablen auf einige wenige zentrale Faktoren interessiert ist. Ein einfaches Beispiel hierzu bildet die Verdichtung der zahlreichen technischen Eigenschaften von Kraftfahrzeugen auf wenige Dimensionen, wie Größe, Leistung und Sicherheit (Reinboth, 2006). Im Zuge der Komplexitätsreduktion kommt es zu einem Zielkonflikt, der sich durch das komplette Verfahren zieht. Der analytische Nutzen der Faktorenanalyse liegt eindeutig in der Reduktion der Variablen und damit in der Vereinfachung des Sachverhalts. Die Schwachstelle des Verfahrens ist im Informationsverlust zu finden. So bedeutet eine geringe Anzahl extrahierter Faktoren bei einer Vielzahl von Variablen auch immer einen großen Informationsverlust. Es gilt: Umso weniger Faktoren extrahiert werden, umso größer ist dieser Informationsverlust und damit auch die Unsicherheit des gesamten Modells. Um einen Informationsverlust gänzlich ausschließen zu können, müsste man im Extremfall genauso viele Faktoren extrahieren, wie manifeste Variable vorhanden sind (Backhaus, Erichson, Plinke & Weiber, 2011). Der Konflikt - möglichst wenige Faktoren bei gleichzeitig möglichst geringem Informationsverlust zu extrahieren stellt den Anwender vor eine Herausforderung. Er muss die goldene Mitte zwischen beiden Zielen finden und für sich die optimale Anzahl der zu extrahierenden Faktoren bestimmen. 3.3 Eignung der Daten zur Durchführung einer EFA Vor der Durchführung eines jeden Verfahrens steht die Prüfung der Durchführbarkeit. Das heißt, bevor die explorative Faktorenanalyse gestartet werden kann, ist die Eignung der Daten zu untersuchen. Grundsätzlich steht am Anfang jeder Datenanalyse die zielgerichtete Erhebung der Daten oder die Suche nach geeigneten Sekundärdaten. Im nächsten Schritt müssen diese aufbereitet werden. Dazu gehören das Behandeln der fehlenden Werte sowie die Untersuchung der Ausreißerwerte. Sind die Daten erhoben und aufbereitet, kann mit der Analyse der Daten begonnen werden (Rinne, 2008). 13

15 Damit die explorative Faktorenanalyse sinnvolle Ergebnisse liefert, setzt das Verfahren voraus, dass die manifesten Variablen (Items) hoch genug miteinander interkorrelieren. Um das zu prüfen gibt es mehrere Verfahren. Das am häufigsten benutzte, ist der Kaiser- Meyer-Olkin Test (KMO). Er gibt an, ob ein Datensatz für eine Faktorenanalyse geeignet ist. Dazu wird das KMO-Maß nach (Bühner, 2010) errechnet als: KKKKKK = nn nn 22 ii=11 jj=11 rr iiii nn nn rr22 ii=11 jj=11 iiii + nn nn rr22 ii=11 jj=11 iiii.zz (ii jj) (3.3) wobei rr iiii der Korrelationskoeffizient der Variablen i und j und rr iiii.zz der partielle Korrelationskoeffizient nach Herauspartialisierung aller anderen Variablen ist Um das KMO-Maß zu berechnen wird der gemeinsame Varianzanteil, den alle Variablen miteinander teilen bestimmt und mit dem gemeinsamen Varianzanteil aller Variablen miteinander zuzüglich der Summe der quadrierten Partialkorrelationskoeffizienten in Beziehung gesetzt. Er kann den Wert zwischen 0 und 1 annehmen. Der KMO-Koeffizient wird demnach umso kleiner, je größer die Summe der Partialkorrelationskoeffizienten wird. Was wiederum dazu führt, dass die Interkorrelationsmatrix wenig gemeinsame Varianz enthalten wird. Wenngleich auch in der Literatur unterschiedliche Aussagen zu den Bewertungsmaßstäben des KMO-Kriteriums zu finden sind, soll die folgende Übersicht helfen, die Eignung einer Interkorrelationsmatrix beurteilen zu können (Bühner, 2010). Tabelle 3.1: Eignung der Daten zur Berechnung einer Faktoranalyse mittels KMO-Koeffizienten KMO-Koeffizient Eignung der Daten > 0,90 Sehr gut 0,80 0,90 Gut 0,70 0,79 Mittel 0,60 0,69 Mäßig 0,50 0,59 Schlecht < 0,50 Inkompatibel mit der Berechnung 14

16 Die Prüfung der Eignung der Daten zur Durchführung einer Faktorenanalyse mittels KMO-Maß bezog sich bisher auf die Gesamtheit aller Variablen. Neben dieser Maßzahl gibt es ein weiteres Kriterium, das sogenannte Measure of Sampling Adequacy (MSA), welches eng mit dem KMO-Maß verwandt ist und die Möglichkeit bietet, die Eignung einer einzelnen Variablen zu überprüfen. Der MSA Koeffizient, der für jedes Merkmal bestimmt wird, berechnet sich aus den Korrelationen und Partialkorrelationen zwischen einer (manifesten) Variablen und den übrigen noch vorhandenen Variablen (Items). Er ist ein Indikator dafür, wie gut dieses Merkmal zu den übrigen Variablen passt, mit denen eine Faktorenanalyse durchgeführt werden soll (Bühner, 2010). Die Interpretation des MSA- Wertes ist der des KMO-Maßes gleich. So bedeutet ein MSA-Wert von 1, dass alle partiellen Korrelationen Null sind und damit die Variable sehr gut geeignet ist eine EFA durchzuführen. Als ungeeignet gilt hingegen eine Variable, deren MSA-Wert kleiner als 0,5 ist (ebd.). Weitere Verfahren, die im Zusammenhang mit der Prüfung der Durchführbarkeit der Faktorenanalyse genannt werden können, sind die Anti-Image-Matrix und im Falle einer approximativ vorliegenden multivariaten Normalverteilung der Daten auch der Bartlett-Test. Dieser prüft die Hypothese, dass die Daten aus einer Population stammen könnten, bei der alle Korrelationskoeffizienten Null sind. Diese Hypothese sollte zurückgewiesen werden können. Das setzt voraus, dass der Bartlett-Testwert signifikant ist, d.h. seine Irrtumswahrscheinlichkeit muss kleiner als 5% sein (Bühner, 2010). Neben der Eignung der Daten haben auch die Stichprobengröße und die Anzahl der Items einen Einfluss auf die Ergebnisse der EFA. Grundsätzlich gilt: Je größer die Stichprobe, desto stabiler sind die Ergebnisse der Faktorenanalyse (Backhaus et al., 2008). Analog zu den Bewertungsmaßstäben des KMO- bzw. MSA-Kriteriums findet man auch zur Stichprobengröße zahlreiche Faustregeln in der Literatur. Ergänzend fanden MacCallum, Widaman, Zang und Hong (1999) in Monte Carlo Studien heraus, dass auch die Kommunalität eines Items entscheidend für die Güte des Ergebnisses der Faktorenanalyse ist. Die Kommunalität 5 (hh 22 ) wird definiert als der Anteil der Varianz eines Items, der durch die Faktoren erklärt werden kann (Nachtigall & Wirtz, 1998). 5 hh 22 berechnet sich aus der Summe der quadrierten Ladungen des Items. Sie ist demnach die Zeilensumme der quadrierten Werte der Faktorladungsmatrix 15

17 Im Rahmen der Faktorenanalyse ist sie demnach ein Maß für den Grad des Zusammenhangs einer Variablen mit allen anderen Variablen. Da die Varianz einer standardisierten Variablen immer Eins ist, muss die Kommunalität folglich kleiner als Eins sein. Bei Werten, die stark davon abweichen, kann man davon ausgehen, dass die Faktoren schlecht gewählt worden sind. Nach MacCallum et al. (1999) sind Stichprobengrößen von 60 ausreichend, wenn die Kommunalität des Items mindestens 0,6 beträgt. Als allgemein angemessen werden Stichproben mit mehr als 100 Probanden bezeichnet. 3.4 Vorgehensweise der explorativen Faktorenanalyse Jede Faktoranalyse kann in vier grundlegende Schritte unterteilt werden (in Anlehnung an Hüttner & Schwarting, 2002): Schritt 1: Auswahl der Variablen und Erstellung der Korrelationsmatrix Schritt 2: Faktorextraktion Schritt 3: Interpretation der Faktoren und Faktorrotation Schritt 4: Bestimmung der Faktorwerte Schritt 1: Auswahl der Variablen und Erstellung der Korrelationsmatrix Im ersten Schritt des faktoranalytischen Verfahrens sind alle Variablen auszuwählen, die in die Faktorenanalyse eingehen sollen. Bevor die Korrelationen zwischen den beteiligten Variablen berechnet und anschließend in einer Korrelationsmatrix abgebildet werden, empfiehlt es sich die Variablenwerte zu standardisieren (z-transformation) 6. Das erleichtert die Korrelationsrechnung und die Rechenschritte der Faktorenanalyse und vereinfacht im Anschluss die Interpretation der Ergebnisse. Zudem ist die Standardisierung die einzige Möglichkeit die Vergleichbarkeit von Variablen unterschiedlicher Maßeinheiten herzustellen (Reinboth, 2006). 6 Beim Standardisierungsverfahren, welches auch als Z-Standardisierung bekannt ist, wird die Differenz zwischen Mittelwert und Beobachtungswert einer Variablen gebildet und durch die Standardabweichung dividiert. Dadurch ist sichergestellt, dass der neue Erwartungswert Null und die neue Standardabweichung Eins ist und somit die standardisierte Variable einer Standardnormalverteilung folgt. 16

18 Die Berechnung der Korrelationskoeffizienten zwischen zwei Merkmalen beruht dabei auf folgender Formel 7 (Rinne, 2008): rr xx11, xx 22 = SS xx 11, xx 22, SS SS xx11 SS xx11 xx22, xx 22 = 11 nn (xx nn 11 ii=11 11 xx 11 ) (xx 22 xx 22 ) (3.4) Der so erhaltenen Korrelationsmatrix R lässt sich nun entnehmen, welche Variablen in der weiteren Analyse unberücksichtigt bleiben sollen, da sie mit den übrigen Variablen nur minimal korrelieren und somit sicher keinem gemeinsamen Hintergrundfaktor zugeordnet werden können. An dieser Stelle sei nochmals auf die Notwendigkeit der Prüfung der Eignung der Daten zur Durchführung einer Faktorenanalyse hingewiesen. Diese sollte im Idealfall vorher mit Hilfe der zuvor genannten Prüfmethoden geschehen. Spätestens aber an dieser Stelle sollte die Korrelationsmatrix auf Ihre Eignung untersucht werden. Insbesondere dann, wenn Koeffizienten sehr hohe Korrelationen anzeigen, ist zu prüfen, ob ein statistisch gesicherter Zusammenhang zwischen den beiden Merkmalen besteht. Dazu kann beispielsweise der t- Test der Korrelationskoeffizienten herangezogen werden (Reinboth, 2006). Wenn die Eignung der Variablen für die Faktorenanalyse im vorangegangenen Schritt bestätigt wurde, kann im Nächsten die Faktorextraktion erfolgen. Schritt 2: Faktorextraktion Extraktion der Faktoren Ausgangspunkt der Extraktion, sowie der gesamten Faktorenanalyse, ist die Annahme, dass sich jeder Wert einer Ausgangsvariablen als Linearkombination hypothetischer Faktoren beschreiben lässt. Zur besseren Übersicht sei an dieser Stelle nochmals der Zusammenhang mathematisch formuliert (Backhaus et al., 2008): zz iiii = xx iiii λλ mmmm + xx iiii λλ mmmm + + xx iiii λλ mmmm + εε ii = jj=11 xx iiii λλ mmmm + εε ii (3.2) ff 7 Dabei bezeichnet SS xx11, xx 22 die empirische Kovarianz und SS xx11, SS xx22 die empirische Standardabweichung. Dabei wird die Formel je nach Art der vorliegenden Skalierung der Messwerte angepasst. Die Berechnung der Korrelation für intervall- bzw. verhältnisskalierte Daten erfolgt mit Hilfe des Bravais-Pearson- Korrelationskoeffizienten. Für ordinalskalierte Daten kann der Spearmannsche Korrelationskoeffizient verwendet werden. 17

19 Dabei entspricht eine Faktorladung λλ mmmm der Korrelation zwischen einer Variablen m mit einem Faktor j. Sie zeigt somit die Stärke des Zusammenhangs zwischen Faktor und Variablen an. In Matrizenschreibweise lässt sich dieser standardisierte Ausdruck reduzieren auf (ebd.): ZZ = XX ΛΛ (3.5) Demnach wird die standardisierte Datenmatrix Z als Linearkombination verschiedener Faktoren dargestellt. Bei standardisierten Daten lässt sich die Korrelationsmatrix R aus der Datenmatrix Z ermitteln und wie folgt darstellen (Backhaus et al., 2008): 11 RR = ZZ ZZ (3.6) nn 11 Da die Datenmatrix Z als Linearkombination durch XX ΛΛ beschrieben wird, kann die Korrelationsmatrix berechnet werden durch: 11 RR = (XX ΛΛ ) (XX ΛΛ ) (3.7) nn 11 Mit dem Auflösen der Klammern und der Anwendung der Multiplikationsregeln für Matrizen ergibt sich folgender Term: 11 RR = ΛΛ XX XX ΛΛ (3.8) nn 11 Dieser wiederum kann, der Tatsache geschuldet, dass die Daten bereits im zweiten Schritt der Herleitung standardisiert wurden, nochmals zusammengefasst bzw. vereinfacht werden zu: RR = ΛΛ CC ΛΛ, (3.9) wobei der Teilausdruck ( 11 XX XX ) durch den äquivalenten Ausdruck C als Korrelationsmatrix der Faktoren ersetzt nn 11 wurde. 18

20 Geht man weiterhin davon aus, dass die Faktoren voneinander unabhängig (also unkorreliert) sind, entspricht C der Einheitsmatrix, so dass die Korrelationsmatrix durch folgende Formel dargestellt wird: RR = ΛΛ ΛΛ (3.10) In Worten zusammengefasst ist die Grundaussage der letzten beiden Gleichung, welche auch unter dem Begriff Fundamentaltheorem von Thurstone bekannt sind, folgende: Die Korrelationsmatrix R lässt sich vollständig durch die Faktorladungsmatrix ΛΛ und der Korrelationsmatrix der Faktoren C reproduzieren (Backhaus et al., 2008). Bestimmung der Kommunalitäten Zur Erinnerung: Hintergrund für die Durchführung der Faktorenanalyse war es, die vorhandenen Variablen auf eine geringere Anzahl überschaubarer und interpretierbarer Faktoren aufzuteilen. Dabei liegt die Herausforderung für den Anwender darin, den Informationsverlust, bei größtmöglicher Komplexitätsreduzierung, so gering wie möglich zu halten (siehe auch Ausführungen zu Anwendung und genereller Zielkonflikt der Faktorenanalyse). Schränkt man die Zahl der extrahierten Faktoren ein, tritt das Problem auf, dass nicht die gesamte Varianz der Variablen durch diese erklärt wird. In der Regel verbleibt eine Restvarianz, die durch andere, nicht extrahierte Faktoren oder auch durch Messfehler und Zufallseffekte verursacht wird. Grundsätzlich gilt dabei: Je mehr Faktoren im Modell extrahiert werden, desto mehr Varianz wird insgesamt durch diese Faktoren erklärt (Backhaus et al., 2008). Aus diesem Grund erweitern wir das Fundamentaltheorem (Formel 3.10) um diesen Restteil U: RR = ΛΛ ΛΛ + UU (3.11) Man bezeichnet den Teil der Gesamtvarianz, der durch alle extrahierten Faktoren erklärt wird, als Kommunalität. Der Begriff ist bereits aus der Eignungsprüfung der Daten zur Durchführung der Faktorenanalyse bekannt. Er berechnet sich für jedes Item aus der Summe der zugehörigen quadrierten Ladungen. Um den Teil der Gesamtvarianz, der von dem Faktorenmodell erklärt wird, zu prüfen, ist die Summe der Kommunalitäten aller Items zu bilden. Dabei bezeichnet beispielsweise eine Kommunalität von 0,8, dass insgesamt 80% der Ausgangsvarianz durch gemeinsame Faktoren erklärt werden können (Reinboth, 2006). 19

21 Da in U sowohl die spezifische Varianz als auch die potenziellen Messfehler mit eingehen, kann die Kommunalität und damit auch der Anteil der nicht erklärbaren Varianz, nur geschätzt werden. Dabei spielt neben fachlichen Überlegungen vor allem die Variablenanzahl eine große Rolle. Hier gilt: Je größer die Anzahl der Variablen im Modell ist, umso unwichtiger ist die exakte Schätzung der Kommunalitäten. Begründet ist dies damit, dass bei einer steigenden Anzahl an Variablen der prozentuale Anteil der diagonalen Matrixelemente in der Korrelationsmatrix immer weiter abnimmt 8 (Reinboth, 2006). Wie kommt der Anwender zu einem Schätzwert für die Diagonalelemente? In der Praxis haben sich vor allem zwei Methoden durchgesetzt: Die erste Möglichkeit beruht auf der Annahme, dass die gesamte Varianz aller Ausgangsvariablen durch die Faktoren erklärt werden kann. Da bei dieser Hypothese Einzelrestfaktoren nicht auftreten, ist die Summe der Kommunalitäten der Items stets Eins. In diesem Fall findet demnach keine eine explizite Schätzung der Diagonalelemente im eigentlichen Sinne statt. Bei der zweiten Methode handelt es sich um ein sehr konservatives Schätzverfahren, bei dem aufgrund verschiedener inhaltlicher Überlegungen ein Schätzwert für die Kommunalitäten angegeben wird. Der Annahme geschuldet, dass die Faktoren in ihrer Gesamtheit mindestens den gleichen Erklärungsbeitrag liefern wie die höchste vorgefundene Korrelation, wird häufig der höchste quadrierte Korrelationskoeffizient aus der Korrelationsmatrix als Schätzer herangezogen (Bühner, 2010). Die Art der Kommunalitätenschätzung spielt dabei auch für die Wahl des Faktorextraktionsverfahrens eine Rolle. Je nach angewandter Methodik wird zwischen (1) der Hauptkomponentenanalyse (principal component analysis, PCA), (2) der Hauptachsenanalyse (principal axis factor analysis, PAF) und (3) der Maximum Likelihood Faktorenanalyse (Maximum Likelihood factor analysis, ML) unterschieden (Bühner, 2010). 8 So machen beispielsweise in einer 2x2-Matrix diese diagonalen Elemente noch 50% aus, hingegen in einer 100x100-Matrix die Kommunalitäten nur noch 1% erklären. 20

22 Die Maximum-Likelihood Methode verfolgt den Ansatz die wahrscheinlichsten Populationswerte, die die beobachtete Korrelationsmatrix produziert hätten, zu finden. Das geschieht unter der Annahme, dass die Population multivariat normalverteilt ist. Mit der ML-Methode ist ein χ 2 -Signifikanztest verbunden, der Aussagen über die Güte der Anpassung trifft (Klopp, 2013). Zudem handelt es sich bei dieser Methode um eine Faktorenanalyse, bei der nicht die empirischen Daten als Grundlage der Faktorextraktion dienen, sondern ML-Schätzer in die Berechnung mit einbezogen werden (Noack, 2007). Bei der Methode der Hauptachsenanalyse wird davon ausgegangen, dass die einzelnen beobachteten Variablen nicht nur eine wahre Varianz, sondern auch Messfehlervarianz aufweisen. Das heißt die PAF geht schon zu Beginn davon aus, dass sich die Varianz stets in Kommunalitäten und Einzelrestvarianz aufteilen lässt. Der Startwert für die Kommunalitäten der einzelnen Items wird dabei aufgrund inhaltlicher und fachlicher Überlegungen geschätzt oder mit Hilfe von Programmen durch Iteration definiert. In der Regel werden hier die quadrierten multiplen Korrelationen als Schätzwert verwendet (Bühner, 2010). Ziel der PAF ist es, latente Faktoren, die den Zusammenhang zwischen den beobachteten Variablen erklären, zu identifizieren. Aus diesem Grund sollte das Verfahren immer dann angewendet werden, wenn die inhaltliche Interpretation der Faktoren im Vordergrund steht bzw. eine kausale Interpretation gewünscht ist (Noack, 2007). Verfolgt man hingegen das Ziel einer einfachen Datenreduktion, so würde man die Hauptkomponentenanalyse als Extraktionsmethode bevorzugen. Im Vergleich zur Hauptachsenanalyse basiert die PCA auf der Annahme, dass die Varianz von jeder Variablen vollständig erklärt werden kann. Aus diesem Grund wird der Startwert für die Faktorenanalyse auf Eins gesetzt. Die PCA stellt keine Faktorenanalyse im eigentlichen Sinn dar, sie dient lediglich der Datenreduktion und der Reduktion von Redundanzen (Interkorrelationen). Das zeigt sich vor allem in der Tatsache, dass die Residual- und Fehlervarianz unberücksichtigt bleibt (Leonhart, 2009). 21

23 Im Folgenden soll die Vorgehensweise der Hauptkomponentenanalyse kurz dargelegt werden: Im ersten Schritt wird ein Faktor bestimmt, der einen großen Teil der Gesamtvarianz erklärt, die sogenannte erste Hauptkomponente. Anschließend wird ein zweiter Faktor bestimmt, der zum ersten Faktor unkorreliert sein muss und gleichzeitig einen möglichst großen Teil der verbliebenen Restvarianz erklärt. Dieser Vorgang lässt sich theoretisch so lange wiederholen, bis die Gesamtvarianz vollständig erklärt werden würde. In diesem Fall würde auf jede beobachtete Variable ein Faktor kommen, also bei n Variablen würden n Faktoren extrahiert werden. Werden hingegen weniger als n Faktoren extrahiert, geht dies zu Lasten der Genauigkeit des Modells (Reinboth, 2006). Die Trade-off- Situation zwischen dem Grad der Dimensionsreduktion und der Genauigkeit des Modells wurde bereits im Kapitel 3.2 zum Zielkonflikt der Faktorenanalyse näher beleuchtet. Die Entscheidung darüber, welche und wie viele Faktoren in das Modell aufgenommen werden, liegt dabei beim Anwender. Ein nachvollziehbarer Ansatz wäre es, Faktoren mit einem hohen Erklärungsgehalt aufzunehmen und Faktoren mit einem niedrigen Erklärungsgehalt auszuschließen. Als Entscheidungshilfe stehen dabei verschiedene Auswahlkriterien zur Verfügung. Einige davon sollen nachfolgend näher betrachtet werden (ebd.). Häufig beziehen sich die verwendeten Abbruchkriterien auf den Eigenwert eines Faktors. So werden beispielsweise nach dem Kaiser-Kriterium nur Faktoren mit einem Eigenwert 9 größer als Eins berücksichtigt (Klopp, 2013). Die z-transformation, die zu Beginn der Faktorenanalyse durchgeführt wurde, erweist sich nun bei der Interpretation dieser Eigenwerte als sehr hilfreich. Damit erklärt ein Faktor mit einem Eigenwert größer als Eins mehr als eine einzelne Variable und kann damit extrahiert werden. Faktoren mit einem Eigenwert kleiner als Eins tragen hingegen nicht wesentlich zur Varianzaufklärung des Modells bei und können nach dem Kaiser-Kriterium verworfen werden (Backhaus et al., 2008). 9 Bei den Eigenwerten handelt es sich um die Summe aller quadrierten Faktorladungen eines Faktors über alle Variablen. Sie können als Indikator für die durch den jeweiligen Faktor erklärte kombinierte Varianz aller Variablen betrachtet werden. 22

24 Ein weiteres Verfahren, dass im Gegensatz zum Kaiser-Kriterium, auf die subjektive Einschätzung des Anwenders beruht, ist der Scree- Test nach Cattell. Hierbei handelt es sich um einen grafischen Test zur Bestimmung der optimalen Faktoranzahl. Er basiert auf den Eigenwertabfall zwischen den Faktoren (Klopp, 2013). Der Eigenwertverlauf der möglichen Faktoren wird in einem Diagramm dargestellt, wobei die Nummer des Faktors auf der Abszisse und die dazugehörigen Eigenwerte in absteigender Reihenfolge auf der Ordinate angeordnet und miteinander verbunden werden. Der so erhaltene Scree-Plot zeigt einen zur Abszisse asymptotischen Verlauf. Die optimale Anzahl der zu extrahierenden Faktoren lässt sich in der Grafik an einem Knick, dem sogenannten elbow, ausmachen. Diese Stelle kennzeichnet die größte Differenz zwischen den Eigenwerten. Alle Faktoren, die sich rechts der Knickstelle befinden, werden als scree (Geröll) bezeichnet und tragen wenig zum Erklärungsgehalt des Modells bei. Damit wird die Zahl der zu extrahierenden Faktoren durch den letzten Punkt links vor dem Knick gekennzeichnet (Rammstedt, 2004). Da die Zahl der Faktoren letztendlich stark von der subjektiven Entscheidung des Anwenders abhängt - insbesondere in Situationen in denen die Differenzen zwischen den Eigenwerten nur gering ausfallen oder im Scree-Plot mehrere Knicke vorhanden sind-, wird der Scree-Test in der Praxis hauptsächlich zur visuellen Unterstützung einer Entscheidung nach dem Kaiser-Kriterium eingesetzt (ebd.). Ein weiteres mathematisches Verfahren ist die Parallelanalyse nach Horn. Sie vergleicht die Eigenwerte einer Faktoranalyse eines empirisch gewonnenen Datensatzes mit denen eines normalverteilten Zufallsdatensatzes. Damit berücksichtigt die Parallelanalyse, dass Variablen in einer Stichprobe zufällig korrelieren können (Bühner, 2010). Am Ende werden nur die Faktoren extrahiert, deren Eigenwert über einem zufällig ermittelten Eigenwertverlauf liegen (Klopp, 2013). Schritt 3: Interpretation der Faktoren und Faktorrotation Angestrebtes Ziel der Faktorenanalyse ist es, eine eindeutig interpretierbare Lösung zu erhalten, d.h. eine eindeutige Zuordnung der Variablen zu den Faktoren zu generieren. Die im zweiten Schritt beschriebenen Rechenschritte geben noch keine eindeutige Lösung des Faktorenproblems. Im nächsten Schritt gilt es, die extrahierten Faktoren inhaltlich zu interpretieren und damit festzustellen, welche Variable welchem Faktor zugeordnet werden kann (Backhaus et al., 2008). 23

25 Die Zuordnung erfolgt dabei mittels der Faktorladungen 10, wobei die Variable jeweils dem Faktor zugeschrieben wird, bei dem die größte Faktorladung besteht. Im Allgemeinen besteht die Konvention, eine Faktorladung ab 0,5 als hoch zu bezeichnen (Reinboth, 2006). Schwierig wird es an der Stelle, wenn keine sogenannte Einfachstruktur 11 vorliegt. In diesen Fällen kann es beispielsweise dazu kommen, dass an mehreren Stellen Doppelladungen bestehen, was bedeutet, dass ein Item auf zwei Faktoren gleich hoch lädt. Eine sinnvolle Interpretation der Faktoren ist dann nicht mehr möglich (Noack, 2007). Um dieses Problem zu umgehen und somit die Interpretation der Ergebnisse erheblich zu erleichtern, werden die Faktoren einer speziellen Transformation unterzogen, der sogenannten Faktorrotation (Backhaus et al., 2008). Zum besseren Verständnis der Rotationsproblematik, empfiehlt es sich, von einer grafischen Betrachtung der Faktoren auszugehen. Der Informationsgehalt einer Korrelationsmatrix lässt sich grafisch in einem Vektor- Diagramm darstellen. Dabei wird der Korrelationskoeffizient als Winkel zwischen den als Vektoren abgebildeten Merkmalen dargestellt. Ein rechter Winkel drückt aus, dass zwischen den manifesten Variablen kein Zusammenhang besteht, d.h. sie sind unkorreliert. Sollte zwischen den Merkmalen ein funktionaler Zusammenhang mit dem Korrelationskoeffizienten Eins bestehen, dann sind die Vektoren deckungsgleich. Durch die Rotation der Koordinatenachsen in ihrem Ursprung will man erreichen, dass sich die Faktorladungen besser auf die Faktoren verteilen (Reinboth, 2006). Dabei wird in der Regel zwischen zwei Rotationsmethoden unterschieden: Die orthogonale (rechtwinklige) Rotation, bei der man davon ausgeht, dass die Faktoren untereinander nicht korrelieren und die oblique (schiefwinklige) Rotation, bei der die Korrelationen zwischen den Faktoren mit einbezogen werden (Klopp, 2013). Die Entscheidung der Methodenwahl obliegt letztendlich dem Anwender. Bühner (2010) empfiehlt im ersten Schritt immer eine oblique Rotationstechnik anzuwenden, da Korrelationen zwischen den Faktoren nicht gänzlich ausgeschlossen werden können. Sollten die Korrelationen zwischen den Faktoren gering ausgeprägt sein, kann im zweiten Schritt ein orthogonales Rotationsverfahren durchgeführt werden. 10 Zur Erinnerung: Faktorladungen beschreiben den Zusammenhang zwischen einem Faktor und der manifesten Variablen 11 Bei einer Einfachstruktur laden nur bestimmte Items hoch auf einen Faktor und sehr niedrig auf alle anderen Faktoren. 24

26 Eines der gängigsten orthogonalen Rotationsverfahren ist die Varimax-Methode. Ihr Ziel ist es, die Interpretation der Faktoren zu vereinfachen, indem die optimale rechtwinklige Achsenrotation gesucht wird, so dass die Varianz der quadrierten Ladungen der Items innerhalb der Faktoren maximiert wird (Bühner, 2010). Neben ihr bestehen noch die Quartimax- und Equimax-Methode. Bei den obliquen Rotationstechniken stehen die Promax-Rotation und Oblimin zur Auswahl, wobei die erstgenannte in der Regel aufgrund ihres geringeren Rechenaufwands bei sehr umfangreichen Stichproben zum Einsatz kommt. Beim Direct Oblimin kann wahlweise der Grad der Schiefwinkligkeit aufgrund inhaltlicher Überlegungen vom Anwender selbst bestimmt oder von statistischen Softwaretools berechnet werden (Reinboth, 2006). Schritt 4: Bestimmung der Faktorwerte Im vierten und letzten Schritt geht es darum die Faktorwerte zu ermitteln, um anschließend eine inhaltliche Interpretation der Faktoren vornehmen zu können (Backhaus et al., 2008). Zur Bestimmung der Faktorwerte gehen wir zur Grundgleichung der Faktorenanalyse zurück: ZZ = XX ΛΛ (3.5) Wird diese Gleichung nach XX umgestellt, so erhält man den Ausdruck: XX = ZZ (ΛΛ ) 11 (3.12) Hierbei wird vorausgesetzt, dass die Inverse der transformierten Faktorladungsmatrix existiert, was bedeutet, dass diese Matrix quadratisch sein muss. Für den Fall, dass eine nicht-quadratische Ladungsmatrix vorliegt, muss die Rechnung um einen Zwischenschritt erweitert werden. Dazu wird zunächst wieder von der Grundgleichung der Faktorenanalyse ausgegangen. Das Multiplizieren mit ΛΛ von rechts führt zu folgendem Ausdruck: ZZ ΛΛ = XX ΛΛ ΛΛ (3.13) Aus der Matrizenrechnung ist bekannt, dass das Produkt einer Matrix mit sich selbst transformiert immer eine quadratische Matrix ergibt, so dass der Ausdruck (ΛΛ ΛΛ) quadratisch und demnach auch invertierbar ist. 25

27 Durch Umstellen der Formel mit Hilfe einfacher Matrizenrechnung folgt: XX = ZZ ΛΛ (ΛΛ ΛΛ) 11 (3.14) Gegebenenfalls sind zum Lösen dieser Gleichung Schätzverfahren, wie beispielsweise die Regressionsanalyse, anzuwenden (Bühner, 2010). Die so ermittelten Faktorwerte können sowohl positiv als auch negativ ausfallen und auch näherungsweise bei Null liegen. Klopp (2013) fasst dabei die Interpretation der Faktorwerte hinsichtlich ihres mathematischen Wertes wie folgt zusammen: Negative Faktorwerte deuten darauf hin, dass das Objekt bezüglich des betrachteten Faktors und im direkten Vergleich mit den anderen Objekten unterdurchschnittlich ausgeprägt ist. Positive Faktorwerte assoziieren, dass das Objekt bezüglich des betrachteten Faktors und im direkten Vergleich mit den anderen Objekten überdurchschnittlich ausgeprägt ist. Faktorwerte nahe Null geben einen Hinweis darauf, dass das Objekt bezüglich des betrachteten Faktors und im direkten Vergleich mit den anderen Objekten durchschnittlich ausgeprägt ist. 26

28 4 Unterrichtsentwicklung durch Evaluation am Beispiel Netzwerk Schülerbefragung 4.1 Evaluation ein Instrument der Qualitätssicherung Die Sicherung und Entwicklung schulischer Qualität ist ein Schlüsselbereich der Bildungspolitik. Seit Ende der1990er Jahre legen die Landesregierungen Rahmenkonzepte für das Qualitätsmanagement an Schulen vor (Gauger & Grewe, 2002). Die Evaluation ist dabei ein wichtiger Bestandteil einer umfassenden Strategie schulischer Qualitätsentwicklung, um Schulen Impulse zur nachhaltigen Verbesserung des Unterrichts und schulischer Prozesse zu liefern (ISB, 2010). Im wissenschaftlichen Kontext werden unter dem Begriff Evaluation empirische Methoden zur Informationsgewinnung und systematische Verfahren zur Informationsbewertung anhand offen gelegter Kriterien zusammengefasst. Ziel der Evaluation ist es, Prozesse transparent zu machen, Wirkungen zu dokumentieren und Zusammenhänge aufzuzeigen, um so letztendlich Entscheidungen treffen zu können (Stockmann, 2004). In der Schulpädagogik versteht man unter Evaluation die fortlaufende Überprüfung aller schulrelevanten Zusammenhänge auf Grund einer systematischen Sammlung, Analyse und Bewertung dazu erhobener Daten und Informationen (ISB, 2010). Grundsätzlich wird bei der Evaluation zwischen der internen- und externen Evaluation unterschieden. Diese Differenzierung bezieht sich auf die Stellung der Evaluatoren. So wird die interne Evaluation von den Beteiligten selbst vorgenommen und für die Durchführung der externen Evaluation ist ein außenstehendes Inspektionsteam verantwortlich. Eine weitere Unterscheidungsebene, die in zahlreicher pädagogischer Literatur mit einbezogen wird, bezieht sich auf die Gegenstände der Evaluation. In dem Fall, indem die Evaluatoren selbst Gegenstand der Evaluation sind, spricht man bei einer internen Evaluation auch von einer Selbstevaluation (König, 2007). Abbildung 4.1: modifizierte Übersicht der Evaluationsformen (vgl. König, 2007) 27

29 Die externe Evaluation, die von der Schulinspektion durchgeführt wird, untersucht die Schule als Gesamtsystem, wobei am Ende die Untersuchungsergebnisse der Stärken und Entwicklungsfelder der Schule in einem Inspektionsbericht zusammengefasst werden. In der Regel verläuft diese Prüfung in einem fünf Jahres Rhythmus (LISUM BB, 2013). Durch die Novellierung der Schulgesetzte ist die interne Evaluation in vielen Bundesländern ein verpflichtendes Instrument zur Qualitätssicherung der Einzelschule geworden. Sie wird definiert als ein systematischer, kontinuierlicher Lern- und Arbeitsprozess, in dem vor Ort Informationen über das Lernen, den Unterricht und die Schule erfasst werden und auf deren Grundlage die Schule selbst begründete Aussagen über den von ihr erreichten Qualitätsstand und über eventuell erforderliche weitere Maßnahmen treffen kann (Eikenbusch, 1997). Kurz gesagt bedeutet dies, dass die Einzelschule mittels interner Evaluation die Wirksamkeit ihres Handelns reflektiert und dokumentiert und die Ergebnisse in die weitere Planung einfließen lässt. Die schulinterne Evaluation steht mit dem Schulprogramm in unmittelbarer Beziehung und ist eine Grundlage für programmatische Zielformulierungen. Sie dient während der Umsetzung der Maßnahmen zur Selbstkontrolle und Selbstvergewisserung sowie der Rechenschaftslegung im Hinblick auf Geleistetes. Zudem lassen sich aus den Ergebnissen der Evaluation Schlussfolgerungen für den weiteren Handlungsablauf ableiten. Somit ist die interne Evaluation ein notwendiger Bestandteil im Kreislauf der schulischen Qualitätsentwicklung (Peek, 2007). Mittels interner Evaluation können Entwicklungsprozesse in Schule und Unterricht angestoßen, begleitet und gefördert werden. Dabei hängt die Entwicklung der Schule als lernende Organisation nicht zuletzt von der Berücksichtigung der Sichtweisen der Schüler, Lehrer und Eltern ab. Eine Möglichkeit der schulinternen Evaluation ist die Schülerbefragung, mit der z.b. eine Bestandsaufnahme der Qualität des Unterrichts aus der Schülerperspektive durchgeführt werden kann (Buhren, 2007). Im Folgenden soll anhand eines sehr typischen Beispiels zumindest für die beruflichen Schulen in Berlin - gezeigt werden, wie es gelingen kann, die Ergebnisse einer Schülerbefragung für die Qualitätsentwicklung des Unterrichts zu nutzen. 28

30 4.2 Netzwerk Schülerbefragung Das Netzwerk Schülerbefragung ist im Jahr 2005 aus einem Projekt des Berliner Oberstufenzentrums für Druck- und Medientechnik entstanden. Es ist ein Zusammenschluss von Berliner und Brandenburger Schulen zur Durchführung und Auswertung von Unterrichtsevaluation durch Schüler. Mit Hilfe der einmal jährlich durchgeführten Befragung wird das Ziel verfolgt, den Lehrkräften eine Rückmeldung zu ihrem unterrichtlichen Handeln zu geben sowie den beteiligten Schulen Anstöße für die Schul- und Unterrichtsentwicklung aufzuzeigen. Damit wird vor allem die schulische Qualitätsentwicklung als Funktion der internen Evaluation in den Mittelpunkt gestellt (Wagner, 2009). Die schriftliche Befragung wird von den beteiligten Schulen selbst koordiniert und finanziert. Unterstützung erhalten sie dabei durch das Netzwerk Schülerbefragung. Die Institution begleitet die Schulen bei der Datenerhebung und hilft beim Auswertungsprozess, in der Form, dass die Schulen einen Schulbericht erhalten, der die anonymisierten Bewertungsprofile jeder teilnehmenden Lehrkraft sowie das aggregierte Bewertungsprofile der Schulen im Vergleich zu allen anderen Netzwerkschulen beinhaltet. Damit ergibt sich aus der Zusammenarbeit ein weiterer wesentlicher Vorteil für die teilnehmenden Schulen. Sie erhalten neben der eigenen Profildarstellung auch die Möglichkeit der schulübergreifenden Vergleiche, wodurch eine bessere Einordnung ihrer Ergebnisse gewährleistet wird (Wagner, 2010). 4.3 Fragebogen Design und methodisches Vorgehen Die schriftliche Befragung der Schüler zur Unterrichtsqualität wird mit Hilfe eines standardisierten Fragebogens erhoben. Der Schülerfragebogen wurde in Anlehnung an die QuaSSSu-Studie 12 von Ditton und Merz (2001) sowie der Schülerbefragung der beruflichen Schulen von Seeber und Squarra (2003) konstruiert und im Zuge der Zusammenarbeit mit der Humboldt- Universität zu Berlin laufend überarbeitet und weiterentwickelt (Wagner, 2013). Dies führte einerseits zur Verbesserung der Fragebögen hinsichtlich ihrer Auswertbarkeit und der Aussagekraft der Ergebnisse. Andererseits ist z.b. durch das Aufnehmen neuer Fragen eine Vergleichbarkeit der Ergebnisse zu den letzten Jahren nicht immer möglich (OSZ BuD, 2009). Grundlage für die in dieser Arbeit analysierten Daten ist 12 Weitere Informationen zu QualitätsSicherung in Schule und Unterricht (QuaSSU) können der Projekthomepage entnommen werden 29

31 der im Anhang B aufgeführte Fragebogen aus der Umfrage vom Dezember Um die Zuordnung des Schülerfragebogens zu den einzelnen Schulen oder Klassen sowie zu dem Bildungsgang und der Klassenstärke zu ermöglichen, wurde zusätzlich ein Lehrerfragbogen (vgl. Anhang B) erstellt. Dieser beinhaltet neben den Identifikationsmerkmalen der verschiedenen Gruppen auch Wahrnehmungen des Lehrers in Bezug auf seinen Unterricht. Als Antwortformat für die Items wurde jeweils eine vierstufige Likert-Skala verwendet, auf der die Befragten ihre Zustimmung zu jedem Item zum Ausdruck bringen sollten. Dabei wurden folgende Antwortmöglichkeiten bereitgestellt: 1 = trifft nicht zu, 2 = trifft eher nicht zu, 3 = trifft eher zu und 4 = trifft zu. Der Schülerfragebogen enthält 70 Aussagen (Items), die auf die Unterrichtsqualität, die Selbsteinschätzung der Schüler in Bezug auf ihr unterrichtliches Engagement, ihre Leistungsfähigkeit sowie den wahrgenommenen Lernzuwachs abzielen. Am Ende des Fragebogens wurde eine Gesamteischätzung des Unterrichts in einer fünfstufigen Skala erfragt, wobei dieser mit zunehmendem wahrgenommenen Schwierigkeitsgrad von 1 = Zu leicht, 2 = Eher zu leicht über 3 = Genau richtig sowie 4 = Eher zu schwer bis hin zu 5 = Zu schwer zu beurteilen war. Der Fragebogen der Lehrer umfasst 33 Merkmale, davon erfragen 10 Items die Belastungssituation der Lehrkräfte, 8 Items die Unterrichtführung und 5 Items die Unterrichtsform und -methodik der Lehrkraft sowie weitere 4 Items Verbesserungsvorschläge seitens der Lehrkraft für den Unterricht. Die übrigen 6 Fragen dienen der Identifikation der verschiedenen Gruppen. Sie ermitteln die Klassenstärke, die Schul-, Klassen- und Lehrerkennung sowie Aussagen zum Alter der Lehrkraft und dem jeweiligen Bildungsgang der Klasse. Beim Item Lehrercode konnte die Lehrkraft eine frei wählbare sechsstellige Buchstabenkombination eintragen. Diese Kennung dient dazu, das spätere Auswertungsergebnis anonymisiert dem jeweiligen Lehrer zur Verfügung zu stellen. Die Antwortmöglichkeiten für das Item Bildungsgang waren: Berufsvorbereitung (BV), Berufsfachschule (OBF), Berufsschule (dual; BS) und Fachoberschule (FOS) / Berufsoberschule (BOS) / Berufliches Gymnasium (OG). Beim Item Klassenstärke konnten Antworten bis 15 Schüler, Schüler, Schüler sowie über 25 Schüler gegeben werden und beim Item Alter standen den Lehrkräften Unter 30, 30-40, 41 50, und Über 60 zur Auswahl. 30

32 Bei den im letzten Abschnitt aufgezählten Items handelt es sich um nominal skalierte Variablen. Mit Hilfe der Zuordnung der Werte eins bis vier mit zunehmender Übereinstimmung einer Aussage wurde den anderen Items eine diskrete Intervallskalierung unterstellt, wodurch das Spektrum der anwendbaren Analysemethoden erweitert wird. Um inhaltlich gleichgerichtete Antworten von Items eines bestimmten Sachverhaltes bei den verschiedenen Analyseschritten untersuchen zu können, ist es notwendig, dass alle Items in die gleiche Richtung gepolt sind (König, 2003). Auf den Datensatz des Fragebogens 2011 bezogen, wurden die Variablen mb04, mc02 und md02 recodiert. Das heißt, dass bei diesen Items die Werte den Antwortmöglichkeiten in umgekehrter Reihenfolge zugeordnet wurden. Um die Recodierung im weiteren Verlauf kenntlich zu machen, wurde die Bezeichnung dieser Items um ein r erweitert. 31

33 5 Datensatz 5.1 Stichprobe Rahmenbedingungen der Untersuchung Im Dezember 2011 beteiligten sich 15 Schulen aus Berlin und Brandenburg und eine Schule aus Baden-Württemberg an der Befragung. Insgesamt wurden Schüler aus 909 Klassen zur Unterrichtsqualität ihres Lehrers befragt. Weiterhin liegen 899 Lehrerfragebögen zu den spezifischen Bedingungen der jeweils befragten Klasse vor. In vielen Schulen verlief die Befragung auf freiwilliger Basis. Damit verbunden, wurde auch die Auswahl der an der Umfrage teilnehmenden Klassen einer Schule sehr unterschiedlich gehandhabt. Während sich an einigen Schulen mindestens eine Klasse pro Lehrer an der Befragung beteiligte, fand in anderen Schulen eine Beurteilung des Unterrichts auserwählter Lehrkräfte der Schule statt. Zudem verlief die Auswahl der teilnehmenden Klassen von Schule zu Schule unterschiedlich. In einigen Fällen wurden die Klassen vorgegeben oder per Zufallsauswahl ermittelt und in anderen Fällen wurde eine Klasse durch die Lehrkraft ausgewählt (Wagner, 2013). Aufgrund der zuvor beschriebenen Auswahlverfahren bezüglich der Teilnahme der einzelnen Schulen und Klassen liegt aus der Datenerhebung der Umfrage keine Zufallsstichprobe vor. Demzufolge sind die Untersuchungsergebnisse dieser Arbeit nicht verallgemeinerungsfähig für die Gesamtheit der Berliner und Brandenburger Schulen. Es ist durchaus möglich einzelne Schulen miteinander zu vergleichen, doch sind Vergleiche zwischen den Gruppen von Schulen statistische streng genommen unzulässig. Gleiches gilt für Vergleiche zwischen den Bildungsgängen. Zudem sind allgemeingültige Aussagen über angetroffene Merkmalsverteilungen innerhalb der Bildungsgänge an Berliner und Brandenburger Schulen nicht möglich. In Folge dessen beziehen sich die Untersuchungsergebnisse der Vergleiche zwischen verschiedenen Schülergruppen nur auf die vorliegende Stichprobe. Sie gilt damit nicht als repräsentativ für den Unterricht an allen Berliner und Brandenburger Schulen. Die durchgeführten Untersuchungen zur Unterrichtsqualität tragen daher vorrangig deskriptiven und explorativen Charakter, wobei die Analyse der Daten mithilfe der Statistiksoftware SPSS durchgeführt wird. 32

34 5.1.2 Beschreibung des Teilnehmerkreises An der Untersuchung nahmen insgesamt 15 berufsbildende Einrichtungen der Länder Berlin, Brandenburg und Baden Württemberg teil, davon 13 berufliche Oberstufenzentren 13 (zwei OSZ aus dem Bereich Wirtschaft und Verwaltung, sechs gewerblich-technische OSZ, drei OSZ aus dem Gesundheits- und Sozialwesen sowie jeweils ein OSZ aus dem Bereich der Ernährung- und Lebensmitteltechnik und der Agrarwirtschaft), eine staatliche Fachschule aus dem Gastronomie- und Hotelgewerbe und eine Fachoberschule in Abendform. Neben den berufsbildenden Schulen beteiligte sich auch ein Gymnasium an der Umfrage zur Qualitätsbeurteilung des Unterrichts. Die berufsbildenden Einrichtungen sind größtenteils in Oberstufenzentren organisiert, welche die beruflichen Schulen wie Berufsschulen, Berufsfachschulen und Fachoberschulen nach Berufsfeldern geordnet zusammenfassen. In einigen ausgewählten Oberstufenzentren werden zusätzlich auch Gymnasiale Oberstufen und Fachschulen integriert. Aufgrund der freiwilligen Teilnahme an der Befragung ist die Anzahl der Befragten Schüler je Schule oder Klasse sehr verschieden. Die Abbildung 5.1 im Anhang C zeigt die Verteilung der teilnehmenden Schüler je Schule. Die Spannweite der Befragten je Schule ist dabei sehr groß. Während sich bei einer Schule gerade 119 Schüler an der Umfrage beteiligen, sind es in einer anderen Schule Schüler die den Unterricht ihres Lehrers beurteilen. Weitere zwei Schulen haben höchstens 500 Befragte und sieben der sechszehn teilnehmenden Schulen haben zwischen 500 und Umfrageteilnehmer. Bei den verbleibenden sieben Schulen sind zwischen und Schüler zur Unterrichtsqualität befragt worden. Mit der Frage Mit welcher Klasse nehmen Sie an der Befragung teil? ist es möglich einen Überblick über die Verteilung der Schüler bezogen auf die Bildungsgänge zu bekommen. Die folgende Abbildung 5.2 zeigt, dass die Schüler der Berufsschule im klassischen dualen System mit Abstand die größte Gruppe bilden (35,9%). Die zweitgrößte Gruppe mit Schülern (23,5%) stellt der Teilnehmerkreis der Berufsfachschüler dar Schüler (19,1%) besuchten zum Zeitpunkt der Umfrage die Fachoberschule (FOS), Berufsoberschule (BOS) oder das berufliche Gymnasium (OG) und Schüler (9,7%) das Gymnasium. Den kleinesten Kreis der Umfrageteilnehmer bilden die Schüler aus der 13 Als Oberstufenzentren (OSZ) werden solche schulischen Einrichtungen der Sekundarstufe II bezeichnet, in denen verschiedene Bildungsgänge (und Schultypen), vor allem mit berufsqualifizierender Zielsetzung, unter einem Dach organisatorisch zusammengefasst sind. (Kaiser & Pätzold 1999, S. 312ff) 33

35

36

37 (1) Die complete case approach (CCA) Methode, bei dem ausschließlich vollständige Fälle für die weitere Analyse verwendet werden, (2) der variablenweiser bzw. fallweiser Ausschluss der fehlenden Werte oder (3) das induktive oder statistische Ersetzen der fehlenden Werte. Das erste Verfahren, bei dem unvollständige Fragebögen von der Auswertung ausgeschlossen werden, sollte nur zum Einsatz kommen, wenn zufällig fehlende Daten vorliegen, d.h. wenn die Wahrscheinlichkeit des Fehlens einzelner Werte in keinerlei Zusammenhang mit irgendwelchen anderen Größen steht. Zudem ist darauf zu achten, dass die Stichprobe durch die Entfernung der Fälle nicht zu klein ausfällt und damit die Interpretation der Daten unmöglich wird. Demnach ist diese Methode nur bei entsprechend großen Stichproben und Vorliegen von zufällig fehlenden Daten zu empfehlen (Spieß, 2009). Ist das Auftreten von fehlenden Werten zumindest teilweise im Zusammenhang mit einer anderen erhobenen Variablen festzustellen oder folgt es gar ganz klaren Gesetzmäßigkeiten, dann ist der Ausschluss von Fällen oder Variablen zur Verringerung des Gesamtanteils fehlender Werte zu favorisieren. Der Anwender muss hier zwischen dem Datenverlust und den Vorteilen aus der Reduktion fehlender Werte abwägen (Spieß, 2009). Sind klare Regelmäßigkeiten in der Struktur der Daten erkennbar, besteht weiterhin die Möglichkeit, die fehlenden Werte über verschiedene induktive und statistische Verfahren zu ersetzen (ebd.). Beim Datensatz zur Befragung der Unterrichtsqualität gibt es zehn Klassen bei denen kein Lehrerfragebogen vorhanden ist. Da im weiteren Verlauf der Arbeit die Schüleraussagen zur Unterrichtsqualität mit den Selbsteinschätzungen der Lehrer verglichen werden sollen, werden die 148 Fälle (ca. 1,1% aller Fälle), bei denen kein Lehrerfragebogen vorhanden ist, aus der Analyse ausgeschlossen. Um sicherzustellen, dass durch den Ausschluss der Fälle mit nicht vorhandenem Lehrerbogen keine Gruppen mit extremen Antwortausprägungen aus der Analyse systematisch ausgegrenzt werden, wird der Datensatz in die zwei Gruppen Lehrerbogen vorhanden und Lehrerbogen nicht vorhanden geteilt, um so das Antwortverhalten der einzelnen Gruppen miteinander vergleichen zu können. Mit Hilfe des Zweistichproben t-test für unabhängige Stichproben werden die Mittelwerte der einzelnen Items der beiden Gruppen verglichen und auf ihre Signifikanz 14 hin überprüft. 14 Signifikanzniveau α=5% 36

38 Die im Anhang C in Tabelle 5.1 aufgeführten Ergebnisse zeigen, dass in der Mehrheit aller Fälle, kein signifikanter Unterschied in den Mittelwerten der Antworten der beiden Gruppen erkennbar ist. Bei den Variablen, bei denen der Mittelwertvergleich ein signifikantes Ergebnis hervorbrachte, wurde zudem die Effektstärke nach Cohen (1969) berechnet. Mit ihrer Hilfe lassen sich Aussagen darüber treffen, ob ein signifikanter Unterschied zwischen zwei Mittelwerten wirklich relevant, d.h. ob die Differenz inhaltlich sinnvoll ist und damit für die Praxis interessant ist. Aufgrund des unterschiedlichen Stichprobenumfangs empfiehlt Leonhart (2009) die Formel zu Berechnung der Effektstärke durch den Einsatz der gepoolten Standardabweichung anzupassen. Damit ergibt sich folgender mathematischer Ausdruck für die Effektstärke nach Cohen (1969): dd = aaaaaa (μμ 11 μμ 22 ) SS gggggggggggggg ; SS gggggggggggggg = (nn 11 11)ss (nn 22 11)ss22 22 nn 11 +nn (4.1) Dabei bezeichnet Cohen (1969) einen Effekt von d = 0.2 als klein, d = 0.5 als mittleren Effekt und d = 0.8 als großen Effekt. Da die Effektstärken der signifikant eingestuften Mittelwertunterschiede der beiden Gruppen ausnahmslos als klein bezeichnet werden können, ist davon auszugehen, dass der Ausschluss der Fälle mit fehlendem Lehrerfragebogen keine großen Auswirkungen auf das Ergebnis der Analyse haben wird. Im nächsten Schritt werden die Fragebögen ohne jegliche Angaben sowie die Bögen, bei denen mehr als 75% fehlende Antworten bzw. Werte vorhanden sind, aus dem Datensatz entfernt. Das heißt, dass nur die Fälle, bei denen sowohl der Schülerfragbogen als auch der Lehrerfrageboden zu je mindestens 25% beantwortet worden ist, in die spätere Auswertung mit einbezogen werden. Damit reduziert sich der für die Analyse verwendete Datensatz auf Fragebögen. Um auch hier dem Ausschluss eventueller Extremfälle vorzubeugen, werden diese Fälle nochmals gesondert geprüft. Die nachfolgenden Grafiken (Abbildung 5.5 und Abbildung 5.7) stellen die Anzahl der unbeantworteten Fragen in Abhängigkeit zur Schulkennung dar. Lehr- und Schülerfragebögen werden dabei gesondert betrachtet. 37

39 Abbildung 5.5: Verteilung der fehlenden Werte im Lehrerfragebogen nach Schulkennung Die in Abbildung 5.5 dargestellte Verteilung der Anzahl der fehlenden Werte im Lehrerfragebogen gruppiert nach Schulkennung lässt erkennen, dass die Bereitschaft zur Beantwortung der Fragen unter den Lehrern sehr unterschiedlich ist. Zum größten Teil blieb die Frage nach der Belastungssituation durch die Arbeit nach dem Lernfeldkonzept (lernfeld) mit 35,2% fehlenden Werten überwiegend unbeantwortet. Aber auch die Items Klassenstärke (kstrk), Bildungsgang (kbg) und Alter der Lehrkraft (alter) weisen einen hohen Anteil fehlender Werte auf. Bei den Fragen zur Unterrichtsführung ist es vor allem die Frage nach dem Anforderungsniveau (anf_l) die mit 10,0% fehlenden Werten von den Lehrkräften nicht beantwortet wurde. Eine grafische Zusammenfassung der fehlenden Werte bezüglich der Items des Lehrerfragebogens ist im Anhang C in Abbildung 5.6 aufgeführt. Über die Ursachen lässt sich an dieser Stelle nur spekulieren. Eine Möglichkeit könnte sein, dass in ausgewählten Schulen die Kommunikation über die Motive und Absichten der Schülerbefragung nicht ausreichend war, so dass sich bei einigen Lehrern eventuell ein Gefühl der Unsicherheit bezüglich der folgenden Maßnahmen entstand. Der hohe Anteil fehlender Werte beim Item lernfeld ist teilweise damit zu begründen, dass das Lernfeldkonzept bisher nur an berufsbildenden Schulen durchgeführt wird. Da an dieser Umfrage jedoch auch ein Gymnasium teilgenommen hat, ist der Wert um die Anzahl dieser Schüler zu relativieren. 38

40 Wahrscheinlich ist, dass auch die Akzeptanz und die Bereitschaft der Lehrkräfte der Schulen, die zum wiederholten Mal an der Befragung teilnehmen, höher im Vergleich zur Bereitschaft der Lehrkräfte, die erstmals an der Umfrage teilnehmen, ist. Aber auch das ist nur eine Vermutung und kann an dieser Stelle nicht belegt werden. Betrachtet man die Verteilung der fehlenden Antworten der Schüler gruppiert nach der Schulkennung in Abbildung 5.7, ist eine Schule besonders auffällig. Abbildung 5.7: Verteilung der fehlenden Werte im Schülerfragebogen nach Schulkennung Das Antwortverhalten der Schüler der Schule 34 muss differenziert betrachtet werden. Auf der einen Seite waren mehr als die Hälfte der Schüler bereit den Fragebogen bis auf eine fehlende Antwort zu bearbeiten. Auf der anderen Seite waren 482 Schüler der insgesamt 1264 befragten Schüler dieser Schule (38,1%) nicht bereit an der Umfrage teilzunehmen. Sie gaben einen unausgefüllten Fragebogen zurück. Die Ursachen für die hohe Diskrepanz zwischen den Schülern sowie der hohen Zahl der Schüler, die die Teilnahme an der Schülerbefragung ablehnen, ist auf den ersten Blick nicht ersichtlich. Diskussionen über mögliche Motive für dieses Verhalten könnten nur spekulativ geführt werden. Besonders positiv in Bezug auf die Bereitschaft zur Teilnahme an der Umfrage zur Unterrichtsqualität sticht die Schule 37 heraus. Von 119 Schülern gaben 99,2% der befragten Schüler einen nahezu vollständig beantworteten Fragebogen zurück. Lediglich ein Schüler beantwortete nur 45 der 70 Fragen. 39

41 5.2 Verdichtung der Variablen: Explorative Faktorenanalyse Im Folgenden wird versucht die große Anzahl der Variablen auf eine kleinere Zahl, den resultierenden Faktoren, zu reduzieren um dadurch die Auswertung des komplexen Datensatzes zu erleichtern. Zur Aufdeckung der Faktorenstruktur wird eine explorative Faktorenanalyse durchgeführt. Dazu wird im ersten Schritt die Eignung der zugrundeliegenden Daten anhand des Kaiser- Meyer-Oelkin-Koeffizienten geprüft 15. Dieses Kriterium zeigt eine sehr gute Eignung der Daten zur Durchführung einer Faktorenanalyse an (KMO = 0,067). Bevor der gewählte Datensatz jedoch endgültig akzeptiert wird, werden noch die MSA-Werte, welche in der Hauptdiagonalen der Anti-Image-Korrelationsmatrix abgebildet sind, überprüft. Der Matrix ist zu entnehmen, dass für die Variable ub04 der MSA-Wert 0,99 gilt, der nach der Beurteilung von Bühner (2010) als sehr gut anzusehen ist. Der kleinste in der Matrix ausgewiesene MSA-Wert beträgt 0,767 (Variable mc02r) und ist damit immer noch mittelmäßig. Die MSA-Werte bieten daher im vorliegenden Datensatz keinen Anlass, eine oder mehrere Variablen aus der Faktorenanalyse auszuschließen. Im zweiten Schritt wird entschieden, welche Extraktionsmethode und welche Rotationsmethode verwendet werden soll. Da die Faktorenanalyse hier das Ziel verfolgt, eine Datenreduktion vorzunehmen, wird die Hauptkomponentenanalyse (PCA) als Extraktionsmethode angewendet. Zur Rotation wird die oblique Rotationsmethode Promax gewählt, da davon auszugehen ist, dass die Faktoren untereinander korrelieren. Um die Anzahl der zu extrahierenden Faktoren zu bestimmen, wird das Kaiser- Eigenwertkriterium angewandt. Dafür berechnet SPSS zunächst so viele Hauptkomponenten, wie es Indikatoren gibt. Die zugehörigen Eigenwerte und Anteile der aufgeklärten Gesamtvarianz der Indikatoren werden tabellarisch ausgegeben. Da alle Variablen z-standardisiert sind, beträgt ihre Varianz jeweils Eins. Nach Anwendung des Kaiser- Eigenwert-Kriteriums, bei dem alle Faktoren, deren Eigenwerte größer als Eins sind, extrahiert werden, können zwölf inhaltlich interpretierbare Faktoren gebildet werden. Mit diesen zwölf Hauptkomponenten werden 56,76% der Gesamtvarianz aufgeklärt, wobei schon 28,12% auf den ersten Faktor entfallen. 15 Aufgrund der Größe des vorliegenden Datensatzes ( Fälle mit jeweils 69 Items) ist die Eignungsprüfung anhand der Korrelationsmatrix unter Vorbehalt zu betrachten, da auch geringe Korrelationen bei genügend hoher Anzahl der Befragten signifikant werden können. Zudem ist die Voraussetzung zur Durchführung des Bartlett- Test auf Sphärizität nicht erfüllt, da eine multivariate Normalverteilung nicht vorliegt. 40

42 Die Zuordnung der Items auf die verschiedenen Faktoren erfolgt dabei auf Grundlage der Faktorladungen, die als Korrelationskoeffizient zwischen der betreffenden Variablen und den Faktoren zu verstehen sind. Dabei wir die betreffende Variable dem Faktor zugeschrieben, auf dem sie am höchsten lädt. Die auf diese Weise getroffene Zuordnung eines Items zu einem Faktor ist in vielen Fällen eindeutig. Auftretende Doppelladungen oder Items, die auf keinen der extrahierten Faktoren hoch laden, werden aus der Analyse ausgeschlossen oder können in einigen Fällen sinnvoll interpretiert und damit inhaltlich einem Faktor zugeteilt werden. Die so erhaltenen Skalen werden anschließend auf ihre interne Konsistenz 16 und Trennschärfe 17 ihrer Items getestet und gegebenenfalls angepasst. So werden die Items mc02r, mb04r und md02r nicht verwendet, da diese mit der Skala Unterrichtliches Selbstengagement, Schülerselbsteinschätzung zur Leistungsfähigkeit bzw. wahrgenommener Lernzuwachs nicht hinreichend korrelieren Hinsichtlich der Interpretation des α-wertes ist zu beachten, dass dieser mit der Zahl der Items positiv korreliert und somit ein α-wert von 0,553 für eine zwei-item Skala als noch akzeptabel zu bewerten ist. Schlussendlich weisen alle zwölf Skalen mit Werten für Cronbachs α von 0,553 bis 0,909 exzellente bis akzeptable interne Konsistenzen auf (Darren & Mallery, 2003), wobei nur vier der Skalen unter 0,75 liegen. Die Trennschärfen der einzelnen Items liegen zwischen 0,386 und 0,839 und sind somit als mittelmäßig bis hoch anzusehen (Bortz & Döring, 2009) Berechnung mit Hilfe des Cronbach - α- Konsistenzkoeffizienten: αα = cc 11 cc 11 SS ii 22 = VVVVVVVVVVVVVV dddddd TTTTTTTTTTTTTTTTTT, cc = AAAAAAAAAAAA dddddd TTTTTTTTTTTTTTTTTT, SS 22 xx = VVVVVVVVVVVVVV dddddd GGGGGGGGGGGGGGGGGGGGGG dddddd SSSSSSSSSS dddddd TTTTTTTTTTTTTTTTTT (Bühner 2010, S. 132) 17 Die Trennschärfe misst die Korrelation eines einzelnen Items mit der Gesamtskala. jj ii=11 SS22 xx SS 22 ii, mit Diese wird berechnet durch: rr ii(tt ii) = σσ(xx ii, xx tt ii ), mit xx σσ(xx ii ) σσ(xx tt ii ) ii = WWWWWWWW ffürr dddddd IIIIIIII ii, xx (tt ii) = WWWWWWWW ffürr dddddd GGGGGGGGGGGGGGGGGGGG oooooooo dddddd IIIIIIII ii (ebd.) 18 Bei der Skala Unterrichtliches Selbstengagement konnte durch Entfernen des Items mc02r der Reliabilitätskoeffizient Cronbach s α von 0,673 auf 0,706 erhöht werden. Gleiches gilt für die Skalen Lernzuwachs und Schülerselbsteinschätzung. Die interne Konsistenz der Skala Lernzuwachs erhöhte sich durch das Entfernen des Items md02r von 0,856 auf 0,861 und der Reliabilitätskoeffizient für den Faktor Schülerselbsteinschätzung liegt nach Entfernen des Items mb04r bei 0,785 (vorher: 0,772). 41

43 Basierend auf diesen Auswertungen wird die Zuordnung von 52 Items zu den in der Tabelle 5.2 beschriebenen Skalen festgelegt. Die Darstellung der Ergebnisse der Reliabilitätsanalyse sowie die ausführliche Beschreibung der Skalendokumentation sind im Anhang C Tabelle 5.3 zu finden. Um die Übersichtlichkeit der zwölf Skalen zu erhöhen und die Vergleichbarkeit verschiedener Teilnehmergruppen zu erleichtern, werden die Skalengruppen in Anlehnung an das Angebot- Nutzungs-Modell von Helmke (2007) systematisiert. Die Beschriftungen der Skalen wurden zum Teil in leicht modifizierter Form von Wagner (2009) übernommen, wobei die unterstrichenen Teile im weiteren Verlauf als verkürzte Bezeichnungen für die Skalen verwendet werden. 42

44 Tabelle 5.2: Skalendokumentation auf Basis der Items Skalengruppe Skala Ausgewählte Einzel- Items Lehrende Fachkompetenz und Unterrichtsführung (S_FAKO) Diagnostische Kompetenz und Sozialkompetenz (S_DISOKO) ui01 ui03, ua01, ua02, ud01, ud02 uh01, uh02, ug01, ug02, ug03, ma04 Unterrichtsangebot Strukturiertheit und Unterrichtsmaterialien ua06, ua07, (S_STRUMA) la02, la03, la04 Schülermitbestimmung (S_MIT) le02, le04, le05 Individuelles Fördern (S_INFOE) lf04, lb05, lb06, lb10 Schülerautonomie und Förderung Schüler- Sozialklima (S_SAUTO) Berufs- und Lebensbezug des Unterrichts (S_BELEBE) Schüleraktivierender Unterricht (S_SAKTIV) lf01, lf03, lb04, lb08 uc03, ub01, ub03, ub05 ld01, ld03 Unterrichtsnutzung Unterrichtliches Selbstengagement mc01, mc03, mc04 (S_USELENG) Lernende Schülerselbsteinschätzung zur Leistungsfä- mb01, mb02, mb03 higkeit (S_LEIFK) Kontext Einstellung zur Schule (S_EINSCH) ga01, ga02, ga03 Unterrichtswirksamkeit Wahrgenommener Lernzuwachs und Förderung md01, md03, md04, der Eigenaktivität der Schüler zum za01, za02, za04 Lernen (S_LZUWA) 43

45 6 Datenauswertung 6.1 Befunde zur Unterrichtsbeurteilung im Netzwerk Schülerbefragung Bereinigung des Datensatzes Die Ergebnisse der faktoranalytischen Betrachtungen ermöglichen es, die Schülerurteile zusammengefasst anhand von zwölf Skalen darzustellen. Mit Hilfe der so erstellten Skalen werden im Folgenden Schulprofile, systematisiert nach den Merkmalsbereichen des Angebots-Nutzungs-Modells von Helmke (2007), für die an der Umfrage beteiligten Schulen erstellt, um damit Entwicklungsfelder der jeweiligen Schulen zu identifizieren und mögliche gruppenspezifische aufzudecken. Dazu werden jeweils die Mittelwertprofile der einzelnen Schulen gegenübergestellt. Um eine bessere Vergleichbarkeit der Schulen zu gewährleisten, wird der Datensatz zuvor nochmals bereinigt. Konkret bedeutet dies, dass die Fälle, bei denen weniger als 50% der Fragen einer Skala unbeantwortet blieben, aus der Analyse ausgeschlossen werden. Damit fließen in die Untersuchung nur die Fälle ein, bei denen in jeder Skala mindestens 50% der Antworten vorliegen, wodurch sich der Datensatz auf zu verarbeitende Fälle reduziert. Um auch hier sicherzustellen, dass durch den Ausschluss dieser Fälle bestimmte Schülergruppen nicht systematisch ausgegrenzt werden, wird der Datensatz hinsichtlich der fehlenden Werte und deren Muster innerhalb einer Skala überprüft. Die Auswertung der Muster der fehlenden Werte mit Hilfe der Statistiksoftware SPSS zeigt dabei, dass in der Häufigkeitsverteilung der fehlenden Werte der einzelnen Items keine Ausreißer nach oben hin festzustellen sind. Die Zahl der fehlenden Werte pro Item beschränkt sich zwischen 46 (0.4% von Fälle) und 458 Fälle (3,5% von Fälle). Innerhalb der einzelnen Skalen sind ebenfalls keine auffälligen Muster erkennbar, die darauf hinweisen, dass einige Fragen systematisch von den Schülern nicht beantwortet wurden. Zudem zeigen die Ergebnisse des Zweistichproben t-tests bei unabhängigen Stichproben, dass die Mittelwertunterschiede der beiden Gruppen Datensatz vollständig und Datensatz bereinigt nicht signifikant sind (vgl. Tabelle 6.1 Anhang D). 44

46

47 Noch stärker zeigen sich die geringen Zustimmungswerte in der Skala zur Beurteilung der individuellen Förderung des Einzelnen in einer bestehenden Lerngruppe (Individuelle Förderung). Fast zwei Drittel der Befragten (64%) nehmen den an das individuelle Fähigkeitsund Leistungsniveau angepassten Unterricht kaum wahr Ausgewählte deskriptive Befunde der Schülerbefragung Nachdem durch das aggregierte Schulprofil der Netzwerkschulen ein Gesamtüberblick der Schülerurteile zur Unterrichtsqualität gegeben wurde, beziehen sich die folgenden Ausführungen auf die Befunde spezifischer Skalen. In Anlehnung an das Angebot-Nutzen-Modell von Helmke (2007) und den Auswertungen des aggregierten Mittelwertprofils der 16 teilnehmenden Schulen werden die Konstrukte Fachkompetenz und Diagnostische Kompetenz zur Beurteilung der Lehrerpersönlichkeit, die Skalen Schülermitbestimmung, Schülerautonomie und Individuelles Fördern sowie die Skalen Berufs- und Lebensbezug des Unterrichts und Schüleraktivierender Unterricht zum Unterrichtsangebot näher betrachtet. Um die Zufriedenheit der Schüler mit ihrer Schule differenzierter beurteilen zu können, wird das Konstrukt Einstellung zur Schule analysiert. Zusätzlich werden die individuellen Lehr- Lernvoraussetzungen der Schüler durch die Skala Schülerselbsteinschätzung zur Leistungsfähigkeit beschrieben, um abschließend ein umfassendes Bild über die Wirksamkeit des Unterrichts aus der Perspektive der Schüler mit Hilfe der Befunde des Konstrukts Lernzuwachs zu erhalten. Fach-, Sozial- und Diagnostische Kompetenz der Lehrenden Dem Lehrenden wird unabhängig der Unterrichtsform eine zentrale Rolle im Unterrichtsprozess zugesprochen. Er setzt geeignete Anreize und gibt Rückmeldungen auf die Reaktionen der Schüler. Auf diese Weise greift die Lehrkraft zentral in den Lernprozess der Lernenden ein. Die Kompetenzen der Lehrenden wurden anhand der Hauptkomponentenanalyse in zwei Skalen mit hoher Stabilität (Reliabilitätswerte α = 0,851 und α = 0,843) abgebildet. Hinsichtlich der durch den Schüler wahrnehmbaren Merkmale des Lehrers werden zwischen den fachlichen, unterrichtsmethodischen und sozialen Kompetenzen der Lehrenden unterschieden. 46

48 Die Fachkompetenz des Lehrers, bei dem aus der Sicht der Schüler erfasst wird, inwieweit die betreffende Lehrkraft ihr Fachgebiet beherrscht und als Experte wahrgenommen wird, ist eine elementare Grundvoraussetzung pädagogischen Handelns. Zusammen mit den Fähigkeiten der Lehrkraft zur Klassen- und Unterrichtsführung wird die fachliche Kompetenz des jeweils betreffenden Lehrers in der aus sieben Items bestehenden Skala Fachkompetenz beurteilt. In der Umfrage beurteilten mehr als Schüler (86,5%) die Fachkompetenz und Unterrichtsführungsqualitäten ihres Lehrers mit gut bis sehr gut (Ausprägungen 3,0 bis 4,0 zusammengefasst). Lediglich ein sehr geringer Anteil der Befragten kann dies ihrem Lehrer nicht bescheinigen (vgl. Abbildung 6.2). Abbildung 6.2: wahrgenommene fachinhaltliche, unterrichtsmethodische, diagnostische und soziale Kompetenz der Lehrenden Während die Fachkompetenz der Lehrkräfte außerordentlich positiv beurteilt wurde, kann dies für die unterrichtlichen Interaktionen zwischen den Lehrkräften und den Schülern sowie deren diagnostische Kompetenz nicht gleichermaßen festgestellt werden. Die Verteilungen (vgl. Abbildung 6.2) zeigen hier, dass rund ein Drittel (32,96%) der Befragten deutlich kritischere Urteile treffen (Ausprägungen 1,0 bis 2,5 zusammengefasst). 47

49 Autonomie und Mitbestimmung der Lernenden Der heutige Bildungsbegriff geht über die reine Wissensvermittlung weit hinaus. Bildung bedeutet die Entwicklung der gesamten Persönlichkeit, die Vorbereitung auf künftige Lebensabschnitte durch die Nutzung von Wissen und die Möglichkeit zum Weiterlernen sowie die aktive Teilhabe an der Gesellschaft. Sie soll dazu beitragen, soziale Unterschiede auszugleichen und die Zukunftschancen jener zu verbessern, deren Ausgangsbedingungen ungünstiger sind (Kmk for.mat, 2013). Dieses bildungspolitische Ziel erfordert die Etablierung einer neuen Lernkultur, in der das Konzept des Lebenslangen Lernens im Vordergrund steht. Dabei bilden die schulischen Lernerfahrungen eine wesentliche Grundlage. Entsprechend der zunehmenden Bedeutung des Postulats Lebenslanges Lernen und der immer stärkeren Verankerung des Konzepts der Handlungsorientierung im Unterrichtsalltag an beruflichen Schulen liegt das zentrale Anliegen aktueller Schul- und Unterrichtsentwicklungsvorhaben darin, eine nachhaltige Lehr-Lernkultur zu entwickeln, in der die Verantwortung für das Lernen zunehmend vom Lehrenden auf den Lernenden übertragen wird und die Schüler zu aktiven Gestaltern ihrer eigenen Lernprozesse werden. Bezogen auf die institutionalisierten Lehr-Lernprozesse entsteht aus dieser Aussage die Forderung nach eine größeren Schülerautonomie und der Möglichkeit der Lernenden ihr Vorgehen im Unterricht in einem bestimmten Maß selbst mitzubestimmen. Hinsichtlich des Konstrukts der Schülermitbestimmung im Unterricht liegt der Schwerpunkt der Items auf den thematischen Gestaltungsoptionen der Lernenden im Unterrichtsverlauf. Über die Skala Schülerautonomie werden die Freiheitsgrade bezüglich der Wahl der Lösungsstrategien von Problemund Aufgabenstellungen erfasst. Die Skala Schülerautonomie besteht aus insgesamt vier Items und erreicht mit α = 0,710 eine gute interne Konsistenz. Im Zentrum dieses Konstrukts steht vor allem die Frage, inwiefern den Schülern Entscheidungsoptionen in Aufgaben- und Problemlösungssituationen zugestanden werden. Die Antwortverteilungen zeigen, dass der Umfang der zugestandenen Freiheitsgrade von den befragten Schülern insgesamt positiv beurteilt wird. Rund 73% der Befragten geben an, im Unterricht größere Handlungsfreiräume hinsichtlich der Ziel-und Aufgabenpräzisierung sowie der Wahl der Lösungsstrategien wahrzunehmen (Ausprägungen 3,0 bis 4,0 zusammengefasst). Die Skala Schülermitbestimmung erfasst in drei Items die Gestaltungsoptionen der Schüler in der inhaltlichen Ausrichtung des Unterrichts (vgl. Tabelle 5.3 Anhang C). 48

50

51 Wenngleich bildungsgangsspezifische Zusammenhänge hinsichtlich der Autonomie (eta 2 Autonomie = 0,004 ) und Schülermitbestimmung (eta 2 Mitbestimmung = 0,004) kaum ausgeprägt sind, ist demgegenüber ein deutlicher lehrerindividueller Einfluss auf die Mitgestaltungs- und Mitbestimmungsmöglichkeiten feststellbar, der in der erklärten Lehrervarianz von 24,4% beim Merkmal Schülerautonomie und von 30,5% beim Merkmal Schülermitbestimmung zum Ausdruck kommt. Unterrichtliches Selbstengagement, schüleraktivierender Unterricht und Berufs- und Lebensbezug des Unterrichts Ein selbstbestimmtes Agieren der Schüler im Unterricht setzt voraus, dass die Lernenden das Bewusstsein darüber besitzen, selbst etwas verursachen und bewirken zu können. Dieses kann besonders gut in Lernsituationen aufgebaut werden, in denen Lernende sich selbst Ziele setzen, die Zielrealisierung selbstständig evaluieren und die daraus gewonnenen Erkenntnisse später in neuen Situationen anwenden. Dies wiederum erfordert die Bereitschaft der Schüler selbstgesteuert lernen zu wollen. Das heißt, dass ein gewisses Maß an unterrichtlichem Selbstengagement der Schüler unabdingbar ist. Die Skala Unterrichtliches Selbstengagement besteht aus drei Items, welche die individuellen Selbsteinschätzungen der Schüler hinsichtlich ihres Lernengagements im Unterricht erfassen. Das Konstrukt besitzt eine Reliabilität von α = 0,706 und kann damit als hinreichend stabil betrachtet werden (vgl. Tabelle 5.3 Anhang C). Fast zwei Drittel der Befragten (65%) sind der Überzeugung ein hohes bis sehr hohes Engagement im Unterricht zu zeigen (Ausprägungen von 3,0 bis 4,0 zusammengefasst). Lediglich ein Zehntel der Schüler gibt an, im Unterricht gelegentlich bis häufig unkonzentriert zu sein und sich auf Leistungskontrollen schlecht bis gar nicht vorzubereiten (Ausprägungen von 1,0 bis 2,0 zusammengefasst). Der Anteil derjenigen, die ihre Mitarbeit nicht völlig verweigern aber auch kein außerordentlich ausgeprägtes Engagement im jeweiligen Unterricht zeigen, ist mit insgesamt 25% als relativ hoch einzuschätzen. Unterschiede im Selbstengagement der Lernenden können hinsichtlich der Bildungsgänge auf den ersten Blick nicht festgestellt werden (vgl. Abbildung 6.5). So sind Mittelwertunterschiede zwischen den Bildungsgängen zwar feststellbar, allerdings sehr gering (x BS dual = 2,93 bis x Gymn. = 3,06). 50

52 Abbildung 6.5: Merkmal Unterrichtliches Selbstengagement nach Bildungsgängen Erwartungsgemäß ist ein signifikanter bildungsgangbezogener Einfluss auf das Selbstengagement der Schüler im Unterricht nicht nachweisbar. Lehrerspezifische Zusammenhänge hinsichtlich des Urteils der Schüler zum Selbstengagement sind nicht sehr stark ausgeprägt aber auch nicht ganz abzuweisen. Die gemeinsame Varianz innerhalb einer Klasse beträgt 14,9%. Um zu überprüfen, ob sich ein schüleraktivierender Unterrichtsstil sowie ein gewisser Berufs- und Lebensbezug der Lehrinhalte positiv auf die Lernmotivation und somit auf das unterrichtliche Selbstengagement der Schüler auswirkt, werden die partiellen Korrelationen 19 zwischen diesen Merkmalen ermittelt. Entgegen den Vermutungen lässt sich ein essenzieller Zusammenhang anhand der vorliegenden Daten nicht nachweisen (vgl. Tabelle 6.2). Die Korrelation mit r part = 0,190 weist auf einen sehr geringen positiven Zusammenhang zwischen unterrichtlichem Selbstengagement und dem Praxisbezug des Unterrichts hin. Das heißt, dass Schüler, die den Unterricht als wenig praxisbezogen empfinden, tendenziell weniger Lernengagement zeigen. Tabelle 6.2: Zusammenhänge zwischen unterrichtlichem Selbstengagement der Schüler und der Unterrichtsgestaltung der Lehrkräfte Schüleraktivierender Unterricht Berufs- und Lebensbezug des Unterrichts Unterrichtliches Selbstengagement 0,100* 0,190* N = * Störvariable: Einstellung zur Schule 19 Da die Korrelation zwischen zwei Variablen unter Umständen nicht auf einem tatsächlichen Zusammenhang im Antwortverhalten zurückzuführen sind, sondern aus gemeinsamen Einflüssen dritter Variablen resultieren können, werden für die Berechnungen partielle Korrelationen verwendet, um die Einflüsse dieser Störvariablen zu eliminieren. 51

53

54

55

56 Mittelwertunterschiede zwischen den Bildungsgängen (x Gymn. = 2,28 (s Gymn. = 0,426) und x BV = 2,52 (s BV = 0,484)) und den einzelnen Schulen (x 16 = 2,08 (s 16 = 0,440) und x 14 = 2,64 (s 14 = 0,491)) sind ebenfalls feststellbar, allerdings sehr gering. Gleiches Bild zeigt sich auch in den jeweiligen Varianzanteilen dieser Merkmale. So fallen die Differenzen zwischen den einzelnen Schulen mit rund 4% erklärter Varianz und die bildungsgangsspezifischen Zusammenhänge mit einem erklärten Varianzanteil von unter einem Prozent (0,6%) kaum mehr ins Gewicht. Zusammenfassend bleibt festzuhalten, dass in den Wahrnehmungen der Schüler klassenübergreifende pädagogische Leitideen und anforderungsdifferenzierende Lernstrategien im Unterricht kaum eingesetzt werden und Urteilsdifferenzen größtenteils auf die individuellen Fähigkeiten der Lehrkraft im Umgang mit der heterogenen Schülerstruktur zurückzuführen sind. Einstellung zur Schule Neben der Familie stellt die Schule einen weiteren zentralen Lebensbereich für Kinder und Jugendliche dar. Sie verbringen einen Großteil dieser Lebensphase in der Schule. Der alltägliche Umgang der Lernenden mit ihrer Schule verdichtet sich dabei zu einem Komplex von Einstellungen, der neben Alltagswissen in und über Schule und Unterricht auch spezifische Verhaltenseigenschaften umfasst (Christen, Vogt & Upmeier zu Belzen, 2001). Hascher und Baillod (2000) haben in ihren Untersuchungen zum Wohlbefinden von Schülern in der Schule die Feststellung gemacht, dass es zwischen der Haltung der Schüler gegenüber dem Lernen und der Schule und dem Schulerfolg einen engen wechselseitigen Zusammenhang gibt. Nun führt eine bessere Einstellung zum Lernen und zur Schule nicht automatisch zu besserem Lernen. Allerdings schafft eine positive Einstellung ein günstiges Fundament, welches Lehrkräfte nutzen können, um die Erwartungshaltung ihrer Schüler zu erhöhen und damit verbunden die Zufriedenheit der Schüler mit dem Unterricht und ihrer Schule positiv zu beeinflussen. Das Konstrukt Einstellung zur Schule erfasst, inwiefern die Erwartungen der Jugendlichen an ihre Schule mit der aktuell wahrgenommenen Realität übereinstimmen. Die Skala setzt sich aus drei Items zusammen und erreicht mit α = 0,91 eine hohe interne Konsistenz. Die Verteilungen in Abbildung 6.9 zeigen, dass mehr als 40% der Befragten mit ihrer Schule zufrieden sind und sogar 20% der Schüler eine sehr positive Grundhaltung gegenüber ihrer Schule einnehmen. Weitere 14,6% der Jugendlichen äußern sich gegenüber ihrer 55

57

58 Aus Tabelle 6.3 gehen die Mittelwerte der Schulen und die zugehörigen Standardabweichungen bezüglich des Merkmals Einstellung zur Schule hervor. Auffällig sind die Schulen mit der Kennung 8 und 30, die mit einer Effektstärke von mehr als drei Viertel einer Standardabweichung vom Gesamtmittelwert nach oben (d 8 = 0,84) bzw. nach unten abweichen (d 30 = 0,76). Tabelle 6.3: Mittelwertvergleich des Merkmals Einstellung zur Schule nach Schulen Schule Mittelwert Standardabweichung Nennungen Effektstärke 2 3,14 0, ,31 6 2,48 0, ,41 8 3,63 0, ,84 9 3,36 0, , ,72 0, , ,82 0, , ,12 0, , ,10 0, , ,97 0, , ,29 0, , ,71 0, , ,70 0, , ,79 0, , ,15 0, , ,01 0, , ,33 0, ,51 Gesamt 2,86 0, Wenngleich bildungsgangsspezifische Effekte und Zusammenhänge zwischen der Zugehörigkeit zu einer bestimmten Schule und den Schülerurteilen hinsichtlich ihrer Einstellung zur Schule deutlich vorhanden sind, so entfällt auch für diese Skala der höchste Anteil an erklärter Varianz auf die Zugehörigkeit zu einer bestimmten Klasse und damit verbunden zu einer bestimmten Lehrkraft (37,1%). 57

59

60

61 Abbildung 6.14: Schulprofile der 16 Netzwerk Schulen Ebenfalls auffällig sind die Differenzen zwischen den einzelnen Schulen in der Skala Schüleraktivierender Unterricht. Die Ergebnisse zeigen hier signifikante Mittelwertunterschiede zwischen der Schule 2 (x S_SAKTIV _2 = 3,23) und der Schule 37 (x S_AKTIV _37 = 2,49). Vor dem Hintergrund, dass im Netzwerk Schülerbefragung Schüler aus sehr unterschiedlichen Schultypen, Bildungsgänge und Jahrgangsstufen mitgewirkt haben, scheinen die insgesamt eher geringen Abweichungen auf Schul- und Bildungsgangeben (vgl. Abbildung 6.14) zunächst unerwartet. Sie werden jedoch plausibel, wenn man berücksichtigt, dass die Zugehörigkeit zu einer bestimmten Klasse in dieser Befragung den stärksten Einfluss auf die Schülerurteile hat. Bei der Darstellung der deskriptiven Befunde in Kapitel wurde bereits bei ausgewählten Merkmalen darauf Bezug genommen. In der Tabelle 6.4 im Anhang D werden nochmals für alle Skalen die Varianzanteile auf den Klassen-, Lehrer-, Bildungsgangs- und Schulebene übersichtlich zusammengefasst. Die Ergebnisse der Auswertung zeigen nochmals deutlich, dass insbesondere die Zugehörigkeit zu einer bestimmten Klasse einen erheblichen Teil der Varianz in den Schülerwahrnehmungen zur Unterrichtsqualität ausmacht. Lediglich in Bezug auf die allgemeine Zufriedenheit mit der Schule zeigen sich auf Bildungsgangs- und Schulebene beachtenswerte Effekte. Unter der Annahme, dass Urteile von mehreren Klassen über den Unterricht derselben Lehrkraft eher die Ausnahme darstellen, können die dargestellten Unterschiede in der Unterrichtswahrnehmung auf Klassen- 60

62 ebene im unterrichtlichen Handeln der Lehrperson interpretiert werden. Die Darstellung der Varianzanteile auf Lehrerebene unterstützt an dieser Stelle nochmal die starke Verbindung zur Klassenebene. 6.3 Schüler- und Lehrerwahrnehmung des Unterrichts im Vergleich Die Durchführung von Evaluationen wird zunehmend als integraler Bestandteil professionellen Lehrerhandelns gesehen. Doch nicht jede Lehrkraft lässt sich gern von seinen Schülern bewerten, denn es bleibt weitgehend unklar, welche Kriterien die Schüler der Beurteilung des Unterrichts zugrunde legen. Die Befürchtungen der Lehrer, dass die Schüler ihren Unterricht aufgrund sympathiebedingter Subjektivität schlecht bewerten würden, sind groß. Aus diesem Grund soll im Folgenden untersucht werden, inwieweit die Wahrnehmungen der Schüler zur Unterrichtsqualität von denen der beurteilten Lehrkräfte abweichen. Um die Frage beantworten zu können, werden im ersten Schritt die Kennziffern Lehrende, Angebot und Wirkung sowohl auf der Lehrer- als auch Schülerebene ermittelt mit dem Ziel, die Qualität des Unterrichts, systematisiert nach dem Angebot-Nutzen-Modell von Helmke (2007), in drei Kennzahlen abzubilden. Beziehen sich die Kennziffern auf die Wahrnehmungen der Lehrer, so sind diese mit einem zusätzlichen l gekennzeichnet, so dass die Variablen im Einzelnen Lehrende_l, Angebot_l und Wirkung_l benannt werden. Die Variablen für die Wahrnehmungen der Schüler sind mit dem Zusatz s markeirt. Für die Berechnung der einzelnen Variablen wird jeweils der Mittelwert aus den für die Variable relevanten Skalen gebildet. So setzt sich beispielsweise die Variable Lehrende_s aus den Skalen Fachkompetenz und Diagnostische Kompetenz und Sozialkompetenz zusammen. Eine ausführliche Darstellung der Variablenzusammensetzung ist im Anhang D in Tabelle 6.15 abgebildet. Um die Abweichungen zwischen den Schülerurteilen und der Selbsteinschätzung der Lehrkräfte zum Unterrichtsprozess zu untersuchen, wird im nächsten Schritt jeweils die Differenz der Urteile in den drei Kennziffern ermittelt. Mit Hilfe des Balkendiagramms ist es möglich die Ergebnisse für jede einzelne Schule anschaulich darzustellen. Abbildung 6.15 zeigt die durchschnittlichen Mittelwertdifferenzen in den einzelnen Kategorien Lehrende, Angebot und Wirkung für jede Schule. Bei der Interpretation des Balkendiagramms ist zu beachten, dass die links vom Nullpunkt 61

63 liegenden Balken (negative Abweichungen) darauf hinweisen, dass die Urteile der Lehrer an dieser Schule in dieser Kategorie im Durchschnitt positiver im Vergleich zu den Schülerurteilen ausfallen. Balken, die rechts vom Nullpunkt liegen (positive Abweichungen), sprechen hingegen für eine zustimmendere Urteilsstruktur der Schüler im Vergleich zu den Lehrenden. Die Länge des Balkens spiegeln die Stärke der Abweichungen zwischen Schüler- und Lehrerwahrnehmungen wider. Abbildung 6.15: mittlere Abweichungen zwischen Schüler- und Lehrerwahrnehmung auf Schulebene Die Auswertung der Mittelwertdifferenzen auf Schulebene zeigen, dass die teilnehmenden Schüler insgesamt deutlich kritischer als ihre Lehrer urteilen. Insbesondere wird die Unterrichtswirksamkeit von den Lehrkräften positiver beurteilt. Einzige Ausnahme sind hier die Schüler der Schule 8. Sie bewerten den Unterricht in allen Kategorien besser als ihre Lehrer. Im Gegensatz zur Schule 6, bei dem die Schüler- und Lehrerwahrnehmungen weit auseinandergehen, sind sich die Schüler und Lehrer der Schule 17 und der Schule 2 in der Beurteilung ihres Unterrichts weitestgehend einig. Wenngleich Abweichungen zwischen den Einschätzungen der Lehrenden und Lernenden feststellbar sind, so sind diese noch in einem akzeptablen Bereich. Die größte mittlere Abweichung beträgt etwa 0,5. Zusammenfassend lässt sich feststellen, dass subjektive Beurteilungstendenzen der Schüler im Durchschnitt gering ausfallen und eher die Ausnahme darstellen. 62

64 Vor dem Hintergrund dieser Ergebnisse und der hohen Übereinstimmung der Schülerurteile mit den Unterrichtsbewertungen, die im Rahmen der Berliner Schulinspektion durch das Schulinspektorenteam durchgeführt wurden (SenBWF, 2010), lassen sich die Vorbehalte der Lehrkräfte gegenüber einer Unterrichtsbeurteilung durch Schüler nicht bestätigen. 63

65 7 Zusammenfassung / kritische Auseinandersetzung Das erklärte Ziel dieser Arbeit war es, die interne Evaluation in Form einer Schülerbefragung als zentrales Instrument der Unterrichtsentwicklung vorzustellen. Dabei wurden die Daten der Schülerbefragung des Netzwerkes Schülerbefragung zur Beurteilung der Unterrichtsqualität ausgewertet. Bevor die Befunde in kürze zusammengefasst werden, soll an dieser Stelle nochmal betont werden, dass die erzielten Resultate die Wahrnehmungen der Schüler wiederspiegeln. Demzufolge können die Ergebnisse der Untersuchung nur insofern interpretiert und bewertet werden, wie es eben die Einschränkung auf die Wahrnehmungsperspektive von Lernenden zulässt. Zudem ist zu beachten, dass auf den schulischen Unterricht ein komplexes Gefüge von diversen Einflussfaktoren wirkt. Im Rahmen dieser Arbeit konnten nur einige ausgewählte Merkmale des Unterrichts und dessen Qualität erhoben werden. Aus diesem Grund ist es unmöglich, anhand der vorliegenden Ergebnisse, ein vollständiges Bild über die Unterrichtsrealität und qualität abzubilden. Sie können daher lediglich punktuell auf Stärken und Schwächen des Unterrichts aufmerksam machen und gegebenenfalls Entwicklungsfelder aufzeigen. Die Wahrnehmungen der Lernenden in der Umfrage vom Dezember 2011 zeigen insgesamt, dass in keiner der beteiligten Schulen schwerwiegende Qualitätsdefizite feststellbar sind. Dennoch werden durch die Auswertung des Gesamtdatensatzes mögliche Bereiche für die einzelschulische Qualitätsentwicklung sichtbar. Demnach sollten die qualitätssteigernden Maßnahmen vor allem auf eine verstärkte Umsetzung schüleraktivierender Lehr- Lern-Formen sowie einer binnendifferenzierteren Unterrichtsgestaltung abzielen. Defizite werden auch im Bereich der diagnostischen Kompetenz und der Sozialkompetenz der Lehrkräfte erkennbar. Ein Zusammenhang zur fehlenden individuellen Förderung im Unterricht wird ersichtlich, wenn man beachtet, dass Defizite im diagnostischen Bereich für die Individualisierung von Ausbildungs- und Erziehungsprozessen hinderlich sind. Sie wirken kontraproduktiv für die erforderliche Binnendifferenzierung und sollten daher in den Überlegungen zur Schulentwicklung mit einbezogen werden. Da die Schulprofile in den Auswertungen einen eher unspezifischen Verlauf aufweisen und damit nur wenige Anknüpfungspunkte für die einzelschulische Qualitätsentwicklung liefern, können die Evaluationsdaten vornehmlich zum Zweck der Selbstvergewisserung bzw. Rechenschaftslegung herangezogen werden. Ähnliches Bild zeigt sich im Vergleich der 64

66 Schülerurteile auf Bildungsgangebene. Auch hier dominieren die Übereinstimmungen. Lediglich im Merkmal Einstellung zur Schule können bildungsgangsspezifische Besonderheiten identifiziert werden. Dem Umstand geschuldet, dass die Ergebnisse in Form von Ranglisten aufgrund der fehlenden Berücksichtigung des Klassenkontextes kritisch zu bewerten sind, ist eine individuelle Auseinandersetzung der Lehrkräfte mit ihren Evaluationsergebnissen als sinnvoll zu betrachten. Sie können die Ergebnisse hinsichtlich ihres Wissens über die vorliegenden Rahmendbedingungen differenzierter nutzen. Als ein bemerkenswertes Ergebnis der Untersuchung ist die hohe Varianz zwischen den Klassen hervorzuheben. Sie unterstreicht im Besonderen den hervorragenden Stellenwert der Lehrerpersönlichkeit in der Gesamtheit der auf die Unterrichtsqualität einwirkenden Faktoren. Damit treten die vier grundlegenden Kompetenzen des Lehrerberufs: fachliche, didaktisch, diagnostische und Klassenführungskompetenz in der Diskussion um Qualität in Schule und Unterricht in den Vordergrund. Die zentralen Ergebnisse der kürzlich erschienenen Metastudie Visible Learning aus dem Jahr 2009 von John Hattie unterstützen die Aussage, dass Lehrkräfte und deren Unterricht die zentralen Ursachen für erfolgreiches schulisches Lernen sind. Demnach kommt es für den Lernerfolg weniger auf strukturelle, organisatorische, methodische und finanzielle Aspekte an. Vielmehr spielen die Motivation, die persönliche Wahrnehmung des Unterrichts und der Lehrkraft, aktive Lernarbeit sowie individuelle Lernstrategien eine wichtige Rolle für den Lernfortschritt der Schüler (Bauch, 2011). Aus diesem Grund, wäre es sinnvoll, dass die Lehrkräfte, die fortlaufende Überprüfung und Verbesserung der eigenen Handlungskompetenz als ein Merkmal ihrer beruflichen Professionalität ansehen. Dazu könnten die Erkenntnisse aus der internen Evaluation in der Funktion einer Bestandsaufnahme aber auch als Reflexion über Wirkungen bisher getätigter Maßnahmen beitragen. 65

67 8 Literaturverzeichnis Arnold, K.H. & Schmidt, B. (2007). Probleme und Perspektiven aus der Verbindung zwischen Unterrichtsqualität und den Fachdidaktiken. In K.H. Arnold (Hrsg.), Unterrichtsqualität und Fachdidaktik (S ). Bad Heilbrunn: Klinkhardt. Backhaus, K., Erichson, B., Plinke, W. & Weiber, R. (2011). Multivariate Analysemethoden. Eine anwendungsorientierte Einführung (13., vollständig überarb. Aufl.) Berlin; Heidelberg: Springer Verlag. Bauch, W. (2011). Mit den Augen der Lernenden. Erfolgreich lernen-was wirklich wirkt. BildungBewegt, 13, 4-9. Bortz, J. & Döring, N. (2009). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (4., überarbeitete Aufl.). Heidelberg: Springer Medizin Verlag. Bühl, Achim (2012). SPSS 20. Einführung in die moderne Datenanalyse (13., aktualisierte Aufl.). München: Pearson. Bühner, M. (2010). Einführung in die Test- und Fragebogenkonstruktion (2., aktualisierte und erw. Aufl.). München: Pearson. Buhren, C. G. (2007). Selbstevaluation in Schule und Unterricht. Ein Leitfaden für Lehrkräfte und Schulleitungen. Köln: LinkLuchterhand. Bundesministerium für Bildung und Forschung [bmbf]. (2012). Bildung auf einen Blick Bielefeld: Bertelsmann. Christen, F., Vogt, H. & Upmeier zu Belzen, A. (2001). Einstellung von Schülern zu Schule und Sachunterricht. Erfassung und Differenzierung von typologischen Einstellungsausprägungen bei Grundschülern. Zugriff am unter Cohen, J. (1969). Statistical Power Analysis for the Behavioral Sciences. NY: Academic Press. Ditton, H. & Merz, D. (2001). Qualitätssicherung in Schule und Unterricht-Fragen zum Unterricht. Osnabrück: Universität Osnabrück. Ditton, H. (2006). Unterrichtsqualität. In K.H. Arnold, U. Sandfuchs & J. Wiechmann (Hrsg.), Handbuch Unterricht (S.44-50). Bad Heilbrunn: Klinkhardt. Dobbelstein, P. (2007). Die Suche nach dem guten Unterricht. Qualitätsmaßstäbe in der Diskussion. Forum Schule,1, Eikenbusch, G. (1997). Schulinterne Evaluation. Ein Weg zur gemeinsamen Schulentwicklung. Pädagogik, 49 (5),

68 Feige, C. (2004). PISA und weitere Schulleistungsstudien. Ergebnisse und ihre Relevanz für Hochschulen (1. Aufl.) Hamburg: Kovač. Gauger, J.D. & Grewe. H. (2002). Zur Einführung: Öffentliche Reaktionen auf die PISA- Studie. In D. Althaus & H. Grewe (Hrsg.), PISA und die Folgen. Neue Bildungsdebatte und erste Reformschritte (Zukunftsforum Politik, Nr. 40) (S. 7-20). Sankt Augustin: Konrad-Adenauer-Stiftung. George, D. & Mallery, P. (2003). SPSS for Windows step by step. A simple guide and reference (4 th ed.) Boston: Allyn and Bacon. Hascher, T., & Baillod, J. (2000). Auf der Suche nach dem Wohlbefinden in der Schule. Schweizer Schule, 3, Helmke, A, Helmke, T. & Schrader, F.-W. (2007). Unterrichtsqualität: Brennpunkte und Perspektiven der Forschung. In K.H. Arnold (Hrsg.), Unterrichtsqualität und Fachdidaktik (S ) Bad Heilbrunn: Klinkhardt. Helmke, A. (2007). Was wissen wir über guten Unterricht? Wissenschaftliche Erkenntnisse zur Unterrichtsforschung und Konsequenzen für die Unterrichtsentwicklung. Zugriff am unter C /bst/05_Vortrag_Prof_Helmke.pdf Hüttner, M. & Schwarting, U. (2002). Grundzüge der Marktforschung (7., überarb. Aufl.) München; Wien: Oldenbourg. Juran, J. M., Gryna, F. M.& Bingham, R. S. (1974). Quality control handbook. (3 d ed.). New York: McGraw-Hill. Kaiser, F. & Pätzold, G. (Hrsg.). (1999), Wörterbuch der Berufs- und Wirtschaftspädagogik. Bad Heilbrunn: Klinkhardt. Klieme, E. (2006). Empirische Untersuchungsforschung: aktuelle Entwicklung, theoretische Grundlagen und fachspezifische Befunde. Einführung in den Thementeil. Zeitschrift für Pädagogik, 6, Klopp, E. (2013). Explorative Faktorenanalyse. Zugriff am unter Kmk for.mat (2013). Anforderungen an die Schulen heute. Zugriff am unter König, H. (2003). Forschungsbericht zur schulischen Sozialisation ( 1. Aufl.). München: GRIN Verlag. 67

69 König, J. (2007). Einführung in die Selbstevaluation. Ein Leitfaden zur Bewertung der Praxis sozialer Arbeit ( 2., neu überarb. Aufl.) Freiburg, Br: Lambertus. Kultusministerkonferenz [KMK]. (1997). Grundsätzliche Überlegungen zu Leistungsvergleichen innerhalb der Bundesrepublik Deutschland. Konstanzer Beschluss. Zugriff am unter Konstanzer-Beschluss.pdf Küpers, G. (1989). Qualität als philosophischer Begriff. In H.D. Zollondz (Hrsg.), Lexikon Qualitätsmanagement. Handbuch des modernen Managements auf der Basis des Qualitätsmanagements (S ). München; Wien: Oldenbourg. Landesinstitut für Schule und Medien Berlin-Brandenburg [LISUM]. (2013). Wir über uns. Zugriff am unter Leonhart, R. (2009). Lehrbuch Statistik (2., überarb. und erw. Aufl.) Bern: Huber. MacCallum, R. C., Widaman, K. F. / Zhang, S. & Hong, S. (1999). Sample Size in Factor Analysis. Psychological Methods, 4 (4), Meyer, H. (2004). Was ist guter Unterricht? (3., Aufl.). Frankfurt am Main: Scriptor. Meyer, H. (2003). Zehn Merkmale guten Unterrichts. Pädagogik, 10, Ministerium für Bildung, Jugend und Sport [MBJS]. (2012). Schulvisitation im Land Brandenburg. Handbuch zur Schulvisitation. Zugriff am unter pdf Moosbrugger, H. & Hartig, J. (2002). Factor analysis in personality research. Some artefacts and their consequences for psychological assessment. Psychologische Beiträge, 44, Niedersächsisches Kultusministerium [MKNiedersachsen]. (2006). Orientierungsrahmen Schulqualität in Niedersachen. Zugriff am unter Noack, M. (2007). Faktorenanalyse. Zugriff am unter OSZ Bürowirtschaft und Dienstleistungen [OSZ BuD]. (2009). Interne Evaluation Evaluationsbericht. Berichtslegung März Zugriff am unter pdf 68

70 Parasuraman, A., Zeithaml, V. A. & Berry L.L. (1985). A Conceptual Model of Service Quality. Journal of Marketing, 49, Peek, R. & Neumann, A. (2003). Schulische und unterrichtliche Prozessvariablen in internationalen Schulleistungsstudien. In G. Auernheimer (Hrsg.), PISA. Schieflagen im Bildungssystem. Die Benachteiligung der Migrantenkinder (S ). Opladen: Leske & Buderich. Peek, R. (2007). Interne Evaluation und einzelschulische Entwicklung Spagat zwischen Mindeststandards und Machbarem. In: J. Van Buer & C. Wagner (Hrsg.), Qualität von Schule. Ein kritisches Handbuch (S ). Frankfurt a. Main.: Lang Verlag. Qualitätsagentur am ISB (2010). Evaluation an Bayerns Schulen: Aktuelles Zugriff am unter aktuelles2010_internet.pdf Rammstedt, B. (2004). Zur Bestimmung der Güte von Multi-Item-Skalen: Eine Einführung. Zugriff am unter pload/forschung/publikationen/gesis_reihen/howto/howto12br.pdf&lnkname=fileadmin/upload/forschung/publikationen/gesis_reihen/howto/ho w-to12br.pdf Reinboth, C. (2006). Multivariate Analyseverfahren in der Marktforschung. Morrisville: LuLu-Verlagsgruppe. Rinne, H. (2008).Taschenbuch der Statistik (4., vollständig überarb. und erw. Aufl.) Frankfurt, M: Deutsch. Seeber, S. & Squarra, D. (2003). Lehren und Lernen in beruflichen Schulen, Schülerurteile zur Unterrichtsqualität. Frankfurt am Main: Lang. Senatsverwaltung für Bildung, Jugend und Wissenschaft [SenBJW]. (2012). Handlungsrahmen Schulqualität in Berlin. Qualitätsbereiche und Qualitätsmerkmale. Zugriff am unter Senatsverwaltung für Bildung, Wissenschaft und Forschung [SenBWF]. (2010). Schulinspektion im Schuljahr 2009/10. Zugriff am unter Spieß, M. (2009). Missing Data. Techniken zur Analyse. Münster: Lit. Statistisches Bundesamt (2012). Schulen auf einen Blick. Zugriff am unter n/broschuereschulenblick pdf? blob=publicationfile 69

71 Stockmann, R. (2004). Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren. Zugriff am unter Wagner, C. (2009). Unterrichtsentwicklung durch Schülerbefragungen Rezeption von Ergebnissen aus der internen Evaluation im Rahmen von Schulentwicklung. In J. Van Buer & J. Rückmann (Hrsg.), Pädagogische Schulentwicklung beruflicher Schulen in Berlin (S ). Studien zur Wirtschaftspädagogik und Berufsbildungsforschung aus der Humboldt-Universität zu Berlin, Band 15. Wagner, C. (2010). Unterrichtsentwicklung durch Evaluation am Beispiel des Netzwerk Schülerbefragung. Die berufsbildende Schule, 10, Wagner, C. (2013). Persönliche Kommunikation. Berlin im Juli Wirtz, M. A. & Nachtigall, C. (1998). Deskriptive Statistik. Weinheim; München: Juventa. 70

72 Anhang A Qualität in Schule Tabelle 2.1: Zehn Kriterien guten Unterrichts nach Hilbert Meyer (2004) Gütekriterien für guten Unterricht Klare Strukturierung des Unterrichts: Hoher Anteil an echter Lernzeit: Lernförderliches Klima: Inhaltliche Klarheit: Sinnstiftendes Kommunizieren: Methodenvielfalt: Individuelles Fördern: Intelligentes Üben: Transparente Leistungserwartungen: Vorbereitete Umgebung: Indikatoren Prozess-, Ziel- und Inhaltsklarheit, Rollenklarheit, Absprache von Regeln, Ritualen und Freiräumen gutes Zeitmanagement, Pünktlichkeit, Auslagerung von Organisationskram, Rhythmisierung des Tagesablaufs gegenseitiger Respekt, verlässlich eingehaltene Regeln, Verantwortungsübernahme, Gerechtigkeit und Fürsorge Verständlichkeit der Aufgabenstellung, Plausibilität des thematischen Gangs, Klarheit und Verbindlichkeit der Ergebnissicherung Planungsbeteiligung, Gesprächskultur, Sinnkonferenzen, Lerntagebücher und Schülerfeedback Reichtum an Inszenierungstechniken, Vielfalt der Handlungsmuster, Variabilität Freiräume, Geduld und Zeit, innere Differenzierung und Integration, individuelle Lernstandsanalysen und abgestimmte Förderpläne Bewusstmachen von Lernstrategien, passgenaue Übungsaufträge, gezielte Hilfestellungen und überfreundliche Rahmenbedingungen an Bildungsstandards orientierte, dem Leistungsvermögen der Schüler entsprechende Lernangebote und zügige Rückmeldungen zum Lernfortschritt gute Ordnung, funktionierende Einrichtung, brauchbares Lernwerkzeug 71

73 Klare Strukturierung des Unterrichts Unterricht ist dann klar strukturiert, wenn ein roter Faden für Schüler und Lehrer jederzeit klar erkennbar ist Hoher Anteil echter Lernzeit Die echte Lernzeit ist die vom Schüler tatsächlich aufgewendete Zeit für das Erreichen der angestrebten Ziele Lernförderliches Klima Ein lernförderliches Klima bezeichnet eine Unterrichtsatmosphäre, die gekennzeichnet ist durch: gegenseitigen Respekt, verlässlich eingehaltene Regeln, gemeinsam geteilte Verantwortung, Gerechtigkeit des Lehrers gegenüber jedem Einzelnen und des Lernverband insgesamt und Fürsorge des Lehrers für die Schüler und der Schüler untereinander. Inhaltliche Klarheit Inhaltliche Klarheit liegt dann vor, wenn die Aufgabenstellung verständlich, der thematische Gang plausibel und die Ergebnissicherung klar und verbindlich gestaltet worden sind. Sinnstiftendes Kommunizieren Sinnstiftendes Kommunizieren bezeichnet den Prozess, in dem die Schüler im Austausch mit ihren Lehrern dem Lehr-Lern-Prozess und seinen Ergebnissen eine persönliche Bedeutung geben. Methodenvielfalt Methodenvielfalt liegt vor (1) wenn der Reichtum der verfügbaren Inszenierungstechniken genutzt wird; (2) wenn eine Vielfalt von Handlungsmustern eingesetzt wird (3) wenn die Verlaufsformen des Unterrichtsvariabel gestaltet werden (4) und das Gewicht der Grundformen des Unterrichts ausbalanciert ist. Individuelles Fördern Individuelles Fördern heißt, jedem Schüler und jeder Schülerin die Chance zu geben, ihr bzw. sein motorisches, intellektuelles, emotionales und soziales Potential umfassend zu entwickeln und sie bzw. ihn dabei durch geeignete Maßnahmen zu unterstützen (durch Gewährung ausreichender Lernzeit, durch spezifische Fördermethoden, durch angepasste Lernmittel und gegebenenfalls durch Hilfestellungen weiterer Personen mit Spezialkompetenz). Intelligentes Üben 72

74 Übungsphasen des Unterrichts sind intelligent gestaltet, wenn (1) ausreichend oft und im richtigen Rhythmus geübt wird, (2) die Übungsaufgaben passgenau zum Lerngegenstand formuliert werden, (3) die Schüler Übungskompetenz entwickeln und die richtigen Lernstrategien nutzen und (4) die Lehrer gezielte Hilfestellungen beim Üben geben. Transparente Leistungserwartungen Transparenz der Leistungserwartungen besteht darin, den Schülern ein an den gültigen Richtlinien oder an Bildungsstandards ausgerichtetes und ihrem Leistungsvermögen angepasstes Lernangebot zu machen, dieses Angebot verständlich zu kommunizieren und zum Gegenstand eines Arbeitsbündnisses zu machen und ihnen nach formellen und informellen Leistungskontrollen zügig Rückmeldungen zum Lernfortschritt zu geben. Vorbereitete Umgebung Klassen- und Fachräume sind vorbereitete Umgebungen, wenn sie (1) eine gute Ordnung, (2) eine funktionale Einrichtung, (3) und brauchbares Lernwerkzeug bereithalten, sodass Lehrer und Schüler (4) den Raum zu ihrem Eigentum machen, (5) eine effektive Raumregie praktizieren (6) und erfolgreich arbeiten können. Abbildung 2.2: Definitionen der Zehn Merkmale guten Unterrichts von Hilbert Meyer (2003, S ) 73

75 Anhang B Schüler- und Lehrerfragebogen Netzwerk Berliner Schulen für die interne Evaluation Schülerbefragung 74

76 75

77 Netzwerk Berliner Schulen für die interne Evaluation Lehrerbefragung 76

78 77

79

80 Tabelle 5.1: Ergebnisse des Vergleichs der Gruppen Lehrerbogen vorhanden und Lehrebogen nicht vorhanden Meine Lehrerin/mein Lehrer Lehrerbogen N Mittelwert Standardabweichung t-test Mittelwertvergleiche Effektstärke Cohen s d ui01...ist immer gut auf den Unterricht vorbereitet. nicht vorhanden 146 3,50,624 nicht vorhanden ,60,621 signifikant ui02...beherrscht den Lehrstoff. nicht vorhanden 145 3,62,578 nicht vorhanden ,72,554 signifikant ui03...kann auf jede fachliche Frage eine Antwort geben. nicht vorhanden 145 3,39,659 nicht vorhanden ,44,669 signifikant ua01...spricht laut und deutlich, sodass ich alles gut verstehe. nicht vorhanden 146 3,56,761 nicht vorhanden ,63,620 signifikant ua02...drückt sich klar und verständlich aus. nicht vorhanden 145 3,35,722 nicht vorhanden ,45,711 signifikant ua04...geht im Unterricht in einer logischen Reihenfolge vor. nicht vorhanden 145 3,32,694 nicht vorhanden ,34,741 signifikant ua06...unterteilt den Unterricht in überschaubare Abschnitte. nicht vorhanden 143 3,15,731 nicht vorhanden ,13,783 signifikant ua07...gibt uns einen Überblick zur Gliederung des Stoffs. nicht vorhanden 143 3,18,793 nicht vorhanden ,14,802 signifikant 79

81 ud01...hat die Klasse im Griff. nicht vorhanden 145 3,13,810 vorhanden ,30,778 signifikant (0,09) ud02...schafft es, für Ruhe und Ordnung zu sorgen. nicht vorhanden 144 3,15,802 nicht vorhanden ,22,803 signifikant ud03...fordert, dass sich alle Schüler/-innen aktiv am Unterricht nicht vorhanden 146 3,22,809 nicht beteiligen. vorhanden ,26,788 signifikant ud05...legt Wert auf einen pünktlichen Beginn des Unterrichts. nicht vorhanden 145 2,99,972 vorhanden ,36,821 Signifikant (0,00) uc01...gestaltet den Unterricht abwechslungsreich. nicht vorhanden 144 3,24,760 vorhanden ,10,818 Signifikant (0,034) uc02...stellt uns interessante Aufgaben. nicht vorhanden 145 3,02,820 nicht vorhanden ,91,809 signifikant uc03...stellt Bezüge zu aktuellen Themen her. nicht vorhanden 145 3,32,770 vorhanden ,09,808 Signifikant (0,001) uc04...gestaltet den Unterricht interessant. nicht vorhanden 143 3,17,772 vorhanden ,03,818 Signifikant (0,033) ub01...stellt Verbindungen zwischen dem Unterrichtsstoff und nicht vorhanden 145 3,39,766 dem Berufs- bzw. Alltagsleben her. vorhanden ,17,827 Signifikant (0,001) ub02...benutzt Bilder und Beispiele, um den Lehrstoff zu veranschaulichen. nicht vorhanden 144 3,24,838 nicht vorhanden ,20,828 signifikant ub03...erklärt uns, wofür wir die behandelten Inhalte verwenden nicht vorhanden 146 3,28,803 nicht können. vorhanden ,16,789 signifikant ub04...stellt Beziehungen zwischen den behandelten Themen nicht vorhanden 139 3,24,721 nicht heraus. vorhanden ,17,716 signifikant Kleiner Effekt (0,22) Kleiner Effekt (0,45) Kleiner Effekt (0,17) Kleiner Effekt (0,28) Kleiner Effekt (0,17) Kleiner Effekt (0,27) 80

82 ub05...erklärt uns, warum der behandelte Inhalt wichtig ist. nicht vorhanden 146 3,25,750 nicht vorhanden ,21,791 signifikant uh01...bemerkt, wenn es Probleme in der Klasse gibt. nicht vorhanden 137 2,85,936 nicht vorhanden ,96,860 signifikant uh02...ermöglicht es uns, über Probleme zu reden. nicht vorhanden 146 3,17,833 nicht vorhanden ,09,878 signifikant uh03...nimmt sich Zeit, wenn man etwas mit ihm/ihr besprechen nicht vorhanden 142 3,54,681 möchte. vorhanden ,42,742 Signifikant (0,039) uh04...ist gerecht zu uns, sodass wir ihm/ihr vertrauen. nicht vorhanden 144 3,43,754 nicht vorhanden ,33,795 signifikant ug01...weiß genau, was ich leisten kann. nicht vorhanden 143 3,05,799 nicht vorhanden ,02,808 signifikant ug02...bemerkt Veränderungen in meinen Leistungen. nicht vorhanden 139 3,17,732 nicht vorhanden ,11,793 signifikant ug03...weiß genau, bei welchen Aufgaben ich Schwierigkeiten nicht vorhanden 139 2,76,830 nicht habe. vorhanden ,72,837 signifikant le02...ermöglicht es uns, eigene Vorschläge in die Unterrichtsgestaltung einzubringen. vorhanden ,99,888 nicht vorhanden 143 3,27,832 Signifikant (0,00) le04...nimmt Beiträge und Ideen von uns Schülern/-innen in den nicht vorhanden 142 3,30,744 Unterricht auf. vorhanden ,13,795 Signifikant (0,009) le05...lässt uns einzelne Unterrichtsstunden mitgestalten. nicht vorhanden 141 2,81,878 vorhanden ,61,902 Signifikant (0,008) lf01 Der Lehrer/die Lehrerin lässt uns eigene Lösungswege finden. vorhanden ,25,743 nicht vorhanden 142 3,43,612 Signifikant (0,005) Kleiner Effekt (0,16) Kleiner Effekt (0,32) Kleiner Effekt (0,21) Kleiner Effekt (0,22) Kleiner Effekt (0,12) 81

83 lf03 Bei umfangreichen Aufgaben kann ich mir die Arbeit selbst nicht vorhanden 143 3,22,788 nicht einteilen. vorhanden ,09,799 signifikant lf04 Ich habe im Unterricht die Möglichkeit, an selbst gewählten nicht vorhanden 141 2,62,914 Aufgaben zu arbeiten. vorhanden ,31,920 Signifikant (0,00) ld01 Wir bearbeiten Aufgaben in Gruppen. nicht vorhanden 144 3,33,774 vorhanden ,15,905 Signifikant (0,017) ld02 Wir führen eigene Untersuchungen/Projekte durch. nicht vorhanden 140 2,70,919 nicht vorhanden ,63,982 signifikant ld03 Aus dem Unterricht meines Lehrers/meiner Lehrerin kenne nicht vorhanden 142 2,70,989 nicht ich Unterrichtsmethoden wie zum Beispiel Stamm- vorhanden ,62 1,048 signifikant Experten-Gruppe, Stationen Lernen, o.ä. ld05 Mein Lehrer/meine Lehrerin lässt uns unsere Arbeitsergebnisse nicht vorhanden 143 3,41,695 nicht vorstellen. vorhanden ,39,729 signifikant lb04 Wir dürfen die Aufgaben auf unterschiedliche Weisen lösen. nicht vorhanden 144 3,25,743 vorhanden ,10,801 Signifikant (0,028) lb05 Wir können zwischen unterschiedlich schweren Aufgaben nicht vorhanden 142 2,23,926 nicht wählen. vorhanden ,13,908 signifikant lb06 Wenn ich früher fertig bin, bekomme ich zusätzliche Aufgaben. nicht vorhanden 146 2,66,935 nicht vorhanden ,54,978 signifikant lb07 Wenn ich Schwierigkeiten bei einer Aufgabe habe, bekomme ich Unterstützung. vorhanden ,43,737 nicht vorhanden 146 3,55,622 Signifikant (0,017) lb08 Wir bekommen Aufgaben, bei denen wir uns gegenseitig nicht vorhanden 148 3,40,754 helfen, wenn wir nicht weiter wissen. vorhanden ,26,751 Signifikant (0,022) lb09 Wenn ich Schwierigkeiten im Unterricht habe, kann ich auf nicht vorhanden 146 2,97,939 Lernhilfen zurückgreifen vorhanden ,81,941 Signifikant (0,035) Kleiner Effekt (0,34) Kleiner Effekt (0,20) Kleiner Effekt (0,19) Kleiner Effekt (0,16) Kleiner Effekt (0,19) Kleiner Effekt (0,17) 82

84 lb10 Meine Lehrerin/mein Lehrer macht mich auf ein zusätzliches Lernangebot aufmerksam, wenn ich etwas sehr vorhanden nicht vorhanden 146 2,56,982 nicht ,61,949 signifikant gut/weniger gut kann. la01 Mein Lehrer/meine Lehrerin stellt uns Unterrichtsmaterialien nicht vorhanden 146 3,41,740 nicht zu allen wichtigen Themen zur Verfügung. vorhanden ,34,751 signifikant la02 Das Unterrichtsmaterial ist übersichtlich gegliedert. nicht vorhanden 139 3,18,745 nicht vorhanden ,16,761 signifikant la03 Das Unterrichtsmaterial hilft mir, den Lehrstoff der Stunde nicht vorhanden 146 3,30,718 nicht zu wiederholen. vorhanden ,25,770 signifikant la04 Das Unterrichtsmaterial hilft mir, Klausuren vorzubereiten. nicht vorhanden 147 3,58,661 vorhanden ,43,727 Signifikant (0,006) ma04 Meine Lehrerin/mein Lehrer...gibt mir ausreichend Rückmeldung über meinen Leistungsstand. mb01 Ich gehöre zu den leistungsstarken Schülern/Schülerinnen in meiner Klasse. nicht vorhanden 143 3,14,810 nicht vorhanden ,03,859 signifikant nicht vorhanden 146 3,02,765 vorhanden ,79,848 Signifikant (0,00) mb02 In Klassenarbeiten schreibe ich häufig gute Noten. nicht vorhanden 143 3,08,697 vorhanden ,93,810 Signifikant (0,008) mb03 Lernen fällt mir leicht. nicht vorhanden 142 2,84,831 nicht vorhanden ,72,823 signifikant mb04r Ich brauche wenig Zeit, um Lerninhalte zu verstehen nicht vorhanden 148 2,7027 1,10324 vorhanden ,3784 1,28815 Signifikant (0,002) mc01 Meine Arbeitsaufgaben erledige ich in der Regel sorgfältig. nicht vorhanden 145 3,12,744 nicht vorhanden ,15,724 signifikant mc02r Im Unterricht lasse ich mich nicht leicht ablenken nicht vorhanden 148 2,2500 1,08719 Signifikant (0,015) vorhanden ,2723 1,26649 Kleiner Effekt (0,21) Kleiner Effekt (0,27) Kleiner Effekt (0,19) Kleiner Effekt (0,25) Kleiner Effekt (0,03) 83

85 mc03 Im Unterricht arbeite ich meist konzentriert mit. nicht vorhanden 145 2,97,749 nicht vorhanden ,95,713 signifikant mc04 Auf Klausuren/Tests bereite ich mich in der Regel gut vor. nicht vorhanden 146 2,73,906 vorhanden ,88,851 Signifikant (0,043) Kleiner Effekt (0,18) md01 Die in diesem Unterrichtsfach behandelten Inhalte machen nicht vorhanden 144 2,92,811 nicht mir Spaß. vorhanden ,89,851 signifikant md02r Im Unterricht in diesem Fach frage ich mich nicht oft, was nicht vorhanden 148 2,6689 1,16285 nicht ich hier soll vorhanden ,7491 1,38557 signifikant md03 Über die Inhalte dieses Fachs würde ich gerne noch mehr nicht vorhanden 144 2,83,949 nicht erfahren. vorhanden ,85,855 signifikant md04 Die Inhalte in diesem Fach finde ich interessant. nicht vorhanden 145 2,95,844 nicht vorhanden ,98,856 signifikant ga01 Mit meiner Schule bin ich sehr zufrieden. nicht vorhanden 146 2,83,905 nicht vorhanden ,89,941 signifikant ga02 Wenn ich die Wahl hätte, würde ich wieder auf diese Schule nicht vorhanden 142 2,80 1,005 nicht gehen. vorhanden ,85 1,053 signifikant ga03 Wenn meine beste Freundin/mein bester Freund fragt, würde nicht vorhanden 145 2,76 1,002 nicht ich diese Schule empfehlen. vorhanden ,83 1,023 signifikant za01 Wenn ich auf das letzte Halbjahr zurück blicke, habe ich viel nicht vorhanden 148 3,16,878 nicht dazu gelernt. vorhanden ,23,799 signifikant za02 Bei dieser Lehrerin/bei diesem Lehrer habe ich wirklich viel nicht vorhanden 144 3,12,806 nicht gelernt. vorhanden ,20,787 signifikant za03 Im Unterricht habe ich gelernt, die verschiedenen Fachgebiete nicht vorhanden 146 2,82,830 nicht zu verknüpfen. vorhanden ,84,750 signifikant 84

86 za04 Ich glaube, dass ich das, was ich im Unterricht gelernt habe, nicht vorhanden 145 3,10,819 nicht später gut verwenden kann. vorhanden ,06,836 signifikant anf Der Unterricht ist nicht vorhanden 136 2,75,767 vorhanden ,06,645 Signifikant (0,00) Kleiner Effekt (0,48) 85

87

88 Tabelle 5.3: ausführliche Skalendokumentation auf Basis der EFA-Ergebnisse Skala Fachkompetenz und Unterrichtsführung (S_FAKO) Item Label Trennschärfe Meine Lehrerin/mein Lehrer ui01...ist immer gut auf den Unterricht vorbereitet. 0,592 ui02...beherrscht den Lehrstoff. 0,608 ui03...kann auf jede fachliche Frage eine Antwort geben. 0,544 ua01...spricht laut und deutlich, sodass ich alles gut verstehe. 0,614 ua02...drückt sich klar und verständlich aus. 0,634 ud01...hat die Klasse im Griff. 0,679 ud02...schafft es, für Ruhe und Ordnung zu sorgen. 0,641 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,851 Mittelwert Skala: xx = 3,481 Standardabweichung Skala: s = 0,497 Skala Diagnostische Kompetenz und Sozialkompetenz (S_DISOKO) Item Label Trennschärfe Meine Lehrerin/mein Lehrer uh01...bemerkt, wenn es Probleme in der Klasse gibt. 0,629 uh02...ermöglicht es uns, über Probleme zu reden. 0,574 ug01...weiß genau, was ich leisten kann. 0,656 ug02...bemerkt Veränderungen in meinen Leistungen. 0,676 ug03...weiß genau, bei welchen Aufgaben ich Schwierigkeiten habe. 0,642 ma04 gibt mir ausreichend Rückmeldung über meinen Leistungsstand. 0,563 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,843 Mittelwert Skala: xx = 2,991 Standardabweichung Skala: s = 0,627 87

89 Skala Strukturiertheit und Unterrichtsmaterialien (S_STRUMA) Item Label Trennschärfe Meine Lehrerin/mein Lehrer ua06...unterteilt den Unterricht in überschaubare Abschnitte. 0,586 ua07...gibt uns einen Überblick zur Gliederung des Stoffs. 0,531 la02 Das Unterrichtsmaterial ist übersichtlich gegliedert. 0,653 la03 Das Unterrichtsmaterial hilft mir, den Lehrstoff der Stunde zu wiederholen. 0,607 la04 Das Unterrichtsmaterial hilft mir, Klausuren vorzubereiten. 0,561 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,803 Mittelwert Skala: xx = 3,221 Standardabweichung Skala: s = 0,577 Skala Schülermitbestimmung (S_MIT) Item Label Trennschärfe Meine Lehrerin/mein Lehrer le02...ermöglicht es uns, eigene Vorschläge in die Unterrichtsgestaltung einzubringen. 0,639 le04...nimmt Beiträge und Ideen von uns Schülern/-innen in den Unterricht auf. 0,625 le05...lässt uns einzelne Unterrichtsstunden mitgestalten. 0,567 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,773 Mittelwert Skala: xx = 2,910 Standardabweichung Skala: s = 0,717 Skala Individuelles Fördern (S_INFOE) Item Label Trennschärfe lf04 Ich habe im Unterricht die Möglichkeit, an selbst gewählten Aufgaben zu arbeiten. 0,577 lb05 Wir können zwischen unterschiedlich schweren Aufgaben wählen. 0,599 lb06 Wenn ich früher fertig bin, bekomme ich zusätzliche Aufgaben. 0,420 lb10 Meine Lehrerin/mein Lehrer macht mich auf ein zusätzliches Lernangebot aufmerksam, 0,468 wenn ich etwas sehr gut/weniger gut kann. Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,724 Mittelwert Skala: xx = 2,402 Standardabweichung Skala: s = 0,702 88

90 Skala Schülerautonomie und Förderung Schüler-Sozialklima (S_SAUTO) Item Label Trennschärfe lf01 Der Lehrer/die Lehrerin lässt uns eigene Lösungswege finden. 0,526 lf03 Bei umfangreichen Aufgaben kann ich mir die Arbeit selbst einteilen. 0,460 lb04 Wir dürfen die Aufgaben auf unterschiedliche Weisen lösen. 0,566 lb08 Wir bekommen Aufgaben, bei denen wir uns gegenseitig helfen, wenn wir nicht weiter 0,435 wissen. Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,710 Mittelwert Skala: xx = 3,178 Standardabweichung Skala: s = 0,569 Skala Berufs- und Lebensbezug des Unterrichts (S_BELEBE) Item Label Trennschärfe Meine Lehrerin/mein Lehrer uc03...stellt Bezüge zu aktuellen Themen her. 0,510 ub01...stellt Verbindungen zwischen dem Unterrichtsstoff und dem Berufs- bzw. 0,555 Alltagsleben her. ub03...erklärt uns, wofür wir die behandelten Inhalte verwenden können. 0,633 ub05...erklärt uns, warum der behandelte Inhalt wichtig ist. 0,579 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,768 Mittelwert Skala: xx = 3,160 Standardabweichung Skala: s = 0,619 Skala Schüleraktivierender Unterricht (S_SAKTIV) Item Label Trennschärfe ld01 Wir bearbeiten Aufgaben in Gruppen. 0,386 ld03 Aus dem Unterricht meines Lehrers/meiner Lehrerin kenne ich Unterrichtsmethoden 0,386 wie zum Beispiel Stamm-Experten-Gruppe, Stationen Lernen, schnelle Lesemethode, Mind Map o. Ä. Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,553 Mittelwert Skala: xx = 2,889 Standardabweichung Skala: s = 0,819 89

91 Skala Unterrichtliches Selbstengagement (S_USELENG) Item Label Trennschärfe mc01 Meine Arbeitsaufgaben erledige ich in der Regel sorgfältig. 0,562 mc03 Im Unterricht arbeite ich meist konzentriert mit. 0,509 mc04 Auf Klausuren/Tests bereite ich mich in der Regel gut vor. 0,512 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,706 Mittelwert Skala: xx = 2,993 Standardabweichung Skala : s = 0,609 Skala Schülerselbsteinschätzung zur Leistungsfähigkeit (S_LEIFK) Item Label Trennschärfe mb01 Ich gehöre zu den leistungsstarken Schülern/Schülerinnen in meiner Klasse. 0,608 mb02 In Klassenarbeiten schreibe ich häufig gute Noten. 0,670 mb03 Lernen fällt mir leicht. 0,523 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,785 Mittelwert Skala: xx = 2,809 Standardabweichung Skala: s = 0,693 Skala Einstellung zur Schule (S_EINSCH) Item Label Trennschärfe ga01 Mit meiner Schule bin ich sehr zufrieden. 0,786 ga02 Wenn ich die Wahl hätte, würde ich wieder auf diese Schule gehen. 0,839 ga03 Wenn meine beste Freundin/mein bester Freund fragt, würde ich diese Schule empfehlen. 0,834 Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,909 Mittelwert Skala: xx = 2,854 Standardabweichung Skala: s = 0,925 90

92 Skala: wahrgenommener Lernzuwachs und Förderung der Eigenaktivität der Schüler zum Lernen (S_LZUWA) Item Label Trennschärfe md01 Die in diesem Unterrichtsfach behandelten Inhalte machen mir Spaß. 0,721 md03 Über die Inhalte dieses Fachs würde ich gerne noch mehr erfahren. 0,592 md04 Die Inhalte in diesem Fach finde ich interessant. 0,742 za01 Wenn ich auf das letzte Halbjahr zurück blicke, habe ich viel dazu gelernt. 0,592 za02 Bei dieser Lehrerin/bei diesem Lehrer habe ich wirklich viel gelernt. 0,649 za04 Ich glaube, dass ich das, was ich im Unterricht gelernt habe, später gut verwenden 0,626 kann. Nennungen Skala: n = Cronbachs Alpha Skala: α = 0,861 Mittelwert Skala: xx = 3,031 Standardabweichung Skala: s = 0,638 91

93 Anhang D Datenauswertung Tabelle 6.1: Ergebnisse des Vergleichs der Gruppen Datensatz komplett und Datensatz bereinigt Gruppe N t-test Mittelwerabweichung Standard- Mittelwertvergleiche S_FAKO Fachkompetenz und Unterrichtsführung Datensatz komplett ,48,497 nicht Datensatz bereinigt ,48,498 signifikant S_DISOKO Diagnostische Kompetenz und Sozialkompetenz Datensatz komplett ,99,627 nicht Datensatz bereinigt ,99,627 signifikant S_STRUMA Strukturiertheit und Unterrichtsmaterialien Datensatz komplett ,22,577 nicht Datensatz bereinigt ,22,574 signifikant S_MIT Schülermitbestimmung Datensatz komplett ,91,717 nicht Datensatz bereinigt ,91,717 signifikant S_INFOE Schülerautonomie und Individuelles Datensatz komplett ,40,702 nicht Fördern Datensatz bereinigt ,40,698 signifikant S_SAUTO Binnendifferenzierung und Förderung Datensatz komplett ,18,569 nicht Schüler-Sozialklima Datensatz bereinigt ,18,567 signifikant S_BELEBE Berufs- und Lebensbezug des Unterrichts Datensatz komplett ,16,619 nicht Datensatz bereinigt ,16,619 signifikant S_SAKTIV Schüleraktivierender Unterricht Datensatz komplett ,89,819 nicht Datensatz bereinigt ,89,818 signifikant 92

94 S_USELENG Unterrichtliches Selbstengagement Datensatz komplett ,99,609 nicht Datensatz bereinigt ,99,608 signifikant S_LEIFK Schülerselbsteinschätzung zur Leistungsfähigkeit Datensatz komplett ,81,693 nicht Datensatz bereinigt ,81,692 signifikant S_EINSCH Einstellung zur Schule Datensatz komplett ,85,925 nicht Datensatz bereinigt ,86,924 signifikant S_LZUWA Wahrgenommener Lernzuwachs und Datensatz komplett ,03,638 nicht Förderung der Eigenaktivität der Schüler Datensatz bereinigt ,03,638 signifikant zum Lernen 93

95