Fragebogen zur Standortbestimmung von Zürcher Volksschulen: Ermittlung und Darstellung von Ergebnissen der einzelnen Schulen

Transkript

1 ETH Zürich Seminar für Statistik Fragebogen zur Standortbestimmung von Zürcher Volksschulen: Ermittlung und Darstellung von Ergebnissen der einzelnen Schulen Dr. Werner Stahel Seminar für Statistik, ETH Zürich 12. Mai Problemstellung Die Bildungsdirektion erhebt im Volksschulbereich Daten, die es den Schulen erlauben sollen, ihre Qualität zu beurteilen. Dazu wird ein Fragebogen an alle Eltern der Schulkinder verteilt. Die Fragen zur Beurteilung der Schule durch die Eltern erlauben jeweils eine Antwort auf der Skala von 1 bis 5. Zur Standortbestimmung sollen für jede einzelne Frage der Mittelwert über die Antworten der Eltern gebildet werden, und dieser soll mit den entsprechenden Wert für den ganzen Kanton verglichen werden. Die einfachste Art, die Daten auszuwerten, besteht darin, sie als quantitative Daten zu interpretieren, also eine sogenannte Differenzenskala anzunehmen. Dann kann man mit gewöhnlichen arithmetischen Mittelwerten und entsprechenden Vertrauensintervallen arbeiten. Hier wird ein alternatives Verfahren vorgeschlagen, wie die relative Positionierung einer Schule im Vergleich zur Grundgesamtheit für eine einzelne Frage ermittelt und grafisch dargestellt werden kann. Es hat die folgenden Eigenschaften: Die Skala der Antwortmöglichkeiten wird nur als ordinale Skala behandelt. Der grafische Vergleich mit der Grundgesamtheit wird erleichtert. Die Mittelwerte auf dieser Skala werden mit einem Vertrauensintervall dargestellt. Das enthält auch die Möglichkeit, die Abweichung vom Mittel der Grundgesamtheit auf statistische Signifikanz zu prüfen, ist aber wesentlich informativer als ein solcher Test. Gekürzte Version Mai

2 2 Methode Notation. Wir betrachten eine bestimmte Frage. Es sei N hk die Personen der Schule h, die die Antwort k gegeben haben (k = 1, 2, 3, 4, 5), N 0k die Summe über alle Schulen, N 0k = h N hk, n h = k N hk die Antworten für Schule h, n = k N 0k die Antworten, die in der ganzen Grundgesamtheit (Kanton) für die Frage abgegeben wurden. (Nichtantworten werden nicht berücksichtigt.) Rang-Scores. Der Rang-Score r k für eine Antwort k sei der mittlere Rang dieser Antwort in der Grundgesamtheit. Er berechnet sich nach der Formel r 1 = 100 N 01 (1) 2n ( ) / r k = 100 N 0l + N 0k /2 n, k > 1 (2) l<k Mittlerer Rang-Score mit Vertrauensintervall. Für eine einzelne Schule wird ein mittlerer Rang-Score berechnet nach Z h = 1 N hk r k (3) n h Ein Vertrauensbereich [Z 0h, Z 1h ] für den erwarteten Score der Schule ergibt sich über die Standardabweichung s h aus dem Standardfehler se h nach k s 2 h = 1 N hk rk 2 n Z2 h (4) h k se 2 h = 1 n h s 2 h (5) Z 0h = Z h 1.96 se h, Z 1h = Z h se h (6) (Man kann für die Berechnung s 2 h den Nenner n h 1 statt n h benützen. Das macht keinen spürbaren Unterschied.) 2

3 Vergleich mit dem Mittel in der Grundgesamtheit. Der mittlere Rang-Score über die Grundgesamtheit beträgt immer 50%. Ein statistischer Test der Hypothese, dass eine bestimmte Schule h in der betrachteten Frage von diesem Mittel nur zufällig abweicht, kann durchgeführt werden, indem man feststellt, ob der Wert 50% im gerade angegebenen Vertrauensintervall liegt. (Man kann einwenden, dass auch das Mittel über die Grundgesamtheit eine statistische Streuung aufweist. Diese ist aber, wenn die Grundgesamtheit wesentlich grösser ist als die betrachtete Schule, vernachlässigbar. Ausserdem ergibt die Tatsache, dass der Mittelwert der Schule im Gesamtmittel enthalten ist, eine Korrektur in die richtige Richtung.) Rücktransformation. Es ist auch möglich, die Resultate auf die ursprüngliche Skala (von 1 bis 5) zurück zu transformieren. Generell ergibt sich aus einem z-wert ein x-wert mittels Interpolation, x = k + z r k falls r k z r k+1 (7) r k+1 r k x = 1 ( 1 r ) 1 z falls z < r 1 (8) 2 r 2 r 1 x = z r 5 r 5 r 4 falls z > r 5 (9) Die letzten beiden Formeln sind pragmatisch begründet. Sie kommen nur für Grenzen von Vertrauensintervallen zum Zug. Die rücktransformierten Mittelwerte Z h sind immer zwischen z 1 und z 5. Die rücktransformierten Werte Z h, Z 0h, Z 1h wollen wir mit X h, X 0h, X 1h bezeichnen. Sie geben die Standortgrösse und deren Vertrauensintervall wieder. Zum Vergleich müssen auch die Kennwerte für die Grundgesamtheit zurücktransformiert werden. Sinnvoll sind der Median und die Quartile, die als rücktransformierte Werte zu z = 0.5, 0.25, 0.75 ermittelt werden. 3 Grafische Darstellung. Die Mittelwerte und Vertrauensintervalle können grafisch einfach festgehalten werden. Es ist wünschbar, dass dies im visuellen Zusammenhang mit einer Darstellung der Antwort- Häufigkeiten geschieht. Abbildungen 1 bis 2 zeigen solche Darstellungen für je zwei Items der Primarschul- und der Sekundar-Erhebung, für drei resp. zwei Schulen. Die Daten, die der Darstellung zugrunde liegen, sind in Tabelle 1 wiedergegeben. 3

4 N h1 N h2 N h3 N h4 N h5 Frage Klima, Primarschule Kanton Schule Schule Schule Frage Schnell, Primarschule Kanton Schule Schule Schule Frage Interesse, Sekundarschule Kanton Schule Schule Frage Meinung, Sekundarschule Kanton Schule Schule Tabelle 1: Antworthäufigkeiten für je 2 Fragen in 3 Primarschulen und 2 Sekundarschulen. Darstellung in der Rang-Skala. Die ersten beiden Abbildungen (1 und 2) zeigen die Ergebnisse in der Rang-Skala. Der obere Teil der Darstellung jedes Items besteht aus einem Histogramm der Antwort- Häufigkeiten. Dieses wird in dem Sinne unüblich dargestellt, als die Position der Stäbe, die die Häufigkeiten zeigen, nicht den ursprünglichen Antworten 1 bis 5, sondern den Rang-Scores entspricht. Diese Positionen zeigen indirekt, wie die Antwortmöglichkeiten in der Grundgesamtheit benützt wurden: Wenn, wie in den beiden Beispielfragen, vorwiegend die Werte 3, 4 und 5 benützt wurden, nehmen diese einen breiteren Raum ein, und die Werte 1 und 2 erscheinen zusammengedrängt. Im Gegensatz dazu wird in der zweiten Frage in Abbildung 2 die Antwort 5 wenig gewählt. Der zweite Teil zeigt den Mittelwert der Schule in der Rang-Skala, zusammen mit seinem Vertrauensintervall. Der Mittelwert über den ganzen Kanton beträgt immer 50% so ist die Rangskala definiert. Es fällt also leicht, eine Schule mit dem Gesamtmittel über den ganzen Kanton zu vergleichen. Wenn man mehrere Items für die gleiche Schule betrachtet, kann man auch leicht ablesen, für welche Items die Schule überdurchschnittlich und für welche schlechter abschneidet. 4

5 PrKlima.PS1 PrSnell.PS PrKlima.PS PrKlima.PS PrSnell.PS PrSnell.PS Abbildung 1: Grafische Darstellung der Antworthäufigkeiten und der mittleren Rang-Scores mit Vertrauensintervallen für 2 Fragen und 3 Schulen. 5

6 SkIntrs.SS1 SkMeing.SS SkIntrs.SS2 SkMeing.SS Abbildung 2: Grafische Darstellung der Antworthäufigkeiten und der mittleren Rang-Scores mit Vertrauensintervallen für 2 Fragen und 2 Sekundarschulen. 6