WORKSHOP METHODEN ZUR TEST- UND FRAGEBOGENKONSTRUKTION UND VERFAHREN DER DATENAUSWERTUNG. Prof. Dr. Nadine Spörer

Größe: px

Ab Seite anzeigen:

Download "WORKSHOP METHODEN ZUR TEST- UND FRAGEBOGENKONSTRUKTION UND VERFAHREN DER DATENAUSWERTUNG. Prof. Dr. Nadine Spörer"

Minna Wetzel
vor 8 Jahren
Abrufe

1 WORKSHOP METHODEN ZUR TEST- UND FRAGEBOGENKONSTRUKTION UND VERFAHREN DER DATENAUSWERTUNG Prof. Dr. Nadine Spörer

2 Gliederung Messmodelle: Status- und Prozessdiagnostik Schulleistungstests und Fragebögen Konstruktion Gütekriterien

3 Pädagogische Diagnostik umfasst alle diagnostischen Tätigkeiten, durch die bei einzelnen Lernenden oder den in einer Gruppe Lernenden Voraussetzungen und Bedingungen planmäßiger Lehr- und Lernprozesse ermittelt, Lernprozesse analysiert und Lernergebnisse festgestellt werden, um individuelles Lernen zu optimieren. Ingenkamp & Lissmann (2008)

Bedingungen planmäßiger Lehr- und Lernprozesse ermittelt, Lernprozesse analysiert und

4 Im Sinne einer gerechten Auslese lautet die Prüfungsfrage für Sie alle gleich: Klettern Sie auf den Baum!

5 Statusdiagnostik Prozessdiagnostik zeitstabile Eigenschaften Prognosen nach einmaliger Messung Normorientierung Verhalten ist veränderbar wiederholte Untersuchungen Häufigkeits- Genauigkeits-Dilemma Kriteriumsorientierung

Normorientierung Verhalten ist veränderbar wiederholte

6 Arten von standardisierten Schulleistungstest normorientiert Vergleich eines individuellen Ergebnisses mit den an einer relevanten Stichprobe ermittelten Ergebnissen (Norm) Vergleichswerte: meist Prozentränge oder T-Werte kriteriumsorientiert Vergleich eines individuellen Ergebnisses mit einem vorher gesetzten Kriterium (Lernziel, Kompetenzstufe) Aussagen über ein erreichtes Kompetenzniveau (Welche Aufgaben werden bei einer bestimmten Punktanzahl gelöst?)

kriteriumsorientiert Vergleich eines individuellen Ergebnisses mit einem vorher gesetzten Kriterium (Lernziel,

7 Beispiel: Leseverständnistext für Erst- bis Sechstklässler (ELFE 1-6) Die Aufgabe: Die Sätze zügig und gründlich lesen und die zum Text passende Antwort anstreichen. Bearbeitungszeit: 20 Sätze in 7 Minuten. Tim freut sich, wenn die Sonne scheint. Dann kann er mit seinen Freunden Fußball spielen. Tim o isst gerne Obst. o ärgert seine Schwester. o macht seine Hausaufgaben. o spielt gerne Fußball.

Bearbeitungszeit: 20 Sätze in 7 Minuten. Tim freut sich, wenn die Sonne scheint.

8 Konstruktion von Schulleistungstests und Fragebögen 1. Planung 2. Inhaltsanalyse/ Curriculare Analyse 3. Aufgabenkonstruktion 4. Empirische Aufgabenanalyse 5. Eichung

9 Konstruktion eines Fragebogens: Zusammenarbeit mit Kollegen trifft gar nicht zu trifft eher nicht zu trifft eher zu trifft voll zu Ich kann inklusiven Unterricht nur realisieren, wenn ich mit anderem Fachpersonal (z.b. Einzelfallhelfer, Sonderpädagogen, Therapeuten) zusammenarbeite. Ich bin davon überzeugt, dass sich nur in Zusammen-arbeit mit anderen Lehrkräften ein inklusiver Unterricht in meiner Klasse realisieren lässt. Ich bin bereit, meine Erfahrungen im inklusiven Unterricht mit anderen zu teilen. Ich bin offen für die Erfahrungen anderer zum inklusiven Unterrichten.

Ich bin davon überzeugt, dass sich nur in Zusammen-arbeit mit anderen Lehrkräften ein inklusiver Unterricht in meiner Klasse realisieren lässt.

10 BEISPIEL

11 Entwicklung eines Elternfragebogens Kleingruppenarbeit: Entwickeln Sie einen kurzen Fragebogen zum Thema Einstellungen von Eltern zum inklusiven Unterricht. Formulieren Sie hierfür ca. 6 Aussagen, die dieses Merkmal abbilden. Zeit: ca Minuten

12 Empirische Aufgabenanalyse Ziel: Auswahl der Aufgaben für die finale Testfassung Überprüfung der Trennschärfe Maß für die Brauchbarkeit einer Aufgabe zur Differenzierung zwischen Personen mit hoher und niedriger Merkmalsausprägung Zusammenhang zwischen der Bearbeitung einer Aufgabe und allen anderen Aufgaben im Test

Aufgabe zur Differenzierung zwischen Personen mit hoher und niedriger

13 Empirische Aufgabenanalyse brauchbare Aufgaben positive Zusammenhänge: Stärkere Schüler lösen eine Aufgabe häufiger als schwächere Schüler (Test) bzw. Personen mit hoher Merkmalsausprägung stimmen einer Aussage eher zu als Personen mit niedriger Merkmalsausprägung (Fragebögen). unbrauchbare Aufgaben keine Zusammenhänge: Schwächere und stärkere Schüler lösen eine Aufgaben vergleichbar häufig negative Zusammenhänge: Schwächere Schüler lösen eine Aufgabe häufiger als stärkere Schüler.

Personen mit hoher Merkmalsausprägung stimmen einer Aussage eher zu als Personen mit niedriger Merkmalsausprägung

14 BEISPIEL

15 GÜTEKRITERIEN

16 Hauptgütekriterien Objektivität Reliabilität Validität Durchführung Retest- Reliabilität Auswertung Innere Konsistenz kriterienbezogene Validität Interpretation Paralleltest- Reliabilität Inhaltsvalidität Konstruktvalidität

Konsistenz kriterienbezogene Validität Interpretation

17 Reliabilität = Zuverlässigkeit der Messung möglichst präzise und fehlerfreie Messung verändert sich ein Schülermerkmal nicht über eine gewisse Zeit, so sollte jede Messung dieses Merkmals das gleiche Ergebnis bringen Grad der Zuverlässigkeit abhängig von der Stabilität eines Merkmals Bestimmung des Reliabilitätskoeffizienten

jede Messung dieses Merkmals das gleiche Ergebnis bringen Grad der

18 Methoden der Reliabilitätsbestimmung Retestreliabilität Bearbeitung der gleichen Aufgaben zu unterschiedlichen Zeiten Berechnung des Zusammenhangs zwischen 1. und 2. Messung Innere Konsistenz Konsistenzanalyse: Unterteilung des Tests in ebenso viele Teile wie er Aufgaben hat, Bestimmung des Zusammenhangs zwischen den Aufgaben Paralleltestreliabilität Vergleich zweier verschiedener Aufgabensammlungen, die sich inhaltlich möglichst ähnlich sind (Parallelformen) Berechnung des Zusammenhangs beider Formen

Messung Innere Konsistenz Konsistenzanalyse: Unterteilung des Tests in ebenso viele Teile wie er Aufgaben hat, Bestimmung des

19 Eichung Ziel: Gewinnung von Vergleichsnormen Eichstichprobe repräsentative Stichprobe aller Schülergruppen, die später mit dem Test verglichen werden sollen Normierungsvarianten Prozentränge: relative Position eines Schülers in einer Rangordnung Standardnormen: z.b. T-Werte (Mittelwert = 50, SD = 10)

sollen Normierungsvarianten Prozentränge: relative Position eines Schülers

20 Verschiedene Normskalen

21 Beispiel: Leistungen der Drittklässler

Ähnliche Dokumente

Glaube an die Existenz von Regeln für Vergleiche und Kenntnis der Regeln

Glaube an die Existenz von Regeln für Vergleiche und Kenntnis der Regeln Regeln ja Regeln nein Kenntnis Regeln ja Kenntnis Regeln nein 0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % Glauben Sie, dass