Testen und Prüfen T E S T G Ü T E K R I T E R I E N W O R K S H O P I N F R E I B U R G N O V E M B E R 2 0 1 4
Testen und Prüfen Testgütekriterien
Folgende Fragen sollten Sie am Ende des Vortrags beantworten können Zweck und Ziel der Testgütekriterien Welche Testgütekriterien sind wichtig? Wozu benötigen wir Testgütekriterien?
Folgende Fragen sind mittels Testverfahren zu klären Über welche Sprachkompetenz verfügt der Lerner aktuell? Wie kann die Sprachleistung eingeordnet werden? Gibt es Hinweise auf mögliche Förderbedarfe, besondere Fehlerschwerpunkte, Schwächen bei Teilfertigkeiten?
Funktionen der Leistungsbeurteilung Beurteilungen von Leistungen liefern: Informationen über das Leistungsversmögen, das Sprachniveau der Lerngruppe geben der Lehrkraft Hinweise zu ihrem Unterricht helfen Leistungsdefizite bzw. Lerndefizite aufzudecken geben den Lernenden eine Rückmeldung
Testverfahren wozu? Durch Testverfahren werden Informationen über die kognitive und sprachliche Lernausgangslage sowie über zuvor erworbene Sprachkenntnisse und die Herkunft bzw. den sozioökonomischen Hintergrund erhoben. Wie und wozu diese Informationen verwendet werden, hängt damit zusammen, wie Testergebnisse erhoben und ausgewertet werden.
Testverfahren informell formell Bezugsgruppenorientiert Sozial kriterienorientiert
Informelle Testverfahren - sind nicht geeicht oder normiert - Erfassung der Ergebnisse von Lehr-Lernprozessen - Zuverlässigkeit und Gültigkeit werden nicht durch statistische Verfahren nachgewiesen - Bemühung um Objektivität - häufig standardisierte Verfahren (z.b. Klassenarbeiten)
Formelle Testverfahren - standardisierte Testverfahren - langwierige Testkonstruktion - werden an einer Stichprobe geeicht, d.h. während des Entwicklungsprozesses wird genau diejenige Population untersucht, für die der Test konzipiert wird - sie müssen die Testgütekriterien erfüllen
bezugsgruppenorientierter Vergleich zielt auf die konkreten Lernentwicklung einzelner Lerner bzw. Lerngruppen ab. Der Fokus liegt auf der individuellen Entwicklung
kriterienorientierter Vergleich Haben die Lerner ein bestimmtes Lernziel erreicht oder sich angenähert? Vergleich erfolgt bezüglich e.iner sachlichen Norm
der soziale Vergleich 3. zielt auf die Vergleich verschiedener Lerner oder Lerngruppen; 4. die individuelle Lernentwicklung wird einer sozialen Bezugsgruppe zugeordnet er dient auch zur Beurteilung des Unterrichts
Tetsgütekriterien Objektivität Reliabilität Validität
Objektivität Objektivität heißt, dass unter Anwendung eines Messinstruments Ergebnisse erzielt werden, die vom Forscher unabhängig sind. Bezogen auf das Zielen mit Pfeil und Bogens heißt das, wenn mehrere Schützen denselben Bogen und dieselben Pfeile benutzen, treffen sie stets dieselben Stellen.
Objektivität Standardisierung Durchführungsobjektivität Auswertungsobjektivität
Standardisierung Vereinheitlichte Ausführung des Testformats der Testdurchführung der Testauswertung der Testinterpretation
Durchführungsobjektivität Durchführungsobjektivität Bezieht sich auf die Unabhängigkeit der Testergebnisse von der Durchführung der Tests Die Durchführungsobjektivität hängt vor allem von der Qualität der Standardisierung ab
Auswertungsobjektivität Entsteht durch die Klarheit und Standardisierung der Auswertungskriterien Was wird beurteilt und wie wird es beurteilt, wie wird es beurteilt es gibt normierte Lösungen
Interpretationsobjektivität Der Grad der Unabhängigkeit der Testbewerter bestimmt das Ausmaß der Objektivität allen Prüfern müssen die Auswerungsvorgaben bekannt sein es gibt normierte Lösungen
Reliabilität Reliabilität heißt: unser Messinstrument misst genau das, was es messen soll. Bezogen auf eine Zielscheibe bedeutet dies, dass ein und derselbe Schütze in etwa immer die gleiche Stelle trifft. Achtung: Es kann sein, dass der Schütze zwar nie die Zielscheibe trifft, jedoch immer an derselben Stelle, z.b. immer ziemlich genau 1m zu weit links von der Zielscheibe. Dann ist das Messinstrument zwar reliabel, weil genau, aber nicht valide, weil offensichtlich ungeeignet.
Reliabilität Reliabilität Zuverlässigkeit bezieht sich auf die Genauigkeit Je größer die Zahl der Items (Testaufgaben), desto zuverlässiger wird gemessen bei Testwiederholung dürfen die Ergebnisse nicht abweichen
Validität Validität bedeutet, dass unser Messinstrument genau das und nichts anderes misst als es messen soll Validität bedeutet, dass wir mit Pfeil und Bogen ein Forschungsinstrument gewählt haben, dass sich für das angestrebte Ziel Zielscheibe treffen eignet. Validität bedeutet also, dass wir mit unserem Pfeil und Bogen prinzipiell im Stande sind, die Zielscheibe zu treffen.
Validität Augenscheinvalidität Kriteriumsvalidität Inhaltsvalidität Konstruktvalidität
Augenscheinvalidität Augenscheinvalidität betrifft die Gültigkeit bzw. Relevanz, die ein Test in den Auge der Prüflinge hat kann durch gezielte Information und Testtransparenz erlangt werden Zweck und Ziel des Tests muss klar sein
Inhaltsvalidität bestimmte Aspekte eines Lernstoffs werden erfasst wird von Experten, Lehrpersonen ermittelt es sollte die Fertigkeit erfasst werden, die getestet werden soll es sollte das geprüft werden, was zuvor gelernt wurde
Kriteriumsvalidität Kriteriumsvalidität es sollte tatsächlich gemessen werden, was der Test vorgibt zu messen bei Vergleich mit einer mit einem anderen Außenkriterium, z.b. der Schulnote muss sich ein annähernd gleiches Resultat ergeben
Konstruktvalidität Konstruktvalidität basiert auf theoretischen Modellen (z.b. der Sprachkompetenz) die zu untersuchende liegende Fertigkeit, Kompetenz muss definiert sein muss überprüfbar sein durch die Korrelation mit anderen Kriterien
Leistungsmessung in Form von Tests und Prüfungen Eine Sammlung von Informationen über den Kenntnisstand der geprüften Personen, verbunden mit einem bestimmten Ziel
Testverfahren Testverfahren sollten sich also immer an den Testgütekriterien orientieren, unabhängig davon, ob sie standardisiert sind oder ob es sich um informelle Verfahren handelt. Diagnostische Verfahren können sein: Tests Beobachtungsverfahren Analyseverfahren Portfolios Erhebungen des Sprachstands oder der Sprachkompetenz Profilanalysen
Handwerkliche Regeln Handwerkliche Regeln (Vgl. Kniffka/Siebert-Ott) Es sollte immer das abgefragt werden, was getestet werden soll, d.h. die Aufgaben sollten dementsprechend gestellt sein und nicht z.b. durch Weltwissen oder Hintergrundwissen beantwortet werden können. z.b. Hörtest: 1. Fragen sollten Hörverstehen nicht Erinnerungsvermögen abtesten 2. Auf sprachliche Formulierung achten 3. Aufgaben müssen ausschl. über das Hören des Textes lösbar sein 4. Fragen nicht auf sehr enge aufeinander folgende Textpassagen beziehen 5. Es sollte nur eine Lösung möglichsein 6. Einzelne Aspekte müssen eindeutig sein, nicht überlappend
Handwerkliche Regeln Beispielsweise Multiple-Choice-Test Hör-/Leseverstehen: 1. Die Abfolge der Aufgaben muss der Chronologie des Textes entsprechen, d.h. es darf kein Hin- und Herspringen erfolgen, da sonst möglicherweise etwas anderes gemessen wird als Hörverstehen. 2. Die Aufgaben sollten sprachlich leichter sein als der Text Lernende scheitern womöglich nicht am Text selbst, sondern am Leseverständnis der Aufgaben. 3. Die Aufgaben sollten ausschließlich über das Hören/Lesen des Textes zu beantworten sein und nicht etwa mit Weltwissen. 4. Die Aufgaben sollten sich möglichst nicht auf zu dicht aufeinander folgende Textpassagen beziehen sonst besteht die Gefahr, dass die Lernenden nicht alle zur Lösung erforderlichen Informationen mitbekommen : Während die erste Aufgabe noch verarbeitet wird, folgt schon die nächste das ist unfair. 5. Es darf nur eine Lösung geben. 6. Die einzelnen Optionen müssen eindeutig formuliert sein. Sie sollten sich auf keinen Fall überlappen. (Übernommen aus ppt von Gabriele Kniffka)
Formen von Testaufgaben Aufgaben, die die vier Grundfertigkeiten, Hören, Sprechen, Lesen, schreiben prüfen Typologisierung der Aufgaben nach dem Offenheitsgrad Ja Nein Aufgaben Multiple-Choice-Aufgaben Offene, komplexe Aufgaben, die Interpretation und Mitgestaltung einer kommunikativen Situation fordern
Fazit Test können verschiedene Funktionen erfüllen. Sie ermöglichen u.a. an Standards wie z.b. dem GER orientierte Beurteilungen vorzunehmen. Zuverlässige standardisierte Testverfahren sollten die Gütekriterien Validität, Reliabilität und Objektivität erfüllen. Testergebnisse wirken auf den Unterricht zurück, daher sollten Testaufgaben so konzipiert sein, dass sie den Zielen bzw. unterrichtlichen Konzeptionen entsprechen.
Nun sind Sie an der Reihe, können Sie dir folgenden Fragen beantworten? Welchen Zweck und welches Ziel haben Testgütekriterien? Welche Testgütekriterien kennen Sie? Wozu benötigen wir Testgütekriterien? Sie haben 8 min. für eine Gruppenarbeit, um diese Fragen zu diskutieren.
???? Haben Sie Fragen?? Vielen Dank für Ihre Aufmerksamkeit!??????