Gütekriterien HS Sprachstandsdiagnose und Sprachförderung SS2011 Referentin: Meghann Munro

Transkript

1 Gütekriterien HS Sprachstandsdiagnose und Sprachförderung SS2011 Referentin: Meghann Munro

2 Vorüberlegungen Wie objektiv ist der Test in seiner Durchführung, Auswertung und Interpretation? Misst das Verfahren zuverlässig? Misst das Instrument, was es vorgibt zu messen? 3 Hauptgütekriterien Objektivität, Reliabilität, Validität

3 Objektivität Unabhängigkeit der Testergebnisse vom Untersucher und den Rahmenbedingungen Hohe Objektivität durch Standardisierung Unterteilung in Durchführungs-, Auswertungsund Interpretationsobjektivität

4 Objektivität Durchführungsobjektivität Unabhängigkeit der Testergebnisse vom Verhalten des Untersuchers während der Testdurchführung Auswertungsobjektivität Unabhängigkeit der Testauswertung vom Untersucher, z.b. Lückentest

5 Objektivität Interpretationsobjektivität Unabhängigkeit der Interpretation der Auswertungsergebnisse vom Untersucher, z.b. durch numerischen Wert und Skala Je unterschiedlicher und zahlreicher die Informationen der Testauswertung, desto schwieriger ist die objektive Interpretation der Testergebnisse

6 Reliabilität Beschreibt die Genauigkeit, mit der Testergebnisse eine Eigenschaft erfassen Je größer die Zahl der Items, desto zuverlässiger die Messung Verschiedene Typen von Reliabilität: Retestreliabiliät, Paralleltestreliabilität, interne Konsistenz

7 Reliabilität Retestreliabilität Übereinstimmung der Testergebnisse bei wiederholter Durchführung des Tests bei der selben Probandengruppe Zu messende Eigenschaft darf sich nicht verändert haben Paralleltestreliabilität Äquivalente Formen eines Tests werden in der selben Stichprobe eingesetzt Messung der Reliabilität über Korrelation der Paralleltests

8 Reliabilität Interne Konsistenz Aufteilung eines Tests in äquivalente Teile Ermittlung der Reliabilität über Korrelation der einzelnen Teile Cronbachs Reliabilitätskoeffizient Alpha = durchschnittliche Korrelation zwischen zwei oder mehreren Teilen (Items) o Reliabilität = 0 unzuverlässige Messung o Reliabilität = 1 zuverlässige Messung

9 Validität Ausmaß, in dem ein Test das misst, was er messen soll Unterteilung in Inhaltsvalidität, Augenscheinvalidität, Konstruktvalidität und kriterienbezogene Validität

10 Validität Inhaltsvalidität Relevanz und Repräsentativität des Testinhalts in Bezug auf den zu messenden Bereich Bestimmung durch Einschätzung von Experten logische Validität Augenscheinvalidität Grad der Validität aus Sicht der Probanden und Untersucher

11 Validität Konstruktvalidität Inwieweit sind die beobachteten Testergebnisse gültige Indikatoren von zugrunde liegenden theoretischen Konstrukten o Unterrepräsentation Zu eng gefasster Test, der wichtige Dimensionen des Konstrukts unberücksichtigt lässt o Konstruktirrelevante Testvarianz Merkmale, die nichts mit der zu messenden Fähigkeit zu tun haben, den Test aber leichter oder schwerer machen

12 Validität Kriterienbezogene Validität Inwieweit stimmen die Testergebnisse mit einem unabhängigen Außenkriterium (z.b. ein anderer Test) überein? Messen beide Tests das gleiche Konstrukt? Ermittlung empirisch anhand der Testergebnisse empirische Validität

13 Beziehungen zwischen den Gütekriterien Objektivität und Reliabilität sind notwendige, nicht jedoch hinreichende Voraussetzungen für eine zufrieden stellende Validität Ein Test kann kriterienbezogen nicht valider als reliabel sein Sowohl Paralleltest- als auch Retestreliabilität können nicht höher sein, als die innere Konsistenz sowie die Auswertungs- und Durchführungsobjektivität

14 Beziehungen zwischen den Gütekriterien Eine hohe kriterienbezogene Validität impliziert zugleich eine hohe Objektivität und Reliabilität. Im Fall einer hohen kriterienbezogenen Validität kann deshalb häufig auf eine Überprüfung der Objektivität und Reliabilität verzichtet werden Ein Test mit einer ausreichenden Validität und einer geringen Reliabilität hat ausgezeichnete Verbesserungschancen, da sich die Reliabilität und damit zugleich die kriterienbezogene Validität zumeist testtechnisch leicht erhöhen lässt (z.b. durch Aussondern und Hinzufügen von Aufgaben) Ein Test mit geringer Validität und hoher Reliabilität eignet sich zwar zur Differenzierung zwischen Individuen, jedoch nur sehr bedingt zur Vorhersage des jeweiligen Kriteriums (Test und Kriterium messen nur sehr bedingt das Gleich). Die kriterienbezogene Validität eines solchen Tests kann nur über eine inhaltliche Überarbeitung verbessert werden. Um eine zufrieden stellende kriterienbezogene Validität zu erreichen, muss nicht nur der Test, sondern auch das Kriterium hinreichend objektiv und reliabel sein.

15 Aufgabe DSH (Deutsche Sprachprüfung für den Hochschulzugang) Nachweis über sprachliche Fähigkeit in Bezug auf die Aufnahme eines Fachstudiums Studienbezogene Texte verstehen, analysieren, wiedergeben, kommentieren Schriftliche und mündliche Prüfung o Hör- und Leseverstehen o Wissenschaftliche Strukturen o Textproduktion o Kurzvortrag o Dialog

16 Aufgabe Ordnung der Johann Wolfgang Goethe-Universität Frankfurt am Main über die Deutsche Sprachprüfung für den Hochschulzugang (DSH) für Studienbewerberinnen und Studienbewerber mit ausländischer Hochschulzugangsberechtigung vom 26. September Schriftliche Prüfung 2. Verstehen und Bearbeiten eines Lesetextes Der Kandidat/ Die Kandidatin soll zeigen, dass er/sie einen schriftlich vorgelegten Text verstehen und sich damit auseinandersetzen kann. a) Art des Textes Es soll ein weitgehend authentischer, studienbezogener und wissenschaftsorientierter Text vorgelegt werden, der keine Fachkenntnisse voraussetzt, ggf. nur solche, die Gegenstand eines vorangegangenen fachspezifisch orientierten Unterrichts waren. Dem Text können z.b. eine Graphik; ein Schaubild oder ein Diagramm bei-gefügt werden. Der Text soll einen Umfang von nicht weniger als 4000 und nicht mehr als 5500 Zeichen (incl. Leerzeichen) haben. b) Aufgabenstellung Die Aufgabenstellung ist abhängig von der Struktur des Prüfungstextes. Das Textverstehen und die Fähigkeit zur Textbearbeitung können u.a. durch folgende Aufgabentypen überprüft werden: o Beantwortung von Fragen o Darstellung der Argumentationsstruktur des Textes o Darstellung der Gliederung des Textes o Erläuterung von Textstellen o Formulierung von Überschriften o Zusammenfassung. c) Bewertung Die Leistung ist nach Vollständigkeit und Angemessenheit der Erfüllung der gestellten Aufgaben zu bewerten. Dabei sind inhaltliche Aspekte stärker zu berücksichtigen als sprachliche Korrektheit.

17 Aufgabe Warum ist die DSH nicht hinreichend objektiv? Was müsste man ändern um die Objektivität zu erhöhen?

18 Quellen Basisquelle: Grotjahn, R. (2000). Testtheorie: Grundzüge und Anwendung in der Praxis. In: A. Wolff & H. Tanzer (Hrsg.), Sprache Kultur Politik (=Materialien Deutsch als Fremdsprache Bd. 53). Regensburg, S Zusatzquellen: Fried, L. & Briedigkeit, E. (2006). Sprachstandserhebungen. Verschiedene Verfahren in Kindergarten und Grundschule. Die Grundschulzeitschrift 198, S ( ; 17:48 Uhr) ( ; 18:20 Uhr)