Aufbau des Experiments Reihung von Versuchsitems und Distraktoren

Transkript

1 Reihung von Versuchsitems und Distraktoren Reihung von Versuchsitems und Distraktoren Hinweis D1 (Verhältnis Distraktoren:Versuchsitems): Es sollten Distraktoren eingebaut werden, im Falle von Sprecherbefragungen Stimuli, die den Versuchsitems ähneln, aber nicht das untersuchte Phänomen repräsentieren. Richtlinie für das Verhältnis von Distraktoren zu Versuchsitems: im Bereich von 1:1, 2:1, 3:1. Gries, Stefan Th Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 58. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 1] Reihung von Versuchsitems und Distraktoren Hinweis D2 (Randomisierung von Items): Versuchsitems und Distraktoren müssen pseudorandomisiert werden (Randomisierung plus manuelle Kontrolle). Beachten: Fragebogen mit Distraktor beginnen Beachten: Versuchsitems nicht unmittelbar aufeinander folgen lassen Beachten: Versuchsitems mit gleichen Variablenausprägungskombinationen nicht unmittelbar aufeinander folgen lassen Gries, Stefan Th Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 58. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 2] 1

2 Reihung von Versuchsitems und Distraktoren Hinweis D3 (Probanden-spezifische Randomisierung): Die Reihenfolge von Versuchsitems und Distraktoren wird für jede Versuchsperson pseudorandomisiert. Untersuchungen haben gezeigt, dass die Position eines Ausdrucks in der Abfolge des Materials einen Einfluss auf seine Bewertung hat: Nervosität am Anfang zunehmende Sicherheit in der Aufgabe Ermüdung gegen Ende Einfluss durch vorausgehende Ausdrücke Featherston Data in generative grammar: The stick and the carrot. Theoretical Linguistics 33(3): Greenbaum, Sidney Informant elicitation of data on syntactic variation. Lingua 31: Gries, Stefan Th Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 58. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 3] Auswahl und Darbietung des Materials Online-Randomisierer: Random.org ( Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 4] 2

3 Auswahl und Darbietung des Materials V = Versuchsitems (hier 16) D = Distraktoren (hier 32) Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 5] Durchführung der Befragung Durchführung der Befragung Hinweis E1 (Probandenanzahl): Grammatikalitätsurteile müssen immer von einer hinreichend großen Gruppe von Probanden erhoben werden. Urteilsvariabilität, die sprecherübergreifend,aber auch bei Befragungswiederholungen beim gleichen Sprecher festzustellen ist, wird ausgeglichen. Nach Featherston (2007: 233) genügen Sprecher; bei bestimmten Phänomenen können reichen. Die Anzahl hängt auch ab von der Struktur des schematischen Token- Sets (s. Hinweise C1 C5). Manche Probanden brechen das Experiment ab oder beantworten nicht alle Fragen. Daher: mehr Probanden als erforderlich einplanen. Featherston Data in generative grammar: The stick and the carrot. Theoretical Linguistics 33(3): Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 6] 3

4 Durchführung der Befragung Hinweis E2 (Kein Bezug auf Sprachgebrauch der Probanden): Probanden sollten nicht gefragt werden, ob sie die vorgelegten Sätze selber so verwenden würden. Die Bezugnahme auf den eigenen Sprachgebrauch der Probanden beeinflusst das Urteil, da Probanden ihr eigenes Sprachverhalten durch Reflexion über vermeintliche normative Vorgaben beschönigen. Viele Strukturen werden von Probanden nicht benutzt, da es andere präferierte Ausdrucksmöglichkeiten gibt, ohne dass die Strukturen ungrammatisch sind. Featherston Data in generative grammar: The stick and the carrot. Theoretical Linguistics 33(3): Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 7] Durchführung der Befragung Hinweis E3 (Mehrpunktskalen): Basiert das Experiment auf Wohlgeformtheitsurteilen, sollten keine binären Entscheidungsmöglichkeiten vorgegeben werden, sondern Mehrpunktskalen. Sprecherurteile sind in Bezug auf die meisten Phänomen gradient. Featherston Data in generative grammar: The stick and the carrot. Theoretical Linguistics 33(3): S. 293f. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 8] 4

5 Analyse und Interpretation Hinweis E4 (Tabellendarstellung): Die Daten werden (vor allem für die statistische Auswertung) in einer Tabelle so festgehalten, dass jede Zeile genau einen Fall (also ein Urteil) beinhaltet. Fall-ID Satz Er aß zwei Minuten lang einen Apfel Er verzehrte zwei Minuten lang einen Apfel Er aß einen Apfel in zwei Minuten Er verzehrte einen Apfel in zwei Minuten Er aß zwei Minuten lang einen Apfel Er verzehrte zwei Minuten lang einen Apfel Morph Simplex Präfix Simplex Präfix Simplex Präfix Asp Activity Activity Accompl Accompl Activity Activity Proband a b c d e f Urteil Die Tabelle enthält: Fallnummer, Versuchsitems, abhängige und unabhängige Variablen, registrierte Störvariablen, Probanden, Urteile, gegebenenfalls Distraktoren und eine Variable, die Versuchsitems von Distraktoren unterscheidet. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 9] Die Tabelle in Excel Analyse und Interpretation Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 10] 5

6 Analyse und Interpretation Hinweis E5 (Maße der beschreibenden Statistik): Analysieren Sie die Daten zumindest hinsichtlich einiger grundlegenden Maße der beschreibenden Statistik. Univariate Maße (bei einer zu berechnenden Variable): Häufigkeiten Mittelwert Median Standardabweichung Bivariate Maße (bei zwei zu berechnenden Variablen): Korrelation Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 11] Statistik Beschreibende vs. schließende Statistik Die Beschreibende Statistik dient der Darstellung und Beschreibung der quantitativen Daten der Untersuchung, erlaubt es, Muster und Strukturen zu erkennen, ermöglicht es, verschiedenen Untersuchungen zu vergleichen. Sie erlaubt keine Rückschlüsse auf die Grundgesamtheit. Die Schließende Statistik erlaubt Rückschlüsse auf die Grundgesamtheit, ermöglicht es, Hypothesen zu überprüfen. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 12] 6

7 Statistik Häufigkeitsmaße Häufigkeitsmaße Absolute Häufigkeit Ermittlung der absoluten Verteilung von Werten einzelner Variablen (v. a. bei nominalen Variablen). Darstellung etwa in Balkendiagrammen. Relative Häufigkeit Ermittlung der relativen Verteilung von Werten einzelner Variablen (v. a. bei nominalen Variablen). In Prozentangaben. Darstellung etwa in Balken- oder Kreisdiagrammen. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 13] Maße der zentralen Tendenz Statistik Maße der zentralen Tendenz geben einen charakteristischen Wert für die Verteilung der Werte einer Variablen an. Arithmetisches Mittel Durchschnittswert aller Werte einer Variablen. Wird stark durch Extremwerte / Ausreißer beeinflusst. Median Mittlerer Wert aller in eine Rangordnung gebrachten Werte. Ist resistent gegen Extremwerte / Ausreißer. Modalwert (Modus) Häufigster Wert in einer Verteilung. V. a. für Nominalvariablen. Beispiel Werte: Summe: Arith. Mittel: 5400 Median: 2000 Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 14] 7

8 Statistik Streuungsmaße Streuungsmaße geben an, wie stark die einzelnen Werte einer Variable voneinander abweichen. liefern einen Anhaltspunkt, wie gut der Mittelwert die zentrale Tendenz erfasst. Kein Mittelwert ohne Streuungsmaß! Durchschnittliche Abweichung Mittel der Summe aller Differenzen vom Mittelwert. (Bevorzugt wird als Maß die Standardabweichung.) Standardabweichung Basiert ebenfalls auf einer Berechnung der Abweichungen vom Mittelwert. (Formel in Gries 2008: 122) Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 15] 8