Quantitative Auswertung. Korpuslinguistik Dr. Heike Zinsmeister

Transkript

1 Quantitative Auswertung Korpuslinguistik Dr. Heike Zinsmeister

2 Analysetypen Deskriptive Statistik Beschreibung der 'Gestalt' von Datenverteilungen Grafische Darstellungen Zentrale Maße (Mittelwert etc.) Streuung der Daten (Varianz, Standardabweichung etc.) Verhältnis zweier Variablen zueinander (Korrelation) Analytische Statistik Vom Speziellen auf das Allgemeine schließen (Testen von Hypothesen) 1

3 Zentrale Maße (1) Modalwert (mode) Häufigster Wert einer Verteilung bei allen Datentypen einsetzbar, einschließlich nominalen/kategorialen Daten Beispiel: Bewertung der Satzkomplexität "einfach", "mittel", "mittel", "einfach", "komplex", "einfach", "einfach", "mittel" Modalwert = 2

4 Datenbeispiel (1) Durchschnittliche Temperaturen Jan Feb Mär Apr Mai Jun Jul Aug Sep Okt Nov Dez S S (Gries 2008: 117f.) 3

5 Datenbeispiel (2) Grafische Darstellung 4

6 Zentrale Maße (3) Median (median) Zentralwert die Werte nach ihrer Größe sortieren und den Mittleren wählen bei einer geradzahligen Menge von Elementen das arithmetische Mittel der beiden Mittelwerte geeignet für Ordinal-, Intervall- und Verhältnisvariablen Stadt1= (-5,-12,5,12,15,18,22,23,20,16,8,1) Sortiert: Median (Stadt1) = Stadt2= c(6,7,8,9,10,12,16,15,11,9,8,7) Sortiert: Median (Stadt2) = 5

7 Zentrale Maße (4) Arithmetisches Mittel (arithmetic mean) Summe aller Werte geteilt durch die Anzahl n aller Werte angemessen nur für metrische Variablen (Intervall- und Verhältnisvariablen) µ = n x i i=1 n Mittelwert (Stadt1) = Mittelwert (Stadt2) = 6

8 Dispersion und Streuung Bei Mittelwertangaben immer auch ein Dispersions- oder Streuungsmaß angeben. Extremeres Beispiel: > Verteilung_1! [1] ! > Verteilung_2! [1] ! mean(verteilung_1)! [1] 5! mean(verteilung_2)! [1] 5! median(verteilung_1)! [1] 5! median(verteilung_2)! [1] 5 7

9 Streuungsmaße (1) Spannweite / Variationsbreite (range) Verhältnisskalierte Daten Differenz des höchsten und niedrigsten Wertes Einfach, aber empfindlich gegenüber Ausreißern Spannweite(Stadt1) = Spannweite(Stadt2) = 8

10 Einschub: Quantilen Median (median) = 50% Quantile Sortiert(S1): Median (Stadt1) = 13,5 Sortiert (S2): Median (Stadt2) = 9 Zusammenfassung S1: Min. 1st Qu. Median Mean 3rd Qu. Max S2: Min. 1st Qu. Median Mean 3rd Qu. Max

11 Einschub: Boxplot > summary(stadt1) Min. 1st Qu. Median Mean 3rd Qu. Max (siehe Gries 2008: 125) > summary(stadt2) Min. 1st Qu. Median Mean 3rd Qu. Max

12 Einschub: Boxplot Legende zur Darstellung horizontale fette Linie = Median horizontale Linie, die obere und untere Grenze der Box darstellen = obere und untere Hinges (ca. der 75%- und 25%-Quartil) die gestrichelte vertikale Linien mit den horizontalen Begrenzungen (Whiskers) markieren den höchsten und niedrigsten Werte, die nicht mehr als 1.5 Interquartilsabstände von der Box entfernt sind Ausreißer außerhalb der Whiskers werden mit einzelnem Punkt dargestellt die in R durch notch=true erzeugten Einschnürungen erstrecken sich über den Bereich ±1.58*IQR/sqrt(n): wenn sich die Einschnürungen nicht überlappen (sondern eine die andere einschließt), unterscheiden sich die Mediane wahrscheinlich nicht signifikant. 11

13 Streuungsmaße (2) Durchschnittliche Abweichung (average deviation) Für jeden Datenpunkt wird die Abweichung zum Mittelwert µ angegeben Die absoluten Abweichungen werden summiert und gemittelt (d.h. durch die Anzahl n der Datenpunkte geteilt). AD = n i=1 ( x i µ) n 12

14 Streuungsmaße (3) Varianz Summe der quadratischen Abweichungen vom Mittelwert µ Zähler immer positiv aber falsche Größenordnung In 'R' berechnet: > var(stadt1) [1] > var(stadt2) [1] var = n i=1 (x i µ) 2 n 13

15 Streuungsmaße (4) Wurzel der Varianz ist das meist verbreitete Streuungsmaß Nachteil Ist abhängig von der Höhe des Mittelwerts Schlechter Vergleich von Verteilungen mit unterschiedlichen Mittelwerten sd(stadt1)= sd(stadt2)= sd(stadt1*10)= sd = n i=1 (x i µ) 2 n 14

16 Streuungsmaße (5) Wenn man Standardabweichungen aus verschiedenen Verteilungen direkt vergleichen möchte Variationskoeffizient Normalisiert die Standardabweichung in Bezug auf die Größe des Mittelwerts Division der Standardabweichung durch den Mittelwert sd(stadt1) = sd(stadt1*10)= sd(stadt1)/mean(stadt1) = sd(stadt1*10)/mean(stadt1*10) = sd(stadt2)/mean(stadt2)=

17 Standardisierung: z-werte Notwendig beim Vergleich von unterschiedlichen Skalen Bsp.: Noten aus unterschiedlichen Klassenarbeiten; 'Magnitude Estimation' in einem psycholinguistischen Experiment Güte zweier Noten/Bewertungen, die zu zwei Verteilungen mit unterschiedlichen Durchschnitten (mean) gehören. Transformation der Abstände zum jeweiligen Mittelwert in die Anzahl der jeweiligen Standardabweichungen, die der Wert abweicht. Z-transformierte Werte besitzen einen Mittelwert von 0 und eine Standardabweichung von 1 z(x) = x mean(x) sd(x) 16

18 Konfindenzintervalle Bisher: Häufigkeiten einer Variablenausprägung / Mittelwerte etc. einer Variable in einer Stichprobe Neu: Wie gut charakterisiert der Kennwert der Stichprobe die Gesamtheit? Wie lang sind (wahrscheinlich) die Vorfelder aller Texte des L2-Lernenden / aller L2-Lernenden (in Buchstaben)? Wie häufig steht (wahrscheinlich) eine Nominalphrase im Vorfeld aller Sätze des L2-Lernenden / aller L2- Lernenden? Standard: 95%ige Konfidenz 17

19 Konfidenzintervall: Mittelwert mean(buchstaben)= ! Sinnvoll bei: n 30, normalverteilt Welche wahren Populationsmittelwerte könnten den Stichprobenmittelwert von ca mit einer 95%igen Wahrscheinlichkeit erzeugt haben?! t.test(buchstaben, conf.level=0.95)$conf.int! [1] ! Relevanz: Vergleich von zwei Mittelwerten. Überlappen die Konfidenzintervalle nicht Signifikanter Unterschied der Mittelwerte Mittelwert: 7,86 (95%-K.I.: 5,24 10,47) Die Umkehrung gilt nicht zwingend! (Vgl. Crawley 2005: 169f. nach Gries 2008: 130). 18

20 Konfidenzintervall: Häufigkeit Häufigkeiten von Kategorien im Vorfeld Kategorie! AdvP NP PP Satz! ! 95%-Konfidenzintervall für den Prozentanteil von 55,17% für NP (16/29 = )! > prop.test(16,29, conf.level=0.95)$conf.int! [1] ! In 55,17% der Vorfelder steht eine NP (95%-K.I.: 35,98% - 73,05%) 19

21 Visualisierung von Häufigkeiten Punkt-/Streu- und Liniendiagramme Abbildung individueller Datenpunkte eines Vektors Bsp. Vektor (1, 3, 5, 2, 4) plot(c(1,3,5,2,4))! plot(c(1,3,5,2,4), type="l")! plot(c(1,3,5,2,4), type= b")! 20

22 Visualisierung von Häufigkeiten Kreis- und Säulendiagramme Nominal-/Kategorialvariablen Bsp. Häufigkeiten von Pausenelementen pie(table(filler))! barplot(table(filler), col=c("grey20", "grey40", "grey60"), names.arg=c("aeh", "Aehm", "Stille")) 21

23 Visualisierung von Häufigkeiten Histogramme Klassenbildung über Verhältnisdaten Bsp. Häufigkeiten der Längen von Planungspausen abgebildet auf Längenklassen hist(laenge, main="", xlab="laenge in ms", ylab="haeufigkeit", xlim=c(0, 2000), ylim=c(0, 100), col="grey80") 22

24 Analytische Statistik 23

25 Testen Anpassungstests (goodness of fit) Weicht eine gegebene Verteilung signifikant von einer bekannten Verteilung ab? Weicht der Mittelwert oder die Standardabweichung einer gegebenen Stichprobe signifikant von einem anderweitig gegebenen Mittelwert oder Standardabweichung ab? Unterschiedstests Weicht eine gegebene Verteilung signifikant von einer anderen ebenfalls gegebenen Verteilung ab? 24

26 Vorüberlegungen Testen über das Bilden einer Nullhypothese H 0, die widerlegt werden soll der statistische Test erzeugt eine Test- Statistik mit bekannter Verteilung Idee 25 H 0 nimmt an, dass die Teststatistik keinen extremen Wert annimmt Hypothese H1 nimmt an, dass die Teststatistik einen extremen Wert annimmt extrem = weit außen in den Rändern/Flügeln der Distribution

27 Normalverteilung library(languager) shadenormal.fnc (qnts=c(0.025,0.975)) 26

28 Vorüberlegungen "weit draußen" 27 p-wert: Wahrscheinlichkeit aller summierten Teststatistik-Werte vom statistischen Prüfwert q bis zum Ende der Kurve (bzw. Fläche unter der Kurve) Irrtumswahrscheinlichkeit, dass fälschlicherweise H 1 angenommen wird Festlegung: Signifikanzniveau α p=0.05 (95%) p=0.01 (99%) p=0.001 (99,9%)

29 Schätzen des Mittelwerts Problem 28 die Varianz eines Merkmals in der Grundgesamtheit ist unbekannt Vorgehen Schätzen aufgrund von einer Stichprobenvarianz Beobachtung der standardisierte Mittelwert normalverteilter Daten ist bei dieser Schätzung nicht mehr normalverteilt, sondern weist für kleine Werte des Parameters n eine größere Breite und Flankenbetonung der Mittelwert ist t-verteilt ( Students t- Verteilung ) Hypothesentests, bei denen die t-verteilung Verwendung wird: verschiedene t-tests

30 t-verteilung Code: siehe ab Folie 9. df = degrees of freedom. Anzahl der frei veränderbaren Parameter. Hier: n-1 29

31 30 t-verteilung

32 31 t-verteilung

33 t-verteilung mit zunehmender Anzahl an Freiheitsgraden df (d.h. veränderbaren Parametern), nähert sich die t-verteilung der Normalverteilung an ab df>30 ist der Unterschied redundant 32

34 Anpassungstest Fall 1 33 eine abhängige Variable auf Verhältnisniveau Test: sind die Daten normalverteilt? Methode Shapiro-Wilk-Test, shapiro.test() Ablaufschema 1. Formulieren der Hypothesen 2. Graphische Betrachtung 3. Ermittlung der Prüfstatistik W und der Irrtumswahrscheinlichkeit p

35 Beispiel: Anpassungstest: Fall 1 Spracherwerbsdaten des Russischen zur Aspekthypothese (vgl. Stoll und Gries, Ms.) anfänglich starke Korrelation von Präsens und imperfektivem Aspekt sowie Präteritum und perfektivem Aspekt Frage: wie entwickelt sich das Korrelationsmaß über die Zeit? Test: sind die Korrelationsmaße von 117 Aufnahmen normalverteilt? eine abhängige Variable auf Verhältnisniveau Normalverteilung? 34

36 Anpassungstest: Fall 1 Hypothesen H 0 : Die Datenpunkte weisen eine Normalverteilung auf; W = 1. H 1 : Die Datenpunkte weisen keine Normalverteilung auf; W 1. eine abhängige Variable auf Verhältnisniveau Normalverteilung? 35

37 Anpassungstest: Fall 1 eine abhängige Variable auf Verhältnisniveau Normalverteilung? 36

38 Anpassungstest: Fall 1 Prüfstatistik shapiro.test(tempus_aspekt) Shapiro-Wilk normality test eine abhängige Variable auf Verhältnisniveau Normalverteilung? data: TEMPUS_ASPEKT W = , p-value =

39 Anpassungstest: Fall 1 eine abhängige Variable auf Verhältnisniveau Normalverteilung? Schriftliche Zusammenfassung der Ergebnisse "Die Verteilung der Cramers V-Werte [des Korrelationsmaßes] für die Tempus-Aspekt- Korrelation bei diesem Kind weicht gemäß einem Shapiro-Wilk-Test nicht signifikant von der Normalverteilung ab: W= 0,9942; p = 0,9132." (nach Gries 2008: 156) 38

40 Weiterer Test auf Normalverteilung Quantile-quantile Plot 39 Quantilen der Standardnormalverteilung auf der x- Achse Quantilen der beobachteten Verteilung auf der y- Achse Bei Normalverteilung bildet Plot eine diagonale Linie (unabhängige von Mittelwert und Standardabweichung) ermöglicht eine intuitive "positive" Überprüfung von Normalverteilung, ersetzt aber nicht einen statistischen Test

41 Weiterer Test auf Normalverteilung Unsere Beispieldaten: qqnorm(tempus_aspekt) qqline(tempus_aspekt) 40

42 Anpassungstest: Fall 2 Fall 2 eine abhängige Variable auf Nominal- oder Kategorialniveau Frage: sind zwei Ausprägungen einer Variable gleich häufig? Test: sind die Daten so verteilt, dass sie einer bekannten Verteilung entsprechen? Methode: Chi-Quadrat-Test; chisq.test() 41

43 Anpassungstest: Fall 2 Methode: Chi-Quadrat-Test; chisq.test() Voraussetzungen Alle Beobachtungen sind von einander unabhängig 80% der erwarteten Häufigkeiten sind größer oder gleich 5 Alle erwarteten Häufigkeiten sind größer als 1 42

44 Anpassungstest: Fall 2 Methode: Chi-Quadrat-Test; chisq.test() Ablaufschema 1. Formulierung der Hypothesen 2. Tabellierung der beobachteten Häufigkeiten; graphische Betrachtung 3. Ermitteln der Häufigkeiten, die gemäß H 0 zu erwarten wären. 4. Testen der Voraussetzungen 5. Berechnen der Abweichungsmaße für alle beobachteten Häufigkeiten 6. Summierung der Abweichungsmaße zur Ermittlung der Prüfstatistik χ 2 7. Ermittlung der Freiheitsgrade df und der Irrtumswahrscheinlichkeit p 43

45 Anpassungstest: Fall 2 Beispiel Worstellungsalternation a. He picked up the book Verb-Partikel-direktes_Objekt b. He picked the book up Verb-direktes_Objekt-Partikel Frage Beide Konstruktionen werden von vielen für bedeutungsgleich gehalten. Sind sie gleich häufig? 44

46 Hypothesen 45 Anpassungstest: Fall 2 H 0 : Die Häufigkeit der Variablenausprägungen der Variable Konstruktion sind identisch; die Variation in der gezogenen Stichprobe ist zufällig. H 1 : Die Häufigkeiten der Variablenausprägungen der Variable Konstruktion sind nicht identisch; die Variation in der Stichprobe ist nicht zufällig. In statistischer Form: H 0 : n V PART DO = n V DO PART H 1 : n V PART DO n V DO PART eine abhängige Variable auf Nominal-/Kategorialniveau Chi-Quadrat-Verteilung?

47 Anpassungstest: Fall 2 eine abhängige Variable auf Nominal-/Kategorialniveau Chi-Quadrat-Verteilung? Tabellierung der beobachteten Häufigkeiten Experiment: Beschreibungen von Bildern (Peters 2001) Verb-Partikel-direktes_Objekt Verb-direktes_Objekt-Partikel

48 Anpassungstest: Fall 2 Ermitteln der Häufigkeiten, die H 0 zu erwarten wären. eine abhängige Variable auf Nominal-/Kategorialniveau Chi-Quadrat-Verteilung? gemäß Testen der Voraussetzungen: OK Berechnen der Abweichungsmaße für alle beobachteten Häufigkeiten und Summierung der Abweichungsmaße zur Ermittlung der Prüfstatistik χ 2 47 Verb-Partikel-direktes_Objekt Verb-direktes_Objekt-Partikel 198,5 198,5 Chi Quadrat = χ 2 = n i=1 ( beobachtet erwartet) 2 erwartet

49 Einschub: Werte von χ 2 Große Abweichung höherer Chi-Quadrat-Wert Keine Abweichung Chi-Quadrat-Wert = 0 Statistische Hypothesen - reformuliert H 0 : χ 2 = 0. H 1 : χ 2 > 0. 48

50 Anpassungstest: Fall 2 Interpretation des Chi-Quadrat-Werts Ermittlung der Freiheitsgrade df und der Irrtumswahrscheinlichkeit p df =1 Kritische χ 2 -Werte für p zweiseitig p=0,05 p=0,01 p=0,001 df=1 3,841 6,635 10,827 df=2 5,991 9,21 13,815 df=3 7,815 11,345 16,266 eine abhängige Variable auf Nominal-/Kategorialniveau Chi-Quadrat-Verteilung 49

51 Anpassungstest: Fall 2 Interpretation des Ergebnisses 23,7 > 10,827 Ablehnung der Nullhypothese "Die Verteilung der beiden Konstruktionen weicht gemäß einem Chi-Quadrat-Anpassungstest hoch signifikant von der erwarteten Gleichverteilung ab (χ 2 =23,7; df= 1; p zweiseitig < 0,001): Die Konstruktion V-PTK-DO wurde 247 Mal beobachtet, obwohl sie nur 199 Mal erwartet wurde. Die Konstruktion V-DO-PTK wurde nur 150 Mal beobachtet, obwohl sie 199 Mal erwartet wurde." 50 (nach Gries 2008: 161)

52 Referenzen Stefan Th. Gries Statistik für Sprachwissenschaftler. Vandenhoeck & Ruprecht. Kapitel 3, 4. Andere: K. Backhaus, W. Plinke und B. Erichson Multivariate Analysemethoden Eine anwendungsorientierte Einführung, Berlin: Springer. Lothar Sachs und Jürgen Hedderich Angewandte Statistik, Berlin: Springer