Deskriptive Statistik II. Statistische Methoden in der Korpuslinguistik Heike Zinsmeister WS 2008/09

Transkript

1 Deskriptive Statistik II Statistische Methoden in der Korpuslinguistik Heike Zinsmeister WS 2008/09

2 Übersicht Wiederholung Maße der zentralen Tendenz Streuungsmaße Zusammenfassung einer Verteilung tabellarisch graphisch

3 Maße der zentralen Tendenz Modalwert (mode) Häufigster Wert einer Verteilung bei allen Datentypen einsetzbar, einschließlich nominalen/kategorialen Daten In R (nach Gries 2008: 113) > x <-c("kalt", "lau", "kalt", "kalt", "warm", "heiß", "warm", "kalt") > which.max(sort(table(x))) kalt

4 Beispiel Durchschnittliche Temperaturen (in C ) in zwei Städten Jan Feb Mär Apr Mai Jun Jul Aug Sep Okt Nov Dez Stadt Stadt (Gries 2008: 117f.)

5 Maße der zentralen Tendenz Median (median) Zentralwert die Werte nach ihrer Größe sortieren und den Mittleren wählen bei einer geradzahligen Menge von Elementen das arithmetische Mittel der beiden Mittelwerte geeignet für Ordinal-, Intervall- und Verhältnisvariablen In R: > Stadt1= c(-5,-12,5,12,15,18,22,23,20,16,8,1) > median(stadt1) [1] 13.5 > Stadt2= c(6,7,8,9,10,12,16,15,11,9,8,7) > median(stadt2) [1]

6 Maße der zentralen Tendenz Arithmetisches Mittel (arithmetic mean) Summe aller Werte geteilt durch die Anzahl n aller Werte angemessen nur für metrische Variablen (Intervall- und Verhältnisvariablen) > sum(stadt1)/length(stadt1) [1] > mean(stadt1) [1] > mean(stadt2) [1] > round(mean(stadt2),2) [1] 9.83 µ = n " x i i=1 n Eine alternative Notation für µ ("my") ist: x

7 Streuungsmaße: Motivation > mean(stadt1) [1] > mean(stadt2) [1] > plot(stadt1, type="b", xlab="monate", ylab="temperatur", col="darkgreen") > lines(c(rep(0,12)), col="lightgrey") > lines(stadt2, type="b", col="darkblue")

8 Streuungsmaße Relativer Informationsgehalt / relative Entropie (relative entropy) z.b. Häufigkeitsverteilung von kategorialen Daten H=1, wenn die Werte maximal gleichmäßig über alle Ausprägungen verteilt sind n H=0, wenn alle Werte die selbe Ausprägung annehmen $ ( p (Zentralwert) i # ln p i ) Bsp.: 300 NPs, davon 164 ohne Artikel, 33 mit indefinitem, 103 mit definitem Artikel (Gries 2008:119) > artikel<-c(164, 33, 103) > prozente<-artikel/sum(artikel) > hrel<--sum(prozente*log(prozente))/log(length(prozente)); hrel [1] H rel = " i=1 lnn

9 Streuungsmaße Spannweite / Variationsbreite (range) Verhältnisskalierte Daten Differenz des höchsten und niedrigsten Wertes Einfach, aber empfindlich gegenüber Ausreißern > range(stadt1) [1] > diff(range(stadt1)) # diff bildet paarweise Differenzen [1] 35 > max(stadt1)-min(stadt1) # alternative Berechnung [1] 35 > range(stadt1)[2]-range(stadt1)[1] # zweite Alternative [1] 35 > range(stadt2) [1] 6 16 > diff(range(stadt2)) # diff bildet paarweise Differenzen [1]

10 Streuungsmaße Quantile Aufsteigend sortierte Werte Angabe, welcher Wert die niedrigsten x%, y% usw. abgrenzt > quantile(a, probs=c(0.05, 0.1, 0.5, 0.9, 0.95), type=1) 5% 10% 50% 90% 95% Sonderfall: Quartile (= Default von quantile()) > quantile(stadt1) 0% 25% 50% 75% 100% > IQR(Stadt1) # die Funktion fuer den Interquartilsabstand [1] 14.5 > quantile(stadt2) 0% 25% 50% 75% 100% > IQR(Stadt2) [1]

11 Durchschnittliche Abweichung averate deviation Für jeden Datenpunkt wird die Abweichung zum Mittelwert µ angegeben Die absoluten Abweichungen werden summiert und gemittelt (d.h. durch die Anzahl n der Datenpunkte geteilt). AD = n # i=1 ( x i " µ) n

12 Durchschnittliche Abweichung Beispiel > Stadt1 [1] > Stadt1-mean(Stadt1) [1] [10] > abs(stadt1-mean(stadt1)) # Absolutbeträge [1] [12] 9.25 > mean(abs(stadt1-mean(stadt1))) [1] > mean(abs(stadt2-mean(stadt2))) [1]

13 Streuungsmaße Varianz Summe der quadratischen Abweichungen vom Mittelwert µ > var(stadt1) [1] > var(stadt2) [1] var = n # i=1 (x i " µ) 2 n

14 Standardabweichung Wurzel der Varianz ist das meist verbreitete Streuungsmaß Nachteil Ist abhängig von der Höhe des Mittelwerts Schlechter Vergleich von Verteilungen mit unterschiedlichen Mittelwerten > sd(stadt1) [1] > sd(stadt2) [1] sd = n # i=1 (x i " µ) 2 n

15 Variationskoeffizient Normalisiert die Standardabweichung in Bezug auf die Größe des Mittelwerts Division der Standardabweichung durch den Mittelwert > sd(stadt1) [1] > sd(stadt1*10) [1] # Vergleich nicht möglich > sd(stadt1)/mean(stadt1) [1] > sd(stadt1*10)/mean(stadt1*10) # nun erhalten wir den gleichen Wert [1] > sd(stadt2)/mean(stadt2) [1]

16 Zusammenfassende Funktion > summary(stadt1) Min. 1st Qu. Median Mean 3rd Qu. Max > summary(stadt2) Min. 1st Qu. Median Mean 3rd Qu. Max

17 Zusammenfassende Darstellung Boxplot (siehe Gries 2008: 125) > boxplot(stadt1, Stadt2, notch=t) > text(1:2, c(mean(stadt1), mean(stadt2)), c("+", "+")) > summary(stadt1) Min. 1st Qu. Median Mean 3rd Qu. Max > summary(stadt2) Min. 1st Qu. Median Mean 3rd Qu. Max

18 Zusammenfassende Darstellung Boxplot horizontale fette Linie = Median horizontale Linie, die obere und untere Grenze der Box darstellen = obere und untere Hinges (ca. der 75%- und 25%-Quartil) die gestrichelte vertikale Linien mit den horizontalen Begrenzungen (Whiskers) markieren den höchsten und niedrigsten Werte, die nicht mehr als 1.5 Interquartilsabstände von der Box entfernt sind Ausreißer außerhalb der Whiskers werden mit einzelnem Punkt dargestellt die durch notch=true erzeugten Einschnürungen erstrecken sich über den Bereich ±1.58*IQR/sqrt(n): wenn sich die Einschnürungen nicht überlappen (sondern eine die andere einschließt), unterscheiden sich die Mediane wahrscheinlich nicht signifikant

19 Standardisierung (z-werte) Notwendig beim Vergleich von unterschiedlichen Skalen Bsp.: Noten aus unterschiedlichen Klassenarbeiten Güte zweier Noten, die zu zwei Verteilungen mit unterschiedlichen Durchschnitten (mean) gehören. Transformation der Abstände zum jeweiligen Mittelwert in die Anzahl der jeweiligen Standardabweichungen, die der Wert abweicht. Z-transformierte Werte besitzen einen Mittelwert von 0 und eine Standardabweichung von 1 Von ordinalskalierten Daten wie Schulnoten darf mathematisch gesehen eigentlich nur der Median gebildet werden. Im Alltag wird auch hier oft der Mittelwert verwendet

20 Standardisierung (z-werte) > a<-1:5 # Beispielverteilung > z.werte<-(a-mean(a))/sd(a); z.werte #"zu Fuß" [1] > mean(z.werte) # standardisierter Mittelwert [1] 0 > sd(z.werte)# standardisierte Standardabweichung [1] 1 > scale(a) # Standardisierungsfunktion in R [,1] [1,] [2,] [3,] [4,] [5,] attr(,"scaled:center") # Mittelwert der Eingabedaten [1] 3 attr(,"scaled:scale") # Standardabweichung der Eingabedaten [1]

21 Standardisierung (z-werte) Beispiel nach Gries (2008:127) Frage: Wenn Schüler X in Kurs A eine 2 erhalten hat und Schüler Y in Kurs B eine 3, ist Schüler X dann wirklich besser als Schüler Y? > Noten.vom.Kurs.A<-rep(1:6, 6:1); Noten.vom.Kurs.A > Noten.vom.Kurs.B<-rep(1:6, 1:6); Noten.vom.Kurs.B > scale(noten.vom.kurs.von.a) > scale(noten.vom.kurs.von.b)