r=0.666 Number of people who drowned by falling into a pool correlates with Films Nicolas Cage appeared in 140 drownings 6 films 4 films 120 drownings

Transkript

1 r=.666 Number of people who drowned by falling into a pool correlates with Films Nicolas Cage appeared in films drownings films drownings films 8 drownings Nicholas Cage Swimming pool drownings 999 drownings films 999 Nicholas Cage Swimming pool drownings tylervigen.com 7

2 "Korrelation" bei Nominaldaten: Kontingenz beobachtete Häufigkeiten (KSV Tabelle 6.): i j Augenfar be blau braun grün Haarfarb e blond 6 braun 5 schwarz 6 rot 8 7

3 j Summe Randverteil ung Zi/N i Augenfar be blau braun grün Haarfarb e blond 6 9 9/8=.8 braun 5 9 9/8=. schwarz 6 8 8/8=. rot 8 /8=.9 75

4 j Summ e Randvert eilung Zi/N i Augenf arbe blau braun grün Haarfar be blond 6 9 9/8=.8 braun 5 9 9/8=. schwar z 6 8 8/8=. rot 8 /8=.9 Summe Randve rteilung 6/8 =.8 6/8 =.8 /8 =. Sj/N 76

5 Deshalb: erwartete Häufigkeiten Eij in Kontingenztafel mit pi = Zi /N und pj = Sj/N : p ij =pi pj so daß Eij= p ij*n wenn pi und pj unabhängig oder: Eij= Zi Sj /N (numerisch besser!) dann gilt, falls Merkmale i und j unabhängig: Bij = Eij (Probe bei der Berechnung der Eij: Eij = Bij ) 77

6 j Summ e Randvert eilung Zi/N i erwartete (vorausgesagte) Häufigkeiten bei Unabhängigkeit: Augenf arbe blau braun grün Haarfar be blond.8*. 8*8 = /8=.8 9 9/8=..8 braun schwar z /8=. rot /8=.9 Summe Randve rteilung 6/8 =.8 6/8 =.8 /8 =. Sj/N 78

7 Definiere i, j mit: Hier: Bij, Eij N ( Bij Eij ) Eij ( i, j Bij Eij ) N = beobachtete, erwartete Häufigkeiten = Gesamt-Stichprobenumfang =/ =.55-8 =.55 Kontingenzkoeffizient C C N ; C< 79

8 es gilt jedoch: Cmax m m wir definieren daher einen korrigierten Kontingenzkoeffizienten für Nominaldaten: Ckorr C m Cmax (m )( N ) mit Ckorr 8

9 n=m=: Matthews'scher Korrelationskoeffizient MCC Für eine x Matrix aus tatsächlichen und vorausgesagten Werten: TP = true positives FN = false negatives FP = false positives TN = true negatives Falls einer der Faktoren im Nenner Null ist, ist MCC:= Damit gilt: - MCC 8

10 Zusammenfassung: Korrelations-/Kontingenzkoeffizienten Voraussetzung Koeffizient Ratiodaten/ Intervalldaten linear r Ordinaldaten monoton R Nominaldaten C/Ckorr, MCC 8

11 Regressionsrechnung Düngermenge [kg/ha] Ertrag [dt/ha] Regressionsgerade ŷ = a + b x - per Auge freihändig einzeichnen wie??? - Gauss (89): allgemein - Methode der kleinsten Quadrate 8

12 graphisch ŷ=a+bx : a ist der Schnittpunkt der Gerade mit der y-achse, bei x= b : beliebige Punkte, auf der Geraden nehmen und Differenzenquotient (y-y)/(x-x) berechnen b heißt Regressionskoeffizient 8

13 least-squares (Ausgleichs-)Gerade ŷ = a + b x : Minimierung von hat die Lösung: ( y i a bxi ) xy b x i i i / n xi yi / n( xi ) a / n( y i b x i ) Achtung: ŷ kann nur innerhalb des Wertebereiches von x berechnet werden (Interpolation); ob Extrapolation möglich ist, muß geprüft werden. 85

14 Tabelle mit Auswertung (Skizze für Excel!),,,, 8, 9, -,8 -,8 -,8 -,8 -,8 -,8,7 6,,7,89,89, -,9,6 -,5 7,6 9,,9,5,, -,8 -,, -,5 5,6,5 5, 5, 6,,75, 7, 5, 9,,75,,6,6,6,6,6 7,6 6,6,,89,77,77 9,875,,9,9,6 7,75,95,5,5 -,6,6,9 58,,89 69,88 x, Summe y, Summe x, Differenzen y, Differenzen Zeile *Zeile 5,7 8,7,8 -,886 86

15 Plot der Residuen ri= yi ŷi : 5,,,,,, -, , -, -, Bewertung des Residuenplots: Residuen sind um normalverteilt 87

16 Klausurergebnis - Tutorienbesuch 5 in Klausur erzielte Punkte 5 Regressionsgerad e; r= besuchte Tutorien 88

17 89

18 Schließende Statistik Test-Theorie Hypothesen Fehler. und. Art Wahrscheinlichkeitstheorie, Bayes'sche Formel einige Teststatistiken (χ, t, F-Test), Anwendungen 9

19 Test-Theorie - schließen von Stichprobe auf Grundgesamtheit - wie zuverlässig sind die Kennzahlen? - überprüfen, ob Stichprobe aus Grundgesamtheit stammt - Kennzahlen aus Stichprobe mit Dach: z.b. xˆ, sˆ - Kennzahlen aus Grundgesamtheit als griech. Buchstaben μ, λ, σ - Hypothesen H und H - beziehen sich i.a. auf Grundgesamtheit - z.b. H(μ =8) oder H(μ = μt) "Nullhypothese" - z.b. H(μ 8) oder H(μ μt) Alternativhypothese - der Test entscheidet zwischen H und H 9

20 Beispiel: Palette mit Äpfeln ganze Palette "schlecht", wenn > 5% mit braunen Stellen Grundgesamtheit = Äpfel einer Palette Stichprobe = Äpfel davon H = "die Palette ist gut" Prüfgröße T = Anzahl schlechter Äpfel was ist die Häufigkeitsverteilung der Anzahl schlechter Äpfel aus Äpfeln, wenn wir einen bestimmten Prozentsatz schlechter Äpfel voraussetzen? Antwort: B(n,p;k) mit n=, p=.5, k=.. 9

21 Binomialverteilung mit n=, p=.5 (ungünstigster Fall) Anzahl schlecht er Äpfel k 5 6 B(n, p=.5; k) B(n,p;l) mit l k Wahrscheinlichkeit, höchstens schlechte Äpfel zu finden Wahrscheinlichkeit, höchstens k schlechte Äpfel zu finden. k= ist die 5%-Grenze

22 Annahme von H: T K Ablehnung von H: T > K (im Beispiel: rechter Ausläufer der Verteilung "einseitig") in vielen anderen Fällen gilt, dass T im Intervall zwischen K und K liegen muss : Annahme von H: K T K Ablehnung von H: T < K oder T > K linker oder rechter Ausläufer der Verteilung von T "zweiseitig" wichtig für Tabellen! 9

23 Feststellung : wenn ich bei einer guten Palette die schlechten Äpfel meiner Stichprobe zähle, dann ist die Wahrscheinlichkeit, daß es mehr als sind, 5%. Feststellung : wenn ich Paletten, bei denen von Äpfeln einer Stichprobe mehr als schlecht sind, als "schlecht" bezeichne, dann mache ich in 5% aller Fälle einen Fehler. Definition: Wenn ich die Hypothese H ablehne, obwohl sie in Wirklichkeit richtig ist, mache ich einen Fehler. Art, oder α-fehler. Die Wahrscheinlichkeit des Fehlers. Art nennt man α -Risiko oder Irrtumswahrscheinlichkeit α. α wird unglücklicherweise auch als Signifikanzniveau oder Signifikanz bezeichnet. 95