Mathematik IV: Statistik

Transkript

1 für D-UWIS, D-ERDW, D-USYS und D-HEST SS16 Sie hören Vitamin String Quartet Daniel Stekhoven

2 Daniel Stekhoven

3 Überblick Lernziele Erledigt! Grundlagen Wahrscheinlichkeitsmodell Unabhängigkeit Bedingte Wahrscheinlichkeit Diskrete Zufallsvariablen Verteilungen Kennzahlen Binomialtest: Test (Fehler 1. Art, Macht) P-Wert Vertrauensintervall To Do! Deskriptive Statistik Zahlen Grafiken t-test Test (Fehler 1. Art, Macht) P-Wert Vertrauensintervall Lineare Regression einfache Regression multiple Regression Daniel Stekhoven

4 Statistische Inferenz Drei Methoden! Hypothesentest Daniel Stekhoven

5 Statistische Inferenz - Hypothesentest Benötigt: Signifikanzniveau und Daten 1. Modell 2. Nullhypothese, Alternative 3. Teststatistik 4. Signifikanzniveau 5. Verwerfungsbereich 6. Testentscheid Klares Prozedere Klare Aussage über Fehler 1./2. Art Wie deutlich wurde verworfen? Wie gross ist der wahre Parameter? Daniel Stekhoven

6 Statistische Inferenz Drei Methoden! P-Wert Hypothesentest Daniel Stekhoven

7 Statistische Inferenz P-Wert Benötigt: Daten Kleinstes Signifikanzniveau bei dem der Test gerade noch verworfen wird Klar, ob und wie deutlich H 0 verworfen wird Gegeben H 0 : Wie wahrscheinlich ist es, diese Beobachtung oder eine noch extremere zu erhalten? Keine klare Aussage über Fehler 1./2. Art Wie gross ist der wahre Parameter? Daniel Stekhoven

8 Statistische Inferenz Drei Methoden! P-Wert Hypothesentest Vertrauensintervall Daniel Stekhoven

9 Statistische Inferenz 95%-Vertrauensintervall Benötigt: Signifikanzniveau und Daten Enthält wahren Parameter mit 95% Wahrscheinlichkeit Enthält alle Parameter, bei denen ein Test auf dem 5% Niveau nicht verworfen wird (=plausible Werte) Klar, ob und wie deutlich H 0 verworfen wird Klar, wie gross der wahre Parameter sein kann Keine klare Aussage über Fehler 1./2. Art Daniel Stekhoven

10 Lernziele heute Deskriptive ( beschreibende ) Statistik n-gesetz Hausaufgaben Skript: Kapitel lesen Serie 7 lösen Quiz 7 bearbeiten etutor 4 anschauen Daniel Stekhoven

11 There are three kinds of lies: lies, damned lies, and statistics. Mark Twain, Schriftsteller Daniel Stekhoven

12 It s easy to lie with statistics, but it s easier to lie without them! Frederick Mosteller, Statistiker Daniel Stekhoven

13 Daniel Stekhoven

14 Beschreibe mit einem Wort Vase? Snoopy? Picasso? Gelb? Daniel Stekhoven

15 ohne Reduktion ist kein Überblick möglich aber: Bei jeder Datenreduktion kann wichtige Information verloren gehen Daniel Stekhoven

16 Simpson s Paradox Beispiel: Aufgenommene Studenten, UC Berkeley, 1973 Bewerbungen Aufnahmen Männer % Frauen % Diskriminierung! Frauen werden benachteiligt! Werden Frauen benachteiligt? Daniel Stekhoven

17 Simpson s Paradox Beispiel: Aufgenommene Studenten, UC Berkeley, 1973 Gruppen nicht kombinieren... Dept. Männer Frauen Beworben Aufnahme Beworben Aufnahme A % % B % 25 68% C % % D % % E % % F 272 6% 341 7% Daniel Stekhoven

18 Simpson s Paradox Beispiel: Aufgenommene Studenten, UC Berkeley, 1973 Wo werden mehr Frauen aufgenommen? Dept. Männer Frauen Beworben Aufnahme Beworben Aufnahme A % % B % 25 68% C % % D % % E % % F 272 6% 341 7% Daniel Stekhoven

19 Simpson s Paradox Beispiel: Aufgenommene Studenten, UC Berkeley, 1973 Dept. Männer Frauen Beworben Aufnahme Beworben Aufnahme A % % B % 25 68% C % % D % % E % % F 272 6% 341 7% Nein, Frauen bewerben sich öfter bei schwierigeren Departementen! Daniel Stekhoven

20 Modelle und Statistik für Messdaten Bisher: Diskrete Werte: 0, 1, 2, 3,... Bsp.: Augenzahl beim Würfeln; Kopf oder Zahl beim Münzwurf, Gesund oder Krank bei der klinischen Studie, usw. Jetzt: Kontinuierliche Werte («gemessene Werte»): 1.73, 1.4, 43.28,... Bsp.: Gewicht, Durchmesser, Luftdruck, Körpergrösse, usw. Daniel Stekhoven

21 Quantile Bsp. Wachstumskurve Daniel Stekhoven

22 Quantil - Intuition Das Quantil ist ein Schwellenwert - ein gewisser Anteil α ist kleiner und der andere Anteil 1 α ist grösser Beispiel: x 1 = 1089, x 2 = 1, x 3 = 5, x 4 = 1, x 5 = 7, x 6 = 27, x 7 = 3, x 8 = 49 Sortieren: x 1 = 1, x (2) = 1, x (3) = 3, x (4) = 5, x (5) = 7, x (6) = 27, x (7) = 49, x (8) = 1089 q 0.1 q % der Beobachtungen sind kleiner 10% der Beobachtungen sind kleiner Daniel Stekhoven

23 Quantil - Definition x (i) ist der i-kleinste Datenpunkt (x (1) x 2 x (n) ) falls α n eine ganze Zahl ist: sonst q α = 1 2 (x α n + x α n+1 ) q α = x (k) mit k = α n Beispiel: x i {1, 1, 3, 5, 7, 27, 49,1089} n = 8; α = 0.1 α n = 0.8 k = 0.8 = 1 q 0.1 = x (1) = 1 n = 8; α = 0.5 α n = 4 q 0.5 = 1 2 x (4) + x (5) = = Daniel Stekhoven 23

24 Kennzahlen bei Messdaten zur Lage Arithmetisches Mittel oder auch Mittelwert n x 1 n i=1 x i, i = 1, 2,, n wobei x 1, x 2,, x n die kontinuierlichen Messdaten. Median x q 0.5 (x 1, x 2,, x n ) Daniel Stekhoven

25 Durchschnitt Median und arithmetisches Mittel Einkommen arithmetisches Mittel Median Daniel Stekhoven

26 Durchschnitt Median und arithmetisches Mittel Einkommen Median arithmetisches Mittel Daniel Stekhoven

27 Durchschnitt Median und arithmetisches Mittel Einkommen Median Robust gegen Ausreisser! arithmetisches Mittel Daniel Stekhoven

28 Kennzahlen zur Streuung Empirische Standardabweichung s x 1 n 1 i=1 n x i x 2 Interquartildistanz (engl. Interquartile range (IQR)) IQR x 1, x 2,, x n q 0.75 x 1, x 2,, x n q 0.25 (x 1, x 2,, x n ) Daniel Stekhoven

29 Achtung Verwechslungsgefahr Standardabweichung einer Zufallsvariable X σ X V(X) = E X 2 E X 2 (Empirische) Standardabweichung einer Stichprobe x 1, x 2,, x n s x = 1 n x i x 2 n 1 i=1 Standardabweichung des Stichprobenmittelwerts x (a.k.a. Standardfehler) σ x s x n Daniel Stekhoven

30 n-gesetz (Vertrauensintervall) Unter gewissen Umständen kann man mit der Normalverteilung ein CI approximieren x n ± 1.96 x n 1 x n 1n...oder aber so geschrieben μ x ± 1.96 σ x wobei μ x der Erwartungswert und σ x die Standardabweichung des Mittelwerts x...und die Schätzfunktion X (basierend auf der Zufallsvariable) des Mittelwerts ist dann n X = 1 n i=1 X i Daniel Stekhoven

31 n-gesetz (Vertrauensintervall) Also... μ x = E X = E n 1 n i=1 n X i = 1 n E i=1 X i n = 1 n i=1 n E(X i ) = 1 n i=1 μ X = μ X n n n n σ x = V( X) = V 1 n i=1 X i = 1 n 2 V i=1 X i = 1 n 2 i=1 V X i = 1 n 2 i=1 σ X 2 = 1 n 2 n σ X 2 = 1 n σ X 2 = 1 n σ X...und darum gibt s das 1/ n im Vertrauensintervall Daniel Stekhoven

32 Kennzahl für linearen Zusammenhang Korrelation misst die Stärke und Richtung der linearen Abhängigkeit und ist in [ 1, 1] enthalten. Cor X, Y = +1 Y = a + bx, b > 0 Cor X, Y = 1 Y = a + bx, b < 0 wobei X und Y zwei stetige Zufallsvariablen. Es gilt auch X und Y unabhängig Cor X, Y = 0 Die empirische Korrelation r ist definiert als r = s xy s x s y s x und s y sind die empirischen Standardabweichungen von x und y n s xy 1 n 1 i=1 x i x (y i y) Daniel Stekhoven

33 Korrelation Daniel Stekhoven

34 Gapminder.org Clevere Reduktion von Unmenge von Datenpunkten in aussagekräftige Illustrationen etwa so: Schauen Sie es sich an: Oder probieren Sie es selber aus: Daniel Stekhoven

35 Streudiagramm (engl. scatter plot) Eigentliche Daten Keine Reduktion Analyse: Immer auch mal anschauen! Präsentation: Nur wenn wenig (z.b. <100) Daniel Stekhoven

36 Säulendiagramm (engl. bar plot) Höhe eine Lage der jeweiligen Stichprobe (hier Mittelwert) irgendein «Fehlermass» als Whiskers (hier Standardabweichung) Nützlich für Darstellung von Anzahlen (ohne Fehler) Zur Illustrierung von Verteilungen von Messungen ist diese Darstellungsform nutzlos und irreführend Daniel Stekhoven

37 IQR Boxplot Extreme Beobachtung Beobachtung <1.5x IQR vom Median 75%-Quantil Median Verteilung der Stichprobe ersichtlich Basierend auf Quartilen (d.h. q 0.25, q 0.5, q 0.75 ) Zeigt «untypische» Beobachtungen auf Ein Boxplot ist der Mindeststandard zur Illustrierung von Verteilungen mehrerer Stichproben 25%-Quantil Beobachtung <1.5x IQR vom Median Daniel Stekhoven

38 Violinendiagramm (engl. violin plot) Eindimensionale Dichteschätzung der Stichproben Zeigt geschätzte Form der Stichprobe Median eingetragen Abhängig von Parameter für Dichteschätzung Violin Plots bieten sich für attraktive und dennoch brauchbare Visualisierungen an Daniel Stekhoven

39 Grafische Darstellung von Daten Daniel Stekhoven

40 Ordnen Sie zu Prüfungsfrage AS10 Daniel Stekhoven

41 Zusammenfassung Lernziele Deskriptive Statistik (Paradoxa, Kennzahlen, Grafiken) n-gesetz Barplots sind (praktisch immer) nutzlos Hausaufgaben Skript: Kapitel lesen Serie 7 lösen Quiz 7 bearbeiten etutor 4 anschauen Daniel Stekhoven