Wie kann ich überprüfen, welche Verteilung meinen Daten zu Grunde liegt? Chi-Quadrat-Test auf Normalverteilung

Transkript

1 Wie kann ich überprüfen, welche Verteilung meinen Daten zu Grunde liegt? Chi-Quadrat-Test auf Normalverteilung T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-1

2 Chi-Quadrat-Test: Test auf Normal-Verteilung Konkretes Beispiel (im Geiste R. Schlittgen Einführung in die Statistik (Oldenbourg), 1998.): Studentische Wohnungsuche: Vergleich der Kaltmieten einer -Raum Wohnung. Gewissenhafte Recherche ergibt folgende Liste an Angeboten in EUR: Unser Student fragt sich: Ist das völlige Willkür? Sind vorliegende Daten auf eine bestimmte Art verteilt? Normalverteilt? Festlegen der Irrtumswahrscheinlichkeit: Testen auf 5 % T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-

3 Chi-Quadrat-Test: Test auf Normal-Verteilung Erster Schritt: Sortieren der Urliste: Mietpreise in EUR Zweiter Schritt: Einteilung nach Klassen: Anzahl der Klassen k? Faustregel: k = 5*log(Spannweite) In unserem Beispiel: k = 5*log(670) 14 Das ist keine harte Regel, die Wahl wird im Rahmen unseres Hypothesentest zu überprüfen sein! Programme wie Excel oder Origin verwenden k =, mit n Anzahl Datenpunkte. Das führt ohne kritische Betrachtung schnell zu Problemen mit der Gleichverteilung der Merkmalsausprägung T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-3

4 Chi-Quadrat-Test: Test auf Normal-Verteilung Zweiter Schritt: Einteilung nach Klassen in EUR: Klassen Nr. Mietpreisklasse Absolute Häufigkeit Relative Häufigkeit bis 00 0, bis , bis , bis , bis , bis , bis , bis , bis 600 0, bis , bis 700 0, bis , bis , bis ,07 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-4

5 Chi-Quadrat-Test: Test auf Normal-Verteilung Zweiter Schritt: Einteilung nach Klassen in EUR: Klassen Nr. Mietpreisklasse Absolute Häufigkeit Relative Häufigkeit 10 Qualitativer Test: Graphische Darstellung Kaltmiete -Raum Wohnung bis 00 0, bis , bis , bis , bis , bis , bis ,1364 Absolute Häufigkeit Mietpreis (EUR) Ist das eine Normalverteilung? bis , bis 600 0, bis , bis 700 0, bis , bis , bis ,07 Annahme: Es ist eine! Bestimme Mittelwert und Stichprobenstandardabweichung = 495,48 = 181,70 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-5

6 Chi-Quadrat-Test: Test auf Normal-Verteilung Zweiter Schritt: Einteilung nach Klassen in EUR: Klassen Nr. Mietpreisklasse Absolute Häufigkeit Relative Häufigkeit Qualitativer Test: Graphische Darstellung Kaltmiete -Raum Wohnung bis 00 0, bis , bis , bis , bis ,045 Absolute Häufigkeit Mietpreis (EUR) Ist das eine Normalverteilung? bis , bis , bis , bis 600 0, bis , bis 700 0, bis , bis , bis ,07 Annahme: Es ist eine! Bestimme Mittelwert und Stichprobenstandardabweichung = 495,48 = 181,70 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-6

7 Die Fehlerfunktion allgemeine Form Jetzt benötigen wir die Anwort auf die Frage: Wie viel % der Messwerte liegen oberhalb (unterhalb) eines bestimmten Messwertes? Wie groß ist das Integral bis zu einem bestimmten Wert? z 1 zwischen und t σ e dz mit t ( xx) / t T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-7

8 Chi-Quadrat-Test: Test auf Normal-Verteilung Dritter Schritt: Bestimme theoretische Häufigkeit der Klassen bei Normalverteilung Klassen Nr. Merkmalsgrenze t , , , , , , , , , , , , , ,951 Nun: Bestimme Wahrscheinlichkeit T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-8

9 Chi-Quadrat-Test: Test auf Normal-Verteilung Erf () t P( x X t ) Px ( X1,66 ) 0,5 0, , 0516 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-9

10 Chi-Quadrat-Test: Test auf Normal-Verteilung Dritter Schritt: Bestimme theoretische Häufigkeit der Klassen bei Normalverteilung Klassen Nr. Merkmalsgrenze t Erf(t) ,66 0, ,3510 0, ,0758 0, ,8007 0, ,555 0, ,503 0, ,049 0, ,3001 0, ,5753 0, ,8504 0, ,156 0, ,4008 0, ,6760 0, ,951 0,9744 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-10

11 Chi-Quadrat-Test: Test auf Normal-Verteilung Damit bestimmen wir jetzt die Wahrscheinlichkeit für die einzelnen Klassen: Klassen Nr. Merkmalsgrenze t Erf(t) ,66 0, ,3510 0,0885 Die Wahrscheinlichkeit einen Wert zwischen 00 und 50 zu erhalten ist gegeben durch: PX ( 1, 66 x X1,3510 ) 0, , , 0369 Wir hatten insgesamt 44 Werte. Wir würden also folgende Anzahl Werte in dieser Klasse erwarten: np( X 1, 66 x X 1,3510 ) 440, , 64 Damit können wir nun unsere theoretische Häufigkeit bestimmen T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-11

12 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Wahrscheinlichkeit Theoretische Häufigkeit bis 00 0,035 1, bis 50 0,0369 1, bis 300 0,0516, bis 350 0,0718 3, bis 400 0,0871 3, bis 450 0,103 4, bis 500 0,1107 4, bis 550 0,1059 4, bis 600 0,1011 4, bis 650 0,0833 3, bis 700 0,0685 3, bis 750 0,0484, bis 800 0,0343 1, bis 850 0,009 0,9196 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-1

13 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Wahrscheinlichkeit Theoretische Häufigkeit bis 00 0,035 1, bis 50 0,0369 1, bis 300 0,0516,704 8, bis 350 0,0718 3, bis 400 0,0871 3, bis 450 0,103 4, bis 500 0,1107 4, bis 550 0,1059 4, bis 600 0,1011 4, bis 650 0,0833 3,665 8,3386 9,5304 8, bis 700 0,0685 3, bis 750 0,0484, bis 800 0,0343 1,509 7, bis 850 0,009 0,9196 Hier zeigt sich nun, dass für den Chi-Quadrat-Test die ursprüngliche Klasseneinteilung ungeeignet ist! Der Test darf nur angewandt werden, wenn die theoretische Häufigkeit einer Klasse 5 ist T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-13

14 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 Sortierte Mietpreise in EUR: T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-14

15 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 Sortierte Mietpreise in EUR: T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-15

16 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 Sortierte Mietpreise in EUR: T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-16

17 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 Sortierte Mietpreise in EUR: T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-17

18 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 Sortierte Mietpreise in EUR: T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-18

19 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 1 Sortierte Mietpreise in EUR: Damit testen wir nun auf eine Irrtumswahrscheinlichkeit von 5% E T n n k k Qk k1 Tk k1 8, 6073 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-19

20 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 1 Damit testen wir nun auf eine Irrtumswahrscheinlichkeit von 5% E T n n k k Qk k1 Tk k1 Wie viele Freiheitsgrade? 5 Klassen 3 Zwangsbedingungen 8, 6073 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-0

21 Chi-Quadrat-Test Sicherheitsschwellen: T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-1

22 Chi-Quadrat-Test: Test auf Normal-Verteilung Klassen Nr. Mietpreisklasse Theoretische Häufigkeit Gemessene Häufigkeit bis 350 8, bis 450 8, bis 550 9, bis 650 8, bis 850 7,574 1 Damit testen wir nun auf eine Irrtumswahrscheinlichkeit von 5% E T n n k k Qk k1 Tk k1 Wie viele Freiheitsgrade? 5 Klassen 3 Zwangsbedingungen 8, 6073 Bei Annahme einer Irrtumswahrscheinlichkeit von 5 % entsprechen die Daten keiner Normal-Verteilung T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-

23 Linearer Korrelationskoeffizient T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-3

24 Fragestellung (Wiederholung) Wir führen eine Messung durch und erhalten folgende Werte 75,0 X i Y i 0,0 5,4 1,17 54,6 1,96 57,7,98 59,5 4,05 6,7 5,1 65,6 5,93 67,0 7,01 69,0 8,4 7,8 Y 70,0 65,0 60,0 55,0 50,0 Testmessung zur linearen Regression 0,00,00 4,00 6,00 8,00 X 1.) Angenommen die Beziehung zwischen x und y ist linear, welche Gerade passt am besten zu den Messwerten?.) Wie können wir objektiv beurteilen, inwieweit die Daten unsere Annahme erfüllen und wirklich einer bestimmten Funktion (hier einer Gerade) folgen? T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-4

25 Vorüberlegungen Wir messen zur Bestimmung einer Größe q(x, Y) die Größen X und Y jeweils mit einer Messreihe und erhalten N Datenpaare (x i,y i ). Aus den (x 1,,x n ) und (y 1,,y n ) bestimmen wir die Mittelwerte x und y sowie deren Standardfehler s x und s y. Weiterhin bestimmen wir aus den N Messwertepaaren N Werte der gesuchten Größe q q( x, y ) mit ( i 1,..., N) i i i Daraus bestimmen wir q sowie q. Übliche Annahme: Die Fehler seien klein und normalverteilt. Dann hält: q q qi q( xi, yi) q( x, y) ( xi x) ( yi y). x y T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-5

26 Vorüberlegungen q q qi q( xi, yi) q( x, y) ( xi x) ( yi y). x y Mittelwert: n n 1 1 q q q qi q( x, y) ( xi x) ( yi y) ; N i 1 N i1 x y und damit q q( x, y). Daraus Standardabweichung: 1 n q qi q N i1 ( ), 1 q q ( x x) ( y y), n q i i N i1 x y n n n q 1 q 1 q q 1 q i i i i x N i1 y N i1 x y N i1 ( x x) ( y y) ( x x)( y y). T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-6

27 Vorüberlegungen n n n q 1 q 1 q q 1 q i i i i x N i1 y N i1 x y N i1 ( x x) ( y y) ( x x)( y y). x y xy Zusammengefasst: q q q q q x y xy. x y x y Bei unendlich vielen Messungen wird xy = 0, falls x und y unabhängig sind. Nach einer endlichen Zahl von Messungen ist es sehr unwahrscheinlich, dass xy exakt gleich Null wird. Wann dürfen wir die xy ignorieren und die Gauß sche Fehlerrechnung anwerfen? T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-7

28 Kovarianz Der Term: n 1 ( x x)( y y) xy i i N i1 wird als Kovarianz von x und y bezeichnet. Falls x und y voneinander abhängig sind wird xy auch bei unendlich vielen Messungen nie null. Die Kovarianz ist daher ein Maß für die Abhängigkeit von Daten, man spricht dann von Korrelation. Beispiel: Gleichzeitige Messung von Spannung und Strom zur Ermittlung der Leistung mit dem selben Gerät. Die Kovarianz gibt zwar Richtung der Korrelation an, über die Stärke des Zusammenhangs besteht aber keine Aussage. Wir benötigen leistungsfähigere Indikatoren T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-8

29 Definition des linearen Korrelationskoeffizienten r xy x y y r xi xyi y 1 x x y y i i x Der Korrelationskoeffizient ist ein Indikator dafür, wie gut die Punkte (Xi,Yi) zu einer Geraden passen. Sein Wert liegt zwischen -1 und +1. Ist r nahe bei ±1, dann befinden sich die Punkte dicht bei einer Geraden. Ist r dagegen nahe bei 0, dann zeigen die Punkte wenig oder keine Neigung, auf einer Geraden zu liegen. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-9

30 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung Annahme alle Punkte (X i,y i ) lägen auf einer Geraden Y = A + BX In diesem Fall ist Y i = A + B X i für alle X i und Y A B X Somit gilt für jedes X i : X X B Y Y i i Setzt man dies in die Definitionsgleichung für r ein, ergibt sich: 1 1 B B x x B x x x x B r i i i [r = +1 bei positivem B; r = - 1 bei negativem B.] Quantitative Bedeutung von r? Linearer Korrelationskoeffizient

31 Linearer Korrelationskoeffizient Selbst wenn wir einen linearen Zusammenhang zwischen X und Y annehmen, ist aufgrund von Messfehlern nicht zu erwarten, dass r = 1 ist. Wir werden erwarten, dass r "hinreichend nahe" bei 1 liegt Was heißt hinreichend nahe? Ist 0,8 hinreichend nahe? Ist 0,6 nicht mehr nahe? Ist r = 0,6 bei 5 Messwerten anders zu bewerten als bei 100? Was wir benötigen, ist eine objektive Entscheidung darüber, was "hinreichend nahe" bei eins heißt. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-31

32 Quantitative Bedeutung des linearen Korrelationskoeffizienten Nehmen wir an die zwei Variablen X und Y seien unkorreliert. Bei unendlich vielen Messungen wird r = 0. Nach einer endlichen Zahl von Messungen ist es sehr unwahrscheinlich, dass r exakt gleich Null wird. r = 0,495 r = 1,000 r = 0,995 r = 0,951 r = 0,906 r = 0,70 r = 0,9 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-3

33 Quantitative Bedeutung des linearen Korrelationskoeffizienten Nehmen wir an die zwei Variablen X und Y seien unkorreliert. Bei unendlich vielen Messungen wird r = 0. Nach einer endlichen Zahl von Messungen ist es sehr unwahrscheinlich, dass r exakt gleich Null wird. Man kann die Wahrscheinlichkeit dafür berechnen, dass r einen bestimmten Wert r o übersteigt. P( r r o ) bezeichnet die Wahrscheinlichkeit, dass N Messungen von zwei unkorrelierten Variablen X und Y einen Koeffizienten r liefern, der größer ist als irgendein bestimmtes r o. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-33

34 Quantitative Bedeutung des linearen Korrelationskoeffizienten Hier sind die Wahrscheinlichkeiten dargestellt, bei N unkorrelierten Paaren (X i, Y i ) ein r einer gewissen Größe zu erhalten. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-34

35 Zusammenhang: Lineare Regression - linearer Korrelationskoeffizient Willkürliche Annahme X sei fehlerfrei und Y fehlerbehaftet. X 35, 48 Y 110,15 r = 0,4945 bei N = 0 Y 1,3366 X 6,78 T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-35

36 Zusammenhang: Lineare Regression - linearer Korrelationskoeffizient Ebenfalls gerechtfertigte und genauso willkürliche Annahme Y sei fehlerfrei und X fehlerbehaftet. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-36

37 Quantitative Bedeutung des linearen Korrelationskoeffizienten T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-37

38 Quantitative Bedeutung des linearen Korrelationskoeffizienten Hier sind die Wahrscheinlichkeiten dargestellt, bei N unkorrelierten Paaren (X i, Y i ) ein r einer gewissen Größe zu erhalten. Bei N=0 unkorrelierten Werten tritt ein r = 0,444 in 5% der Fälle auf; ein r = 0,516 nur in,0% der Fälle. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-38

39 Quantitative Bedeutung des linearen Korrelationskoeffizienten In unserem Beispiel ist r = 0,4945 und N = 0 Die Wahrscheinlichkeit, bei 0 unkorrelierten Paaren (X i, Y i ) ein r von 0,4945 zu erhalten, ist etwa,5 % Wenn diese Wahrscheinlichkeit "hinreichend klein" ist, können wir den Schluss ziehen, dass es sehr unwahrscheinlich ist, dass X und Y unkorreliert sind, oder anders Es ist sehr wahrscheinlich, dass die Daten korreliert sind. Ist,5 % eine "hinreichend kleine" Wahrscheinlichkeit? T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-39

40 Quantitative Bedeutung des linearen Korrelationskoeffizienten Häufig wird eine beobachtete Korrelation r b als signifikant bezeichnet, wenn die Wahrscheinlichkeit bei unkorrelierten Variablen einen Wert größer als r b zu erhalten, der 5 % Schwelle entspricht. Eine Korrelation wird als hochsignifikant bezeichnet, wenn die entsprechende Wahrscheinlichkeit kleiner als 1 % ist. In unserem Beispiel ist die Korrelation (r =0,4945) bei 0 Wertepaaren signifikant (auf 5% Niveau r b = 0,444 ). Sie ist nicht hochsignifikant (1%, r b = 0,561). T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-40

41 WICHTIG Korrelation bedeutet nicht Kausalität. Wussten Sie, dass..die Handschrift umso lesbarer ist, je größer die Schuhgröße ist?.der Weizenpreis sinkt, je mehr Symptome für Weizenpollenallergie (umgspr. Heuschnupfen) auftreten?.der Kalziumgehalt in den Knochen umso geringer ist, je mehr unverheiratete Tanten jemand hat? Vorsicht es gibt "Scheinkorrelationen" T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-41

42 Linearer Korrelationskoeffizient: Beispiele Gibt es eine Korrelation zwischen den Ergebnissen der Fehlerrechnung und den Ergebnissen im schriftlichen Vordiplom? Es gibt eine große Anzahl Studierender, die an der Fehlerrechnung teilgenommen haben, aber nicht zum Vordiplom angetreten sind. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-4

43 Linearer Korrelationskoeffizient: Beispiele Berücksichtigung von Studierenden, die beide Veranstaltungen absolviert haben. Gestrichelte Linien bedeuten die Punktegrenzen zum Bestehen der Veranstaltung. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-43

44 Linearer Korrelationskoeffizient: Beispiele Einzeichnen einer Regressionsgeraden Es liegt eine sehr geringe Korrelation vor, die obendrein durch einen Ausreißer verstärkt wird. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-44

45 Linearer Korrelationskoeffizient: Beispiele Vernachlässigung des AUSREIßERS Es liegt eine nahezu kreisförmige Punktwolke vor, was auf eine geringe Korrelation schließen lässt. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-45

46 Linearer Korrelationskoeffizient: Beispiele Vernachlässigung des AUSREIßERS führt zu einem noch kleineren Korrelationskoeffizienten. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-46

47 Linearer Korrelationskoeffizient: Beispiele Beide REGRESSIONSGERADEN STEHEN NAHEZU SENKRECHT AUFEINANDER. T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-47

48 Linearer Korrelationskoeffizient: Beispiele N = 140 r = 0, Die Korrelation ist hochsignifikant! T. Kießling: Fortgeschrittene Fehlerrechnung - Korrelation Vorlesung 03-48