Statistik I Vorlesungsskript

Transkript

1 Statistik I Vorlesugsskript Prof. Dr. Evgey Spodarev Ulm 2008

2 Vorwort Dieses Skript etstad aus dem Zyklus der Vorlesuge über Statistik, die ich i de Jahre a der Uiversität Ulm gehalte habe. Dabei hadelt es sich um die erste Eiführug i die Statistik, die durch die aufbauede Vorlesug Statistik II ergäzt wird. Dieses Skript gibt eie Übersicht über die typische Fragestelluge ud Methode der mathematische Statistik. Es stellt eie Versuch dar, eie Mittelweg zwische praktisch orietierte aber mathematisch oft sehr dürftige Statistik-Moographie eierseits ud trockee Bücher über die mathematische Statistik adererseits eizuschlage. Ob es mir geluge ist, soll der Leser beurteile. Ich möchte gere meie Kollege aus dem Istitut für Stochastik, Herr Prof. Volker Schmidt ud Herr Dipl.-Math. Malte Spiess, für ihre Uterstützug ud aregede Diskussioe währed der Etstehug des Skriptes dake. Herr Tobias Brosch hat eie hervorragede Arbeit beim Tippe des Skriptes ud bei der Erstellug zahlreicher Abbilduge, die de Text begleite, geleistet. Dafür gilt ihm mei herzlicher Dak. Ulm, de Evgey Spodarev

3 Ihaltsverzeichis Eiführug. Typische Fragestelluge, Aufgabe ud Ziele der Statistik Statistische Merkmale ud ihre Type Statistische Date ud Stichprobe Stichprobefuktioe Beschreibede Statistik 7 2. Verteiluge ud ihre Darstelluge Häufigkeite ud Diagramme Empirische Verteilugsfuktio Beschreibug vo Verteiluge Lagemaße Streuugsmaße Kozetratiosmaße Maße für Schiefe ud Wölbug Quatilplots Quatil-Grafike Dichteschätzug Beschreibug ud Exploratio vo bivariate Datesätze Grafische Darstellug vo bivariate Datesätze Zusammehagsmaße Eifache lieare Regressio Puktschätzer Parametrisches Modell Parametrische Familie vo statistische Prüfverteiluge Gamma-Verteilug Studet-Verteilug t-verteilug Fisher-Sedecor-Verteilug F-Verteilug Puktschätzer ud ihre Grudeigeschafte Eigeschafte vo Puktschätzer Schätzer des Erwartugswertes ud empirische Momete Schätzer der Variaz Eigeschafte der Ordugsstatistike Empirische Verteilugsfuktio Methode zur Gewiug vo Puktschätzer Mometeschätzer Maximum-Likelihood-Schätzer Bayes-Schätzer Resamplig-Methode zur Gewiug vo Puktschätzer i

4 ii Ihaltsverzeichis 3.5 Weitere Güteeigeschafte vo Puktschätzer Ugleichug vo Cramér-Rao Bedigte Erwartug Suffiziez Vollstädigkeit Bester erwartugstreuer Schätzer Literatur 05 Idex 07

5 Eiführug. Typische Fragestelluge, Aufgabe ud Ziele der Statistik Im alltägliche Sprachgebrauch versteht ma uter Statistik eie Darstellug vo Ergebisse des Zusammezähles vo Date ud Fakte jeglicher Art, wie z.b. ökoomische Kegröße, politische Umfrage, Date der Marktforschug, kliische Studie i der Biologie ud Medizi, usw. Die mathematische Statistik jedoch ka viel mehr. Sie arbeitet mit Date-Stichprobe, die ach eiem bestimmte Zufallsmechaismus aus der Grudgesamtheit aller Date, die i Folge vo Beobachtug, Experimete reale Date oder Computersimulatio sythetische Date erhobe wurde. Dabei beschäftigt sich die mathematische Statistik mit folgede Fragestelluge:. Wie solle die Date gewoe werde? Desig vo Experimete 2. Wie solle isbesodere riesegroße Datesätze beschriebe werde, um die Gesetzmäßigkeite ud Strukture i ihe etecke zu köe? Beschreibede deskriptive ud explorative Statistik 3. Welche Schlüsse ka ma aus de Date ziehe? Schließede oder iduktive Statistik Statistik Desig vo Experimete Beschreibede Statistik Schließede Statistik I dieser eiführede Vorlesug werde wir Teile der beschreibede ud schließede Statistik keelere, wobei die Dateerhebug aus Platzgrüde ausgelasse wird. Die Arbeitsweise eies Statistikers sieht folgedermaße aus:. Dateerhebug 2. Visualisierug ud beschreibede Dateaalyse 3. Datebereiigug z.b. Erkeug fehlerhafter Messuge, Ausreißer, usw. 4. Explorative Dateaalyse Suche ach Gesetzmäßigkeite 5. Modellierug der Date mit Methode der Stochastik 6. Modellapassug Schätzug der Modellparameter 7. Modellvalidierug wie gut war die Modellapassug?

6 2 Eiführug Pflaze rud katig Verhältis... : 3,8 3,4 3,4,9 2,9 4,3 3,7 2,2 4,7 3,6 Tab..: Ergebisse für die 0 Pflaze des erste Versuchs vo Medel 8. Schließede Dateaalyse: Kostruktio vo Vertrauesitervalle Kofidezitervalle für Modellparameter ud dere Fuktioe, Tests statistischer Hypothese, Vorhersage vo Zielgröße z.b. auf Basis modellbezogeer Computersimulatio. Us werde i diesem Vorlesugsskript vor allem die Arbeitspukte 2, 4 6 ud 8 beschäftige. Beispiel.. Nachfolged gebe wir eiige typische Fragestelluge der Statistik a Beispiele vo Datesätze:. Statistische Herleitug vo Grudsätze der biologische Evolutio Medel, 865: Es wurde Nachkomme vo zwei Erbsesorte, die sich i der Sameform uterscheide, gezüchtet: die erste Sorte hat rude, die zweite katige Erbse. Joha Gregor Medel hat festgestellt, dass sich rude Same domiat vererbe. Dabei werde bei eier Bestäubug vo Pflaze der eie Sorte mit Polle der adere alle Nachkomme rude Same zeige, die geetisch bevorzugt sid, d.h., beide Merkmale aufweise. Kreuzt ma diese hybride Pflaze, so zeige sie rude ud katige Same im Verhältis 3 : Spaltugsud Domiazregel vo Medel. Bei der statistische Überprüfug seier Vermutuge erhielt Medel 5475 rude ud 850 katige Same, die somit im Verhältis 2, 96 : stehe. I der Tabelle. sid Ergebisse für die erste 0 Pflaze gezeigt. Ma sieht, dass das obe geate Verhältis zufällig um 3 : schwakt. Durch die Bildug des Mittels über das Gesamtkollektiv der Date wird die Gesetzmäßigkeit 3 : gefude explorative Statistik. 2. Kreditwürdigkeit bei Kreditvergabe Die Bake sid offesichtlich dara iteressiert, Bakkredite a Kude zu vergebe, die i der Zukuft solvet bleibe, also die Kreditrate regelmäßig zurückzahle köe. Um die Kreditwürdigkeit zu überprfe, werde Umfrage gemacht, wobei die Atworte uter aderem i folgede Variable kodiert werde: X Laufedes Koto bei der Bak = ei, 2 = ja ud durchschittlich geführt, 3 = ja ud gut geführt X 2 Laufzeit des Kredits i Moate X 3 Kredithöhe i e X 4 Rückzahlug früherer Kredite gut/ schlecht

7 Eiführug 3 Y X : laufedes Koto 0 ei 45, 0 9, 9 gut 5, 3 49, 7 mittel 39, 7 30, 2 X 3 : Kredithöhe i e 0 0 < , 00 2, < , 33 9, < , 00 9, < , 67 24, < , 00 28, < , 33 9, < , 67 3, < , 00 2, < , 00 0, 29 X 4 : Frühere Kredite 0 gut 82, 33 94, 85 schlecht 7, 66 5, 5 X 5 : Verwedugszweck 0 privat 57, 53 69, 29 beruflich 42, 47 30, 7 Tab..2: Lerstichprobe zur Vergabe vo Kredite X 5 Verwedugszweck privat / geschäftlich X 6 Geschlecht weiblich / mälich Um a Had eies ausgefüllte Frageboges wie diesem eie Etscheidug über die Vergabe des Kredits treffe zu köe, werde Lerstichprobe heragezoge, bei dee das Ergebis Y der erfolgte Kreditvergabe bekat ist. Dabei bedeutet Y = 0 gut ud Y = schlecht. Betrachte wir eie solche Stichprobe eier süddeutsche Bak, die 000 Umfrageböge umfasst. Dabei sid 700 kreditwürdig ud 300 davo icht kreditwürdig gewese. Die Tabelle.2 zeigt Prozetzahle dieses Datesatzes für ausgewählte Merkmale X i. Dabei ist es möglich, mit Hilfe statistischer Methode Regressio eie Kreditetscheidug bei eiem Kude a Had dieser Lerprobe automatisch treffe zu köe. Dieser Vorgag wird machmal auch statistisches Lere geat. Fragestelluge wie diese werde erst i Statistik II verallgemeierte lieare Modelle behadelt. 3. Korrosio vo Legieruge I diesem Beispiel wurde der Korrosiosgrad eier Kupfer-Nickel-Legierug i Abhägigkeit ihres Eisegehalts utersucht. Dazu wurde 3 verschiedee Räder mit dieser Legierug beschichtet ud 60 Tage lag i Meerwasser gedreht. Daach wurde der Gewichtsverlust i mg pro dm 2 ud Tag bestimmt. Aus dem Bild. ist zu sehe, dass die Korrosio i Abhägigkeit vom Eisegehalt liear abimmt. Mit statistische Methode

8 4 Eiführug Korrosio β 0 Eisegehalt Abb..: Korrosio vo Kupfer-Nickel-Legierug eifache lieare Regressio ka die Geschwidigkeit dieser Abahme geschätzt werde..2 Statistische Merkmale ud ihre Type Die Date, die zur statistische Aalyse vorliege, köe eie oder mehrere iteressierede Größe die auch Variable oder Merkmale geat werde umfasse. Ihre Werte werde Merkmalsauspräguge geat. I dem achfolgede Diagramm werde mögliche Type der statistische Merkmale gegebe. Statistische Merkmale qualitativ quatitativ omial ordial diskret stetig Diese Type etstehe i Folge der Klassifikatio vo Wertebereiche Skale der Merkmale. Deoch ist diese Eiteilug icht vollstädig ud ka bei Bedarf erweitert werde. Ma uterscheidet qualitative ud quatitative Merkmale. Quatitative Merkmale lasse sich ihaltlich gut durch Zahle darstelle z.b. Kredithöhe i e, Körpergewicht ud Körpergröße, Blutdruck usw.. Sie köe diskrete oder stetige Wertebereiche habe, wobei diskrete Merkmale isolierte Werte aehme köe z.b. Azahl der Schäde eies Versicherers pro Jahr. Stetige Wertebereiche higege sid überabzählbar. Deoch liege i der Praxis stetige Merkmale i gerudeter Form vor z.b. Körpergröße auf cm gerudet, Geldbeträge auf e gerudet usw..

9 Eiführug 5 Im Gegesatz zu de quatitative Merkmale sid die Ihalte der qualitative Merkmale, wie z.b. Blutgruppe 0, A, B ud AB oder Familiestad ledig, verheiratet, verwitwet, icht sivoll durch Zahle darzustelle. Sie köe zwar formell mit Zahle kodiert werde z.b. bei Blutgruppe 0 = 0, A =, B = 2, AB = 3, aber solche Kodieruge stelle keie ihaltliche Zusammehag zwische Auspräguge ud Zahle-Codes dar soder diee lediglich der bessere Idetifikatio der Merkmale auf eiem Recher. Es ist isbesodere usiig, Mittelwerte ud ähliches vo solche Codes zu bilde. Ei qualitatives Merkmal mit ur 2 Auspräguge z.b. mälich / weiblich, Raucher / Nichtraucher heiße alterativ. Ei qualitatives Merkmal ka ordial we sich eie atürliche lieare Ordug i de Merkmalsauspräguge fide lässt, wie z.b. gut / mittel / schlecht bei Qualitätsbewertug i Umfrage oder sehr gut / gut / befriediged / ausreiched / magelhaft / ugeüged bei Schulote oder omial we eie solche Ordug icht vorhade ist sei. Beispiele vo omiale Merkmale sid Fahrzeugmarke i der KFZ-Versicherug z.b. BMW, Peugeot, Volvo, usw. oder Führerscheiklasse A, B, C,.... Datemerkmale köe auch mehrdimesioale Auspräguge habe. I dieser Vorlesug behadel wir jedoch hauptsächlich eidimesioale Merkmale..3 Statistische Date ud Stichprobe Aus de obige Beispiele wird klar, dass ei Statistiker mit Datesätze der Form x,..., x arbeitet, wobei die Eizeleiträge x i aus eier Grudgesamtheit G R k stamme, die hypothetisch uedlich groß ist. Der vorliegede Datesatz x,..., x wird auch kokrete Stichprobe vo Umfag geat. Die Mege B aller potetiell mögliche Stichprobe bezeiche wir als Stichproberaum ud setze zur Vereifachug der Notatio B = R k. I diesem Skript werde wir meistes die uivariate statistische Aalyse also k = ei eidimesioales Merkmal betreibe. I der beschreibede Statistik arbeitet ma mit Stichprobe x,..., x ud ihre Fuktioe, um diese Date visualisiere zu köe. Für die Aufgabe der schließede Statistik jedoch reicht diese Dateebee icht mehr aus. Daher wird die zweite Ebee der Betrachtug eigeführt, die sogeate Modellebee. Dabei wird ageomme, dass die kokrete Stichprobe x,..., x eie Realisierug eies stochastische Modells X,..., X darstellt, wobei X,..., X meistes uabhägige idetisch verteilte Zufallsvariable auf eiem icht äher spezifiziertem Wahrscheilichkeitsraum Ω, F, P sid. Diese Zufallsvariable X i, i =,..., köe als kosequete Beobachtuge eies Merkmals iterpretiert werde. I Bsp..., z.b. die Erbseform mit X i = { 0, falls Erbse i rud,, falls Erbse i eckig, i =,...,. Der Vektor X,..., X wird dabei Zufallsstichprobe geat. Ma setzt weiter voraus, dass EXi 2 < i =,...,, damit ma vo der Variaz Var X i der Eizeleiträge spreche ka. Es wird außerdem ageomme, dass ei ω Ω existiert, sodass X i ω = x i i =,...,. Sei F die Verteilugsfuktio der Zufallsvariable X i. Eie der wichtigste Aufgabe der Statistik ist die Bestimmug vo F ma sagt, Schätzug vo F aus de kokrete Date x,..., x. Dabei köe auch Momete vo F ud ihre Fuktioe Erwartugswert, Variaz, Schiefe, usw. vo Iteresse sei.

10 6 Eiführug.4 Stichprobefuktioe Um die obige Aufgabe erfülle zu köe, braucht ma gewisse Fuktioe ϕ : R R m, m N auf dem Stichproberaum, die diese Stichprobe bewerte. Defiitio.4. Eie Borel-messbare Abbildug ϕ : R R m heißt Stichprobefuktio. We ma auf der Modellebee mit eier Zufallsstichprobe X,..., X arbeitet, so heißt die Zufallsvariable ϕx,..., X eie Statistik. I der Schätztheorie spricht ma dabei vo Schätzer ud bei statistische Tests wird ϕx,..., X Teststatistik geat. Beispiele für Stichprobefuktioe sid uter adere das Stichprobemittel die Stichprobevariaz ud die Ordugsstatistike x = x i, s 2 = 2 xi x x x 2... x, die etstehe, we ma eie Stichprobe, die aus quatitative Merkmale besteht, liear ordet x = mi,..., x i,..., x = max... x i. Weitere Beispiele ud ihre Charakteristike werde i Kapitel 2 gegebe.

11 2 Beschreibede Statistik Sei eie kokrete Stichprobe x,..., x, x i R gegebe, wobei die x i als Realisieruge der Zufallsvariable X i d = X mit Verteilufsfuktio F iterpretiert werde köe. 2. Verteiluge ud ihre Darstelluge I diesem Abschitt werde wir Methode zur statistische Beschreibug ud grafische Darstellug der ubekate Verteilug F betrachte. 2.. Häufigkeite ud Diagramme Falls das quatitative Merkmal X eie edliche Azahl vo Auspräguge {a,..., a k }, a < a 2 <... < a k, besitzt, also P X {a,..., a k } =, da ka eie Schätzug der Zähldichte p i = P X = a i vo X aus de Date x,..., x grafisch dargestellt werde. Ähliche Darstelluge sid für die Dichte fx vo absolut stetige Merkmale X möglich, wobei ihr Wertebereich C sich i k Klasse aufteile lässt: c i, c i ], i =,..., k, wobei c 0 =, c <... < c k, c k = ist. Da ka die Zähldichte p i = P X c k, c k ] als p i = ci c i fx dx i, i = 0,..., k betrachtet werde. Defiitio 2... Die absolute Häufigkeit vo Merkmalsausprägug a i bzw. Klasse c i, c i ], i =... k ist i = #{x j, j =,..., : x j = a i } bzw. i = #{x j, j =,..., : x j c i, c i ]}. 2. Die relative Häufigkeit vo Merkmalsausprägug a i bzw. Klasse c i, c i ] ist f i = i /, i =... k. Es gilt offesichtlich = k i, 0 f i, k f i =. Die absolute ud relative Häufigkeite werde oft i Häufigkeitstabelle zusammegefasst. Zu ihrer Visualisierug diee so geate Diagramme. Es wird grudsätzlich zwische Histogramme ud Kreisdiagramme uterschiede.. Histogramme werde gebildet, idem ma die Paare a i, f i bzw. /2c + x, f, /2ci + c i, f i, i = 2,..., k, /2ck + x, f k im absolut stetige Fall, wobei hier die Bezeichug a i = /2c i +c i verwedet wird auf der Koordiateebee x, y folgedermaße aufträgt: Stabdiagramm: f i wird als Höhe des sekrechte Strichs über a i dargestellt: 7

12 8 2 Beschreibede Statistik y f 2 f 0 a a 2 a 3... a k x Säulediagramm: geauso wie ei Stabdiagramm, ur werde Striche durch Säule der Form c i, c i ] f i ersetzt, wobei im diskrete Fall die Aufteilug der reelle Achse = c 0 < c < c 2 <... < c k < c k = i Itervalle beliebig vorgeomme werde ka. y f 2 f 0 c a c 2 a 2 c 3 a 3 c 4... c k a k c k+ x Balkediagramm: geauso wie Säulediagramm, ur mit vertikale statt horizotaler x-achse. c k+ a k c k x. c 4 a 3 c 3 a 2 c 2 a c 0 f f 2 y 2. Kreisdiagramme Tortediagramme: Ei Kreis wird i Segmete mit Öffugswikel α i eigeteilt, die proportioal zu f i sid: α i = 2πf i, i =,...,.

13 2 Beschreibede Statistik 9 f f 5 f 4 f 3 f 2 3. Stamm-Blatt-Diagramme stem-leaf display: Diese werde heutzutage relativ selte ud ur für kleie Datesätze verwedet. Dabei arbeitet ma mit Stichprobewerte, die auf gaze Zahle gerudet sid. Sei x,..., x eie Stichprobe vo solche Werte, die Auspräguge eies quatitative Merkmals sid. Zuächst teilt ma de Wertebereich [x, x ] i Klasse gleicher Breite 0 d, d N, wobei jede Klasse mit de erste Ziffer der dazugehörige Beobachtuge markiert wird. Zum Beispiel, we die Klasseeiteilug so aussieht werde die Klasse [00i, 00i mit de Zahle i markiert ud auf der y-achse wie folgt aufgetrage: y Auf diese Weise wird der Stamm des Baumes festgelegt. I jeder Klasse ordet ma Beobachtuge ihrer Größe ach ud rudet sie auf die Stelle, die ach der gewählte Geauigkeit des Stammes folgt. Als Beispiel erhält ma aus 27 30, aus usw. ud trägt diese Beobachtuge als Blätter des Baums horizotal ihrer Reihefolge ach als 3 i Klasse ud 5 i Klasse 6 auf. Dabei darf ma icht vergesse, die Eiheit zu otiere: /3 = 30, um sich das Rückreche zu ermögliche. Bei der Wahl der Klasseazahl m hält ma sich a die Faustregel m 0 log 0, um eierseits de Dateverlust durch das uötige Rude zu miimiere ud adererseits dass Diagramm so übersichtlich wie möglich zu halte. Bemerkug 2.. Die i Abschitt 2.. betrachtete Methode diee der Visualisierug vo Zähl- Dichte der

14 0 2 Beschreibede Statistik Abb. 2.: Das Histogramm der Date mit eier rechtssteile liksschiefe, symmetrische ud likssteile rechtsschiefe Verteilug ud ihre Dichte. Verteilug eies beobachtete Merkmals X. Aus dem Histogramm ka z.b. die Iterpretatio der Form der Dichte abgelese werde: Ist die zugrudeliegede Verteilug F X symmetrisch bzw. likssteil rechtsschief oder rechtssteil liksschief vgl. Abb. 2. oder ist sie uimodal d.h. eigipflig, bimodal d.h. mit 2 Gipfel oder multimodal also mit mehrere Gipfel vgl. Abb Abb. 2.2: Histogramm der Date mit der Dichte eier uimodale, bimodale ud multimodale Verteilug 2..2 Empirische Verteilugsfuktio Es sei eie kokrete Stichprobe x,..., x gegebe, die eie Realisierug des statistische Modells X,..., X ist, wobei X,..., X uabhägig idetisch verteilte Zufallsvariable mit d Verteilugsfuktio F X : X i = X FX sid. Wie ka die ubekate Verteilugsfuktio F X aus de Date x,..., x rekostruiert die Statistiker sage geschätzt werde? Dies ist mit Hilfe der sogeate empirische Verteilugsfuktio möglich: Defiitio Die Fuktio ˆF x = #{x i : x i x, i =,..., }/, x R heißt empirische Verteilugsfuktio der kokrete Stichprobe x,..., x. Dabei gilt ˆF : R + [0, ], weil ˆF x = ϕx,..., x, x.

15 2 Beschreibede Statistik 2. Die mit x R idizierte Zufallsvariable ˆF : Ω R [0, ] heißt empirische Verteilugsfuktio der Zufallsstichprobe X,..., X, we ˆF x, ω = ˆF x = #{X i, i =,..., : X i ω x}, x R. Äquivalet zur Defiitio 2..2 ka ma ˆF x = Ix i x, x R schreibe, wobei Es gilt {, x A Ix A = 0, sost., x x, ˆF x = i, x i x < x i+, i =,...,, 0, x < x. Dabei ist die Höhe des Sprugs a Stelle x i gleich der relative Häufigkeit f i des Wertes x i. Falls x i = x i+ für ei i {,..., }, so tritt der Wert i/ icht auf. I Abbildug 2.3 sieht ma, dass ˆF x eie rechtsstetige mooto ichtfallede Treppefuktio ist, für die ˆF f f... f 3 f 2 f x x 2 x 3 x Abb. 2.3: Eie typische empirische Verteilugsfuktio ˆF x 0, ˆF x gilt. x x Übugsaufgabe 2.. Zeige Sie, dass ˆF x eie Verteilugsfuktio ist.

16 2 2 Beschreibede Statistik 2.2 Beschreibug vo Verteiluge Maßzahle eier Stichprobe Lagemaße Streuugsmaße Kozetratiosmaße Maße für Schiefe ud Wölbug Es sei eie kokrete Stichprobe x,..., x gegebe. Im Folgede werde Kezahle die sogeate Maße dieser Stichprobe betrachtet, welche die wesetliche Aspekte der der Stichprobe zugrudeliegede Verteilug wiedergebe:. Wo liege die Werte x i Mittel, Ordugsstatistike, Quatile? = Lagemaße 2. Wie stark streue die Werte x i Variaz = Streuugsmaße 3. Wie stark sid die Werte x i i gewisse Bereiche vo R kozetriert = Kozetratiosmaße 4. Wie schief bzw. gewölbt ist die Verteilug vo X = Maße für Schiefe ud Wölbug 2.2. Lagemaße Ma uterscheidet folgede wichtige Lagemaße: Mittelwerte: Stichprobemittel arithmetisch, geometrisches ud harmoisches Mittel, gewichtetes Mittel, getrimmtes Mittel Ordugsstatistike ud Quatile, isbesodere Media ud Quartile Modus Betrachte wir sie der Reihe ach:. Mittelwertbildug: Seit der Atike ket ma midestes 3 Arte der Mittelberechug vo Zahle x,..., x : arithmetisch: x = / x i, x,..., x R, geometrisch: x g = x... x, x,..., x > 0, harmoisch: x h = / x i, x,..., x /= 0. a Das arithmetische Mittel wird i der Statistik am meiste beutzt, weil es keie Voraussetzuge über de Wertebereich vo x,..., x braucht. Es wird auch Stichprobemittel geat. Offesichtlich ist x ei Spezialfall des sogeate gewichtete Mittels x w = w i x i, wobei für die Gewichte w i 0 i =,..., ud w i = gilt. Als eie atürliche Gewichtewahl kommt w i = /, i =,..., bei eier kokrete Stichprobe x,..., x i Frage. Die Summe aller Abweichuge vo x ist Null, de x i x = x x = 0, d.h. x stellt geometrisch de Schwerpukt der Werte x i dar, falls jedem Pukt eie Eiheitsmasse zugeordet

17 2 Beschreibede Statistik 3 wird. We es i der Stichprobe große Ausreißer gibt, so beeiflusse sie das Stichprobemittel etscheidet ud erschwere so die objektive Dateaalyse. Deshalb verwedet ma oft die robuste Versio des arithmetische Mittels, das sogeate getrimmte Mittel: x k = 2k k i=k+ bei desse Berechug die k kleiste ud k größte Ausreißer ausgelasse werde, wobei k /2. b Das geometrische Mittel wird hauptsächlich bei der Beobachtug vo Wachstumsud Zisfaktore verwedet. Sei x i = B i /B i, i =,..., der Wachstumsfaktor des Merkmals B i das i de Jahre i =,..., beobachtet wurde z.b. Iflatiosfaktor. Da ist B = B 0 x... x ud somit wäre der Zis im Jahre x i, B g = B 0 x... x = B 0 x g. Für das geometrische Mittel gilt log x g = log x i log x i wege der Kokavität des Logarithmus, d.h. log x g = log x log x ud somit x g x, wobei x g = x geau da, we x =... = x. c Das harmoische Mittel wird bei der Ermittlug vo z.b. durchschittlicher Geschwidigkeite gebraucht. Beispiel 2.2. Seie x i Geschwidigkeite mit dee Bauteile eie Produktiosliie der Läge l durchlaufe. Die gesamte Bearbeitugszeit ist l/x l/x ud die Durchschittslaufgeschwidigkeit 2. Ordugsstatistike ud Quatile l l l/x l/x = x h. Defiitio 2.2. Die Ordugsstatistike x i, i =,..., der Stichprobe x,..., x sid durch die messbare Permutatio ϕx,..., x gegebe, so dass x i = mi { x j : #{k : x k x j } i }, i =,...,. Somit gilt x x 2... x. Dieselbe Defiitio ka auch auf der Modellebee gegebe werde. Defiitio a Sei u X die Zufallsvariable, die das Merkmal modelliert. Sei F X ihre Verteilugsfuktio. Die verallgemeierte Iverse vo F X, defiiert durch F X y = if { x : F X x y }, y [0, ], heißt Quatilfuktio vo F X bzw. X. Es gilt F F X α, α [0, ] wird α-quatil vo F X geat. X : [0, ] R {± }. Die Zahl

18 4 2 Beschreibede Statistik b FX 0, 25 heißt uteres Quartil, FX 0, 75 heißt oberes Quartil, FX 0, 5 heißt der Media der Verteilug vo X. Zwische Ordugsstatistike ud Quatile besteht ei eger Zusammehag. So bedeutet FX α, α 0,, dass ca. α 00% aller Merkmalsauspräguge i der Stichprobe x,..., x uter FX α ud ca. α 00% über FX α liege im absolut stetige Fall. Isbesodere gilt FX α x [α], deshalb werde Ordugsstatistike auch empirische Quatile geat. Dabei ist x α defiiert als x α = { x[α]+, α / N /2x [α] + x [α]+, α N. Dies ist die allgemeie Defiitio des α-empirische Quatils. Der empirische Media ist x +, ugerade 2 x med = 2 x + x, gerade Somit sid midestes 50% aller Stichprobewerte kleier gleich ud 50% größer gleich x med. Der Media ist ei Lagemaß, das ei robuster Ersatz für de Mittelwert darstellt, de er ist bzgl. Ausreißer i der Stichprobe icht sesibel. Die obe geate Statistike werde i eiem Box-Plot zusammegefasst ud grafisch dargestellt: iterquartiler Abstad x mi = x x 0,25 x med x 0,75 x 0,95 x max = x Machmal werde x ud x durch x 0,05 ud x 0,95 ersetzt. Die restliche Werte werde darüber hiaus als Eizelpukte auf der x-achse abgebildet. Da liegt ei sogeater modifizierter Box-Plot vor. 3. Modus: Sei x,..., x eie Stichprobe, die aus uabhägige Realisieruge des Merkmals X besteht. Sei fx px die Zähl- Dichte vo X. Defiitio a Der Wert x mod = arg max fx arg max px wird der Modus der Verteilug vo X geat vgl. Abb b Empirisch wird x mod als X m für m = arg max f i defiiert, also als ei Stichprobewert mit der größte Häufigkeit des Vorkommes i der Stichprobe.

19 2 Beschreibede Statistik 5 y fx 0 x mod x Abb. 2.4: Veraschaulichug des Modus De Mittelwert x, Media x med ud Modus x mod ka ma auch wie folgt defiiere: x = arg mi x x med = arg mi x x mod = arg mi x x i x 2 x i x Ix i /= x Übugsaufgabe 2.2. Zeige Sie die Äquivalez der obe geate Defiitioe des Mittelwerts x, Medias x med ud des Modus x mod zu de bekate Defiitioe. Die Größe x, x med ud x mod köe auch zur Beschreibug der Symmetrie eier uimodale Verteilug F X vo Date x,..., x verwedet werde, da bei symmetrische Verteilug F X gilt x x med x mod bei likssteile Verteilug F X gilt x mod < x med < x bei rechtssteile Verteilug F X gilt x < x med < x mod Streuugsmaße Bekate Streuugsmaße eier kokrete Stichprobe x,..., x sid die folgede Größe: Spaweite x x, empirische Variaz s 2 = x i x 2, Stichprobevariaz s 2 = x i x 2 = s2, empirische Stadardabweichuge s = s 2, s = s 2, empirischer Variatioskoeffiziet γ = s / x, falls x > 0. Die Spaweite zeigt die maximale Streuug i de Date, wobei sich die empirische Variaz mit der mittlere quadratische Abweichug vom Stichprobemittel auseiadersetzt. Hier sid eiige Eigeschafte vo s 2 bzw. s 2, da sie sich ur durch eie Faktor uterscheide: Lemma 2.2.

20 6 2 Beschreibede Statistik. Für jedes b R gilt x i b 2 = x i x 2 + x b 2 ud somit für b = 0 s 2 = x 2 i x 2 bzw. s 2 = x 2 i x Trasformatiosregel: Falls die Date x,..., x liear trasformiert werde, d.h. y i = ax i + b, a /= 0, b R, da gilt s 2,y = a 2 s 2,x bzw. s,y = a s,x, wobei s 2,y = y i ȳ 2, s 2,x = x i x 2 Beweis. x i b 2 = x i x + x b 2 = x i x x i x x b + x b 2 = x i x x b x i x + x b 2, b R. } {{ } =0 2. s 2,y = ax i + b a x b 2 = a2 x i x 2 = a 2 s 2,x. Der Skalierugsuterschied zwische s 2 ud s 2 ist de Eigeschafte der Erwartugstreue vo s 2 zu verdake, die später im Laufe dieser Vorlesug behadelt wird, ud besagt, dass für eie Zufallsstichprobe X,..., X mit X i uabhägig idetisch verteilt, X i X, Var X = σ 2 0, gilt Es 2 = σ 2, wobei E s 2 = σ2 σ 2. Das heißt, währed bei der Verwedug vo s 2 zur Schätzug vo σ 2 kei Fehler im Mittel gemacht wird, ist diese Aussage für s 2 ur asymptotisch für große Datemege richtig. Aufgrud vo x i x = 0 ist z.b. x x durch x i x, i =,..., bestimmt. Somit verrigert sich die Azahl der Freiheitsgrade i der Summe x i x 2 um ud somit scheit die Normierug plausibel zu sei. Die Stadardabweichuge s ud s werde verwedet, damit ma die selbe Eiheite ud icht ihre Quadrate, also z.b. Euro ud icht Euro 2 erhält. Für ormalverteilte Stichprobe

21 2 Beschreibede Statistik 7 X Nµ, σ 2 liefert s auch die k-sigma-regel vgl. Vorlesug WR, die besagt, dass i de Itervalle [ x s, x + s ] ca. 68%, [ x 2 s, x + 2 s ] ca. 95%, [ x 3 s, x + 3 s ] ca. 99% aller Date liege. Der Vorteil vom empirische Variatioskoeffiziete ist, dass er maßstabsuabhägig ist ud somit de Vergleich vo Streuugseigeschafte uterschiedlicher Stichprobe zulässt Kozetratiosmaße Isbesodere i de Wirtschaftswisseschafte iteressiert ma sich oft für die Kozetratio vo Merkmalsauspräguge i der Stichprobe, z.b. wie sich das Familieeikomme eier demographische Eiheit auf uterschiedliche Eikommesbereiche Vielverdieer, Mittelstad, Weigverdieer aufteilt, oder wie sich der Markt auf Marktabieter aufteilt Marktkozetratio. Dabei ist es wüscheswert, diese Relatio mit Hilfe weiger Zahle oder eier Grafik zum Ausdruck zu brige. Dies ist mit Hilfe folgeder Stichprobefuktioe möglich: Lorezkurve L, Gii-Koeffiziet G, Kozetratiosrate CR g, Herfidahl-Idex H.. Die Lorezkurve wurde vo M. Lorez am Afag des XX. Jahrhuderts für die Charakterisierug der Vermögeskozetratio beutzt. Sei x,..., x eie Stichprobe, die i aufsteigeder Reihefolge geordet werde muss: x,..., x. Die Lorezkurve verbidet Pukte 0, 0, u, v,..., u, v,, durch Liiesegmete, wobei u j = j/ der Ateil des j kleiste Merkmalsträger ud v j = j x i/ x i die kumulierte relative Merkmalssumme ist. Der Grudgedake ist darzustelle, welcher Ateil des Merkmalsträgers auf welche Ateil der Gesamtmerkmalssumme etfällt. Zum Beispiel lasse sich dadurch Aussage wie etwa Auf 20% aller Haushalte im Lad etfällt 78% des Gesamteikommes mache. Eie Iterpretatio der Lorezkruve L ist ur a de Kote u j, v j möglich: Auf u j 00% der kleiste Merkmalsträger kozetriere sich v j 00% der Merkmalssumme. Dabei liegt L auf [0, ] 2 immer zwische der lie of perfect equality l.p.e. v i = u i i Eikomme ist absolut gleichmäßig also gerecht verteilt ud lie of perfect iequality l.p.i. v = 0, u [0, ud, das Gesamteikomme besitzt ur die reichste Familie ud ist immer mooto ud kovex. Auf Modellebee gibt es ei Aalogo der Lorezkurve. Dieses ist { u L = u, v [0, ] 2 0 : v = F X tdt } 0 F X, u [0, ], tdt

22 8 2 Beschreibede Statistik v l.p.e S L S 3 0 l.p.i u Abb. 2.5: Abbildug eier typische Lorezkurve wobei EX = 0 F X tdt vgl. WR Satz Demetspreched köe die Kote u i, v j der obe eigeführte empirische Lorezkurve als iterpretiert werde. v j = j 2. Der Gii-Koeffiziet G ist gegebe durch G = S /S 2, wobei S die Fläche zwische der Lorezkurve L ud der Diagoale v = u, S 2 die Fläche zwische der Diagoale ud der u-achse = /2 [0, ] 2 = /2 ist. Satz 2.2. Darstellug des Gii-Koeffiziete: Es gilt G = 2S = 2 ix i + x i. Beweis Begie wir mit die Darstellug G = + / 2 v zu zeige. Nach Defiitio ist x x i G = S S 2 = S 2 S 3 S 2 = S 3 S 2 = 2S 3, wobei S 3 die Fläche zwische der Lorezkurve ud der x-achse ist vgl. Abb Bereche wir S 3 : S 3 = j= F j, wobei F j = / v j + 2 v j + v j = 2 v j v j die Fläche uter eiem Liiesegmet der Lorezkurve ist vgl. Abb Es gilt

23 2 Beschreibede Statistik 9 v j v j F j u j / u j Abb. 2.6: Liiesegmet der Lorezkurve somit S 3 = 2 Beweise wir jetzt, dass v j + v j = 2 v j = v 2 2, j= j= G = 2 v + = + 2 v. G = 2 ix i + x i ist. Sei w = ix i. Aufgrud der Defiitio vo v j gilt s j = j x i = s v j, j =,..., ud x i = s i s i, s 0 = 0. Daher erhalte wir ud somit w = is i s i = is i i + s i = s s i i=0 i=0 = + s s i = + s s v i = + s s v 2ω + = 2w + s s s = 2 + s 2s v + s s = + 2 v = G. Es gilt G [0, x/], wobei G mi = 0 bei x = x 2 =... = x perfect equality, G max = bei x =... = x = 0, x /= 0 perfect iequality. Somit hägt G max vom Dateumfag ab. Um dies zu vermeide, betrachtet ma oft de ormierte Gii-Koeffiziete G = G G max = G [0, ]

24 20 2 Beschreibede Statistik Lorez-Müzer-Koeffiziet. 3. Kozetratiosrate CR g : I de Pukte ud 2 betrachtete wir die relative Kozetratio, wie etwa bei der Fragestellug Wieviel % der Familie teile sich wieviel % des Gesamteikommes?. Dabei beatwortet die Kozetratiosrate die Frage Wieviele Familie habe wieviel Prozet des Gesamteikommes? für die g reichste Familie, somit wird auch die absolute Azahl aller Familie berücksichtigt. Sei g {,..., } ud seie x... x die Ordugsstatistike der Stichprobe x,..., x. Für i {,..., } sei p i = 4. der Merkmalsateil der i-te Eiheit. x i j= x j = x i x 2.2. Da gibt die Kozetratiosrate CR g = i= g+ p i wieder, welcher Ateil des Gesamteikommes vo g reichste Familie gehalte wird. 5. Der Herfidahl-Idex ist defiiert durch M = p 2 i, wobei der Merkmalsateil p i ach 2.2. defiiert ist. Bei der gleiche Verteilug des Eikommes x = x 2 =... = x gilt H mi = /, bei völlig ugerechter Verteilug x =... = x = 0, x /= 0 H max =. Sost gilt H [H mi, H max ], also / H. H ist umso kleier, je gerechter das Gesamteikomme verteilt ist Maße für Schiefe ud Wölbug Im Vorlesugsskript WR, Abschitt 4.5 S. 99 wurde folgede Maße für Schiefe bzw. Wölbug der Verteilug eier Zufallsvariable X eigeführt: Schiefe oder Symmetriekoeffiziet: wobei Wölbug Exzess γ = µ 3 σ 3 = E X 3, µ k = EX EX k, σ 2 = µ 2 = Var X, X = X EX σ γ 2 = µ 4 σ 4 3 = E X 4 3, vorausgesetzt, dass EX 4 <. Für ihre Bedeutug ud Iterpretatio siehe die obe geate Seite des WR-Vorlesugsskriptes. Falls u das Merkmal X statistisch i eier Stichprobe x,..., x beobachtet wird, wie köe γ ud γ 2 aus diese Date geschätzt ud iterpretiert werde? Als Schätzer für das k-te zetrierte Momet µ k = EX EX k, k N schlage wir ˆµ k = x i x k.

25 2 Beschreibede Statistik 2 vor, die Variaz σ 2 wird durch s 2 = x i x 2 geschätzt. Somit bekommt ma de Mometekoeffiziet der Schiefe egl. skewess ˆγ = ˆµ 3 x i x 3 s 3 = 3/2. x i x 2 Falls die Verteilug vo X liksteil ist, überwiege positive Abweichuge im Zähler ud somit gilt ˆγ > 0 für likssteile Verteiluge. Aalog gilt ˆγ 0 für symmetrische ud ˆγ < 0 für rechtssteile Verteiluge. Das Wölbugsmaß vo Fisher egl. kurtosis ist gegebe durch ˆγ 2 = ˆµ 4 s 4 3 = x i x x i x 2 Falls ˆγ 2 > 0 so ist die Verteilug vo X steilgipflig, für ˆγ 2 < 0 ist sie flachgipflig. Falls X Nµ, σ 2, so gilt ˆγ 2 0. Die Ursache dafür ist, dass die steilgifplige Verteiluge schwerere Tails habe als die flachgipflige. Als Maß diet dabei die Normalverteilug, für die γ = γ 2 = 0 ud somit ˆγ 0, ˆγ 2 0. So defiiert, sid ˆγ ud ˆγ 2 icht resistet gegeüber Ausreisser. Eie robuste Variate vo ˆγ ist beispielsweise durch de sogeate Quatilskoeffiziete der Schiefe ˆγ q α = x α x med x med x α x α x α, α 0, /2 gegebe. Für α = 0, 25 erhält ma de Quartilskoeffiziete. ˆγ q α misst de Uterschied zwische der Etferug des α- ud α-quatils zum Media. Bei likssteile bzw. rechtssteile Verteiluge liegt das utere x α -Quatil äher a bzw. weiter etfert vo dem Media. Somit gilt ˆγ q α > 0 für likssteile Verteiluge, ˆγ q α < 0 für rechtssteile Verteiluge, ˆγ q α = 0 für symmetrische Verteiluge. Durch das zusätzliche Normiere Neer gilt ˆγ q α. 2.3 Quatilplots Quatil-Grafike Nach der erste beschreibede Aalyse eies Datesatzes x,..., x soll überlegt werde, mit welcher Verteilug diese Stichprobe modelliert werde ka. Hier sid die sogeate Quatilplots behilflich, da sie grafisch zeige, wie gut die Date x,..., x mit dem Verteilugsgesetz G übereistimme, wobei G die Verteilugsfuktio eier hypothetische Verteilug ist. Sei X eie Zufallsvariable mit ubekater Verteilugsfuktio F X. Auf Basis der Date d X,..., X, X i uabhägig idetisch verteilt ud X i = X möchte ma prüfe, ob FX = G für eie bekate Verteilugsfuktio G gilt. Die Methode der Quatil-Grafike besteht dari, dass ma die etsprechede Quatil-Fuktioe ˆF ud G vo ˆF ud G grafisch vergleicht. Hierzu

26 22 2 Beschreibede Statistik plotte ma G k/ gege ˆF k/ = X k, k =,...,. Falls die Puktwolke } {G k/, X k, k =,..., äherugsweise auf eier Gerade y = ax + b liegt, so sagt ma, dass F X x G x a b, x R. y = ˆF t X X. X 3 y = ax + b X 2 X x = G t 0 G G 2 G 3... G G Abb. 2.7: Quatil-Grafik Diese empirische Vergleichsmethode beruht auf folgede Überleguge: Ma ersetzt die ubekate Fuktio F X durch die aus de Date berechebare Fuktio ˆF. Dabei macht ma eie Fehler, der allerdigs asymptotisch für klei ist. Dies folgt aus dem Satz vo Gliweko-Catelli, der besagt, dass sup ˆF x F X x 0. x R Der Vergleich der etsprechede Quatil-Fuktioe wird durch folgedes Ergebis bestärkt: Falls EX <, da gilt t sup ˆF y FX y dy f.s. 0. t [0,] 0 Somit setzt ma bei der Verwedug der Quatil-Grafike voraus, dass der Stichprobeumfag ausreiched groß ist, um ˆF FX zu gewährleiste. Ma setzt zusätzlich voraus, dass die Gleichuge y = ax + b, y = F X t, x = G t

27 2 Beschreibede Statistik 23 für alle t ud icht ur äherugsweise für t = k/, k =,..., gelte. Daraus folgt, dass Gx = t = F X y = F X ax + b für alle x, oder F X y = G für alle y, weil x = y a b ist. Aus praktischer Sicht ist es besser, Paare G k +, X k, k =,..., zu plotte. Dadurch wird vermiede, dass G / = G = vorkommt, wie es zum Beispiel im Falle eier Verteilug G der Fall ist, bei der F x < gilt für alle x R. Tatsächlich gilt für k =, dass + < ud somit G k + <. y b a Beispiel 2.3. Expoetial-Verteilug, Gx = e λx Ix 0: Es gilt G = /λ log y, y 0,. So wird ma beim Quatil-Plot Paare λ log k, X + k, k =,..., zeiche, wobei der Faktor /λ für die Liearität uwesetlich ist ud weggelasse werde ka. Beispiel Normalverteilug, Gx = Φx = 2π x e t2 /2 dt, x R: Leider ist die aalytische Berechug vo Φ mit eier geschlossee Formel icht möglich. Aus diesem Grud wird Φ k + umerisch berechet ud i Tabelle oder statistische Software-Pakete wie z.b. R abgelegt. Um die empirische Verteilug der Date mit der Normalverteilug zu vergleiche, trägt ma Pukte mit Koordiate k Φ, X + k, k =,..., auf der Ebee auf ud prüft, ob sie eie Gerade bilde vgl. Abb Übugsaufgabe 2.3. Etwerfe Sie die Quatil-Grafike für de Vergleich der empirische Verteilug mit der Logormal ud der Weibull-Verteilug. Bemerkug 2.3. Falls x = 0 ud die Verteilug F X likssteil ist, so sid die Quatile vo F X kleier als die vo Φ. Somit ist der Normal-Quatilplot kovex. Falls x = 0 ud F X rechtssteil ist, so wird der Normal-Quatilplot kokav sei. Beispiel Haftpflichtversicherug Belgie, 992: I Abbildug 2.9 sid Ordugsstatistike der Stichprobe vo = 227 Schadehöhe der Idustrie-Ufälle i Belgie im Jahr 992 Haftpflichtversicherug gege Quatile vo Expoetial-, Pareto-, Stadardormal- ud Weibull-Verteiluge geplottet. Im Bereich vo Kleischäde zeige die Expoetial- ud Pareto-Verteiluge eie gute Übereistimmug mit de Date. Die Verteilug vo mittelgroße Schäde ka am beste durch die Normal- ud Weibul-Verteiluge modelliert werde. Für Großschäde erweist sich die Weibull-Verteilug als geeiget. Beispiel Redite der BMW-Aktie: I Abbildug 2.0 ist der Quatilplot für Redite der BMW-Aktie beispielhaft zu sehe.

28 24 2 Beschreibede Statistik Abb. 2.8: QQ-Plot eier Normalverteilug a, eier likssteile Verteilug b, eier rechtssteile Verteilug c ud eier symmetrische, aber stark gekrümmte Verteilug d Expoetiale Quatil-Grafik Weibull Quatil-Grafik Ui Quatile der Expoetialverteilug Logormale Quatil-Grafik logui logquatile der Expoetialverteilug Pareto Quatil-Grafik,2 logui 9 7 logui 0,8 0, Quatile der Stadardormalverteilug 0, Quatile der Expoetialverteilug Abb. 2.9: Ordugsstatistike eier Stichprobe vo Schadehöhe der Idustrie-Ufälle i Belgie im Jahr 992

29 2 Beschreibede Statistik 25 Redite Quatile der Stadardormalverteilug Abb. 2.0: Quatilplot der Redite der BMW-Aktie 2.4 Dichteschätzug Sei eie Stichprobe x,..., x vo uabhägige Realisieruge eies absolut stetig verteilte Merkmals X mit Dichte f X gegebe. Mit Hilfe der i Abschitt 2.. eigeführte Histogramme lässt sich f X grafisch durch eie Treppefuktio ˆf X darstelle. Dabei gibt es zwei etscheidede Nachteile der Histogrammdarstellug:. Willkür i der Wahl der Klasseeiteilug [c i, c i ], 2. Eie möglicherweise stetige Fuktio f X wird durch eie Treppefuktio ˆf X ersetzt. I diesem Abschitt werde wir versuche, diese Nachteile zu beseitige, idem wir eie Klasse vo Kerdichteschätzer eiführe, die je ach Wahl des Kers auch zu stetige Schätzer ˆf X führe. Defiitio 2.4. Der Ker Kx wird defiiert als eie icht-egative messbare Fuktio auf R mit der Eigeschaft R Kx dx =. Defiitio Der Kerdichteschätzer der Dichte f X aus de Date x,..., x mit Kerfuktio Kx ist gegebe durch ˆf X x = x xi K, x R, h h wobei h > 0 die sogeate Badbreite ist. Beispiele für Kere:. Rechtecksker: Dabei ist Kx = /2 Ix [,. h K x xi h = { /2h, xi h x < x i + h, 0, sost,

30 26 2 Beschreibede Statistik ud somit ˆf X x = h k x xi K h = #{x i [x h, x + h} 2h, das auch gleitedes Histogramm geat wird. Dieser Dichteschätzer ist och icht stetig, was durch die besoders eifache rechteckige ustetige Form des Kers erklärt wird. 2 Kx 0 x 2. Epaechikov-Ker: { 3/4 x 2, x [, Kx = 0, sost. 3 4 Kx 0 x 3. Bisquare-Ker: Kx = 5 x 2 2 Ix [, Kx 0 x 4. Gauss-Ker: Kx = 2π e x2 /2, x R. Kx 0 x

31 2 Beschreibede Statistik 27 Dabei ist die Wahl der Badbreite h etscheided für die Qualität der Schätzug. Je größer h > 0, desto glatter wird ˆf X sei ud desto mehr Details werde herausgemittelt. Für kleiere h wird ˆf X rauer. Dabei köe aber auch Details auftrete, die rei stochastischer Natur sid ud keie Gesetzmäßigkeite zeige. Mit der adäquate Wahl vo h beschäftige sich viele wisseschaftliche Arbeite, die empirische Faustregel, aber auch kompliziertere Optimierugsmethode dafür vorschlage. Isgesamt ist das Problem der optimale Dichteschätzug i der Statistik immer och offe. 2.5 Beschreibug ud Exploratio vo bivariate Datesätze Im Gegesatz zu der Datelage i de Abschitte 2. bis 2.4 betrachte wir im Folgede Datesätze bestehed aus 2 Stichprobe x,..., x ud y,..., y, die als Realisieruge vo stochastische Stichprobe X,..., X ud Y,..., Y aufgefasst werde, wobei X,..., X d uabhägige idetisch verteilte Zufallsvariable mit X i = X FX, Y,..., Y uabhägige d idetisch verteilte Zufallsvariable mit Y i = Y FY sid. Wir betrachte hier ausschließlich quatitative Merkmale X ud Y. Es wird ei Zusammehag zwische X ud Y vermutet, der a Had vo kokrete Stichprobe x,..., x ud y,..., y äher utersucht werde soll. Mit adere Worte, wir iteressiere us für die Eigeschafte der bivariate Verteilug F X,Y x, y = P X x, Y y des Zufallsvektors X, Y Grafische Darstellug vo bivariate Datesätze Um die Verteilug vo x,..., x ud y,..., y zu visualisiere, betrachte wir drei Möglichkeite:. Streudiagramme 2. Zweidimesioale Histogramme 3. Kerdichteschätzer im Falle eies absolut stetig verteilte Zufallsvektors X, Y. Streudiagramme sid die erste sehr eifache ud ituitive Visualisierugsmöglichkeit vo bivariate Date. Um ei Streudiagramm zu erstelle, plottet ma die Puktwolke x i, y i,..., auf eier Koordiateebee im R 2. Dabei zeigt die Form der Puktwolke, ob ei liearer y = ax + b bzw. polyomialer y = P d x Zusammehag i de Date zu erwarte ist. Später werde solche Zusammehäge im Rahme der Regressiostheorie utersucht vgl. Abschitt für die eifache lieare Regressio. 2. Zweidimesioale Histogramme diee der Darstellug der bivariate Zähldichte px, y des Zufallsvektors X, Y, falls er diskret verteilt ist, bzw. seier Dichte fx, y im Falle eier absolut stetige Verteilug vo X, Y aus de Date x,..., x ud y,..., y. Dabei teilt ma de Wertebereich vo X i Itervalle [c i, c i, i =... k, = c 0 < c <... < c k = + ud de Wertebereich vo Y i Itervalle [e i, e i, i =... m, = e 0 < e <... < e m = +.

32 28 2 Beschreibede Statistik y y i 0 xi x Abb. 2.: Puktwolke Bezeiche wir h ij = # { x k, y l, k, l =,..., : x k [c i, c i, y l [e j, e j } als die absolute Häufigkeit vo X, Y i [c i, c i [e j, e j, f ij = h ij / als die relative Häufigkeit. Das zweidimesioale Histogramm setzt sich aus de Säule mit Grudriss [c i, c i [e j, e j ud Höhe h ij c i c i e j e j für das Histogramm absoluter Häufigkeite bzw. f ij c i c i e j e j für das Histogramm relativer Häufigkeite zusamme, damit das Volume dieser Säule h ij bzw. f ij ist. Dabei hat solch ei Histogramm dieselbe Vor- bzw. Nachteile wie ei ei- z y e j e j 0 c i c i x Abb. 2.2: Zweidimesioales Histogramm dimesioales, we es um die grafische Darstellug eier bivariate Dichte fx, y geht. Deshalb beutzt ma oft Kerdichteschätzer, um eie glatte Darstellug zu bekomme.

33 2 Beschreibede Statistik Zweidimesioale Kerdichteschätzer habe die Form ˆfx, y = h h 2 x xi K h K y yi für die Badbreite h, h 2 > 0, die Glättugsparameter sid. Dabei ist K eie Kerfuktio vgl. Abschitt 2.4. Seie Eigeschafte übertrage sich aus dem eidimesioale Fall. h Zusammehagsmaße Jetzt wird us die Frage beschäftige, i welchem Maße die Merkmale X ud Y voeiader abhägig sid. Um die CovX, Y = EX EXY EY aus de Date zu schätze, setzt ma die sogeate empirische Kovariaz S 2 xy = x i x y i ȳ ei. Dabei ist S 2 xy jedoch vo de Skale vo X ud Y abhägig.. Um eie skaleivariates Zusammehagsmaß zu bekomme, betrachtet ma die empirische Variate des Korrelatioskoeffiziete ϱx, Y = CovX, Y Var X Var Y, de sogeate Bravais-Pearso-Korrelatioskoeffiziete ϱ xy = S 2 xy S 2 xx S 2 yy, wobei S 2 xx = x i x 2, Syy 2 = y i ȳ 2 die Stichprobevariaze der Stichprobe x,..., x ud y,..., y sid. Dabei erbt ϱ xy alle Eigeschafte des Korrelatioskoeffiziete ϱx, Y : a ϱ xy b ϱ xy = ±, falls ei liearer Zusammehag i de Date x i, y i,..., vorliegt, d.h. alle Pukte x i, y i, i =,..., liege auf eier Gerade mit positivem bei ϱ xy = bzw. egativem bei ϱ xy = Astieg. c We ϱ xy klei ist ϱ xy 0, so sid die Datesätze ukorreliert. Dabei wird oft folgede grobe Eiteilug vorgeomme: Merkmale X ud Y sid schwach korreliert, falls ϱ xy < 0.5, stark korreliert, falls ϱ xy 0.8. Asoste liegt ei mittlerer Zusammehag zwische X ud Y vor.

34 30 2 Beschreibede Statistik Lemma 2.5. Für ϱ xy gilt die alterative rechegüstige Darstellug ϱ xy = x i y i x ȳ x 2 i x2 yi ȳ2 Beweis Ma muss lediglich zeige, dass x i x y i ȳ = x i y i x ȳ. Alles adere folgt daraus für x i = y i, i =,...,. Es gilt x i x y i ȳ = x i y i x y i ȳ x i + x ȳ = x i y i x ȳ ȳ x + x ȳ = x i y i x ȳ Falls die vorliegede Date x,..., x ud y,..., y ur 2 Auspräguge zeige ud somit biär kodiert werde köe, d.h. x i, y i {0, }, da gilt ϱ xy = h h 22 h 2 h 2 = ϕ h h 2 h 2 h 2 der sogeate Phi-Koeffiziet, wobei h = # { x i, y i : x i = y i = 0 } h 22 = # { x i, y i : x i = y i = } h 2 = # { x i, y i : x i = 0, y i = } h 2 = # { x i, y i : x i =, y i = 0 } h = h + h 2 h = h + h 2 h 2 = h 22 + h 2 h 2 = h 22 + h 2 Übugsaufgabe 2.5. Zeige Sie diese Darstellugsform! 2. Spearmas Korrelatioskoeffiziet Eie alterative Korrelatioskoeffiziete erhält ma, we ma die Stichprobewerte x i bzw. y i i ϱ xy durch ihre Räge rgx i bzw. rgy i ersetzt, die als Positio dieser Werte i de asteiged geordete Stichprobe zu verstehe sid: rgx i = j, falls x i = x j für ei j {,..., }, i =,...,. Es bedeutet, dass rgx i = i i =,...,, falls x i /= x j für i /= j.

35 2 Beschreibede Statistik 3 Falls die Stichprobe x,..., x k idetische Werte x i die sogeate Biduge ethält, so wird diese Werte der sogeate Durchschittsrag rgx i zugewiese, der als arithmetisches Mittel der k i Frage kommede Räge errechet wird. Zum Beispiel fidet folgede Zuordug statt: x i 3,, 7, 5, 3, 3 rgx i a,, 6, 5, a, a wobei der Durchschittsrag a vo Stichprobeeitrag 3 gleich a = / = 3 ist. Somit wird der sogeate Spearmas Korrelatioskoeffiziet Ragkorrelatioskoeffiziet der Stichprobe x,..., x ud y,..., y als der Bravais-Pearso-Koeffiziet der Stichprobe ihrer Räge rgx,..., rgx ud rgy,..., rgy defiiert: ϱ sp = rgxi rg x rgyi rg y rgxi rg x 2 rgyi rg y 2, wobei rg x = rgx i = rgx i = i = rg y = rgy i = = + 2, Dieser Koeffiziet misst mootoe Zusammehäge i de Date. Aus de Eigeschafte der Bravais-Pearso-Koeffiziete folgt ϱ sp. Betrachte wir die Fälle ϱ sp = ± gesodert: ϱ sp = bedeutet, dass die Pukte rgx i, rgy i, i =,..., auf eier Gerade mit positiver Steigug liege. Da aber rgx i, rgy i N, ka diese Steigug ur sei. Es bedeutet, dass dem kleiste Wert i der Stichprobe x,..., x der kleiste Wert i y,..., y etspricht, usw., d.h., für wachsede x i wachse auch die y i streg mooto: x i < x j = y i < y j i /= j. Aalog gilt da für ϱ sp =, dass x i < x j = y i > y j i /= j. Dies ka folgedermaße zusammegefaßt werde: ϱ sp > 0: gleichsiiger mootoer Zusammehag x i groß y i groß ϱ sp < 0: gegesiiger mootoer Zusammehag x i groß y i klei ϱ sp 0: kei mootoer Zusammehag. Da der Spearmas Korrelatioskoeffiziet ur Räge vo x i ud y i betrachtet, eiget er sich auch für ordiale ud icht ur quatitative Date.

36 32 2 Beschreibede Statistik Lemma Falls die Stichprobe x,..., x ud y,..., y keie Bidug ethalte x i /= x j, y i /= y j i /= j, da gilt ϱ sp = wobei d i = rgx i rgy i i =,...,. 6 2 d 2 i, Beweis Als Übugsaufgabe. Satz 2.5. Ivariazeigeschafte:. We die Merkmale X ud Y liear trasformiert werde: fx = a x X + b x, gy = a y Y + b y, a x /= 0, b x R a y /= 0, b y R da gilt ϱ fxgy = sga x a y ϱ xy. 2. Falls Fuktioe f : R R ud g : R R beide mooto wachsed oder beide mooto falled sid, da gilt ϱ sp fx, gy = ϱ sp x, y. Falls f mooto wachsed ud g mooto falled oder umgekehrt sid, da gilt ϱ sp fx, gy = ϱ sp x, y. Beweis Beweise wir ur, weil 2 offesichtlich ist.. ax x i + b x a x x + b x a y y i + b y a y ȳ + b y ϱ fxgy = a 2 x x i x 2 a 2 y y i ȳ 2 = a xa y a x a y x i x y i ȳ x i x 2 y i ȳ = sga xa 2 y ϱ xy. Bemerkug Da lieare Trasformatioe mooto sid, gilt Aussage auch für Spearmas Korrelatioskoeffiziete ϱ sp. 2. Der Koeffiziet ϱ xy erfasst lieare Zusammehäge, währed ϱ sp mootoe Zusammehäge aufspürt.

37 2 Beschreibede Statistik 33 Abb. 2.3: Vergleich verschiedewertiger Bestimmtheitsmaße. Es sid Regressiosgerade, Bestimmtheitsmaß B ud Korrelatioskoeffiziet r verschiedeer fiktiver Puktwolke vom Umfag = 25 dargestellt. Die Beschriftug der Achse ist weggelasse, weil sie hier ohe Bedeutug ist Eifache lieare Regressio We ma de Zusammehag vo Merkmale X ud Y mit Hilfe vo Streudiagramme visualisiert, wird oft ei liearer Tred erkebar, obwohl der Bravais-Pearso-Korrelatioskoeffiziet eie Wert kleier als liefert, z.b. ϱ xy 0, 6 vgl. Abb Dies ist der Fall, weil die Datepukte x i, y i, i =,..., oft um eie Gerade streue ud icht exakt auf eier Gerade liege. Um solche Situatioe stochastisch modelliere zu köe, immt ma de Zusammehag der Form Y = fx + ε a, wobei ε die sogeate Störgröße ist, die auf mehrere Ursache wie z.b. Beobachtugsfehler Messfehler, Berechugsfehler, usw. zurückzuführe sei ka. Dabei et ma die Zufallsvariable Y Zielgröße oder Regressad, die Zufallsvariable X Eiflussfaktor, Regressor oder Ausgagsvariable. Der Zusammehag Y = fx + ε wird Regressio geat, wobei ma oft über ε voraussetzt, dass Eε = 0 kei systematischer Beobachtugsfehler. We fx = α+βx eie lieare Fuktio ist, so spricht ma vo der eifache lieare Regressio. Es sid aber durchaus adere Arte der Zusammehäge dekbar, wie z.b. fx = α i x i i=0 polyomiale Regressio, usw. Beispiele für mögliche Ausgags- bzw. Zielgröße sid i Tabelle 2. zusammegefasst, eiige Beispiele i Abbildug 2.4. Auf Modellebee ist damit