Statistik I für Statistiker, Mathematiker und Informatiker (WS 06/07)

Transkript

1 1 Einführung Statistik I für Statistiker, Mathematiker und Informatiker (WS 06/07) 11 Beispiele 1 Einführung Christian Heumann (basierend auf einem Skript von Prof Fahrmeir) 12 Grundaufgaben der Statistik 13 Statistische Einheiten, Merkmale und Gesamtheiten 14 Datengewinnung und Erhebungsarten Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 11 Beispiele Münchner Absolventenstudie (1995) 11 Beispiele Ziel der Studie: Beurteilung der zeitlichen Entwicklung der Berufsaussichten Schriftliche Befragung: Fragebogen an 465 Studierende der Soziologie Genaue Spezifizierung der befragten Einheiten (Grundgesamtheit): Studierende der Soziologie mit Diplomprüfung von Rücklauf: nur 264 Fragebögen, Problem fehlender Daten Erhobene Merkmale, deren Ausprägungen bzw Werte (hier nur 5 Merkmale, insgesamt 82 Fragen): 1 Einführung 11 Beispiele Merkmal mögliche Ausprägungen Geschlecht (G) weiblich, männlich Studiendauer in Semestern (S) natürliche Zahl (größer oder gleich 7) Fachliches Engagement im Studium (E) sehr engagiert bis gar nicht engagiert in 5 Stufen Diplomarbeit (D) empirisch primär, empirisch sekundär, empirisch qualitativ, theoretisch Gesamtnote der Diplomprüfung (N) Noten: 1,2,3,4 oder 5 Die Speicherung der Daten (Datei, Datenbank) wird für manche Merkmale oft in kodierter Form vorgenommen, dh den einzelnen Ausprägungen werden Zahlenwerte zugeordnet: Merkmal G: weiblich=1, männlich=2 Merkmal E: sehr engagiert=5,, gar nicht engagiert=1 Merkmal D: e primär=1, e sekundär=2, e qualitativ=3, theoret=4 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 2 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 3

2 1 Einführung 11 Beispiele 1 Einführung 11 Beispiele Person i G S E D N Person i G S E D N Daten für 36 (zufällig ausgewählte) Absolventen der Münchner Absolventenstudie 1995 des Instituts für Soziologie der LMU München Mietspiegel (repräsentative Stichprobe) Ziel des Mietspiegels: Marktübersicht über Miethöhen und zwar in Abhängigkeit von Merkmalen der Wohnung, wie Wohnfläche, Alter, Ausstattung, Lage Vermeidung von (teuren) Rechtsstreitigkeiten zwischen Vermietern und Mietern bzglder Miethöhe Daten (Ausschnitt) von 2053 Wohnungen können vom Datenarchiv der Statistik Homepage herunter geladen werden Einheiten und Grundgesamtheit: Alle gemäß Mietgesetz relevanten Haushalte in München Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 4 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 11 Beispiele Merkmale und ihre Ausprägungen bzw Werte: Nettomiete in EUR Nettomiete pro m 2 in EUR Wohnfläche in m 2 Anzahl der Zimmer in der Wohnung Baujahr der Wohnung Stadtbezirk Gute Wohnlage? (Ja=1,Nein=0) Beste Wohnlage? (Ja=1,Nein=0) Warmwasserversorgung vorhanden? (Ja=0,Nein=1) Zentralheizung vorhanden? (Ja=1,Nein=0) Gekacheltes Badezimmer? (Ja=0,Nein=1) Besondere Zusatzausstattung im Bad? (Ja=1,Nein=0) Gehobene Küche? (Ja=1,Nein=0) 1 Einführung 11 Beispiele Datensatzstruktur: nm nmqm wfl rooms bj bez wohngut wohnb ww0 zh badka0 badext kueche Bemerkung: Einzelne Wohnungen (Fälle) werden im Datensatz zeilenweise abgespeichert, die Merkmale entsprechen den Spalten im Datensatz Man spricht auch von einer Datenmatrix Diese Struktur wird auch von statistischer Software vorausgesetzt Datenerhebung: Fragebögen, mit Interviewer Simultaner Einfluß mehrerer Variablen auf eine abhängige Variable (Miethöhe) soll beschrieben werden: Regressionsmodell Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 6 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 7

3 1 Einführung 11 Beispiele Politische Umfragen (Stichprobe) Einheiten und Grundgesamtheit: Alle wahlberechtigten Bundesbürger Merkmale und ihre Ausprägungen bzw Werte: Geschlecht (weiblich, männlich) Parteipräferenz (CDU/CSU, SPD, Grüne, FDP, Sonstige) 1 Einführung 11 Beispiele Institut Allensbach Forsa Forsch gr Wahlen GMS Infratest-dimap Datum CDU/CSU 44, ,0 41 SPD 23, ,0 29 B 90/Grüne 11, ,0 12 FDP 8, ,0 7 PDS 7, ,0 6 Sonstige 4, ,0 5 Hier sind nur Prozentzahlen (Anteile) angegeben Eine Beurteilung der Genauigkeit der Prognosen ohne Angaben zum jeweiligen Stichprobenumfang ist nicht möglich Beispiel: Bei Infratest-dimap ist die Fallzahl 1000 Abhängig vom (tatsächlichen) Anteil ist der mögliche Fehler (Statistik II) Reduktion der Daten auf die sog Sonntagsfrage: Wenn am nächsten Sonntag Bundestagswahlen wären Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 8 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 11 Beispiele Kreditwürdigkeitsprüfung (Stichprobe) Ziel der statistischen Analyse: Basierend auf Daten der Vergangenheit (Trainingsdaten), bei denen die Kreditwürdigkeit Y bekannt ist (also ob die Kreditnehmer den Kredit zurückzahlen konnten (Y = 0) oder nicht (Y = 1)), sollen neue potentielle Kreditnehmer überprüft werden Man möchte also eine Einschätzung des Risikos, daß diese ihren Kredit nicht zurückzahlen, wobei nur die ug Merkmale zur Prognose zur Verfügung stehen 1 Einführung 11 Beispiele Laufzeit des Kredits in Monaten Kredithöhe in Euro Rückzahlung früherer Kredite (gut, schlecht) Verwendungszweck (privat, beruflich) Geschlecht (weiblich, männlich) Einheiten und Grundgesamtheit: Alle potentiellen (Privat-)Kunden (in gewissem Zeitraum) Merkmale und Ausprägungen bzw Werte (nur Auswahl): Laufendes Konto bei der Bank, (nein = 1, mittel = 2, gut = 3) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 10 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 11

4 1 Einführung 11 Beispiele Y X 1 : laufendes Konto 1 0 nein gut mittel X 3 : Kredithöhe Y in Euro 1 0 < < < < < < < < < X 4 : Frühere Kredite 1 Y 0 gut schlecht Y X 5 : Verwendungszweck 1 0 privat beruflich Prozentzahlen ausgewählter Merkmale zur Kreditwürdigkeit 1 Einführung 11 Beispiele Medizinische Diagnostik (Stichprobe) Einheiten und Grundgesamtheit: Potentielle Patienten bzw Probanden Merkmale und Ausprägungen bzw Werte: Gesundheitszustand (sehr gut=1, gut=2, mittel=3, schlecht=4, sehr schlecht=5) Alter in Jahren Blutwerte Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 12 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 11 Beispiele Aktienkurse und Aktienindizes (Zeitreihen) Tageskurse k(t) von Aktien, zb aller Aktien aus dem DAX [ ] Meist betrachtet man die Renditen r t : r t = log k(t) k(t 1) Ziel: Bewertung von Risiko und Rendite einer Aktie, Portfoliogestaltung Auch wichtig: Besteht eine Abhängigkeit zwischen verschiedenen Aktien? 1 Einführung 11 Beispiele IFO-Konjunkturtest (Panel- bzw Longitudinaldaten), Geschäftsklima Unternehmen verschiedener Branchen Monatliche Daten zu Geschäftslage, Produktionspläne, Auftragsbestand Pläne und Erwartungen der Unternehmen Meist 3 Antworten zur Auswahl,, =,, etwa Produktionstätigkeit wird in den nächsten 3 Monaten voraussichtlich (1) steigen, (2) etwa gleich bleiben, (3) abnehmen IFO führt zahlreiche Unternehmensbefragungen durch: bis heute überwiegend in Papierform, in Zukunft wohl online Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 14 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 15

5 1 Einführung 11 Beispiele Klinische und epidemiologische Studien (Longitudinaldaten) 1 Einführung 11 Beispiele Weitere Beispiele Beispiel: Multiple Sklerose (MS) Stichprobe von MS-Patienten aus verschiedenen Kliniken bzw aus Registerdaten Pro Patient wird wiederholt, oft in unregelmäßigen Zeitabständen, der Gesundheitszustand auf der EDSS -Skala (1,,10) festgestellt Speziell für Tests neuer Medikamente oder Therapien zum Nachweis einer verbesserten Wirkung gegenüber einem Standardmedikament oder einer Standardtherapie: Doppelt blinde, randomisierte Studie Sozio-ökonomisches Panel (Längsschnittstudie) Epidemiologische Studien Waldschadenserhebungen (räumliche Daten) Werden diese Erhebungen in bestimmten Zeitabständen wiederholt: Räumlich zeitliche Daten Marktforschung Einschaltquoten Bewertung und Vergleich von Produkten gleichen Typs aber verschiedener Produzenten durch Verbraucher (Waschmittel, Kaffee, Schokolade, usw) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 16 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 11 Beispiele Sportstatistik Analyse von Genexpressionsdaten 1 Einführung 11 Beispiele Ressourcenplanung von Netzwerken und Servern (der 8-9 Uhr Effekt, wenn sich alle Mitarbeiter mehr oder weniger gleichzeitig im Netz anmelden und ihre abrufen) Mustererkennung ( Pattern recognition ): Oftmals statistische Methoden in Ergänzung zu deterministischen Methoden Beispiel: Erkennung von SPAM Mails Statistische Physik Landwirtschafliche Ertragsexperimente: Vergleich verschiedener Düngemittel, Pflanzenzüchtungen Informatik: Optimierung des Antwortverhaltens von Datenbanken Zugriffsstatistiken auf Webserver Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 18 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 19

6 1 Einführung 11 Beispiele Bemerkungen Statistik kann helfen, Zusammenhänge zu verdeutlichen, Risiken abzuschätzen, Entscheidungsprozesse zu unterstützen und zu verbessern ( give me a number! ) Statistik ist in der Lage, unter gewissen Annahmen, Unsicherheit zu quantifizieren Was Statistik nicht kann Substanzwissenschaftliche Fragen klären, zb weshalb ein bestimmtes Medikament besser wirkt als ein anderes Medikament Statistik kann nur helfen zu erkennen, ob und gegebenenfalls bei welcher Gruppe von Patienten ein bestimmtes Medikament bessere Wirkung zeigt Erkennen von geschickter Datenmanipulation (soll leider vorkommen) 1 Einführung 12 Grundaufgaben der Statistik 12 Grundaufgaben der Statistik Deskription (Beschreibung): Beschreibung, graphische Aufbereitung, Komprimierung der Daten in Tabellen usw ohne Stochastik Exploration (Suchen nach Mustern und Strukturen) Induktion: Schluss von Stichprobe auf Grundgesamtheit Datenanalyse ohne Stochastik } Datenanalyse mit Stochastik, Wahrscheinlichkeitsrechnung nötig Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 20 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 12 Grundaufgaben der Statistik Beispiele: Kredit-Scoring, Mietspiegel, klinische Studien, Durchschnittsmiete aus Stichprobe? Durchschnittsmiete in München 1 Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten 13 Statistische Einheiten, Merkmale und Gesamtheiten Grundgesamtheit (Population) statistische Einheit, Objekt, Individuum, Merkmalsträger, Teilgesamtheit (Subpopulation) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 22 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 23

7 1 Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Bemerkungen und Beispiele: Grundgesamtheit muss als Menge eindeutig definiert, man sagt abgegrenzt, sein Endliche Grundgesamtheiten: Mietspiegel, Absolventenstudie, politische Umfragen Unendliche Grundgesamtheiten: Menge aller möglichen Kurse, alle potentiellen Kunden bzw Patienten Stichprobe: Tatsächlich untersuchte Teilgesamtheit 1 Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Statistische Einheiten, Merkmale, Gesamtheiten Statistische Einheiten: Objekte, an denen interessierende Größen erfasst werden Grundgesamtheit: Menge aller für die Fragestellung relevanten statistischen Einheiten Teilgesamtheit: Teilmenge der Grundgesamtheit Stichprobe: tatsächlich untersuchte Teilmenge der Grundgesamtheit Merkmal: interessierende Größe, Variable Merkmalsausprägung: konkreter Wert des Merkmals für eine bestimmte statistische Einheit Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 24 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Merkmalstypen: Stetige und diskrete Merkmale 1 Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Quasi-stetiges Merkmal Diskretes Merkmal endlich oder abzählbar unendlich viele verschiedene Werte Beispiele: Geschlecht, Kinderanzahl, Stetiges Merkmal diskret, sehr kleine Einheiten, praktisch stetig Beispiel: Monetäre Größen in Cent, usw Gruppierte Daten, Häufigkeitsdaten: alle Werte eines Intervalles können angenommen werden Beispiele: Zeitdauern, Größe, Gewicht, stetiges oder quasi-stetiges Merkmal X Wertebereich wird in Gruppen (Klassen, Kategorien) eingeteilt Beispiele: Gehalt in Gehaltsklassen, Alter in Altersklassen Bemerkung: Gruppierung dient auch dem Datenschutz! Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 26 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 27

8 1 Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Skalen Skalenniveau charakterisiert Informationsgehalt der gemessenen / beobachteten Werte bzw Ausprägungen eines Merkmals Nominalskala: Beispiele: Kategorien wie Geschlecht (w, m) Nationalität (deutsch, österreichisch, türkisch,) Verwendungszweck (Beruf, privat) Kodierung von Kategorien in Zahlen 1,2, dient nur zur Unterscheidung 1 < 2 oder 1 2, 2 1, 1 : 3 etc machen keinen Sinn 1 Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Ordinalskala: Beispiele: Schulnoten 1 < 2 < < 6 Geschäftslage, =, bzw 1 < 2 < 3 Werte bzw Kategorien lassen sich ordnen Metrische Skala oder Kardinalskala: Intervallskala: Beispiel: Temperatur kein Nullpunkt Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 28 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Einführung 13 Statistische Einheiten, Merkmale und Gesamtheiten Verhältnisskala: Beispiele: Währungen Anzahlen Wohnfläche 1 Einführung 14 Datengewinnung / Erhebungsarten 14 Datengewinnung / Erhebungsarten Vollerhebung: Alle statistischen Einheiten der Grundgesamtheit werden untersucht ( erhoben ) Stichprobe = Teilerhebung sinnvoll interpretierbare Berechnungen Skalenart auszählen ordnen Differenzen bilden Quotienten bilden nominal ja nein nein nein ordinal ja ja nein nein intervall ja ja ja nein verhältnis ja ja ja ja Sinnvolle Berechnungen für Daten verschiedener Skalen (Rein) zufällige Stichprobe repräsentative Stichprobe: statistische Einheiten der Stichprobe werden (rein) zufällig wie aus einer Urne gezogen Mehr dazu in Statistik II (induktive Statistik) Bewusste Auswahlverfahren, zb Quotenauswahl, Expertenauswahl Induktive Statistik nur mit zufälliger Stichprobe möglich! Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 30 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 31

9 1 Einführung 14 Datengewinnung / Erhebungsarten Erhebungsarten Querschnittsdaten: Ein oder mehrere verschiedene Merkmale werden an einer Reihe von Objekten einmal erhoben (zu einem bestimmten Zeitpunkt oder in einem bestimmten Zeitraum) 1 Einführung 14 Datengewinnung / Erhebungsarten Longitudinal-, Längsschnitt- oder Paneldaten: Ein oder mehrere Merkmale werden mehrmals zu verschiedenen Zeitpunkten an einer Reihe von Objekten erhoben Beispiel: Studie zu einem neuen Bludruckmedikament, 24 Stunden EKG Zeitreihe Beispiel einer Zeitreihe VW Aktienkurse Zeitraum bis (3246 Einzelwerte) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 32 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 2 Eindimensionale Merkmale Ziele: 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Darstellung, Beschreibung, explorative Analyse eines Merkmals Auch geeignet zum Vergleich in verschiedenen Schichten oder Gruppen der Grundgesamtheit 22 Beschreibungen von Verteilungen Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 34 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 35

10 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 21 Verteilungen und ihre Darstellungen Im weiteren: X, Y, Bezeichnung für Merkmal n Untersuchungseinheiten x 1,,x i,,x n, i = 1,,n beobachtete Werte oder Ausprägungen von X { x 1,,x i,,x n ; i = 1,,n} Rohdaten, Urliste 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 211 Häufigkeiten a 1 < a 2 < < a k, k n der Größe nach geordnete, verschiedene Werte der Urliste x 1,,x n Beispiel: Absolventenstudie Für die Variable D Ausrichtung der Diplomarbeit ist die Urliste durch die folgende Tabelle gegeben Person i Variable D Person i Variable D Person i Variable D Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 36 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Ausprägung absolute Häufigkeit h relative Häufigkeit f 1 2 2/36 = /36 = /36 = /36 = 0500 Häufigkeitstabelle für die Variable D Ausrichtung der Diplomarbeit Absolute und relative Häufigkeiten h(a j ) = h j absolute Häufigkeit der Ausprägung a j, dh Anzahl der x i aus x 1, x n mit x i = a j Bemerkungen: Für Nominalskalen hat die Anordnung < keine inhaltliche Bedeutung Bei kategorialen Merkmalen k = Anzahl der Kategorien Bei stetigen Merkmalen k oft nicht oder kaum kleiner als n f(a j ) = f j = h j /n h 1,,h k f 1,,f k relative Häufigkeit von a j absolute Häufigkeitsverteilung relative Häufigkeitsverteilung Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 38 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 39

11 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Bemerkungen: Wenn statt der Urliste bereits die Ausprägungen a 1,,a k und die Häufigkeiten f 1,,f k bzw h 1,,h k vorliegen, sprechen wir von Häufigkeitsdaten Klassenbildung, gruppierte Daten: Bei metrischen, stetigen (oder quasi-stetigen) Merkmalen oft Gruppierung der Urliste durch Bildung geeigneter Klassen 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Nettomieten Wir greifen aus dem gesamten Datensatz die Wohnungen ohne zentrale Warmwasserversorgung (zh=1) und mit einer Wohnfläche kleiner als 50 qm (wfl<50) heraus Die folgende Urliste zeigt, bereits der Größe nach geordnet, die Nettomieten dieser n = 27 Wohnungen: Alle Werte verschieden k = n und {x 1,,x n } = {a 1,,a k } f j = 1 27, j = 1,,27 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 40 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel der Selektion dieser Daten in R Was ist R? A: Freies Statistikpaket Download: daten <- readtable(file="miete03asc", sep="\t", header=t) daten <- subset(daten, (zh==1) & (wfl<50) ) attach(daten) print(sort(nm)) (nm=nettomiete) 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Gruppiert man die Urliste in 5 Klassen mit gleicher Klassenbreite von 100 EURO, so erhält man folgende Häufigkeitstabelle: Klasse absolute Häufigkeit relative Häufigkeit 50 < /27 = < /27 = < /27 = < /27 = < /27 = 0037 Häufigkeiten für gruppierte n = 27 Nettomieten Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 42 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 43

12 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 212 Graphische Darstellungen Stabdiagramm, Säulen- und Balkendiagramm Stabdiagramm: Trage über a 1,,a k jeweils einen zur x-achse senkrechten Strich (Stab) mit Höhe h 1,,h k (oder f 1,,f k ) ab Kreisdiagramm Flächen der Kreissektoren proportional zu den Häufigkeiten: Winkel des Kreissektors j = f j 360 Säulendiagramm: wie Stabdiagramm, aber mit Rechtecken statt Strichen Balkendiagramm: wie Säulendiagramm, aber mit vertikal statt horizontal gelegter x-achse Bemerkung: Alle vier Diagrammtypen sind nur sinnvoll für kleine k Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 44 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Absolventenstudie 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Nettomieten (a) (b) theoretisch 18 2 primaer 4 12 sekundaer qualitativ (c) 2 primaer 4 sekund 12 qualitat 18 theoret Anzahl Anzahl Anzahl primaer sekund qualitat theoret (d) primaer sekund qualitat theoret absolute Häufigkeit absolute Häufigkeit (a) Kreis, (b) Säulen, (c) Balken und (d) Stabdiagramm für das Merkmal Ausrichtung der Diplomarbeit von 36 Absolventen Nettom von 27 Wohnungen o ZH und WFL<50qm in EUR Nettom aller Wohnungen mit WFL>=50qm in EUR Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 46 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 47

13 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Histogramme Bei vielen verschiedenen Werten der Urliste: Stabdiagramm etc ungeeignet Daten in k Klassen gruppieren 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Bemerkungen: Falls möglich: Klassenbreiten d j gleich groß Offene Randklassen (zb c k = ) vermeiden Faustregeln für Wahl von k: Zeichne über den Klassen [c 0, c 1 ),,[c j,c j 1 ),,[c k 1,c k ] Rechtecke mit k n, 2 n, 10 log 10 n, Breite: Höhe: Fläche: d j = c j c j 1 gleich (oder proportional zu) h j /d j bzw f j /d j gleich (oder proportional zu) h j bzw f j sowie optischer Eindruck Achtung: Breite und Lage der Klassengrenzen kann optischen Eindruck sehr beeinflussen Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 48 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Nettomieten (1645 Wohnungen mit WFL 50qm) 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Nettomieten, ungleiche Klassenbreiten (1645 Wohnungen mit WFL 50qm) Histogram of nm Histogram of nm RICHTIG FALSCH Density Frequency Density Frequency nm nm nm nm Wenn Klassenbreiten gleich groß: Höhe kann proportional der absoluten oder relativen Häufigkeit gewählt werden Wenn Klassenbreiten ungleich: R warnt bei Benutzung der absoluten Häufigkeiten für die Y-Achse! Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 50 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 51

14 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Nettomieten, gleiche Klassenbreiten, variierende Anzahl von Klassen (1645 Wohnungen mit WFL 50qm) 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Nettomieten, gleiche Klassenbreiten, geschichtet nach: Wohnlage gut? (Ja oder Nein) 4 Klassen 50 Klassen Density nm Density nm Density Gute Wohnlage: Ja Density Gute Wohnlage: Nein nm nm Gestalt des Histogramms und damit der visuelle Eindruck werden stark beeinflusst durch die gewählte Anzahl an (equidistanten) Klassen Tendenz im Histogramm erkennbar Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 52 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Aktienrenditen von Münchner Rück und BMW (Tagesdaten) 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Unimodale und multimodale Verteilungen unimodal = eingipflig, multimodal = mehrgipflig Histogram of mrurend Histogram of bmwrend? Density mrurend Density bmwrend Density Histogram of zins zins Das Histogramm der Zinssätze zeigt eine bimodale Verteilung Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 54 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 55

15 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Symmetrie und Schiefe symmetrisch Rechte und linke Hälfte der Verteilung sind annähernd zueinander spiegelbildlich linkssteil (rechtsschief) Verteilung fällt nach links deutlich steiler und nach rechts langsamer ab rechtssteil (linksschief) Verteilung fällt nach rechts deutlich steiler und nach links langsamer ab (a) (b) (c) Eine linkssteile (a), symmetrische (b) und rechtssteile Verteilung (c) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 56 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Bemerkung: Für stetige Merkmale: Stetige Schätzer für Verteilung statt Treppenfunktion wie Histogramm 24 im Buch Statistik II 213 Kumulierte Häufigkeitsverteilung und empirische Verteilungsfunktion Voraussetzung: X (mindestens) ordinal skaliert Ziel: Graphische Darstellung für die Anzahl bzw den Anteil der Daten x, x vorgegebener Wert Definition: Absolute kumulierte Häufigkeitsverteilung H(x) = Anzahl der Werte x i mit x i x Bei Häufigkeitsdaten: H(x) = h(a 1 ) h(a j ) = i:a i x h i Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 58 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 59

16 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Definition: Relative kumulierte Häufigkeitsverteilung oder empirische Verteilungsfunktion 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Eigenschaften von H(x) und F(x) bzw F(x) = H(x)/n = Anteil der Werte x i mit x i x F(x) = f(a 1 ) f(a j ) = f i, i:a i x monoton wachsende Treppenfunktionen mit Sprüngen an den Ausprägungen a 1,,a k Sprunghöhen: h 1,,h k bzw f 1,,f k rechtsseitig stetig wobei a j x und a j1 > x ist H(x) = 0 für x < a 1, H(x) = n für x a k F(x) = 0 für x < a 1, F(x) = 1 für x a k Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 60 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Empirische Verteilungsfunktion der Nettomieten der 27 Wohnungen kleiner 50qm und ohne Zentralheizung 2 Eindimensionale Merkmale 21 Verteilungen und ihre Darstellungen Beispiel: Empirische Verteilungsfunktion aller 2053 Nettomieten ecdf(nm) ecdf(nm) Fn(x) x Fn(x) x Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 62 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 63

17 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen 22 Beschreibung von Verteilungen Bisher: Graphische Darstellungen Sie visualisieren insbesondere Lage und Zentrum der Daten, Streuung der Daten um dieses Zentrum, 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen 221 Lagemaße Ziel: Maßzahlen, um Zentrum der Daten zu beschreiben: Arithmetisches Mittel, Median, Modus; geometrisches und harmonisches Mittel Schiefe bzw Symmetrie der Verteilung Jetzt: Maßzahlen ( Parameter ) zur Beschreibung dieser Eigenschaften Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 64 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen Arithmetisches Mittel Definition: Das arithmetische Mittel wird aus der Urliste durch x = 1 n (x 1 x n ) = 1 n n i=1 x i 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Eigenschaften und Bemerkungen x sinnvoll definiert für metrisches X; sowie für binäres X {0,1}, wobei x = f := relative Häufigkeit der Einsen in der Urliste ist Schwerpunkteigenschaft: n i=1 (x i x) = 0 berechnet Für Häufigkeitsdaten mit Ausprägungen a 1,,a k und relativen Häufigkeiten f 1,,f k gilt k x = a 1 f 1 a k f k = a j f j j=1 Summe der positiven = Summe der negativen Abweichungen Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 66 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 67

18 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Schichtenbildung 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beispiel mit Schichtenbildung: Nettomieten Nettomiete/qm Wohnfläche Baualter kleiner 50 qm 50 bis unter 80 qm 80 qm und mehr kleiner (277) 764(659) 756(427) 790(1363) ab (131) 921(355) 890(204) 1001(690) 951(408) 819(1014) 799(631) 839(2053) Schichten E 1, E 2,,E r x j arithmetisches Mittel in Schicht E j = 1 n j i E j x i x = n 1 n x 1 n r n x r = 1 n r j=1 n j x j Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 68 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen Median 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Eigenschaften und Bemerkungen sinnvoll definiert ab ordinalem X Definition: Für ungerades n ist der Median x med die mittlere Beobachtung der geordneten Urliste; für gerades n ist der Median x med das arithmetische Mittel der beiden in der Mitte liegenden Beobachtungen, dh x ( n1 2 ) für n ungerade x med = 1 2 ( x(n/2) x (n/21) ) für n gerade mindestens 50% der Daten x med mindestens 50% der Daten x med Formel bleibt auch bei Bindungen, dh teilweise gleichen Werten der Urliste, gültig Robustheit gegenüber Ausreissern Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 70 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 71

19 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Modus x mod = Ausprägung mit größter Häufigkeit Bemerkungen: sinnvoll ab kategorialem, nominalem X eindeutig, falls Häufigkeitsverteilung ein eindeutiges Maximum besitzt 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Eigenschaften der Lageparameter Bei linearer Transformation der Daten x i y i durch y i = a bx i (Veränderung von Maßeinheit und Nullpunkt) verändern sich Lagemaße genauso (sinnvoll für ordinale (mit b > 0) und metrische Merkmale) Also: ȳ = a b x, y med = a bx med, Bei diskreten Merkmalen: x, x med stimmen ia mit keiner möglichen Ausprägung überein: künstliche Mittelwerte Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 72 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen Optimalitätseigenschaften x : x med : n i=1 (x i x) 2 < n i=1 (x i z) 2 für z x n i=1 x i x med < n i=1 x i z für z x med Lagemaße bei gruppierten Daten: hier nicht besprochen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Lageregeln Symmetrische und unimodale Verteilung: x x med x mod Linkssteile Verteilung: x > x med > x mod Rechtssteile Verteilung: x < x med < x mod Bei gruppierten Daten: Auch für Histogramme gültig Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 74 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 75

20 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Mietspiegel: Verteilung der Nettomieten ist(moderat) linkssteil x(57009) > x med (5343), ABER: Verteilung der Nettomieten pro qm ist rechtssteil: x(839) < x med (847) Ist x oder x med Entgelt? übliches Landgericht: Üblich ist alles innerhalb der natürlichen Streubreite 222 Geometrisches Mittel Wird in der Regel im Zusammenhang mit Wachstums- oder Zinsfaktoren verwendet, die für mehrere Zeitperioden, etwa Jahre, Monate usw beobachtet werden B 0, B 1,,B n Zeitreihe von Bestandsdaten in den Perioden 0, 1,,n Dann ist für i = 1,,n der i-te Wachstumsfaktor und x i = B i /B i 1 r i = B i B i 1 B i 1 = x i 1 die i-te Wachstumsrate Damit gilt B n = B 0 x 1 x n Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 76 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen Definition: Geometrisches Mittel Das geometrische Mittel zu den Faktoren x 1,,x n ist x geom = (x 1 x n ) 1/n Daraus folgt B n = B 0 x geom x geom = B 0 ( x geom ) n, dh mit x geom als mittlerem Wachstumsfaktor für alle Perioden erhält man den gleichen Bestand B n der letzten Periode, den man für die tatsächlichen Wachstumsfaktoren x 1,,x n erhält In diesem Sinn ist x geom die adäquate Mittelung von Wachstumsfaktoren 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beispiel: Bergbau und Verarbeitendes Gewerbe In diesem Beispiel geht es um das Wachstum der Anzahl von Betrieben im Bergbau und im Verarbeitenden Gewerbe Nordrhein-Westfalens von 1981 bis 1991 Die folgende Tabelle gibt dazu Wachstumsraten und Wachstumsfaktoren an Jahr: Wachstumsrate (p i 100%): 239% 193% 177 % 135% Wachstumsfaktor (x i ): Jahr: Wachstumsrate (p i 100%): 081% 032% 010% 043% Wachstumsfaktor (x i ): Jahr: Wachstumsrate (p i 100%): 387% 403% 115% Wachstumsfaktor (x i ): Veränderung der Anzahl der Betriebe im Bergbau und im Verarbeitenden Gewerbe Nordrhein-Westfalens von 1980 bis 1991 (Angabe der Veränderung gegenüber dem Vorjahr in %) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 78 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 79

21 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Fazit: Mit dem geometrischen Mittel kann man berechnen, um wieviel die Anzahl der Betriebe durchschnittlich gewachsen ist Man erhält x geom = ( ) 1/11 = /11 = Die Anzahl der Betriebe ist also pro Jahr durchschnittlich um ( ) 100 % = 013 % gewachsen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen 222 Quantile und Box-Plot Verallgemeinerung des Medians Idee: p-quantil x p (0 < p < 1) trennt Daten so in zwei Teile, dass p 100% der Daten links von x p, (1 p) 100% der Daten rechts von x p liegen Nur sinnvoll für mindestens ordinales X Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 80 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Definition: Quantile Jeder Wert x p mit 0 < p < 1, für den mindestens ein Anteil p der Daten kleiner/gleich x p und mindestens ein Anteil 1 p größer/gleich x p ist, heißt p-quantil Es muß also gelten Damit gilt für das p-quantil: x p = x ([np]1), wenn np nicht ganzzahlig, x p [x (np),x (np1) ], wenn np ganzzahlig Dabei ist [np] die zu np nächste kleinere ganze Zahl Anzahl (x-werte x p ) n p und Anzahl (x-werte x p ) n 1 p Unteres Quartil = 25 %-Quantil = x 025, Oberes Quartil = 75 %-Quantil = x 075 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 82 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 83

22 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beispiel: Empirische Verteilungsfunktion der Nettomieten der 27 Wohnungen kleiner 50qm und ohne Zentralheizung 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen In R: print(quantile(nm, probs=c(0,025,05,075,1))) Ausgabe: Fn(x) ecdf(nm) x 0% 25% 50% 75% 100% Wie rechnet R? = 675 x 025 = x (61) = x (7) = (27 1)/2 = 14 x 05 = x (14) = = 2025 x 075 = x (201) = x (21) = Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 84 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen quantile(x,p) as a function of p linearly interpolates the points ( (i-1)/(n-1), ox[i] ), where ox <- sort(x) and n <- length(x) This gives quantile(x, p) == (1-f)*ox[i] f*ox[i1], where r <- 1 (n-1)*p, i <- floor(r), f <- r - i _and_ ox[n1] := ox[n] 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Spannweite: x max x min = x (n) x (1) Interquartilsabstand: d Q = x 075 x 025 Bemerkung: Der Interquartilsabstand d Q ist ausreisserresistent Fünf-Punkte-Zusammenfassung: Die Fünf-Punkte-Zusammenfassung einer Verteilung besteht aus x min, x 025,x med,x 075, x max Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 86 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 87

23 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Box-Plot x 025 = Anfang der Schachtel ( box ) x 075 = Ende der Schachtel d Q = Länge der Schachtel Der Median wird durch einen Punkt in der Box markiert Zwei Linien ( whiskers ) außerhalb der Box gehen bis zu x min und x max 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Modifizierter Box-Plot Die Linien außerhalb der Schachtel nur bis zu x min bzw x max ziehen, falls x min und x max innerhalb des Bereichs [z u, z o ] der Zäune liegen (z u = x d Q ; z o = x d Q ) Ansonsten die Linien nur bis zum kleinsten bzw größten Wert innerhalb der Zäune ziehen und die außerhalb liegenden Werte individuell einzeichnen Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 88 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beispiel: Nettomieten 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Modifizierter Boxplot aller Nettomieten Mod Boxplot der Nettomieten der 27 Wohn Mod Boxplot der Nettomieten aller Wohn Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 90 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 91

24 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Modifizierter Boxplot aller Nettomieten/qm (!) geschichtet nach Stadtbezirk Boxpl geschichtet nach bez 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen 223 Standardabweichung, Varianz und Variationskoeffizient Varianz bzw Standardabweichung messen Streuung der Daten um das arithmetische Mittel Beispiel: Fragebogen, Merkmale Körpergröße und Geschlecht, n = 83, 1 fehlender Wert, n effektiv = 82 Kodierung: Frauen (0), Männer(1) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 92 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Bemerkung: n i=1 (x i x) = 0!, dh als Maßzahl ungeeignet geschl groesse Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 94 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 95

25 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Definition: Empirische Varianz und empirische Standardabweichung Die Varianz der Werte x 1,,x n ist s 2 = 1 n [(x 1 x) 2 (x n x) 2 ] = 1 n n (x i x) 2 Die Standardabweichung s ist die Wurzel aus der Varianz, s = s 2 Für Häufigkeitsdaten gilt k s 2 = (a 1 x) 2 f 1 (a k x) 2 f k = (a j x) 2 f j i=1 j=1 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Bemerkungen und Eigenschaften s 2 = 1 n n 1 i=1 (x i x) 2 Stichproben - Varianz In statistischen Programmpaketen oft nur s 2 implementiert (für induktive Statistik) Für große n: Unterschied praktisch irrelevant Sinnvoll definiert für metrisches X Ausreisserempfindlich wegen ( ) 2 Verschiebungssatz zum schnelleren Rechnen: { } s 2 1 n = x 2 i x 2 n i=1 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 96 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beweis des Verschiebungssatzes: Transformationsregel: Für y i = a bx i gilt: s 2 y = b 2 s 2 x bzw s y = b s x Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 98 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 99

26 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beweis der Transformationsregel: Streuungszerlegung bei Schichtenbildung: s 2 = 1 n r n j s 2 j 1 n j=1 r n j ( x j x) 2, j=1 wobei x = 1 n r n j x j j=1 das arithmetische Gesamtmittel bei Schichtenbildung ist Gesamtstreuung s 2 = Streuung innerhalb der Schichten Streuung zwischen den Schichten Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Beweis der Streuungszerlegung: Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 103

27 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Schwankungsintervalle: x ± s, x ± 2 s, x ± 3 s 2 Eindimensionale Merkmale 22 Beschreibung von Verteilungen Diskussion: 1s, 2s, 3s Schwankungsintervalle, m=maenner, f=frauen, g=gesamt geschl o o o o o o o o o o o o o o o o o m m m g g g w w w o o o o o o o o o o o o o o o o o groesse Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Eindimensionale Merkmale 22 Beschreibung von Verteilungen Definition: Variationskoeffizient 3 Multivariate Deskription und Exploration 3 Multivariate Deskription und Exploration v = s x ( x > 0, X > 0) 31 Diskrete und gruppierte Merkmale 32 Zusammenhangsanalysen in Kontingenztabellen Bemerkung: v ist im Gegensatz zu s maßstabsunabhängig 33 Graphische Darstellungen quantitativer Merkmale 34 Zusammenhangsmaße bei metrischen Merkmalen 35 Korrelation und Kausalität Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 107

28 3 Multivariate Deskription und Exploration 3 Multivariate Deskription und Exploration In den meisten Anwendungen und in den Beispielen werden an jeder Einheit gleichzeitig mehrere Merkmale X, Y, Z, erhoben: mehrdimensionale oder multivariate Daten Grundgesamtheit Werte (x i, y i,z i ) der Merkmale (X, Y, Z) Urliste (x 1, y 1,z 1 ),,(x i,y i,z i ),,(x n, y n, z n ) Im weiteren: Meistens nur zwei Merkmale X,Y Fragestellungen: X Y Wie hängen X und Y zusammen? Assoziation, Korrelation X Y Wie beeinflusst X das (Ziel-)Merkmal Y? Regression Einheit i Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale 31 Diskrete und gruppierte Merkmale Darstellung, Präsentation von (zwei) diskreten Merkmalen X und Y mit den Ausprägungen a 1,,a k fürx b 1,,b m füry Skalenniveau von X, Y beliebig; X, Y können auch gruppierte metrische Merkmale sein Benutzt wird nur das Nominalskalenniveau der Merkmale 311 Kontingenztabellen Beispiel: Sonntagsfrage Sonntagsfrage: Welche Partei würden Sie wählen, wenn am nächsten Sonntag Bundestagswahlen wären? werden üblicherweise in Prozenten (%) wiedergegeben Für den Befragungszeitraum ergab sich folgende Tabelle: CDU/CSU SPD FDP Grüne Rest Männer Frauen insgesamt Aus den ersten beiden Zeilen ergibt sich, dass die Parteipräferenzen für Männer und Frauen unterschiedlich zu sein scheinen Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 111

29 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale In der angegebenen Tabelle sind die ursprünglichen Daten bereits in Prozenten für die geschlechtsspezifischen Populationen angegeben Die Rückrechnung auf 435 Männer und 496 Frauen ergibt: CDU/CSU SPD FDP Grüne Rest Männer Frauen Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Beispiel: Arbeitslosigkeit Zwei Merkmale: X Ausbildungsniveau mit den Kategorien keine Ausbildung, Lehre, fachspezifische Ausbildung Hochschulabschluß Y Dauer der Arbeitslosigkeit mit den Kategorien Kurzzeitarbeitslosigkeit ( 6 Monate), mittelfristige Arbeitslosigkeit (7 12 Monate), Langzeitarbeitslosigkeit ( 12 Monate) Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Kurzzeit- mittelfristige Langzeitarbeitslosigkeit Arbeitslosigkeit arbeitslosigkeit Keine Ausbildung Lehre Fachspez Ausbildung Hochschulabschluß Ausbildungsspezifische Dauer der Arbeitslosigkeit für männliche Deutsche Allgemeine Darstellung Kontingenztafel der absoluten Häufigkeiten: Eine (k m)-kontingenztafel der absoluten Häufigkeiten besitzt die Form b 1 b m a 1 h 11 h 1m h 1 a 2 h 21 h 2m h 2 a k h k1 h km h k h 1 h m n Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 115

30 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Dabei bezeichnen h ij = h(a i, b j ) die absolute Häufigkeit der Kombination (a i,b j ), h 1,,h k die Randhäufigkeiten von X, h 1,,h m die Randhäufigkeiten von Y Die Kontingenztabelle gibt die gemeinsame Verteilung der Merkmale X und Y in absoluten Häufigkeiten wieder 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Kontingenztafel der relativen Häufigkeiten: Die (k m)-kontingenztafel der relativen Häufigkeiten hat die Form b 1 b m a 1 f 11 f 1m f 1 a k f k1 f km f k f 1 f m 1 Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Dabei bezeichnen f ij = h ij /n f i = m f ij = h i /n, j=1 f j = k f ij = h j /n, i=1 die relative Häufigkeit der Kombination (a i, b j ), i = 1,,k, die relativen Randhäufigkeiten zu X, j = 1,,m, die relativen Randhäufigkeiten zu Y Einfache graphische Darstellung: Säulendiagramm Die Kontingenztabelle gibt die gemeinsame Verteilung von X und Y wieder Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 119

31 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale 312 Bedingte Häufigkeiten Zusammenhang zwischen X und Y aus gemeinsamen Häufigkeiten h ij bzw f ij schwer ersichtlich Deshalb: Blick auf bedingte Häufigkeiten Verteilung des einen Merkmals für einen festgehaltenen Wert des zweiten Merkmals Beispiel: Sonntagsfrage 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Formal: Bedingte relative Häufigkeitsverteilung Die bedingte Häufigkeitsverteilung von Y unter der Bedingung X = a i, kurz Y X = a i, ist bestimmt durch f Y (b 1 a i ) = h i1 h i,,f Y (b m a i ) = h im h i Die bedingte Häufigkeitsverteilung von X unter der Bedingung Y = b j, kurz X Y = b j, ist bestimmt durch Prozentzahlen für Parteipräferenz in den Schichten (Subpopulationen) weibliche Wähler und männliche Wähler = bedingte relative Häufigkeiten für Parteipräferenzen gegeben das Geschlecht f X (a 1 b j ) = h 1j h j,,f X (a k b j ) = h kj h j Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Bemerkung: Wegen gilt auch h i1 h i = h i1/n h i /n = f i1 f i f Y (b 1 a i ) = f i1 f i,,f Y (b m a i ) = f im fi f X (a 1 b j ) = f 1j f j,,f X (a k b j ) = f kj f j 3 Multivariate Deskription und Exploration 31 Diskrete und gruppierte Merkmale Beispiel: Sonntagsfrage Zeile X = a 1 = Männer Bedingte Häufigkeiten für Männer (X = a 1 ): 1Zeile / Randhäufigkeit für Männer h(a 1,b 1 ) h(a 1 ) = f(b 1 a 1 ),, h(a j,b j ) h(a 1 ) = f(b j a 1 ), %, % usw Merksatz: Bedingte Häufigkeitsverteilungen werden durch Division der h ij bzw f ij durch die entsprechende Zeilen- bzw Spaltensumme gebildet Zeile X = a 2 = Frauen analog, zb % usw Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/ Statistik I für Statistiker, Mathematiker und Informatiker im WS 2006/07 123