Vorlesung: Statistik I für Statistiker, Mathematiker und Informatiker

Transkript

1 Vorlesung: Statistik I für Statistiker, Mathematiker und Informatiker Prof. Dr. Helmut Küchenhoff Institut für Statistik, LMU München WiSe 2010/2011

2 Termine und Informationen Homepage: groll/deskriptivestatistikws Vorlesung: Prof. Helmut Küchenhoff Di. 16:00 bis 18:00 Uhr HGB M 114 Mi. 08:00 bis 10:00 Uhr HGB M Tages-Rhythmus ab Übung(14-Tages-Rhythmus): Andreas Groll Gruppe 01: Mo. 10:00 bis 12:00 Uhr Hauptgebäude A017 ab Gruppe 02: Mo. 14:00 bis 16:00 Uhr Hauptgebäude A017 ab Tutorium: Christoph Molnar Do. 16:00 bis 18:00 Uhr, Schellingstr. 3, S 003 Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 2 / 299

3 Hilfsmittel Programmpaket R Frei verfügbar unter Kurse im Rahmen der Veranstaltung Statistische Software viele Möglichkeiten aktuelle Forschung geht in Form von packages ein Links auf der Homepage zur Vorlesung Anregungen bitte an Andreas Groll Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 3 / 299

4 Literatur L.Fahrmeir, R.Künstler, I.Pigeot, G.Tutz: Statistik - Der Weg zur Datenanalyse Springer-Verlag, 6. Auflage H.Toutenburg, C.Heumann: Deskriptive Statistik - Eine Einführung in Methoden und Anwendungen mit R und SPSS Springer-Verlag Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 4 / 299

5 0 Einführung: Was ist Statistik 1 Datenerhebung und Messung 2 Univariate deskriptive Statistik 3 Multivariate Statistik 4 Regression 5 Ergänzungen

6 0 Einführung: Was ist Statistik 1 Datenerhebung und Messung 2 Univariate deskriptive Statistik 3 Multivariate Statistik 4 Regression 5 Ergänzungen

7 Beispiel 1: Bundestagswahl 2009 Prognose 18:00 Infratest Dimap (ARD) CDU/CSU SPD FDP Linke Grüne Sonstige 33,5 22, ,5 10,5 6 Basis: Nachwahlbefragung Wahlberechtigte nach Verlassen der Wahllokale Infos unter Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 7 / 299

8 Beispiel 1: Bundestagswahl 2009 Ziele: Schluss von der Befragungsdaten auf das Endergebnis Analyse von Wahlverhalten durch weitere Fragen Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 8 / 299

9 Beispiel 2: WM-Studie Ziele: Effiziente Planung Datenbeschreibung Modellbildung (Confounder) Konsequenzen, Risiken Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 9 / 299

10 Beispiel 3: Analyse von Daten zu Bombentrichtern Projekt mit Michael Höhle und Monia Mahling Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 10 / 299

11 Projektplan 1 Entwicklung statistischer Methoden zur Analyse von Daten zu Bombentrichtern. Hier sollen Punktprozess-Verfahren aus der räumlichen Statistik zur Anwendung kommen. Ziel der Verfahren ist es, Risikozonen zu erstellen und das Risiko innerhalb und außerhalb der ausgewiesenen Zonen zu quantifizieren 2 Die von uns entwickelten Verfahren sollen mit den bisher verwendeten Verfahren verglichen werden. Dies soll anhand von einer Risikoabschätzung erfolgen, die mittels computerintensiver Verfahren berechnet wird. Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 11 / 299

12 Lösungsvorschlag 1 Intensitätsschätzung mit Kernmethoden (Bandweite mit Kreuzvalidierung) 2 Cut off Wert der Sicherheitszone aus Annahme zum Anteil der Blindgänger Sicherheitszonen Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 12 / 299

13 Ziele und Methoden Räumliche Punktmuster analysieren Effiziente Risikoabschätzung Algorithmus zur Bestimmung von Sicherheitszonen bei gegebenen Risikoparametern Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 13 / 299

14 Beispiel 4: Lebenszufriedenheit und Alter Gibt es eine Midlife Crisis? Analysen von Panel-Daten zur subjektiven Lebenszufriedenheit mit semiparametrischen Regressionsmodellen In Zusammenarbeit mit Sonja Greven, Andrea Wiencierz, Christoph Wunder Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 14 / 299

15 Datengrundlage Daten stammen aus den Haushaltsstichproben A (Westdeutsche) und C (Ostdeutsche) des Sozio-Ökonomischen Panels (SOEP) für die ausgewählten Modellvariablen liegen Beobachtungen aus den Jahren 1992, 1994 bis 2006 vor durchschnittliche Anzahl von Beobachtungen pro Person: 7.77 in die Modellberechnungen gingen vollständige Beobachtungen von Individuen ein Anzahl Beobachtungen pro Jahr: Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 15 / 299

16 Ergebnis für Alterseffekt Midlife-Crisis nur bei glatter Funktion erkennbar. Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 16 / 299

17 Ergebnisse ohne Gesundheitsvariable Beachte: Deutlich stärkerer Abfall ohne adjustieren nach Gesundheit Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 17 / 299

18 Ziele und Methoden Zusammenhänge analysieren Komplexe Einflüsse flexibles Modell Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 18 / 299

19 Beispiel 5: Mineralwasserstudie Studie in Zusammenarbeit mit Prof. Adam (LMU) Fragestellung: Schmeckt mit Sauerstoff angereichertes Mineralwasser besser als gewöhnliches Mineralwasser? DoppelBlindstudie KontrollGruppe: zweimal das gleiche Wasser ohne O 2 VerumGruppe: Beim zweiten Mal mit O 2 angereichertes Mineralwasser Ergebnis (Clausnitzer et al., 2004) : Placebo: 76% gaben an, dass das zweite Wasser anders schmeckt Verum : 89 % gaben an, dass das zweite Wasser anders schmeckt Signifikanter Effekt Zulassung von Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 19 / 299

20 Ziele und Methoden Randomisierte Studie (Doppelblind) Entscheidungsfindung durch statistischen Test Quantifizierung des Effekts Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 20 / 299

21 Beispiel 6: Kreditwürdigkeitsprüfung Basierend auf Daten der Vergangenheit (Trainingsdaten), bei denen die Kreditwürdigkeit Y bekannt ist (also ob die Kreditnehmer den Kredit zurückzahlen konnten (Y = 0) oder nicht (Y = 1)), sollen neue potentielle Kreditnehmer überprüft werden. Man möchte also eine Einschätzung des Risikos, dass diese ihren Kredit nicht zurückzahlen, wobei nur die u.g. Merkmale zur Prognose zur Verfügung stehen. Merkmale und Ausprägungen bzw. Werte (nur Auswahl): Laufendes Konto bei der Bank, (nein = 1, mittel = 2, gut = 3) Laufzeit des Kredits in Monaten Kredithöhe in Euro Rückzahlung früherer Kredite (gut, schlecht) Verwendungszweck (privat, beruflich) Geschlecht (weiblich, männlich) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 21 / 299

22 Weitere Beispiele Epidemiologische Studien Waldschadenserhebungen (räumliche Daten). Werden diese Erhebungen in bestimmten Zeitabständen wiederholt: Räumlich zeitliche Daten Marktforschung Einschaltquoten Bewertung und Vergleich von Produkten gleichen Typs aber verschiedener Produzenten durch Verbraucher (Waschmittel, Kaffee, Schokolade, usw.) Sportstatistik Analyse von Genexpressionsdaten Mustererkennung ( Pattern recognition ): Oftmals statistische Methoden in Ergänzung zu deterministischen Methoden. Beispiel: Erkennung von SPAM Mails. Landwirtschaftliche Ertragsexperimente: Vergleich verschiedener Düngemittel, Pflanzenzüchtungen Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 22 / 299

23 Beispiele Informatik Optimierung des Antwortverhaltens von Datenbanken Zugriffsstatistiken auf Webserver Ressourcenplanung von Netzwerken und Servern (der 8-9 Uhr Effekt, wenn sich alle Mitarbeiter mehr oder weniger gleichzeitig im Netz anmelden und ihre abrufen) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 23 / 299

24 Was ist Statistik? Definition Statistik Statistik als Wissenschaft bezeichnet eine Methodenlehre, die sich mit der Erhebung, der Darstellung, der Analyse und der Bewertung von Daten auseinandersetzt. Ein zentraler Aspekt ist dabei die Modellbildung mit zufälligen Komponenten. Teilgebiete: Deskriptive Statistik: beschreibend Explorative Datenanalyse: Suche nach Strukturen Induktive Statistik: Schlüsse von Daten auf Grundgesamtheit oder allgemein Phänomene Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 24 / 299

25 Zitate Traue keiner Statistik, die Du nicht selbst gefälscht hast (nicht von Churchill) Statistics is a body of methods for making wise decisions in the face of uncertainty (W.A. Wallis, A.V. Roberts) Statistisches Denken wird eines Tages für mündige Staatsbürger ebenso wichtig sein, wie die Fähigkeit zu lesen und zu schreiben (H.G. Wells) Statistik ist für mich das Informationsmittel der Mündigen. Wer mit ihr umgehen kann, ist weniger leicht zu manipulieren. Der Satz Mit Statistik kann man alles beweisen gilt nur für die Bequemen, die keine Lust haben, genau hinzusehen. (E. Noelle-Neumann) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 25 / 299

26 Vorlesungsplanung Statistik 1 nach Vorlesungswochen I 1 Einführung, Beispiele, Geschichte 2 Grundlagen der Datenerhebung: Messung, Skalenniveaus 3 Typen von Studien, Auswahlverfahren 4 Univariate deskriptive Statistik 1: Häufigkeiten und graphische Darstellungen, kumulierte Verteilung, Lage- und Streuungsparameter 5 Univariate deskriptive Statistik 2: Boxplots, Schiefe und Wölbung, Kerndichteschätzung 6 Kontingenztafeln, Zusammenhangsmaße für nominalskalierte Merkmale, Plots 7 Rangkorrelationskoeffizient, Zusammenhänge bei quantitativen Merkmalen, Bravais-Pearson-Korrelationskoeffizient Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 26 / 299

27 Vorlesungsplanung Statistik 1 nach Vorlesungswochen II 8 Kendall s Tau, Invarianzeigenschaften 9 Grafische Darstellung von Zusammenhängen 10 Regression (lineare Einfachregression, Streuungszerlegung) 11 Multiple Regression, Scheinkorrelation 12 Interaktive Grafik Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 27 / 299

28 Geschichte: Frühe amtliche Statistik 2300 v. Chr. Volkszählung in China 1375 v. Chr. Volkszählung in Israel waffenfähige Männer (4. Buch Mose) seit ca. 550 v. Chr. Volkszählungen im römischen Reich Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 28 / 299

29 Politische Arithmetik John Graunt ( ): Sterbetafeln der Stadt London nach Ausbruch der Pest Sir William Petty ( ): Politische Arithmetik Daten für die Verwaltungsreform in Irland Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 29 / 299

30 Universitätsstatistik Gottfried Achenwall ( ): Begriff Statistik (= den Staat betreffend) Fach, das sich mit allerlei Staatsmerkwürdigkeiten beschäftigt. Geographie, Wirtschaft und Verwaltung Entwicklung der amtlichen Statistik in Bayern: Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 30 / 299

31 Grundlagen Sir Thomas Bayes ( ): Wichtige theoretische Grundlagen Pierre-Simon Laplace ( ): Wahrscheinlichkeitsrechnung Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 31 / 299

32 Englische Schule der Inferenzstatistik Francis Galton ( ): Grundlagen der Regression Karl Pearson ( ): R.A. Fisher ( ): Grundkonzepte der statistischen Inferenz Maximum-Likelihood-Prinzip Statistische Tests Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 32 / 299

33 LMU 1911 Seminar für Statistik und Versicherungswissenschaft Leitung: Privatdozent Böhm 1978 Studiengang Statistik (Diplom) Sonderforschungsbereich 386 Statistische Analyse diskreter Strukturen - Modellierung und Anwendung in Biometrie und Ökonometrie Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 33 / 299

34 Neuere Entwicklungen Emil Julius Gumbel Cox (1972) Efron (1979) Extremwertstatistik Lebensdauermodelle Computerintensive Verfahren Mc Cullagh, Nelder (1983) Verallgemeinerte lineare Modelle L. Tierney (1994) Bayesianische Analyse Hastie, Tibshirani (2001) Statistical Learning Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 34 / 299

35 0 Einführung: Was ist Statistik 1 Datenerhebung und Messung Die Messung Skalenniveaus 2 Univariate deskriptive Statistik 3 Multivariate Statistik 4 Regression 5 Ergänzungen

36 Grundbegriffe Statistische Einheit, Untersuchungseinheit Grundgesamtheit/ Population Teilgesamtheit/ Stichprobe Merkmal Merkmalsausprägung Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 36 / 299

37 Messen Measurement is the contact of reason with nature Henry Margenau (1959) In its broadest sense, measurement is the assignment of numerals to objects or events according the rules Lit.: Measurement theory and practice: The world through quantification David J. Hand, Arnold 2004 Messen bedeutet die Zuordnung von Zahlen zu Ausprägungen von Merkmalen an Objekten. Physikalische Messung Beispiele: Gewicht, Blutdruck, Fettaufnahme Psychologie Beispiele: Intelligenz, Gewaltbereitschaft Wirtschaftswissenschaften Beispiele: Inflation, Bruttosozialprodukt Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 37 / 299

38 Definition Peter 1.84 Stefan 1.91 Laura 1.72 Merkmal definiert Relation (Struktur) zwischen den Objekten. Messung: strukturerhaltende Abbildung (Homomorphismus) Peter ist kleiner als Stefan 1.84 < 1.91 Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 38 / 299

39 Typen von Messungen 1 Messung hat reales (physikalisches) Relativ; direkte Messung ( representational measurement ) z.b. Länge, Gewicht, Anzahl, Blutzucker, etc. 2 Messung besitzt durch Operationalisierung definiertes Relativ; indirekte Messung ( pragmatic measurement ), Operationale Messung z.b. Intelligenz, Schwere einer Krankheit Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 39 / 299

40 Skalen Homomorphe Abbildung empirisches Relativ numerisches Relativ Existenz: Ist die Struktur der Objekte so, dass eine strukturerhaltende Abbildung existiert? Axiome von Repräsentationstheoremen müssen erfüllt sein (z.b. Transitivität o.ä.) Eindeutigkeit: Gibt es mehrere zulässige Skalen? (z.b. Länge in cm, m; Temperatur in C oder K) Zulässige (strukturerhaltende) Transformationen Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 40 / 299

41 Skalentypen (Messniveaus) Die Skalentypen sind durch die Struktur des empirischen Relativs gegeben. Charakterisierung durch zulässige Transformationen. Existenz ist nicht immer gegeben Eindimensionalität könnte verletzt sein Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 41 / 299

42 Nominalskala Beispiele: Diagnosen, Geschlecht Struktur: keine Mögliche Aussagen: gleich, ungleich Erlaubte Transformationen: alle eineindeutigen Transformationen a = b f(a) = f(b) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 42 / 299

43 Ordinal- oder Rangskala Beispiele: Schulbildung, soziale Schicht, Schweregrad einer Erkrankung Struktur: lineare Ordnung Mögliche Aussagen: gleich, ungleich, größer, kleiner Erlaubte Transformationen: alle positiv monotonen Transformationen a < b f(a) < f(b) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 43 / 299

44 Intervallskala Beispiele: Ergebnisse psychometrischer Tests, Scores, Schulnoten?, Häufigkeit der Kommunikation, physiologische Daten (EKG) Struktur: Abstände definiert mit Axiomen Mögliche Aussagen: gleich, ungleich, größer, kleiner, Differenzen Erlaubte Transformationen: alle linearen Transformationen y = ax +b f(x 1 ) f(x 2 ) = f(x 3 ) f(x 4 ) x 1 x 2 = x 3 x 4 Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 44 / 299

45 Verhältnisskala Intervallskala mit Nullpunkt Beispiele: Fernsehdauer, Preis, Länge, Gewicht Struktur: Abstände definiert, Nullpunkt Mögliche Aussagen: gleich, ungleich, größer, kleiner, Differenzen, Verhältnis Erlaubte Transformationen: y = ax (Multiplikation) f(x 1 ) f(x 2 ) = x 1 x 2 Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 45 / 299

46 Absolutskala Beispiel: Häufigkeit Struktur: Einheit liegt auf natürliche Weise fest Erlaubte Transformationen: keine Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 46 / 299

47 Skalenniveau Beachte: Je höher das Skalenniveau, desto mehr Interpretationen sind möglich Sinnvoll interpretierbare Berechnungen sollen invariant bezüglich der zulässigen Transformationen sein sinnvoll interpretierbare Berechnungen Skalenart auszählen ordnen Differenzen bilden Quotienten bilden nominal ja nein nein nein ordinal ja ja nein nein intervall ja ja ja nein verhältnis ja ja ja ja Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 47 / 299

48 Skalentransformationen Beispiel: Konzentration von Bakterien log( ) oder log( ) log( ) Beispiel: Tumorgröße 4mm 3? 10mm 3 oder? 2mm 3? Skalenwahl Interpretation der Differenz Bei log-skala: Differenz = Faktor der Veränderung Verwende log zur Basis 10 Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 48 / 299

49 Gütekriterien der Messung Genauigkeit (Accuracy) Messfehlermodelle: Es gibt einen wahren Wert X und eine Messung X z.b. X = X + }{{} U Messfehler E(U) = 0 klassischer additiver Messfehler Modell der klassischen (psychologischen) Testtheorie Aspekte: Validität = Gültigkeit Reliabilität = Zuverlässigkeit Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 49 / 299

50 Validität Frage: Wird das gemessen, was gemessen werden soll? In der emp. Sozialforschung: Inhaltsvalidität Kriteriumsvalidität Konstruktvalidität Statistik: systematischer Messfehler? E(U) = 0 Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 50 / 299

51 Reliabilität Ist die Messung zuverlässig? Erhält man bei Wiederholung den gleichen Wert? Erhält man unter verschiedenen Bedingungen den gleichen Wert? Interrater Reliabilität Abhängig von: Verhältnis von Streuung des Messfehlers zur Gesamtstreuung r = σ2 X σ 2 X = σ 2 X σ 2 X +σ2 U σ 2 X,σ2 X Varianz von X bzw. X Interne Konsistenz: Cronbachs Alpha (später) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 51 / 299

52 Indexbildung Bildung von Einzelindikatoren zu einer neuen Variablen Häufig: Bildung von (gewichteten) Summen von einzelnen Variablen Beispiel: Pflege Qualität = a 1 Q(Essen)+a 2 Q(Medizinische Versorgung)+... Indexbildung folgt nur theoretischen Vorgaben und fachspezifischen Überlegungen Fragen der Statistik: Gleichheit sinnvoll? (Dimensionsreduktion zulässig) Ordnung bzw. Abstände sinnvoll? Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 52 / 299

53 Skalierungsverfahren mit latenten Variablen Grundlage: Modell mit latenter Größe, die das Antwortverhalten oder Lösen von Aufgaben bestimmt Wichtigste Beispiele : Likert Skalen Faktorenmodell Rasch - Modell Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 53 / 299

54 Itemcharakteristik Grundidee: Wahrscheinlichkeit von Lösung der Aufgabe bzw. Antwort Ja hängt von der latenten Variable ab. P(Item gelöst) = G(latente Größe) Je größer die Fähigkeit desto größer die Lösungswahrscheinlichkeit Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 54 / 299

55 Ausblick: Statistische Verfahren zur Überprüfung der Messung (Skalierung) Itemanalyse Rasch-Modell Faktorenanlyse Analyse von Wiederholungs- und Mehrfachmessungen Messfähigkeitsanlyse in der Qualitätskontrolle Weiter: Verfahren zur Berücksichtung von Messfehlern Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 55 / 299

56 Rasch-Modell Items haben verschiedene Schwierigkeiten Lösungswahrscheinlichkeiten lassen sich durch Personenfähigkeit und Itemschwierigkeit beschreiben: Φ i : Fähigkeit von Person i b j : Itemschwierigkeit P(Item gelöst) = G(Φ i b j ) Lit.: Carolin Strobl (2001): Das Rasch-Modell, Rainer-Hampp-Verlag. Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 56 / 299

57 Merkmalstypen: Stetige und diskrete Merkmale Diskretes Merkmal endlich oder abzählbar unendlich viele verschiedene Werte Beispiele: Geschlecht, Kinderanzahl,... Stetiges Merkmal alle Werte eines Intervalls können angenommen werden Beispiele: Zeitdauern, Größe, Gewicht,... Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 57 / 299

58 Weitere Klassen Quasi-stetiges Merkmal diskret, sehr kleine Einheiten, praktisch stetig. Beispiel: Monetäre Größen in Cent, usw. Gruppierte Daten, Häufigkeitsdaten: stetiges oder quasi-stetiges Merkmal X Wertebereich wird in Gruppen (Klassen, Kategorien) eingeteilt. Beispiele: Gehalt in Gehaltsklassen, Alter in Altersklassen Bemerkung: Gruppierung dient auch dem Datenschutz! Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 58 / 299

59 Datengewinnung und Erhebungsarten Vollerhebung: Alle statistischen Einheiten der Grundgesamtheit werden untersucht ( erhoben ). Stichprobe = Teilerhebung Zufallsstichprobe: statistische Einheiten der Stichprobe werden zufällig nach einem bestimmten Mechanismus gezogen Mehr dazu in Statistik II (induktive Statistik) und in der Vorlesung Stichprobenverfahren Bewusste Auswahlverfahren Expertenauswahl Quotenauswahl Induktive Statistik in der Regel nur mit zufälliger Stichprobe möglich! Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 59 / 299

60 Erhebungsarten Querschnittsdaten: Ein oder mehrere verschiedene Merkmale werden an einer Reihe von Objekten einmal erhoben (zu einem bestimmten Zeitpunkt oder in einem bestimmten Zeitraum) Zeitreihe Beispiele: Aktienkurse, Wirtschaftsentwicklung Longitudinal-, Längsschnitt- oder Paneldaten: Ein oder mehrere Merkmale werden mehrmals zu verschiedenen Zeitpunkten an einer Reihe von Objekten erhoben. Beispiel: Sozioökonomisches Panel Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 60 / 299

61 Epidemiologische Studien Kohortenstudien: Längsschnittstudien (Retrospektiv oder prospektiv) Beispiel: EPIC Studie (European Prospective Investigation into Cancer) Personen in neun europäischen Ländern Fall - Kontroll-Studien Erhebung von erkrankten (Fälle) und Kontrollen Beispiel: Deutsche Radon Studie Querschnittsstudien Beispiel: Erstes gesamtdeutsches Gesundheitssurvey (7124 Personen) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 61 / 299

62 Experimente Es werden in der Regel verschiedenen Behandlungen verglichen Experimentator greift ein Randomisierte klinische Studie: Zuordnung von Einheiten zu Behandlungen erfolgt durch Losverfahren (Randomisierung) Randomisierte Experimente (Produktion, Landwirtschaft ) (Vorlesung Versuchplanung) Experimente in Medizin und Biologie Naturwissenschaftliche Experimente mit zufälligen Komponenten Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 62 / 299

63 0 Einführung: Was ist Statistik 1 Datenerhebung und Messung 2 Univariate deskriptive Statistik Häufigkeitsverteilungen Statistische Kennwerte 3 Multivariate Statistik 4 Regression 5 Ergänzungen

64 Deskriptive Statistik Data is merely the raw material of knowledge. Ziel: Beschreibung von Daten mit möglichst geringem Informationsverlust Eigenschaften und Strukturen sichtbar machen Graphisch und durch Kennwerte Eindimensional und mehrdimensional Zunächst keine Schlüsse auf die Grundgesamtheit oder allgemeine Phänomene Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 64 / 299

65 Rohdaten und Datenmatrix Die Daten liegen in der Regel als Datenmatrix vor: Zeilen entsprechen Untersuchungseinheiten Spalten entsprechen Merkmalen Elemente der Matrix sind die Merkmalsausprägungen Fragen mit Mehrfachnennungen als einzelne binäre Merkmale definieren Hinweise zur Eingabe unter Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 65 / 299

66 Beispiel: Befragung von Redakteuren Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 66 / 299

67 Eindimensionale Häufigkeitsverteilung Ordnen der Daten nach einem Merkmal Auszählen der Häufigkeiten der einzelnen Merkmalsausprägungen Relative Häufigkeiten = Häufigkeit/Stichprobengröße Kumulative Häufigkeiten bei mindestens ordinal skalierten Merkmalen sinnvoll: F(x) :=(Summe der relativen Häfigkeiten x) empirische Verteilungsfunktion Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 67 / 299

68 Häufigkeitsverteilung Im Weiteren: X,Y,... Bezeichnung für Merkmal n Untersuchungseinheiten x 1,...,x i,...,x n, i = 1,...,n beobachtete Werte oder Ausprägungen von X { x 1,...,x i,...,x n ; i = 1,...,n} Rohdaten, Urliste Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 68 / 299

69 Häufigkeiten a 1 < a 2 <... < a k, k n der Größe nach geordnete, verschiedene Werte der Urliste x 1,...,x n Beispiel: Absolventenstudie Für die Variable D Ausrichtung der Diplomarbeit ist die Urliste durch die folgende Tabelle gegeben. Person i Variable D Person i Variable D Person i Variable D Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 69 / 299

70 Ausprägung absolute Häufigkeit h relative Häufigkeit f 1 2 2/36 = /36 = /36 = /36 = Häufigkeitstabelle für die Variable D Ausrichtung der Diplomarbeit Bemerkungen: Für Nominalskalen hat die Anordnung < keine inhaltliche Bedeutung. Bei kategorialen Merkmalen k = Anzahl der Kategorien Bei stetigen Merkmalen k oft nicht oder kaum kleiner als n. Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 70 / 299

71 Absolute und relative Häufigkeiten h(a j ) = h j absolute Häufigkeit der Ausprägung a j, d.h. Anzahl der x i aus x 1,...x n mit x i = a j f(a j ) = f j = h j /n relative Häufigkeit von a j h 1,...,h k absolute Häufigkeitsverteilung f 1,...,f k relative Häufigkeitsverteilung Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 71 / 299

72 Bemerkungen: Wenn statt der Urliste bereits die Ausprägungen a 1,...,a k und die Häufigkeiten f 1,...,f k bzw. h 1,...,h k vorliegen, sprechen wir von Häufigkeitsdaten. Klassenbildung, gruppierte Daten: Bei metrischen, stetigen (oder quasi-stetigen) Merkmalen oft Gruppierung der Urliste durch Bildung geeigneter Klassen Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 72 / 299

73 Beispiel: Nettomieten Wir greifen aus dem gesamten Datensatz die Wohnungen ohne zentrale Warmwasserversorgung (zh=1) und mit einer Wohnfläche kleiner als 50 qm (wfl<50) heraus. Die folgende Urliste zeigt, bereits der Größe nach geordnet, die Nettomieten dieser n = 27 Wohnungen: Alle Werte verschieden k = n und {x 1,...,x n } = {a 1,...,a k } f j = 1 27, j = 1,...,27. Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 73 / 299

74 Beispiel der Selektion dieser Daten in R Was ist R? A: Freies Statistikpaket Download: daten <- read.table(file="miete03.asc", sep=" ", header=t) daten <- subset(daten, (zh==1) & (wfl<50) ) attach(daten) print(sort(nm)) (nm=nettomiete) Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 74 / 299

75 Gruppiert man die Urliste in 5 Klassen mit gleicher Klassenbreite von 100 EURO, so erhält man folgende Häufigkeitstabelle: Klasse absolute Häufigkeit relative Häufigkeit 50 < /27 = < /27 = < /27 = < /27 = < /27 = Häufigkeiten für gruppierte n = 27 Nettomieten Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 75 / 299

76 Grafische Darstellungen Ein Bild sagt mehr als tausend Worte Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 76 / 299

77 Statistische Grafik Lit.: Tufte, E. (2001): The visual Display of Information. Graphic Press 2nd ed. Principles of Graphical Excellence Graphical excellence is the well-designed presentation of interesting data - a matter of substance, of statistics and of design. Graphical excellence consists of complex ideas communicated with clarity, precision and efficiency. Graphical excellence is that which gives to the viewer the greatest number of ideas in the shortest time with the least ink in the smallest space. Graphical excellence is nearly always multivariate. And graphical excellence requires telling the truth about the data. Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 77 / 299

78 Allgemeine Kriterien Wahl der Skala inkl. Bereich Wahl des Prinzips (Längentreue, Flächentreue) Einbringen von anderen Visualisierungen (Piktogramme etc.) Angemessene Wahl der Variablen Angemessene Wahl der Farben Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 78 / 299

79 Typen von eindimensionalen Darstellungen Stab-, Balken- und Säulendiagramm Kreis (Torten)-Diagramm Histogramm Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 79 / 299

80 Wahrnehmung von Grafiken Experimente von Psychologen zeigen Hierarchie der korrekten Interpretation (Cleveland/McGill) 1 Abstände 2 Winkel 3 Flächen 4 Volumen 5 Farbton-Sattheit-Schwärzegrad Da Abstände am besten wahrgenommen werden, sollten diese bevorzugt verwendet werden Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 80 / 299

81 Beispiele Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 81 / 299

82 Kreisdiagramm, Tortendiagramm Darstellung der relativen (absoluten) Häufigkeiten als Fläche eines Kreises Anwendung: Nominale Merkmale Ordinale Merkmale (Problem: Ordnung nicht korrekt wiedergegeben) Gruppierte Daten Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 82 / 299

83 Beispiele Deskriptive Statistik WiSe 2010/2011 Helmut Küchenhoff (Institut für Statistik, LMU) 83 / 299