Ludwig Fahrmeir Christian Heumann Rita Künstler Iris Pigeot Gerhard Tutz. Statistik. Der Weg zur Datenanalyse. 8., überarbeitete und ergänzte Auflage

Transkript

1 Springer-Lehrbuch

2 Ludwig Fahrmeir Christian Heumann Rita Künstler Iris Pigeot Gerhard Tutz Statistik Der Weg zur Datenanalyse 8., überarbeitete und ergänzte Auflage

3 Ludwig Fahrmeir LMU München Institut für Statistik München, Deutschland Christian Heumann LMU München Institut für Statistik München, Deutschland Iris Pigeot Leibniz-Institut für Präventionsforschung und Epidemiologie BIPS Bremen, Deutschland Gerhard Tutz LMU München Institut für Statistik München, Deutschland Rita Künstler Zürich, Schweiz ISSN Springer-Lehrbuch ISBN DOI / ISBN (ebook) Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte biblio grafische Daten sind im Internet über abrufbar. Springer Spektrum Springer-Verlag Berlin Heidelberg 1997, 1999, 2001, 2003, 2004, 2007, 2010, 2016 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz- Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Planung: Iris Ruhmann Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier Springer Spektrum ist Teil von Springer Nature Die eingetragene Gesellschaft ist Springer-Verlag GmbH Berlin Heidelberg

4 Vorwort Statistische Verfahren werden stets dann benötigt und eingesetzt, wenn im Rahmen empirischer Fragestellungen Daten erhoben, dargestellt und analysiert werden sollen. Dabei spiegelt die große Vielfalt statistischer Methoden die Breite praktischer Fragestellungen etwa aus den Wirtschafts- und Sozialwissenschaften, der Medizin und den Natur- und Ingenieurwissenschaften wider. Diese Verknüpfung der Statistik mit ihren Anwendungsdisziplinen zeigt sich unter anderem darin, dass die Vermittlung der Grundlagen statistischer Methodik integrierter Bestandteil vieler Studiengänge ist. Dieses Buch wendet sich vorwiegend an Studierende der Wirtschafts- und Sozialwissenschaften, aber auch anderer Disziplinen wie Informatik oder Biometrie. Es ist zudem als Einführungstext für Studierende der Statistik geeignet. Ausgehend von einer Reihe realer Fragestellungen, die typische Anwendungssituationen statistischer Verfahren veranschaulichen, werden in Kapitel 1 die Grundbegriffe der Datenanalyse und - erhebung dargestellt. Diese realen Daten werden ergänzt durch weitere Beispiele in den einzelnen Kapiteln erneut aufgegriffen, um die Auseinandersetzung mit statistischen Methoden inhaltlich zu motivieren, ihre Anwendung zu illustrieren und die gewonnenen Ergebnisse zu interpretieren. Damit zielt die Darstellung der Methoden eher darauf ab, das Verständnis für die statistischen Verfahren und die dahinterstehende Denkweise zu erhöhen, als die Methoden in mathematischer Ausführlichkeit zu diskutieren. Zahlreiche grafische Darstellungen sollen zu diesem Ziel beitragen. Das Buch bietet insgesamt eine integrierte Einführung sowohl in die deskriptive Statistik und in moderne Methoden der explorativen Datenanalyse (Kapitel 2, 3) als auch in die induktive Statistik (Kapitel 9 bis 14). Letztere beinhaltet insbesondere auch Methoden der Regressions- (Kapitel 12) und der Varianzanalyse (Kapitel 13) sowie die Analyse von Zeitreihen (Kapitel 14). Eingeschlossen ist dabei eine ausführliche Beschreibung der Grundlagen der Stochastik (Kapitel 4 bis 8), die die Basis zum Verständnis der induktiven Statistik bildet. Zur Erhöhung der Übersichtlichkeit und der Lesbarkeit werden die wesentlichen Aspekte der einzelnen Kapitel im Text und durch Einrahmungen hervorgehoben. Stichwörter am Rand weisen auf die jeweils behandelten Aspekte hin. Einige Abschnitte sind mit einem Stern versehen. Diese behandeln spezielle Fragestellungen, die für das weitere Verständnis nicht erforderlich sind und gegebenenfalls übersprungen werden können. Am Ende eines jeden Kapitels werden zunächst die wichtigsten Aussagen dieses Kapitels noch einmal zusammengefasst und Hinweise auf weiterführende Literatur gegeben. Abschließend dienen einige Aufgaben zur Vertiefung des jeweiligen Stoffes. Auf eine große Anzahl von Aufgaben und die Angabe von Lösungen wurde verzichtet, da uns die Bereitstellung einer eigenen, auf dieses Lehrbuch abgestimmten Aufgabensammlung zweckmäßiger erscheint. Unser besonderer Dank gilt Norbert Behrens und Thomas Fürniss, die mit außergewöhnlichem Einsatz den größten Teil des L A TEX-Manuskripts erstellt haben. Bedanken möchten wir uns auch bei Thomas Billenkamp, Stefan Lang, Lisa Pritscher, Evi Rainer, Andrea Schöpp und Kurt Watzka für ihre Beiträge zu Beispielen, Grafiken, Aufgaben und Tabellen. Für Anregungen und Korrekturvorschläge sei zudem Artur Klinger, Leo Knorr-Held, Helmut Küchenhoff, Joachim Kunert, Nanny Wermuth und unseren Studenten gedankt sowie Joachim Hartung für das Überlassen der Tabellen zu den Wilcoxon-Tests. Schließlich gilt unser Dank dem Springer-Verlag für die stets gute Zusammenarbeit und für die Umsetzung all unserer Wünsche und besonders Herrn Dr. Werner A. Müller, der die Erstellung dieses Lehrbuches angeregt und durch seine Unterstützung erst ermöglicht hat. München und Berlin, im Juni 1997 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz

5 vi Vorwort Bei der vorliegenden Auflage handelt es sich um eine durchgesehene und korrigierte Version der Erstauflage des Buches. Wir bedanken uns bei allen Kollegen, Freunden, Mitarbeitern und Studenten für Hinweise auf Fehler und für Verbesserungsvorschläge. Zu diesem Buch gibt es eine Homepage: Fahrmeir, Künstler, Pigeot, Tutz, Caputo und Lang (1999) fahrmeir/buchstat/ Die Homepage enthält insbesondere einen Großteil der verwendeten Daten. München, im Juli 1998 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz Die neue Auflage ist gegenüber der vorhergehenden im Wesentlichen unverändert. Kleinere Textkorrekturen dienen nur der Vermeidung von Unstimmigkeiten. Als Ergänzung zum Lehrbuch liegt seit 1999 Fahrmeir, L., Künstler, R., Pigeot, I., Tutz, G., Caputo, A., Lang, S. : Arbeitsbuch Statistik vor, das ebenfalls im Springer-Verlag erschienen ist. Die im Arbeitsbuch verwendeten Datensätze finden sich unter fahrmeir/uebbuch/uebbuch.html München, im Juli 2000 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz In der vierten Auflage wurde das Schriftbild leicht verändert. Neu hinzugekommen ist eine kurze Einführung in Bayesianische Schätzverfahren bzw. Bayesianisches Lernen sowie ein Abschnitt über kategoriale Regression, in der die Grundideee der Regression auf binäre abhängige Variablen übertragen wird. Eine Übersicht über die verwendeten Beispiele, die das Aufsuchen bestimmter Beispiele erleichtern soll, findet sich am Ende des Buches. Zu den Aufgaben am Ende der einzelnen Kapitel finden sich nun die Lösungen im Arbeitsbuch Fahrmeir, L., Künstler, R., Pigeot, I., Tutz, G., Caputo, A., Lang, S (2002). Arbeitsbuch Statistik (3. Auflage). Springer-Verlag, Berlin. Datensätze, die als Beispiele für das Arbeiten mit realen Daten dienen können, finden sich in unserem Datenarchiv Unser besonderer Dank gilt Herrn Michael Schindler für die gründliche und engagierte Aufbereitung des Textbildes mit L A TEX. München, im Juni 2002 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz

6 Vorwort vii In der fünften Fassung wurden neben einigen Druckfehlern insbesondere die Beispiele und Aufgaben überarbeitet. Die Beispiele, die noch auf der Einheit DM beruhten, wurden durchwegs durch Beispiele auf Euro-Basis ersetzt. Dem in vielen Kapiteln dargestellten Mietspiegel liegt nun eine zeitgemäße Währung zugrunde. Die aktuellen Datensätze finden sich unter Wir danken Studenten und Lesern für Kommentare und Korrekturhinweise, sowie Frau Petra Menn für ihre Hilfe bei der Überarbeitung. München, im Januar 2004 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz In der sechsten Auflage wurden einige noch verbliebene Druckfehler korrigiert. Wir danken Herrn Böker für die Hinweise zur Korrektur der Tabelle zum Wilcoxon-Rangsummen-Test. Dank für alle hilfreichen Kommentare von Lesern und Studenten. München, im Dezember 2006 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz In der siebten Auflage wurden einige noch verbliebene Druckfehler korrigiert. Dank für alle hilfreichen Kommentare von Lesern und Studenten. München, im Mai 2009 Vorwort zur 8. Auflage Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz Wir freuen uns sehr, dass unser Buch weiterhin auf so großes Interesse stößt, und haben daher für die nunmehr 8. Auflage die Gelegenheit zu einer gründlichen Renovierung genutzt. Zu den wesentlichen Neuerungen dieser Auflage zählen die Aktualisierung von Anwendungsbeispielen, die Durchführung zugehöriger Datenanalysen mit dem Programmpaket R und die damit verbundene Möglichkeit, die Resultate nachzuvollziehen. Darüber hinaus haben wir einige Ergänzungen des Stoffes vorgenommen. Für das bisherige Autorenteam war es sehr erfreulich, dazu Christian Heumann als kompetente Verstärkung gewinnen zu können. Bereits in früheren Auflagen verwendete Anwendungsbeispiele haben wir mit aktuellen realen Daten mit Hilfe von R vollständig runderneuert, d.h. wir haben sie reanalysiert und die Ergebnisse neu aufbereitet. Zudem haben wir weitere Anwendungsbeispiele hinzugefügt. Ausgewählte R-Codes mit kommentierten Hinweisen zeigen am Ende entsprechender Kapitel exemplarisch, wie wir die Ergebnisse erzielt haben. Ergänzend soll eine kurze Einführung in R (Kap. 15) Interessierten den Einstieg in R erleichtern. Die Homepage http : //chris.userweb.mwn.de/statistikbuch.html zu dieser Neuauflage stellt Datensätze, R-Codes, nützliche Links und weiteres Material zur Verfügung. Dies ermöglicht es unsere Analysen nachzuvollziehen, um so die im Buch dargestellten Resultate reproduzieren und durch eigenständige Analysen ergänzen zu können. Zudem wird das selbständige Arbeiten mit R oder anderer Software durch zusätzliche Aufgaben am Ende von Kapiteln unterstützt. Dort finden sich auch weiterhin Aufgaben im üblichen Stil. Deren Lösungen und weitere Aufgaben sind im Arbeitsbuch Fahrmeir, Künstler, Pigeot, Tutz, Caputo und Lang (1999) enthalten. Die methodischen Inhalte haben wir weitgehend beibehalten. Neu aufgenommen wurde insbesondere der Korrelationskoeffizient von Kendall in Kap. 3 und der exakte Test von Fisher in Kap. 11.

7 viii Vorwort Wir danken unseren aufmerksamen Leserinnen und Lesern für Anregungen und Hinweise auf hartnäckige Fehler, die trotz sorgfältigen Korrekturlesens die bisherigen Auflagen überstanden haben. Schließlich gilt unser Dank Frau Iris Burger und Frau Pia Oberschmidt vom Institut für Statistik, sowie Frau Iris Ruhmann, Frau Barbara Lühker und dem gesamten Verlagsteam für die angenehme und konstruktive Zusammenarbeit. München, im Mai 2016 Ludwig Fahrmeir, Christian Heumann, Rita Künstler, Iris Pigeot, Gerhard Tutz

8 Vorwort v 1 Einführung Wo braucht man Statistik? Was macht man mit Statistik? Was steht am Anfang? Statistische Einheiten, Merkmale und Gesamtheiten Merkmalstypen Stetige und diskrete Merkmale Skalen Quantitative und qualitative Merkmale Wie gewinnt man Daten? Elemente der Versuchsplanung Datengewinnung und Erhebungsarten Einfache Zufallsstichproben Geschichtete Zufallsstichproben Klumpenstichprobe Mehrstufige Auswahlverfahren Bewusste Auswahlverfahren Studiendesigns Zusammenfassung und Bemerkungen Statistische Software Aufgaben Univariate Deskription und Exploration von Daten Verteilungen und ihre Darstellungen Häufigkeiten Grafische Darstellungen Stab- und Kreisdiagramme Stamm-Blatt-Diagramme Histogramme Unimodale und multimodale Verteilungen Symmetrie und Schiefe Kumulierte Häufigkeitsverteilung und empirische Verteilungsfunktion

9 x 2.2 Beschreibung von Verteilungen Lagemaße Arithmetisches Mittel Das getrimmte und das winsorisierte Mittel Median Modus Berechnung der Lagemaße bei gruppierten Daten Lageregeln Das geometrische Mittel Das harmonische Mittel Quantile und Box-Plot Standardabweichung, Varianz und Variationskoeffizient Maßzahlen für Schiefe und Wölbung Konzentrationsmaße Relative Konzentration: Lorenzkurve und Gini-Koeffizient Lorenzkurve aus den geordneten Daten Lorenzkurve bei gruppierten Daten Gini-Koeffizient Alternative Konzentrationsmaße Konzentrationsrate CR g Herfindahl-Index Dichtekurven und Normalverteilung Dichtekurven Normalverteilungen Normal-Quantil-Plots Approximation von Dichtekurven Zusammenfassung und Bemerkungen Univariate Datenanalyse mit R Verteilungen und ihre Darstellungen Beschreibung von Verteilungen Konzentrationsmaße Dichtekurven und Normalverteilung Aufgaben Multivariate Deskription und Exploration Diskrete und gruppierte Merkmale Zweidimensionale Daten: Die Kontingenztabelle Bedingte Häufigkeiten Zusammenhangsanalyse in Kontingenztabellen Chancen und relative Chancen Kontingenz- und χ 2 -Koeffizient Grafische Darstellungen quantitativer Merkmale Streudiagramm

10 xi Zweidimensionale Histogramme und Dichten Mehrdimensionale Darstellungen Zusammenhangsmaße bei metrischen Merkmalen Empirischer Korrelationskoeffizient nach Bravais-Pearson Spearmans Korrelationskoeffizient Alternative Rangkorrelationsmaße Invarianzeigenschaften Korrelation und Kausalität Regression Das lineare Regressionsmodell Die Berechnung der Ausgleichsgeraden Bestimmtheitsmaß und Residualanalyse Nichtlineare Regression Zusammenfassung und Bemerkungen Multivariate Deskription mit R Diskrete und gruppierte Daten Zusammenhangsanalyse in Kontingenztabellen Grafische Darstellungen quantitativer Merkmale Zusammenhangsmaße bei metrischen Merkmalen Regression Aufgaben Wahrscheinlichkeitsrechnung Definition und Begriff der Wahrscheinlichkeit Mengen und Mengenoperationen Zufallsereignisse Wahrscheinlichkeiten Zur empirischen Interpretation von Wahrscheinlichkeiten Die Laplace-Wahrscheinlichkeit Objektive Wahrscheinlichkeiten als Grenzwert relativer Häufigkeiten Subjektive Wahrscheinlichkeiten Zufallsstichproben und Kombinatorik Modell mit Zurücklegen Modell ohne Zurücklegen Permutationen Modell ohne Zurücklegen und ohne Berücksichtigung der Reihenfolge Bedingte Wahrscheinlichkeiten Unabhängigkeit von zwei Ereignissen Totale Wahrscheinlichkeit Der Satz von Bayes Unendliche Grundgesamtheiten Zusammenfassung und Bemerkungen Aufgaben

11 xii 5 Diskrete Zufallsvariablen Zufallsvariablen Verteilungen und Parameter von diskreten Zufallsvariablen Definition und Verteilung Diskrete Gleichverteilung Geometrische Verteilung Unabhängigkeit von diskreten Zufallsvariablen Lageparameter, Quantile und Streuungsparameter einer diskreten Verteilung. 225 Erwartungswert Weitere Lageparameter Varianz und Standardabweichung Spezielle diskrete Verteilungsmodelle Die Binomialverteilung Die hypergeometrische Verteilung Die Poisson-Verteilung Zusammenfassung und Bemerkungen Diskrete Verteilungen in R Aufgaben Stetige Zufallsvariablen Definition und Verteilung Unabhängigkeit von stetigen Zufallsvariablen Exponentialverteilung Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen Erwartungswert Modus Median und Quantile Varianz Standardisierung von Zufallsvariablen Symmetrie und Schiefe Spezielle stetige Verteilungsmodelle Die Normalverteilung Quantile Die logarithmische Normalverteilung Chi-Quadrat-, Student- und Fisher-Verteilung Die Chi-Quadrat-Verteilung Die Student-Verteilung Die Fisher-Verteilung Zusammenfassung und Bemerkungen Stetige Zufallsvariablen in R Aufgaben

12 xiii 7 Mehr über Zufallsvariablen und Verteilungen Gesetz der großen Zahlen und Grenzwertsätze Das Gesetz der großen Zahlen und der Hauptsatz der Statistik Der zentrale Grenzwertsatz Approximation von Verteilungen Zufallszahlen und Simulation Einige Ergänzungen Zufallsvariablen als Abbildungen Verteilungsfunktion und ihre Eigenschaften Ungleichung von Tschebyscheff Maßzahlen für Schiefe und Wölbung Zusammenfassung und Bemerkungen Zufallszahlen mit R Aufgaben Mehrdimensionale Zufallsvariablen Begriff mehrdimensionaler Zufallsvariablen Zweidimensionale diskrete Zufallsvariablen Zweidimensionale stetige Zufallsvariablen Unabhängigkeit von Zufallsvariablen Kovarianz und Korrelation Die zweidimensionale Normalverteilung Zusammenfassung und Bemerkungen Die zweidimensionale Normalverteilung in R Aufgaben Parameterschätzung Punktschätzung Eigenschaften von Schätzstatistiken Erwartungstreue Erwartete mittlere quadratische Abweichung und Konsistenz Wirksamste Schätzstatistiken Konstruktion von Schätzfunktionen Maximum Likelihood-Schätzung Kleinste-Quadrate-Schätzung Bayes-Schätzung Intervallschätzung Konfidenzintervalle für Erwartungswert und Varianz Konfidenzintervalle für den Anteilswert Zusammenfassung und Bemerkungen Konfidenzintervalle in R Aufgaben

13 xiv 10 Testen von Hypothesen Der Binomial- und der Gauß-Test Der exakte Binomialtest Der approximative Binomialtest Der Gauß-Test Prinzipien des Testens Fehlentscheidungen Statistische Tests und Konfidenzintervalle Überschreitungswahrscheinlichkeit Gütefunktion Multiple Testprobleme Zusammenfassung und Bemerkungen Aufgaben Spezielle Testprobleme Ein-Stichproben-Fall Tests zu Lagealternativen Anpassungstests Vergleiche aus unabhängigen Stichproben Tests zu Lagealternativen χ 2 -Homogenitätstest Exakter Test von Fisher Vergleiche aus verbundenen Stichproben Zusammenhangsanalyse χ 2 -Unabhängigkeitstest Korrelation bei metrischen Merkmalen Zusammenfassung und Bemerkungen Tests mit R Aufgaben Regressionsanalyse Lineare Einfachregression Das Modell der linearen Einfachregression Schätzen, Testen und Prognose Schätzen Testen Prognose Residualanalyse Multiple lineare Regression Das multiple lineare Regressionsmodell Schätzen, Testen und Prognose Schätzen Testen Prognose

14 xv Multiple lineare Regression in Matrixnotation Binäre Regression Nichtlineare und nichtparametrische Regression Zusammenfassung und Bemerkungen Regressionsanalysen mit R Einfache lineare Regression Multiple lineare Regression Weitere Regressionsmodelle Aufgaben Varianzanalyse Einfaktorielle Varianzanalyse Modellformulierung (I) Modellformulierung (II) Zweifaktorielle Varianzanalyse mit festen Effekten Modellformulierung (I) Modellformulierung (II) Zusammenfassung und Bemerkungen Aufgaben Zeitreihen Indizes Komponentenmodelle Globale Regressionsansätze Trendbestimmung Bestimmung der Saisonkomponente Lokale Ansätze Trendbestimmung Gleitende Durchschnitte Lokale Regression Spline-Glättung Bestimmung der Saisonkomponente Gleitende Durchschnitte und lokale Regression Spline-Glättung Zusammenfassung und Bemerkungen Zeitreihenanalyse mit R Aufgaben

15 xvi 15 Einführung in R R als Taschenrechner Grundlegende Datenstrukturen in R Vektoren Matrizen und Datensätze Listen Arrays Mehr zu Faktorvariablen Mehr zur Indizierung Funktionen und mathematische Konstanten Statistische Funktionen Weitere praktische mathematische Funktionen Mathematische Konstanten Eigene Funktionen in R Datenverarbeitung Sortieren Ränge bilden Duplikate und eindeutige Werte, Minimum und Maximum finden Diskretisierung numerischer Variablen Verteilungen und Zufallsvariablen Grafiken Weiterführende Hinweise Tabellen 547 A Standardnormalverteilung B Binomialverteilung C χ 2 -Verteilung D Students t-verteilung E F -Verteilung F Wilcoxon-Vorzeichen-Rang-Test G Wilcoxon-Rangsummen-Test Literatur 565 Verzeichnis der Beispiele 569 Sachregister 575