Springer-Verlag Berlin Heidelberg GmbH

Transkript

1 Springer-Lehrbuch

2 Springer-Verlag Berlin Heidelberg GmbH

3 Ludwig Fahrmeir Rita Künstler Iris Pigeot Gerhard Tutz Statistik Der Weg zur Datenanalyse Vierte, verbesserte Auflage Mit 162 Abbildungen und 25 Tabellen Springer

4 Prof. Dr. Ludwig Fahrmeir Dr. Rita Künstler Universität München Institut für Statistik Ludwigstraße München uni-muenchen.de Prof. Dr. Iris Pigeot Universität Bremen Institut für Statistik, Gebäude M2H Bibliothekstr Bremen pigeot@math.uni-bremen.de Prof. Dr. Gerhard Tutz Universität München Institut für Statistik Akademiestraße München tutz@stat.uni-muenchen.de ISBN Die Deutsche Bibliothek - CIP-Einheitsaufnahme Statistik: der Weg zur Datenanalyse I von Ludwig Fahrmeir , verb. Auf!. (Springer-Lehrbuch) ISBN ISBN (ebook) DOI / Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes. Springer-Verlag Berlin Heidelberg 1997, 1999, 2001, 2003 Ursprünglich erschienen bei Springer-Verlag Berlin Heidelberg New York 2003 Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. SPIN / Gedruckt auf säurefreiem Papier

5 Vorwort Statistische Verfahren werden stets dann benötigt und eingesetzt, wenn im Rahmen empirischer Fragestellungen Daten erhoben, dargestellt und analysiert werden sollen. Dabei spiegelt die große Vielfalt statistischer Methoden die Breite praktischer Fragestellungen etwa aus den Wirtschafts- und Sozialwissenschaften, der Medizin und den Natur- und Ingenieurwissenschaften wider. Diese Verknüpfung der Statistik mit ihren Anwendungsdisziplinen zeigt sich unter anderem darin, daß die Vermittlung der Grundlagen statistischer Methodik integrierter Bestandteil vieler Studiengänge ist. Dieses Buch wendet sich vorwiegend an Studierende der Wirtschafts- und Sozialwissenschaften, aber auch anderer Disziplinen wie Informatik oder Biometrie. Es ist zudem als Einführungstext für Studierende der Statistik geeignet. Ausgehend von einer Reihe realer Fragestellungen, die typische Anwendungssituationen statistischer Verfahren veranschaulichen, werden in Kapitel 1 die Grundbegriffe der Datenanalyse und -erhebung dargestellt. Diese realen Daten werden - ergänzt durch weitere Beispiele - in den einzelnen Kapiteln erneut aufgegriffen, um die Auseinandersetzung mit statistischen Methoden inhaltlich zu motivieren, ihre Anwendung zu illustrieren und die gewonnenen Ergebnisse zu interpretieren. Damit zielt die Darstellung der Methoden eher darauf ab, das Verständnis für die statistischen Verfahren und die dahinterstehende Denkweise zu erhöhen, als die Methoden in mathematischer Ausführlichkeit zu diskutieren. Zahlreiche graphische Darstellungen sollen zu diesem Ziel beitragen. Das Buch bietet insgesamt eine integrierte Einführung sowohl in die deskriptive Statistik und in moderne Methoden der explorativen Datenanalyse (Kapitel 2, 3) als auch in die induktive Statistik (Kapitel 9 bis 14). Letztere beinhaltet insbesondere auch Methoden der Regressions- (Kapitel 12) und der Varianzanalyse (Kapitel 13) sowie die Analyse von Zeitreihen (Kapitel14). Eingeschlossen ist dabei eine ausführliche Beschreibung der Grundlagen der Stochastik (Kapitel4 bis 8), die die Basis zum Verständnis der induktiven Statistik bildet. Zur Erhöhung der Übersichtlichkeit und der Lesbarkeit werden die wesentlichen Aspekte der einzelnen Kapitel im Text und durch Einrahmungen hervorgehoben. Stichwörter am Rand weisen auf die jeweils behandelten Aspekte hin. Einige Abschnitte sind mit einem Stern versehen. Diese behandeln spezielle Fragestellungen, die für das weitere Verständnis nicht erforderlich sind und gegebenenfalls übersprungen werden können. Am Ende eines jeden Kapitels werden zunächst die wichtigsten Aussagen dieses Kapitels noch einmal zusammengefaßt und Hinweise auf weiterführende Literatur gegeben. Abschließend dienen einige Aufgaben zur Vertiefung des jeweiligen Stoffes. Auf eine große Anzahl von Aufgaben und die Angabe von Lösungen wurde verzichtet, da uns die Bereitstellung einer eigenen, auf dieses Lehrbuch abgestimmten Aufgabensammlung zweckmäßiger erscheint. Unser besonderer Dank gilt Norbert Behrens und Thomas Fürniss, die mit außergewöhnlichem Einsatz den größten Teil des lb'iex-manuskripts erstellt haben. Bedanken möchten wir uns auch bei Thomas Billenkamp, Stefan Lang, Lisa Pritscher, Evi Rainer, Andrea Schöpp und Kurt Watzka für ihre Beiträge zu Beispielen, Grafiken, Aufgaben und Tabellen. Für Anregungen und Korrekturvorschläge sei zudem Artur Klinger, Leo Knarr Held, Helmut Küchenhoff, Joachim Kunert, Nanny Wermuthund unseren Studenten gedankt

6 vi Vorwort sowie Joachim Hartung für das Überlassen der Tabellen zu den Wilcoxon-Tests. Schließlich gilt unser Dank dem Springer-Verlag für die stets gute Zusammenarbeit und für die Umsetzungall unserer Wünsche und besonders Herrn Dr. Werner Müller, der die Erstellung dieses Lehrbuches angeregt und durch seine Unterstützung erst ermöglicht hat. München und Berlin, im Juni 1997 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz Bei der vorliegenden Auflage handelt es sich um eine durchgesehene und korrigierte Version der Erstauflage des Buches. Wir bedanken uns bei allen Kollegen, Freunden, Mitarbeitern und Studenten für Hinweise auf Fehler und für Verbesserungsvorschläge. Zu diesem Buch gibt es eine Homepage: Fahrmeir, Künstler, Pigeot, Tutz, Caputo und Lang (1999) h t t p : / / w w w. s t a t. u n i - m u e n c h e n. d e / ~ f a h Die Hornepage enthält insbesondere einen Großteil der verwendeten Daten. München, im Juli 1998 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Thtz Die neue Auflage ist gegenüber der vorhergehenden im wesentlichen unverändert. Kleinere Textkorrekturen dienen nur der Vermeidung von Unstimmigkeiten. Als Ergänzung zum Lehrbuch liegt seit 1999 Fahrmeir, L., Künstler, R., Pigeot, I., Thtz, G., Caputo, A., Lang, S. : Arbeitsbuch Statistik vor, das ebenfalls im Springer-Verlag erschienen ist. Die im Arbeitsbuch verwendeten Datensätze finden sich unter h t t p : / / w w w. s t a t. u n i - m u e n c h e n. d e / ~ f a h r m e München, im Juli 2000 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz

7 Vorwort Vll In der vierten Auflage wurde das Schriftbild leicht verändert. Neu hinzugekommen ist eine kurze Einführung in Bayesianische Schätzverfahren bzw. Bayesianisches Lernen sowie ein Abschnitt über kategoriale Regression, in der die Grundideee der Regression auf binäre abhängige Variablen übertragen wird. Eine Übersicht über die verwendeten Beispiele, die das Aufsuchen bestimmter Beispiele erleichtern soll, findet sich am Ende des Buches. Zu den Aufgaben am Ende der einzelnen Kapitel finden sich nun die Lösungen im Arbeitsbuch Fahrmeir, L., Künstler, R., Pigeot, 1., Thtz, G., Caputo, A., Lang, S (2002). Arbeitsbuch Statistik (3. Auflage). Springer-Verlag, Berlin. Datensätze, die als Beispiele für das Arbeiten mit realen Daten dienen können, finden sich in unserem Datenarchiv Unser besonderer Dank gilt Herrn Michael Schindler für die gründliche und engagierte Aufbereitung des Textbildes mit Jb'IEJC. München, im Juni 2002 Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Thtz

8 Inhaltsverzeichnis Vorwort 1 Einführung 1.1 Wo braucht man Statistik? 1.2 Was macht man mit Statistik? 1.3 Was steht am Anfang? Statistische Einheiten, Merkmale und Gesamtheiten Merkmalstypen.... Stetige und diskrete Merkmale..... Skalen.... Quantitative und qualitative Merkmale 1.4 Wie gewinnt man Daten? Elemente der Versuchsplanung Datengewinnung und Erhebungsarten Einfache Zufallsstichproben... Geschichtete Zufallsstichproben. Klumpenstichprobe Mehrstufige Auswahlverfahren Bewußte Auswahlverfahren.. Studiendesigns Zusammenfassung und Bemerkungen. 1.6 Aufgaben Univariate Deskription und Exploration von Daten 2.1 Verteilungen und ihre Darstellungen Häufigkeiten Graphische Darstellungen. Stab- und Kreisdiagramme Stamm-Blatt-Diagramme. Histogramme Unimodale und multimodale Verteilungen V

9 x Inhaltsverzeichnis Symmetrie und Schiefe Kumulierte Häufigkeitsverteilung und empirische Verteilungsfunktion Beschreibung von Verteilungen Lagemaße.... Arithmetisches Mittel Median.... Modus.... Berechnung der Lagemaße bei gruppierten Daten Lageregeln Das geometrische Mittel Das harmonische Mittel Das getrimmte Mittel Quantile und Box-Plot Standardabweichung, Varianz und Variationskoeffizient Maßzahlen für Schiefe und Wölbung Konzentrationsmaße Relative Konzentration: Lorenzkurve und Gini-Koeffizient Lorenzkurve aus den geordneten Daten Lorenzkurve bei gruppierten Daten. Gini-Koeffizient Alternative Konzentrationsmaße Konzentrationsrate C R 9... Herfindahl-Index Dichtekurven und Normalverteilung Dichtekurven Normalverteilungen.... *Normal-Quantil-Plots.... *2.4.3 Approximation von Dichtekurven. 2.5 Zusammenfassung und Bemerkungen. 2.6 Aufgaben Multivariate Deskription und Exploration 3.1 Diskrete und gruppierte Merkmale Zweidimensionale Daten: Die Kontingenztabelle Bedingte Häufigkeiten Zusammenhangsanalyse in Kontingenztabellen Chancen und relative Chancen Kontingenz- und x 2 -Koeffizient Graphische Darstellungen quantitativer Merkmale

10 In ha Jtsverzeich n is xi Streudiagramm Zweidimensionale Histogramme und Dichten Mehrdimensionale Darstellungen Zusammenhangsmaße bei metrischen Merkmalen Empirischer Korrelationskoeffizient nach Bravais-Pearson Spearmans Korrelationskoeffizient Invarianzeigenschaften 3.5 Korrelation und Kausalität 3.6 Regression *3.6.4 Das lineare Regressionsmodell. Die Berechnung der Ausgleichsgeraden. Bestimmtheitsmaß und Residualanalyse Nichtlineare Regression Zusammenfassung und Bemerkungen. 3.8 Aufgaben Wahrscheinlichkeitsrechnung 4.1 Definition und Begriff der Wahrscheinlichkeit Mengen und Mengenoperationen Zufallsereignisse Wahrscheinlichkeiten Zur empirischen Interpretation von Wahrscheinlichkeiten Die Laplace-Wahrscheinlichkeit Objektive Wahrscheinlichkeiten als Grenzwert relativer Häufigkeiten Subjektive Wahrscheinlichkeiten 4.3 Zufallsstichproben und Kombinatorik Modell mit Zurücklegen Modell ohne Zurücklegen Permutationen Modell ohne Zurücklegen und ohne Berücksichtigung der Reihenfolge Bedingte Wahrscheinlichkeiten Unabhängigkeit von zwei Ereignissen Totale Wahrscheinlichkeit Der Satz von Bayes Unendliche Grundgesamtheiten 4.9 Zusammenfassung und Bemerkungen Aufgaben

11 xii Inhaltsverzeichnis 5 Diskrete Zufallsvariablen Zufallsvariablen.... Verteilungen und Parameter von diskreten Zufallsvariablen Definition und Verteilung Diskrete Gleichverteilung Geometrische Verteilung Unabhängigkeit von diskreten Zufallsvariablen Lageparameter, Quantile und Streuungsparameter einer diskreten Verteilung Erwartungswert Weitere Lageparameter.... Varianz und Standardabweichung Spezielle diskrete Verteilungsmodelle Die Binomialverteilung Die hypergeometrische Verteilung Die Poisson-Verteilung Zusammenfassung und Bemerkungen. 5.5 Aufgaben Stetige Zufallsvariablen 6.1 Definition und Verteilung Unabhängigkeit von stetigen Zufallsvariablen. 273 Exponentialverteilung Lageparameter, Quantile und Varianz von stetigen Zufallsvariablen. 280 Erwartungswert Modus Median und Quantile 284 Varianz Standardisierung von Zufallsvariablen 289 Symmetrie und Schiefe Spezielle stetige Verteilungsmodelle Die Normalverteilung.... Quantile Die logarithmische Normalverteilung Chi-Quadrat-, Student- und Fisher-Verteilung. Die Chi-Quadrat-Verteilung. Die Student-Verteilung..... Die Fisher-Verteilung Zusammenfassung und Bemerkungen. 6.5 Aufgaben

12 Inhaltsverzeichnis xiii 7 Mehr über Zufallsvariablen und Verteilungen Gesetz der großen Zahlen und Grenzwertsätze Das Gesetz der großen Zahlen und der Hauptsatz der Statistik Der zentrale Grenzwertsatz Approximation von Verteilungen 316 *7.3 Zufallszahlen und Simulation *7.4 Einige Ergänzungen Zufallsvariablen als Abbildungen Verteilungsfunktion und ihre Eigenschaften Ungleichung von Tschebyscheff Maßzahlen für Schiefe und Wölbung 7.5 Zusammenfassung und Bemerkungen. 7.6 Aufgaben Mehrdimensionale Zufallsvariablen 8.1 Begriff mehrdimensionaler Zufallsvariablen. 8.2 Zweidimensionale diskrete Zufallsvariablen. 8.3 Zweidimensionale stetige Zufallsvariablen 8.4 Unabhängigkeit von Zufallsvariablen Kovarianz und Korrelation Die zweidimensionale Normalverteilung 8. 7 Zusammenfassung und Bemerkungen. 8.8 Aufgaben Parameterschätzung 9.1 Punktschätzung Eigenschaften von Schätzstatistiken Erwartungstreue Erwartete mittlere quadratische Abweichung und Konsistenz Wirksamste Schätzstatistiken Konstruktion von Schätzfunktionen Maximum Likelihood-Schätzung Kleinste-Quadrate-Schätzung Bayes-Schätzung Intervallschätzung Konfidenzintervalle für Erwartungswert und Varianz Konfidenzintervalle für den Anteilswert 9.5 Zusammenfassung und Bemerkungen. 9.6 Aufgaben

13 xiv Inhaltsverzeichnis 10 Testen von Hypothesen 10.1 Der Binomial- und der Gauß-Test Der exakte Binomialtest Der approximative Binomialtest Der Gauß-Test Prinzipien des Testens Fehlentscheidungen Statistische Tests und Konfidenzintervalle Überschreitungswahrscheinlichkeit Gütefunktion.... *Multiple Testprobleme Zusammenfassung und Bemerkungen Aufgaben Spezielle Testprobleme 11.1 Ein-Stichproben-Fall Tests zu Lagealternativen Anpassungstests Vergleiche aus unabhängigen Stichproben Tests zu Lagealternativen x2-homogenitätstest Vergleiche aus verbundenen Stichproben 11.4 Zusammenhangsanalyse x2-unabhängigkeitstest Korrelation bei metrischen Merkmalen Zusammenfassung und Bemerkungen Aufgaben Regressionsanalyse 12.1 Lineare Einfachregression Das Modell der linearen Einfachregression Schätzen, Testen und Prognose Schätzen. Testen.... Prognose Residualanalyse Multiple lineare Regression Das multiple lineare Regressionsmodell Schätzen, Testen und Prognose Schätzen

14 Inhaltsverzeichnis XV Testen.. Prognose * Multiple lineare Regression in Matrixnotation Binäre Regression.... *12.4 Nichtlineare und nichtparametrische Regression 12.5 Zusammenfassung und Bemerkungen Aufgaben Varianzanalyse 13.1 Einfaktorielle Varianzanalyse Modellformulierung (I). Modellformulierung (II) 13.2 Zweifaktadelle Varianzanalyse mit festen Effekten Modellformulierung (I). Modellformulierung (II) 13.3 Zusammenfassung und Bemerkungen Aufgaben Zeitreihen 14.1 Indizes Komponentenmodelle 14.3 Globale Regressionsansätze Trendbestimmung Bestimmung der Saisonkomponente 14.4 Lokale Ansätze Trendbestimmung Gleitende Durchschnitte Lokale Regression *Spline-Glättung Bestimmung der Saisonkomponente Gleitende Durchschnitte und lokale Regression *Spline-Glättung Zusammenfassung und Bemerkungen Aufgaben

15 xvi Inhaltsverzeichnis Tabellen A Standardnormalverteilung B Binomialverteilung.. C x 2 -Verteilung..... D Students t-verteilung. E F-Verteilung... F Wilcoxon-Vorzeichen-Rang-Test. G Wilcoxon-Rangsummen-Test. Literatur Verzeichnis der Beispiele Sachregister