Multivariate statistische Verfahren

Transkript

1 Multivariate statistische Verfahren 2., überarbeitete Auflage Herausgegeben von Ludwig Fahrmeir, Alfred Hamerle und Gerhard Tutz unter Mitarbeit von Wolfgang Brachinger, Walter Häußler, Heinz Kaufmann, Peter Kemeny, Christian Kredler, Willi Nagl, Friedemann Ost, Heinz Pape w DE G Walter de Gruyter Berlin New York 1996

2 Inhalt Vorwort zur zweiten Auflage Vorwort zur ersten Auflage Kapitel 1 Einführung 1 Ludwig Fahrmeir und Alfred Hamerle 1. Einführende Beispiele 1 2. Grundlegende Begriffe der Meßtheorie 4 3. Überblick über multivariate statistische Verfahren 11 Kapitel 2 Mehrdimensionale Zufallsvariablen und Verteilungen 18 Ludwig Fahrmeir und Alfred Hamerle 1. Verteilungsfunktionen und Dichten Gemeinsame Verteilungsfunktionen und Dichten Erwartungswerte und Kovarianzmatrizen Mehrdimensionale Normalverteilung, Multinominälverteilung und Grenzwertsätze Mehrdimensionale Normalverteilung Verteilungskonvergenz und Grenzwertsätze Multinominälverteilung Wishart- und verwandte Verteilungen X 2 -, F- und t-verteilung Wishart-, A- und 0-Verteilung Exponentialfamilien Definition und Beispiele Einfache Exponentialfamilien 46 Kapitel 3 Grundlegende multivariate Schätz- und Testprobleme 49 Ludwig Fahrmeir und Alfred Hamerle 1. Punktschätzung von Erwartungswerten und Kovarianzmatrizen Ein-Stichprobenfall Mehr-Stichprobenfall Allgemeine Prinzipien der Parameterschätzung Likelihood-Funktion und Suffizienz Einige Eigenschaften von Punktschätzern Maximum-Likelihood-Schätzung Einige Verfahren zur Minimierung einer Funktion Nichtparametrische Dichteschätzung Hypothesentests und Vertrauensbereiche für Erwartungswerte und Kovarianzmatrizen 80

3 X Inhalt 3.1 Test und Vertrauensbereiche für Erwartungswerte Tests für Kovarianzmatrizen Testprinzipien Likelihood-Quotienten-Test, Score-Test und Wald-Test Der Union-Intersection-Test und simultane Kofidenzintervalle 90 Kapitel 4 Regressionsanalyse 93 Ludwig Fahrmeir, Heinz Kaufmann und Christian Kredler -1. Univariate lineare Regression Modelle der linearen Regressionsanalyse Schätzen im klassischen und allgemeinen linearen Modell Tests, Konfidenzbereiche und Modellüberprüfung Variablenselektion Beispiele Multivariate lineare Regression Das Modell Punktschätzung der Parameter Tests und Konfidenzintervalle Beispiel Kanonische Korrelationsanalyse Nichtlinare Regression Modellgleichung, Kleinst-Quadrat-Schätzung Die Gauß-Newton-Methode zur numerischen Berechnung der KQ-Schätzer Asymptotische Eigenschaften der KQ-Schätzer Test und Konfidenzbereiche Beispiel Nichtparametrische Regression Nichtparametrische Einfachregression: Scatterplot-Smoother Nichtparametrische Mehrfachregression 163 Kapitel 5 Varianz- und Kovarianzanalyse 169 Ludwig Fahrmeir, Alfred Hamerle und Willi Nagl 1. Univariate Varianzanalyse mit festen Effekten Einfaktorielle Versuchspläne Zweifaktorielle Versuchspläne Kovarianzanalyse Allgemeine zweistufige Vorgehensweise Versuchspläne mit zufälligen Effekten, genestete Designs und Meßwiederholungspläne Grundbegriffe und Kennzeichnung des Designs Einige Modelle Modell mit einem Wiederholungsfaktor (zufälliger Blockplan) Modell mit zwei Wiederholungsfaktoren Modell mit Gruppen- und Wiederholungsfaktoren Allgemeine Form der Gemischten Modelle Spezialfälle Schätzung des Modells Multivariate Varianzanalyse mit festen Effekten 228

4 Inhalt XI 4.1 Einfaktorielle Versuchspläne Zweifaktorielle Versuchspläne 234 Kapitel 6 Kategoriale und generalisierte lineare Regression 239 Ludwig Fahrmeir, Alfred Hamerle, Gerhard Tutz 1. Univariate generalisierte lineare Modelle Beispiele und Daten Definition generalisierter linearer Modelle Modelle für stetige Zielvariablen Modelle für binäre und binomiale Zielvariablen Modelle für Zähldaten Statistische Inferenz in univariaten generalisierten linearen Modellen Maximum-Likelihood-Schätzung Hypothesentests und Goodness of fit" Mehrkategoriale Regressionsmodelle Daten und Beispiele Das mehrkategoriale Logit-Modell als multivariates verallgemeinertes lineares Modell Modelle für geordnete Responsekategorien Schätzen und Testen in multivariaten generalisierten linearen Modellen Anpassungstests und Residualanalyse Parametrische Erweiterungen Quasi-Likelihood-Modelle und generalisierte Schätzgleichungen Regressionsmodelle für multivariate korrelierte Zielvariablen Generalisierte additive Modelle Kernschätzung zur geglätteten Regression bei diskreter abhängiger Variable 296 Kapitel 7 Regressionsmodelle zur Analyse von Verweildauern 301 Ludwig Fahrmeir, Alfred Hamerle und Gerhard Tutz 1. Grundlegende Begriffe und Modelle Zensierte Daten Survivalfunktion und Hazardrate Zwei Modellklassen Schätzverfahren Die Sterbetafel-Methode Nichtparametrische Schätzung der Survivalfunktion (Kaplan-Meier-Schätzer) Maximum-Likelihood-Schätzung in Transformationsmodellen (bei bekannter Fehlerverteilung) Kleinst-Quadrate-Schätzung in Transformationsmodellen Maximum-Partial-Likelihood-Schätzung für das Proportional-Hazard-Modell Einbeziehung von zeitabhängigen Koyariablen Tests für Regressionsparameter und Überprüfung der Proportionalitätsannahme Test für Regressionskoeffizienten und Modellteile Einbeziehung unbeobachteter Populationsheterogenität 341

5 XII Inhalt 5.1. Beispiele zur unbeobachteten Heterogenität Modelle und Parameterschätzung bei gegebener Verteilung der Heterogenitätskomponente Simultane Schätzung der strukturellen Modellparameter und der Verteilung der Heterogenitätskomponente Vergleich verschiedener Schätzverfahren bei Fehlspezifikation, insbesondere bei unbeobachteter Heterogenität Kurze Übersicht über weitere Verfahren und Probleme der Verweildaueranalyse Competing Risks" und Mehr-Zustands-Modelle Multivariate Ereignisanalyse Zeitdiskrete Modelle für Verweildauern 355 Kapitel 8 Diskriminanzanalyse 357 Ludwig Fahrmeir, Walter Häußler und Gerhard Tutz 1. Der allgemeine entscheidungstheoretische Ansatz Problemstellung, Entscheidungsregeln und Fehler Geschätzte Entscheidungsregeln und Fehlerraten Klassische Diskriminanzanalyse: Normalverteilte Merkmale und Fisher-Ansatz Diskriminanzfunktionen bei bekannten Normalverteilungen in den Klassen Lineare Diskriminanzanalyse bei unbekannten Parametern Bewertung von Entscheidungsregeln und Variablenselektion Beispiele Diskriminanzanalyse mit kategorialen Variablen Das volle multinomiale Modell Unabhängige binäre Variablen Parametrisierung in Modellfamilien Dichteschätzer Variablenselektion Beispiele Diskriminanzanalyse mit gemischten Variablen Das Lokalisationsmodell Das logistische Modell Verteilungsfreie Verfahren Dichteschätzung mit Kernfunktionen Nächste-Nachbarn-Zuordnungsregeln Kleinstquadratapproximation von Bayes-Klassifikatoren durch verallgemeinerte lineare Diskriminanzfunktionen Klassifikationsbäume 425 Kapitel 9 Clusteranalyse.: 437 Heinz Kaufmann und Heinz Pape 1. Einleitung Ähnlichkeits- und Distanzmaße Definitionen Transformationen von Ähnlichkeiten in Distanzen und umgekehrt 442

6 Inhalt XIII 2.3 Spezielle Ähnlichkeits- und Distanzmaße Hierarchische Klassifikationsverfahren Grundzüge und Anwendungsbeispiele Formale Beschreibung einer Hierarchie Agglomerative Verfahren Divisive Verfahren Optimale Partitionen Problemstellung Zur Wahl des Gütekriteriums Bestimmung lokal optimaler Partitionen Bestimmung der Klassenanzahl Gütekriterien bei quantitativen Merkmalen Gütekriterien bei Ähnlichkeits- und Distanzmaßen Mischverteilungsverfahren Das Modell Identifizierbarkeit Maximum-Likelihood-Schätzung der Parameter Andere Schätzverfahren Normalverteilte Komponenten Binäre Variablen: Latent Class Analysis Zur Bestimmung der Klassenzahl Verwandte Modelle Stochastische Partitionsverfahren Maximum-Likelihood-Ansatz Normalverteilte Klassen Bestimmung der Klassenzahl Ein modifizierter ML-Ansatz Bayes-Ansätze Verwandte Modelle Verteilungsfreie Verfahren Gradientenverfahren Ein sequentielles Quick and Dirty Verfahren Das Verfahren von Wishart und Cluster hoher Dichte Einige abschließende Bemerkungen 535 Kapitel 10 Zusammenhangsanalysen in mehrdimensionalen Kontingenztabellen - das loglineare Modell 537 Alfred Hamerle und Gerhard Tutz 1. Zweidimensionale Modelle Formen der Datenerhebung Das loglineare Modell Analogie zur Varianzanalyse und Modellparameter Drei- und höherdimensionale Modelle Zusammenhangsstrukturen in dreidimensionalen Modellen Die Parameter des loglinearen Modells Erhebungsschemata in dreidimensionalen Modellen Vier- und höherdimensionale Tafeln Graphische Modelle und Interpretierbarkeit höherdimensionaler Modelle Die Grundstruktur aller Modelle - loglineare Modelle als Spezialfälle verallgemeinerter linearer Modelle Aggregierbarkeit von Kontingenztafeln Parameterschätzung und Modellanpassung 580

7 XIV Inhalt 3.1 Maximum-Likelihood-Schätzung Anpassungs-Tests Konditionale Teststatistiken Parametertests Modellwahl Schrittweise Auswahl bei vorgegebener Modellhierarchie Effektwahl nach Brown Simultane Tests der Ordnung k Modellspezifizierung über die standardisierten Parameter des saturierten Modells Schrittweise Testprozeduren nach Goodman Simultane Testprozeduren nach Aitkin Modellwahl nach Edward? Havranek Logit-Modelle Loglineare Modelle und Logit-Modelle Darstellung als Regressionsmodelle Interpretation der Parameter und Analogie zur Varianzanalyse Schätzung der Parameter Unvollständige Kontingenztafeln Zweidimensionale unvollständige Kontingenztafeln Drei- und höherdimensionale unvollständige Tafeln Spezielle, quadratische zweidimensionale Kontingenztabellen: Symmetrie, Quasi-Symmetrie und marginale Homogenität Symmetrie Quasi-Symmetrie Marginale Homogenität 635 Kapitel 11 Modelle mit latenten Variablen: Faktorenanalyse, Latent-Structure-Analyse und LISREL-Analyse 637 Hans Wolfgang Brachinger und Friedmann Ost 1. Das faktorenanalytische Modell Modell, Grundgleichung und Schätzaufgabe Eindeutigkeit der Parameter (Identifizierbarkeit) ML-Faktorenanalyse ML-Schätzung für L und V Test des Modells, Bestimmung von k Verteilung der ML-Schätzer, Vertrauensintervalle Ergänzungen Beispiel Hauptkomponentenanalyse Hauptachsentransformation Hauptkomponentenmethode Hauptfaktorenanalyse Beispiel Faktorentransformation und Interpretation Faktorentransformation Interpretation der rotierten Faktoren Beispiele Identifikation einflußreicher Beobachtungen Schätzung der Faktorenwerte ML-Prinzip und KQ-Methode (Bartlett 1937, 1938) Regressionsmethode (Thomson 1951) 689

8 Inhalt XV 5.3 Berechnung der Faktorenwerte nach einer Hauptkomponentenanalyse Beispiel Überblick über weitere Verfahren Rangreduktion und Zentroidmethode (Thurstone 1947) Multiple Group-Methode Minres-Verfahren Image-Analyse Kanonische Faktorenanalyse a-faktorenanalyse Maximum-Determinanten-Lösung Direkte Dreieckszerlegung im gestuften Faktorenmodell Konfirmative Faktorenanalyse Strukturanalyse von Kovarianzmatrizen Latent Structure-Analyse Das allgemeine Modell Latent Class-Analyse Latent Profile-Analyse Dichotome und ordinale Faktorenanalyse Die normale Faktorenanalyse als Modell der Latent Structure-Analyse LISREL-Analyse ' Das LISREL-Modell Grundgleichung und Modellparameter Eindeutigkeit der Parameter (Identifizierbarkeit) Schätzung der Modellparameter Schätzqualitäten Berechnung von Schätzwerten Beurteilung der Schätzer Anpassungsgüte eines Modells Modifikationsindizes Hypothesentests 762 Kapitel 12 Grundlagen der mehrdimensionalen Skalierung 765 Alfred Hamerle und Heinz Pape 1. Ziele und Konzeption mehrdimensionaler Skalierungsverfahren Meßtheoretische Aspekte der mehrdimensionalen Skalierung Methoden zur Erhebung von Ähnlichkeitsdaten Metrische MDS Distanzmodell Klassische metrische Skalierung Kleinste-Quadrate-Ansätze zur MDS Nichtmetrisches MDS Hinweise auf weitere MDS-Verfahren 790 Anhang A Grundbegriffe der Matrix-Algebra 795 Peter Kemeny A.l Matrizen und Vektoren : 795 A.2 Matrizenverknüpfungen 799 A.3 Elementare Rechenregeln für Matrizen 801

9 XVI Inhalt A.4 Determinanten 802 A.5 Matrixinversion 803 A.6 Partitionierte Matrizen 805 A.7 Lineare Abhängigkeit von Vektoren und Rang einer Matrix 808 A.8 Lineare Gleichungssysteme 812 A.9 Spur einer quadratischen Matrix 813 A.10 Eigenwerte und Eigenvektoren 814 A.ll Diagonalisierung symmetrischer Matrizen 815 A.12 Quadratische Formen und Hauptachsenrotation 816 A.13 Vektor- und Matrixdifferentiation (symbolische Differentiation) 819 A.14 Extrema ohne Nebenbedingungen 824 Anhang B Tabellen 831 Literatur 857 Wichtige Programmpakete und Programmierumgebungen 893