Multivariate Verfahren

Transkript

1 Multivariate Verfahren Prof. Dr. Jörg Rahnenführer Raum tu-.de Voraussetzungen: Vordiplom in Statistik, Mathematik, Datenanalyse, Informatik Zeiten und Räume Vorlesung (4V): Mo , M/E 21 Do , M/E 21 Übung (2Ü): Fr M/E 25 Fr M/E 27 M.Sc. Katrin Knies Raum Leistungsnachweis Mündliche Prüfung Statistik: Spezialgebiete Datenwissenschaft Zulassungsvoraussetzungen zur mündlichen Prüfung 50% der Übungspunkte 50% der Punkte aus Übungen und Klausur (Gewichtung 80% Klausur) Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Verfahren Wichtigste Grundlage der Vorlesung ist ein Skript von Prof. Dr. Roland Fried, TU Dortmund, Fakultät Statistik: Multivariate Statistik (Wintersemester 2006/07) Skript beruht teilweise auf früheren Skripten von Prof. Dr. Claudia Becker, Universität Halle-Wittenberg Prof. Dr. Isabel Molina, Universidad Carlos III de Madrid Andere Literatur Backhaus, K. et al., Multivariate Analysemethoden, 10. Auflage, Berlin Johnson, R.A. und D.W. Wichern, Applied Multivariate Statistical Analysis, 5. Auflage, New Jersey Fahrmeir, L., A. Hamerle und G. Tutz (Hrsg.), Multivariate statistische Verfahren, 2. Auflage, Berlin Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

2 Themengebiete der Vorlesung 0 Multivariate Analysemethoden 1 Multivariate Zufallsvariablen 2 Die multivariate Normalverteilung 3 Normalverteilungsmodelle 4 Hauptkomponentenanalyse 5 Faktorenanalyse 6 Kanonische Korrelationsanalyse 7 Korrespondenzanalyse 8 Clusteranalyse 9 Diskriminanzanalyse 10 Graphische Modelle Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

3 Multivariate Analysemethoden Häufige Situation: mehrdimensionale (multivariate) Daten Beschreibung der Untersuchungsobjekte ( Individuen ) durch mehrere Variablen Multivariate Verfahren dienen zur Analyse solcher mehrdimensionaler Daten, insbesondere der Zusammenhänge unter den Variablen Beispiele Messwerte bei Menschen Alter, Geschlecht, Körpergröße, Gewicht, Puls, Blutdruck Risikofaktoren bei Krebspatienten Ausdehnung des Tumors, Vorhandensein von Metastasen, Rauchen Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Auswahl geeigneter multivariater Analysemethoden Verschiedene Arten der Zusammenhangsanalyse adressieren verschiedene Fragestellungen Korrelationsanalyse Hypothesentests für eine oder mehrere Populationen Multivariate Varianzanalyse, multiple multivariate Regression Hauptkomponentenanalyse Faktorenanalyse Korrespondenzanalyse Clusteranalyse Diskriminanzanalyse Graphische Modelle Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

4 Multivariate Analysemethoden Korrelationsanalyse Ziel: Bestimmung von paarweisen, multiplen und partiellen Korrelationen Beispiel: Gewicht, Körpergröße und Alter von Personen Paarweise Scatterplots für Gewicht, Körpergröße und Alter von n = 21 Individuen Scatterplot kann als sehr einfaches multivariates Verfahren betrachtet werden Gewicht Körpergröße Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Korrelationsanalyse Ziel: Bestimmung von paarweisen, multiplen und partiellen Korrelationen Beispiel: Gewicht, Körpergröße und Alter von Personen Paarweise Scatterplots Körpergröße Gewicht Alter Alter Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

5 Multivariate Analysemethoden Hypothesentests für eine oder mehrere Populationen Ziel: Unterscheidung von Populationen anhand von mehrdimensionalen Merkmalen Beispiel: Gefälschte Banknoten Daten: n e = 100 echte und n f = 100 falsche Schweizer Banknoten Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Multivariate Varianzanalyse Frage: Wirken mehrere Variablen einzeln und/oder gemeinsam auf eine oder mehrere interessierende Merkmale? Beispiel Werkstatt Fertigung von Autorädern in verschiedenen Werkstätten mit jeweils mehreren Maschinen Zwei Qualitätsmerkmale zur Beurteilung der gefertigten Räder Gibt es Qualitätsunterschiede zwischen den Maschinen innerhalb einer Werkstatt, oder zwischen den Werkstätten? Multiple Multivariate Regression Funktionaler Zusammenhang zwischen mehreren Einfluss- und einer oder mehreren Zielgrößen Beispiel Prostatakrebs Untersuchung des Einflusses verschiedener Prädiktoren auf eine Zielvariable Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

6 Multivariate Analysemethoden Daten zum Prostatakrebs von Stamey et al. (1989) Prädiktoren: lcavol log cancer volume lweight log prostate weight age lbph log benign hyperplasia amount svi seminal vesicle invasion lcp log capsular penetration gleason gleason score pgg45 percent gleason scores 4 or 5 Zielvariable: log(psa) (prostate specific antigen) level Daten standardisiert auf Varianz 1 Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Lineare Regression: Prostatakrebs Kovarianz-Matrix: lcavol lweight age lbph svi lcp gleason lweight age lbph svi lcp gleason pgg Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

7 Lineare Regression: Prostatakrebs Modell für log PSA Prädiktoren auf Varianz 1 normalisiert Term Intercept Coefficient 2.48 Std. Error 0.09 Z Score Test auf Ausschließung einer Gruppe von Termen durch F-test (ANOVA) lcavol lweight Z-score misst somit den Effekt für das Entfernen einer Variable aus dem Modell lcp ist nicht signifikant wennlcalvol im Modell enthalten ist, ansonsten schon! age lbph svi lcp gleason pgg Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Hauptkomponentenanalyse Bestimmung weniger Richtungen, die möglichst viel Varianz erklären Iterative Bestimmung orthogonaler Vektoren Erste Hauptkomponente entspricht der linearen Transformation der Daten auf die Richtung mit maximaler Varianz Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

8 Multivariate Analysemethoden Faktorenanalyse Ähneln sich mehrere Merkmale so stark, dass wir sie als ein einziges latentes Merkmal betrachten können? Beispiel Wichtige Charakteristika für Einstellungschancen von Bewerbern? Bei diesen Charakteristika kann es sich um abstrakte Faktoren handeln, wie etwa Kontaktfähigkeit oder emotionale Kompetenz. Korrespondenzanalyse Beziehungen zwischen kategoriellen Variablen an mehreren Individuen Beispiel Betrachtung der Haarfarbe und Augenfarbe von Menschen Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Clusteranalyse Auffinden von Gruppen ähnlicher Objekte Beispiel Marketinganalyse zur Einteilung von Produkten in homogen Untergruppen Ein Handyhersteller stellt auf Basis einer Verbraucherbefragung fest, dass alle drei von ihm hergestellte Handytypen in die gleiche Untergruppe eingeordnet werden, sich aus Verbrauchersicht also kaum unterscheiden Einen oder zwei dieser Typen durch einen neuen, mit anderen Leistungsmerkmalen ausgestatteten Typen ersetzen, um so einen neuen Kundenkreis anzusprechen? Wichtigste Zutaten der Clusteranalyse Distanzmaß oder Ähnlichkeitsmaß zwischen Objekten Clusteralgorithmus zum Auffinden kompakter Gruppen Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

9 Multivariate Analysemethoden Diskriminanzanalyse Einordnung von Objekten in gegebene Klassen Beispiel Kreditwürdigkeit Beurteilung der Kreditwürdigkeit von Firmen an Hand von Bilanzkennzahlen, unter Zurückgreifen auf Erfahrungswerte Betrachtung einer Lernstichprobe von Firmen mit bekannten Bilanzkennzahlen und Kreditwürdigkeit Entscheidung über die Kreditwürdigkeit eines neuen Antragstellers mit dieser Vorinformation Beispiel Krebsdiagnose Prognose von Therapieerfolg anhand von klinischen und genetischen Messungen Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Analysemethoden Graphische Modelle Unterscheidung mittelbarer und unmittelbarer Zusammenhänge unter mehreren Variablen Beispiel Examensnoten in Mechanik Me, Vektorrechnung Ve, Algebra Al, Analysis An, Statistik St (gemessen in Prozentzahlen) von 88 Studenten Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

10 1. Multivariate Zufallsvariablen Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Zufallsvariablen 1.1 Multivariate Verteilungen Zufallsvektor: gemeinsame Darstellung d eindimensionaler Zufallsvariablen. Wie im univariaten Fall unterscheidet man zwischen diskret und stetig. Mischformen: Zufallsvektor mit diskreten und stetigen Merkmalen (Komponenten). Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

11 Multivariate Zufallsvariablen Beispiele für multivariate Verteilungen Biometrie Klinische Messungen bei Krebspatienten (Örtliche Ausdehnung des Primärtumors, Existenz von regionären Lymphknotenmetastasen, Existenz von Fernmetastasen, Blutwerte, Raucherstatus, genetische Mutationen) Genexpressionswerte (Messungen der Aktivität von Tausenden Genen gleichzeitig) Ökonometrie Aktienkurse verschiedener Unternehmen Daten zu Konsum, Investition, Import, Export (BIP) Technometrie Zur Risikoanalyse technischer Systeme Einstellungen verschiedener technischer Parameter, technologische Bauteilqualität Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Zufallsvariablen Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

12 Multivariate Verteilungsfunktion Die folgende Definition d-variater Verteilungs- und Dichtefunktionen verallgemeinert die entsprechenden Begriffe f ur eindimensionale Zufallsvariablen: Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Dichte Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

13 Multivariate Dichte Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Multivariate Verteilungsfunktion Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

14 Multivariate Verteilungsfunktion Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Erwartungswert Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

15 Erwartungswert Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund Kovarianz Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund

16 Kovarianz Jörg Rahnenführer, Multivariate Verfahren, WS0809, TU Dortmund