Logistische Regression

Transkript

1 TU Chemnitz SoSe 2012 Seminar: Multivariate Analysemethoden Dozent: Dr. Thomas Schäfer Logistische Regression Ein Verfahren zum Schätzen von Wahrscheinlichkeiten Referentinnen: B. Sc. Psych. Cornelia Ullmann B. Sc. Psych. Claudia Mehlhorn

2 2 Gliederung 1. Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

3 3 Gliederung 1. Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

4 4 1. Einführung Praxis: Frage nach der Wahrscheinlichkeit des Eintretens bestimmter Ereignisse z. B: Wahl in Griechenland: Einflussgrößen: Ereignis: beeinflussen Politische Einstellung, Konfession, Einstellung zur EU beeinflussen Wahl/Nichtwahl der Nea Dimokratia

5 5 1. Einführung Weitere Anwendungsbeispiele: Welche Ehen haben ein erhöhtes Scheidungsrisiko? Welche Familien bleiben dauerhaft von Sozialhilfe abhängig? Wie kann vorhergesagt werden, welche Kunden eine erhöhte Kaufwahrscheinlichkeit für ein bestimmtes Produkt haben? Welche Kunden können als kreditwürdig eingeschätzt werden? Wie können die Unterschiede zwischen Wählern und Nichtwählern erklärt werden? Wie kann prognostiziert werden, ob ein Unternehmen wachsen wird? Kann die Musikpräferenz an Hand der Big Five eingeschätzt werden?

6 6 1. Einführung unser Fragebogen Kann die Musikpräferenz an Hand der Big Five eingeschätzt werden? Demografische Angaben Alter Geschlecht höchster Bildungsabschluss berufliche Tätigkeit Musikpräferenz: Rock, Klassik, Pop, Jazz Instrument Big Five Inventory Kurzversion Rammstedt, B. & John, O. P. (2005) 21 Items 4 Items pro Merkmal 5 Items für Offenheit 5- stufige Antwortskala: sehr unzutreffend sehr zutreffend Ich bin tiefsinnig, denke gerne über Sachen nach.

7 7 1. Einführung unsere Stichprobe Kann die Musikpräferenz an Hand der Big Five eingeschätzt werden? n w = 97 N = 117 n m = 20 Alter MW = SD = min = 19 max = 40 Jazz ja = 57 nein = 60

8 8 Gliederung 1. Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

9 9 2. Grundzüge der logistischen Regression Ziel der logistischen Regression: Ermittlung der Eintretenswahrscheinlichkeit eines Ereignisses in Abhängigkeit verschiedener Einflussgrößen

10 10 2. Grundzüge der logistischen Regression Voraussetzungen Variablen: Unabhängige Variablen Abhängige Variablen kategorial metrisch dichotom multinomial Binäre logistische Regression Multinomiale logistische Regression

11 11 2. Grundzüge der logistischen Regression Kann die Musikpräferenz an Hand der Big Five eingeschätzt werden? Voraussetzungen Variablen: Unabhängige Variable Abhängige Variable Extraversion Big Five Neurotizismus Musikpräferenz Verträglichkeit Gewissenhaftigkeit Ja Nein Offenheit

12 12 2. Grundzüge der logistischen Regression Weitere Voraussetzungen: Beobachtungswerte der Gruppen der AV sollten sich nicht zu stark unterscheiden keine Multikollinearität: zwei oder mehr UVs korrelieren sehr stark miteinander: Toleranz = 1 R² pro Ausprägung der AV: mindestens 25 Beobachtungen aussagekräftige Schätzungen ab 100 Beobachtungen pro Gruppe

13 13 2. Grundzüge der logistischen Regression Kann die Musikpräferenz an Hand der Big Five eingeschätzt werden? Weitere Voraussetzungen: Beobachtungswerte der Gruppen der AV sollten sich nicht zu stark unterscheiden ja = 57 nein = 60 keine Multikollinearität Toleranz der UVs: Beobachtungen/ 100 Beobachtungen N = 117

14 14 2. Grundzüge der logistischen Regression Wahrscheinlichkeit in der binären logistischen Regression: dichotome abhängige Variable: Musikpräferenz Ja: y = 1 Nein: y = 0 p(y = 1) + p(y = 0) = 1

15 15 2. Grundzüge der logistischen Regression Wie werden die Wahrscheinlichkeiten bestimmt? Logistischer Regressionsansatz

16 Gliederung Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

17 3. Der logistische Regressionsansatz 17 Warum eigentlich keine lineare Regression? Lineare Regression Vorhersage der AV auf Basis der UV Ergebnis: empirischer Beobachtungswert (Binäre) Logistische Regression Vorhersage der AV auf Basis der UV Ergebnis: Eintretens- wahrscheinlichkeit des empirischen Beobachtungswertes

18 18 3. Der logistische Regressionsansatz Warum eigentlich keine lineare Regression? Butterkauf(3) = * 6000 = 1.54 Butterkauf(k) = * 1300 =

19 19 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z 2. Wahrscheinlichkeitsfunktion: Logistische Funktion 3. Ergebnis: Der logistische Regressionsansatz

20 20 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z 2. Wahrscheinlichkeitsfunktion: Logistische Funktion p 3. Ergebnis: Der logistische Regressionsansatz

21 21 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z Variable Z: Erzeugung der Ausprägung der AV in Abhängigkeit der UV à Herstellung der Verbindung zwischen UV und AV Beispiel: UV: politische Einstellung, Konfession, Einstellung zur EU AV: Wahl/Nicht- Wahl der Nea Dimokratia

22 22 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z Erzeugung von Z in Abhängigkeit der Einflussgrößen: Formal: Wert der Person k für Z ^ Reg.- Konstante J z k = β 0 + β j * x j,k J = 1 Ausprägung der UV Für die Person k ergibt sich: Reg.- Gewichte der UV (= Logit- Koeffizienten) y k = 1 falls z k > 0 0 falls z k 0

23 23 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z 2. Wahrscheinlichkeitsfunktion: Logistische Funktion p 3. Ergebnis: Der logistische Regressionsansatz

24 24 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 2. Wahrscheinlichkeitsfunktion: Logistische Funktion p Z als Basis für die Ermittlung der logistischen Funktion p Zweck der logistischen Funktion p: Treffen der Wahrscheinlichkeitsaussage: y = 1 oder y = 0 Logistische Funktion p p = e - z mit: e = 2, (Eulersche Zahl)

25 25 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z 2. Wahrscheinlichkeitsfunktion: Logistische Funktion p 3. Ergebnis: Der logistische Regressionsansatz

26 26 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 3. Ergebnis: Der logistische Regressionsansatz Logistische Funktion als Basis für den logistischen Regressionsansatz Zweck des logistischen Regressionsansatzes: Berechnung der Eintretenswahrscheinlichkeit des Ereignisses y = 1 Logistische Regressionsgleichung: p k (y = 1) = e - z k mit: e = 2, (Eulersche Zahl) J ^ z k = β 0 + β j * x j,k J = 1

27 27 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 3. Ergebnis: Der logistische Regressionsansatz Wahrscheinlichkeitsverteilung für y = 1: s- förmiger Verlauf im Intervall [0,1] symmetrisch um den Wendepunkt P(y=1) = 0.5

28 28 3. Der logistische Regressionsansatz Eintretenswahrscheinlichkeiten ermitteln aber wie? 1. Annahme einer nicht empirisch beobachtbaren latenten Variable Z Z erzeugt die Ausprägung der AV in Abhängigkeit der UV 2. Wahrscheinlichkeitsfunktion: Logistische Funktion p Treffen der Wahrscheinlichkeitsaussage in Abhängigkeit von Z 3. Ergebnis: Der logistische Regressionsansatz Berechnung der Eintretenswahrscheinlichkeit für y = 1 mit Hilfe der logistischen Funktion

29 Gliederung Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

30 30 4. Ablauf einer logistischen Regression 1. Modellformulierung 2. Schätzung der logistischen Regressionsfunktion 3. Interpretation des Regressionskoeffizienten 4. Prüfung des Gesamtmodells 5. Prüfung der Merkmalsvariablen

31 31 4. Ablauf einer logistischen Regression 1. Modellformulierung Sachlogische Überlegungen zur Modellformulierung Was ist/sind meine Hypothese/n? Was sind meine Einflussgrößen? Was sind meine abhängigen Variablen?

32 32 4. Ablauf einer logistischen Regression 2. Schätzung der logistischen Regressionsfunktion Regressionskonstante β 0 Regressionskoeffizienten β j Maximum Likelihood- Methode

33 33 4. Ablauf einer logistischen Regression 2. Schätzung der logistischen Regressionsfunktion Ziel der Maximum Likelihood- Methode: Maximierung der Wahrscheinlichkeit die empirischen Beobachtungswerte zu erhalten Ergebnis: Regressionsgleichung J ^ z k = β 0 + β j * x j,k J = 1 Zuordnungsvorschrift einer Person k zu y=1 oder y=0: p k > 0.5 à y = 1 p k < 0.5 à y = 0

34 34 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Interpretation schwierig: keine lineare Verknüpfung zwischen UV und Eintretenswahrscheinlichkeit Regressionskoeffizienten sind nicht untereinander vergleichbar gleiche Veränderungen in der UV führen zu unterschiedlichen Veränderungen der Eintretenswahrscheinlichkeit

35 35 4. Ablauf einer logistischen Regression Δ = 0.07 Δ = 0.2 Δ = 1 Δ = 1

36 36 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Einfluss der Regressionskonstante b 0 Lage der logistischen Funktion b 0 > 0 à Verschiebung nach links b 0 < 0 à Verschiebung nach rechts Einfluss der Regressionskoeffizienten b j Anstieg der logistischen Funktion b j > 1 à steiler Anstieg b j < 1 à flacher Anstieg b j = 0 à p für Zuordnung = 0.5

37 37 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten

38 38 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten positive b j & steigende X j à p(y = 1) steigt negative b j & steigende X j à p(y = 1) sinkt

39 39 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Eine Verbesserung von x j um eine Einheit erhöht die Eintretenswahrscheinlichkeit von y k nach Maßgabe des Regressionskoeffizienten? Nein: Kein linearer Zusammenhang zwischen der UV und der Eintretenswahrscheinlichkeiten.

40 40 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Die Schätzungen der Regressionskoeffizienten b j können als globales Maß für die Einflussstärke der Unabhängigen Variablen auf die Eintretenswahrscheinlichkeit gewertet werden? Nein: Die Regressionskoeffizienten beeinflussen den Anstieg der Wahrscheinlichkeitsverteilung.

41 41 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Lösung des Interpretationsproblems: Odds = p(y = 1) 1 - p(y = 1) = Chance, das Ereignis y = 1 im Vergleich zum Ereignis y = 0 zu erhalten wenn Odd = 4: Chance für p(y = 1) ist viermal höher als Chance für p(y = 0)

42 42 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Lösung des Interpretationsproblems: ln(odds) = ln p(y = 1) 1 - p(y = 1) ^ = Logits = z k = β 0 + β j * x j,k J J = 1 Interpretation analog zur linearen Regression

43 43 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Beispiel - Interpretation Odds: z k = 3,528 1,943 * Streichfähigkeit k + 1,119 * Haltbarkeit k Streichfähigkeit reduziert die Kaufwahrscheinlichkeit für Margarine Haltbarkeit erhöht die Kaufwahrscheinlichkeit für Margarine

44 44 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Erweiterung der Interpretation: Odds Ratio = e b j = Wie groß ist die Einflussstärke der unabhängigen Variablen? - steigt die UV um eine Einheit, vergrößern sich die Odds zugunsten des Ereignisses y = 1 um den Faktor e b j - auch als Effekt- Koeffizient exp(b) bezeichnet

45 45 4. Ablauf einer logistischen Regression 3. Interpretation des Regressionskoeffizienten Beispiel - Interpretation Odds Ratio: z k = 3,528 1,943 * Streichfähigkeit k + 1,119 * Haltbarkeit k Streichfähigkeit: e b j = e (- 1,943) = 0,143 Haltbarkeit: e b j = e (1,119) = 3,062 Erhöhung der Streichfähigkeit um eins à Verringerung der Odds um 0,143 Erhöhung der Haltbarkeit um eins à Steigerung der Odds um 3,062

46 46 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) zwei wesentliche Fragen: 1. Wie gut können die Parameterschätzungen in ihrer Gesamtheit das definierte Regressionsmodell abbilden? 2. Liegen extreme Beobachtungsfälle vor, die als Ausreißer anzusehen sind und eine Eliminierung oder aber aufgrund ihres gehäuften Auftretens gegebenenfalls eine Modellveränderung erfordern?

47 47 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) zwei wesentliche Fragen: 1. Wie gut können die Parameterschätzungen in ihrer Gesamtheit das definierte Regressionsmodell abbilden? 2. Liegen extreme Beobachtungsfälle vor, die als Ausreißer anzusehen sind und eine Eliminierung oder aber aufgrund ihres gehäuften Auftretens gegebenenfalls eine Modellveränderung erfordern?

48 48 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) 1. Wie gut können die Parameterschätzungen in ihrer Gesamtheit das definierte Regressionsmodell abbilden? Allgemeine Fragestellung: Wie gut tragen die unabhängigen Variablen zur Trennung der Kategorien y = 1 und y = 0 bei? a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

49 49 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) a) Gütekriterien auf Basis der LogLikelihood- Funktion Kann das angenommene Regressionsmodell mehr als das Null- Modell erklären? i. Analyse der Devianz (des - 2 LogLikelihood- Wertes) ii. Likelihood- Ratio- Test a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

50 50 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) i. Analyse der Devianz (des - 2 LogLikelihood- Wertes) = Abweichung vom Idealwert vergleichbar mit der Fehlerquadratsumme der klassischen Regressionsanalyse Hypothesen: H 0 : Modell besitzt perfekte Anpassung. H 1 : Modell besitzt keine perfekte Anpassung. perfekter Modellfit: Likelihood von 1 Devianz (- 2LL) = 0 a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

51 51 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) i. Analyse der Devianz (des - 2 LogLikelihood- Wertes) Problem: Nichtberücksichtigung der Verteilung der Beobachtungen auf die Gruppen schiefe Verteilung eines Datensatzes à Modell wird besser bewertet a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

52 52 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) ii. Likelihood- Ratio- Test statt: Vergleich des LL- Wertes mit 0 Vergleich LL- Wert mit dem Null- Modell LL 0 Vergleich der Devianz des LL v mit LL 0 0 LL v LL 0 maximal erreichbarer LL- Wert maximierter LL- Wert (alle UVs) Je größer Distanz, desto besser das Modell. maximierter LL- Wert (Null- Modell) - a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

53 53 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) ii. Likelihood- Ratio- Test Hypothesen: H 0 : Alle Regressionskoeffizienten b j sind gleich Null. H 1 : Alle Regressionskoeffizienten b j sind ungleich Null. Grundlage: Chi- Quadrat- Verteilung wenn χ² emp > χ² theo à UVs haben bedeutenden Einfluss à H 1 annehmen a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

54 54 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) b) Pseudo- R- Quadrat- Statistiken Wie viel Varianz kann durch das Regressionsmodell aufgeklärt werden? i. McFaddens- R² ii. Cox & Snell- R² iii. Nagelkerke- R² a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

55 55 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) b) Pseudo- R- Quadrat- Statistiken i. McFaddens- R² - Vergleich des LL v und des LL 0 Modells - Trennkraft der UVs - [0,1]: 1 kann nicht erreicht werden - Werte ab 0,2/ 0,4: ok/gut ii. Cox & Snell- R² - Verwendung der Likelihoods - Gewichtung an der Stichprobengröße - [0,0.75]: 1 kann nicht erreicht werden - Werte ab 0,2/ 0,4: ok/gut iii. Nagelkerke- R² - Korrektur des Cox & Snell- R²: [0,1] - Verwendung der Likelihoods - Gewichtung an der Stichprobengröße - Werte ab 0,2/ 0,4: ok/gut a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

56 56 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) c) Beurteilung der Klassifikationsergebnisse Vergleich der empirisch beobachteten Gruppenzugehörigkeit mit den berechneten Wahrscheinlichkeiten Y k = Gruppe y = 1 falls p k (y = 1) > 0,5 Gruppe y = 0 falls p k (y = o) < 0,5 Klassifikationsmatrix (= Confusion- Matrix) a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

57 57 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) c) Beurteilung der Klassifikationsergebnisse i. Trefferquote ii. Press s Q- Test iii. Hosmer- Lemeshow- Test a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

58 58 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) i. Trefferquote = Prozentsatz der richtigen Zuordnungen Vergleich mit der Trefferquote bei rein zufälliger Zuordnung Trefferquote des Modells > Trefferquote Zufalls Trefferquote meistens überschätzt à Holdout- Sample a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

59 59 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) ii. Press s Q- Test dient der Klassifikationsprüfung Hypothesen: H 0 : Die Klassifikationsergebnisse unterscheiden sich nicht von einer zufälligen Zuordnung. H 1 : Die Klassifikationsergebnisse unterscheiden sich von einer zufälligen Zuordnung. wenn Press s Q > χ² theor à Annahme H 1 a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

60 60 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) iii. Hosmer- Lemeshow- Test Vergleich der vorhergesagten mit den beobachteten Werten Hypothesen: H 0 : Die Differenz zwischen vorhergesagten und beobachteten Werten ist Null. H1: Die Differenz zwischen vorhergesagten und beobachteten Werten ist ungleich Null. wenn χ² emp < χ² theor à Annahme H 0 a) Gütekriterien auf Basis der LogLikelihood- Funktion b) Pseudo- R- Quadrat- Statistiken c) Beurteilung der Klassifikationsergebnisse

61 61 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) a) Gütekriterien auf Basis der LogLikelihood- Funktion Kann das angenommene Regressionsmodell mehr als das Null- Modell erklären? i. Devianz ii. Likelihood- Ratio- Test 1. Wie gut können die Parameterschätzungen in ihrer Gesamtheit das definierte Regressionsmodell abbilden? b) Pseudo- R- Quadrat- Statistiken Wie viel Varianz kann aufgeklärt werden? i. McFaddens- R² ii. iii. Cox & Snell- R² Nagelkerke- R² c) Beurteilung der Klassifikationsergebnisse Wie hoch ist die Übereinstimmung der empirisch beobachteten Werte und der vorhergesagten Wahrscheinlichkeiten? i. Trefferquote ii. iii. Press s Q- Test Hosmer- Lemeshow- Test

62 62 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) zwei wesentliche Fragen: 1. Wie gut können die Parameterschätzungen in ihrer Gesamtheit das definierte Regressionsmodell abbilden? 2. Liegen extreme Beobachtungsfälle vor, die als Ausreißer anzusehen sind und eine Eliminierung oder aber aufgrund ihres gehäuften Auftretens gegebenenfalls eine Modellveränderung erfordern?

63 63 4. Ablauf einer logistischen Regression 4. Prüfung des Gesamtmodells (Gesamtfit) 2. Ausreißerdiagnostik große Unterschiede zwischen den beobachteten und geschätzten Werten Residuen für die Person k: [- 1,1] RESID k = y k p k (y) wenn RESID k > 0,5 à verzerrender Einfluss wahrscheinlich Gewichtung der Residuen à bessere Erkennung möglich standardisierte Residuen: ZResid k

64 64 4. Ablauf einer logistischen Regression 5. Prüfung der Merkmalsvariablen Ziel: Vermeidung von Modell- Overfitting (= zu viele erklärende Variablen) a) Likelihood- Quotienten- Test b) Wald- Statistik

65 65 4. Ablauf einer logistischen Regression 5. Prüfung der Merkmalsvariablen a) Likelihood- Quotienten- Test Erweiterung des Likelihood- Ratio- Tests Vergleich des LL v mit LL R Hypothesen: H o : Die Effekte des Regressionskoeffizienten b j sind Null. H 1 : Die Effekte des Regressionskoeffizienten b j sind ungleich Null. wenn Differenz LL v und LL R > χ² theo à Annahme H 1

66 66 4. Ablauf einer logistischen Regression 5. Prüfung der Merkmalsvariablen b) Wald- Statistik Überprüfung, ob unabhängige Variable einen Einfluss hat oder nicht Hypothesen: H o : Der Regressionskoeffizient b j ist Null. H 1 : Der Regressionskoeffizient b j ist ungleich Null. wenn W > χ² theo à Annahme H 1

67 Gliederung Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

68 68 5. Logistische Regression mit SPSS 1. Modellformulierung Einfluss von Persönlichkeit auf die Musikpräferenz: Offenheit: Extraversion: Gewissenhaftigkeit: Neurotizismus: Verträglichkeit: Einfluss auf Blues, Jazz, Klassik, Rock Einfluss auf Pop, Country, Rap, HipHop Einfluss auf Pop, Country negativer Einfluss auf Rock, Heavy Metal Einfluss auf Country, Pop Langmeyer, Guglhör- Rudan, & Tarnai (2012)

69 69 5. Logistische Regression mit SPSS 1. Modellformulierung Allgemeine Fragestellung: Kann eine Person auf Grund ihrer Persönlichkeitsmerkmale in eine Gruppe (Musikpräferenz für Jazz ja/nein) eingeordnet werden?

70 70 5. Logistische Regression mit SPSS Spezifische Hypothesen: 1. Modellformulierung 1. Je höher der Wert für Offenheit, desto höher die Wahrscheinlichkeit der Präferenz für Jazz. 2. Je höher der Wert für Extraversion, desto höher die Wahrscheinlichkeit der Präferenz für Jazz. 3. Neurotizismus, Verträglichkeit und Gewissenhaftigkeit beeinflussen die Wahrscheinlichkeit der Präferenz von Jazz nicht. Langmeyer, Guglhör- Rudan, & Tarnai (2012)

71 5. Logistische Regression mit SPSS 71

72 5. Logistische Regression mit SPSS 72??

73 5. Logistische Regression mit SPSS 73

74 74 5. Logistische Regression mit SPSS Button: Kategorial

75 75 5. Logistische Regression mit SPSS Button: Speichern p- Werte Zuordnung zu Gruppe y = 1 oder y = 0 ZResid k

76 76 5. Logistische Regression mit SPSS Button: Optionen KI für Effekt- Koeffizient beobachteter vs. vorhergesagte Werte

77 77 5. Logistische Regression mit SPSS

78 78 5. Logistische Regression mit SPSS Ausgabe I: Codierung der Variablen im Modell

79 79 5. Logistische Regression mit SPSS Null- Modell Ausgabe II:

80 80 5. Logistische Regression mit SPSS Ausgabe III: vollständiges Modell LL v Güte des Modells: Chi- Quadrat: Veränderung von LL 0 zu LL v nicht signifikant: Nicht alle UVs haben einen Einfluss. Devianz 4,7 bzw. 6,2 % Varianzauxlärung

81 81 5. Logistische Regression mit SPSS Ausgabe IV: Güte des Modells: Hosmer- Lemeshow- Test - vorhergesagte vs. beobachtete Werte - nicht signifikant

82 82 5. Logistische Regression mit SPSS Ausgabe V: Güte des Modells: Trefferquote

83 83 5. Logistische Regression mit SPSS Ausgabe VI.I: Regressionsgleichung: Z k = *O 0.043*N 0,051*G + 0,46*V + 0,005*E

84 84 5. Logistische Regression mit SPSS Ausgabe VI.II: Wald- Statistik: Überprüfung des Einflusses jeder UV H 0 : Der Regressionskoeffizient b j ist Null.

85 85 5. Logistische Regression mit SPSS Ausgabe VI.III: Effekt- Koeffizient: - Erhöhung der UV um eine Einheit, Erhöhung um Faktor e b j - 95 % KI Exp(B)

86 86 5. Logistische Regression mit SPSS Ausgabe VII: vorhergesagte vs. beobachtete Wahrscheinlichkeiten

87 87 5. Logistische Regression mit SPSS Ausgabe VIII Variablen- /Datenansicht: p- Wert für die Person k ZResid für Person k Gruppenzugehörigkeit für Person k

88 88 Eine kleine Hilfe für die Berechnung von Regressionen mit SPSS 20: ftp://public.dhe.ibm.com/software/analytics/spss/ documentation/statistics/20.0/de/client/manuals/ IBM_SPSS_Regression.pdf

89 Gliederung Einführung 2. Grundzüge der logistischen Regression 3. Der logistische Regressionsansatz 4. Ablauf einer logistischen Regression 5. Logistische Regression mit SPSS 6. Eine kurze Einführung in die Diskriminanzanalyse

90 90 6. Eine kurze Einführung in die Diskriminanzanalyse Erklärung der Gruppenzugehörigkeit (=Diskriminanz) l Können die a- priori gebildeten Gruppen (BMW- oder Mercedes- Käufer) mittels der metrischen Variablen (Alter, Einkommen, Status, Ausstattungspräferenzen, ) signifikant voneinander getrennt werden? l Welchen Beitrag leisten die Variablen zur Diskriminanz? Gibt es geeignete / ungeeignete Variablen? Gruppenzugehörigkeit neuer Einheiten (potentielle Käufer) prognostizieren

91 91 6. Eine kurze Einführung in die Diskriminanzanalyse Ziel ist es, Gruppen l durch Linearkombination l mehrerer unabhängiger metrischer Variablen l optimal so zu trennen, dass die Streuung zwischen den Gruppen möglichst groß, die Streuung innerhalb der Gruppen dagegen möglichst klein ist.

92 92 6. Eine kurze Einführung in die Diskriminanzanalyse Voraussetzungen l metrisches Skalenniveau und l Normalverteilung der Merkmalsvariablen l Nominales Skalenniveau der Gruppenzugehörigkeit l Fallzahlen ausreichend groß l die Anzahl der Merkmalsvariablen > Anzahl der Gruppen

93 93 6. Eine kurze Einführung in die Diskriminanzanalyse Geringe Überschneidung!!! Diskriminanzfunktion: y = b 0 + b 1 x 1 + b 2 x b j x j Centroid A Centroid B Y gesuchte Funktion, bei der maximale Mittelwertsdifferenz & minimaler Überschneidungsbereich zwischen den Gruppen besteht à Maximierung der Streuung zwischen den Gruppen (Max. der Abstände der Gruppenmittelpunkte auf der Diskriminanzachse) à Minimierung der Streuung innerhalb der Gruppen Diskriminanzkriterium

94 94 6. Eine kurze Einführung in die Diskriminanzanalyse Γ = d² s² à MAX!!! Diskriminanzkriterium l Y* = kritischer Distanzwert à Klassifizierung neuer Elemente

95 95 6. Eine kurze Einführung in die Diskriminanzanalyse Gütemaße: Eigenwerte: l groß, wenn die Streuung zwischen den Gruppen im Verhältnis zur Streuung innerhalb der Gruppen sehr groß ist = angestrebte Situation Kanoninscher Korrelationskoeffizient: l zwischen 0 und 1 l je höher à höher die Trennkraft der Diskriminanzfunktion Wilk s Lambda: l inwiefern sich beide Gruppen voneinander tatsächlich signifikant unterscheiden l inverses Gütemaß

96 96 Und zum Schluss Vielen Dank für eure Aufmerksamkeit!

97 Literaturverzeichnis 97 Backhaus, K., Erichson, B., Plinke, W. & Weiber, R. (2006). Multivariate Analysemethoden. Berlin: Springer. Kap. 7 und Kap. 3. Backhaus, K., Erichson, B., Plinke, W. & Weiber, R. (2011). Multivariate Analysemethoden. Berlin: Springer. Kap. 5. Diaz- Bone, R. & Künemund, H. (2003). Einführung in die binäre logistische Regression. Mitteilungen aus dem Schwerpunktbereich Methodenlehre, 56. Entnommen von: diaz- bone.de/logreg.pdf. Fromm, S. (2005). Binäre logistische Regressionsanalyse eine Einführung für Sozialwissenschaftler mit SPSS für Windows. Bamberg: Otto- Friedrich- Universität Bamberg (Bamberger Beiträge zur empirischen Sozialforschung, Bd. 11). Entnommen aus: bamberg.de/fileadmin/uni/ fakultaeten/sowi_lehrstuehle/ empirische_sozialforschung/pdf/bambergerbeitraege/log- Reg- BBES.pdf. Langmeyer, A., Guglhör- Rudan, A. & Tarnai, C. (2012). What do music preferencee reveal about personality? A cross- cultural replication using self- ratings and ratings of music samples. Journal of Individual Differences, 33(2), DOI: / /a Prof. Dr. Bühl, A. (2010). PASW 18. Einführung in die moderne Datenanalyse. Pearson Studium: München, Boston, San Francisco. Kap Rammstedt, B. & John, O. P. (2005). Kurzversion des Big Five Inventory (BFI- K). Entwicklung und Validierung eines ökonomischen Inventars zur Erfassung der fünf Faktoren der Persönlichkeit. Diagnostica, 51(4), DOI: / Schäfer, T., & Sedlmeier, P. (2009). From the functions of music to music preference. Psychology of Music, 37, DOI: / Sedlmeier, P. & Renkewitz, F. (2008). Forschungsmethoden und Statistik in der Psychologie. Pearson Studium: München, Boston, San Francisco. Kap. 8.

98 Bildnachweise bremen.de/software/spss/spss- logo.png Figuren/Mann- mit- Ausrufezeichen.jpg hilfe.net/images/fragezeichen5.jpg biederitz.de/_data/fotolia_ _xs.jpg a jpg