Master of Science in Pflege

Transkript

1 Master of Science in Pflege Modul: Statistik Einfache und multiple Regressionsanalyse / Logistische Regressionsanalyse November 2012 Prof. Dr. Jürg Schwarz Folie 2 Programm 28. November 2012: Vormittag ( ) Vorlesung - Einfache Regressionsanalyse - Multiple Regressionsanalyse - Logistische Regressionsanalyse Programm 28. November 2012: Nachmittag ( ) Anwendung in der Pflegewissenschaft: Beispiele - Whyte et al. (2011) und Tzeng (2010) Tutorat / Assignment - Begleitetes Lösen des Assignments Individuelle Fragen

2 Ziele der Vorlesung Folie 3 Sie verstehen die Schritte bei der Durchführung einer multiplen Regressionsanalyse. Sie verstehen das stochastische Modell der Regressionsanalyse. Sie verstehen die Methode der kleinsten Quadrate (Ordinary Least Squares, OLS). Sie verstehen die 5 Gauss-Markov-Voraussetzungen für den OLS-Schätzer. Sie verstehen das Konzept von Multikollinearität. Sie verstehen das Konzept der schrittweisen Regression. Sie verstehen die Bedeutung von Dummy-Variablen. Sie können eine multiple Regressionsanalyse mit SPSS durchführen. Im Einzelnen wissen Sie, wie Dummy-Variablen codiert und verwendet werden. eine schrittweise Regression durchgeführt wird. die Ausgabe zu interpretieren ist. die Ausgabe zu beschreiben ist. Folie 4 Sie verstehen die Schritte zur Durchführung einer logistischen Regressionsanalyse. Sie verstehen das Konzept der logistischen Funktion. Sie verstehen die Konzepte des Logit und der Odds. Sie können eine logistische Regressionsanalyse mit SPSS durchführen. Im Einzelnen wissen Sie, wie die Ausgabe zu interpretieren ist. Omnibustest Goodness of fit Koeffizienten Klassifikation die Ausgabe zu beschreiben ist.

3 Einführung Folie 5 Beispiel Frage einer klinischen Studie: Hängt das Körpergewicht von Körpermerkmalen ab? Datengrundlage Körpergewicht [kg] Universität A Stichprobe mit n = 300 Studierenden (150 Studentinnen und 150 Studenten) Typische Fragen Wie beeinflussen die Faktoren Körpergrösse [cm] Alter [Jahre] Geschlecht [0/1] das Körpergewicht? Körpergrösse [cm] Wie stark ist der Einfluss der Faktoren? Wie kann der Einfluss modelliert werden? Folie 6 Gemeinsame Darstellung der Beziehungen zwischen den Faktoren Gewicht Grösse Alter Alter Grösse Gewicht Diagramme Diagrammerstellung

4 Fragen Umgangssprachliche Ebene: Hängt das Körpergewicht von Körpermerkmalen ab? Ebene der Forschungsfrage: Wie beeinflussen die Faktoren Körpergrösse Alter Geschlecht das Körpergewicht? Wie stark ist der Einfluss der Faktoren? Gibt es ein Modell? Ist multiple lineare Regression das richtige Modell? Folie 7 Statistische Ebene: Hypothesenbildung H 0 : "Kein Modell" (= Kein Gesamtmodell und keine signifikanten Koeffizienten) H A : "Modell" (= Gesamtmodell und signifikante Koeffizienten) Kann die Hypothese H 0 verworfen werden? Die Hypothesenstruktur mit H 0 und H A folgt der Maxime des kritischen Rationalismus: Neues Wissen wird durch Falsifikation generiert. Antwort Multiples lineares Regressionsmodell mit Körpergewicht als abhängige Variable Körpergewicht = β 0 + β1 Körpergrösse + β2 Alter + β3 Geschlecht + u Körpergewicht = Abhängige Variable Körpergrösse, Alter, Geschlecht = Unabhängige Variablen β,... β = Koeffizienten 0 3 u = Fehlerterm Folie 8 "How-to" mit SPSS Skalen Abhängige Variable: metrisch Unabhängige Variablen: metrisch, kategorial (codiert als Dummy Variable) SPSS Menü Analysieren Regression Linear... Method: Enter (Alle Variablen werden gleichzeitig ins Modell aufgenommen) Method: Stepwise (Jede Variable wird einzeln auf ihre Eignung geprüft und aufgenommen) Method: Blockwise (Variablen werden in Blöcken hierarchisch eingeführt)

5 Ergebnis Signifikantes Gesamtmodell (Tabelle auf Folie 10) "Korrigiertes R-Quadrat" ist mit.894 sehr hoch (R 2 adj. 1) Signifikante Koeffizienten (Sig. <.050) Gewicht Folie 9 SPSS Ausgabe (Auszug) Alter Alter hat den grössten Einfluss auf das Gewicht: Beta =.596 Körpergewicht = Körpergrösse Alter Geschlecht Beispielinterpretation: Ein zusätzliches Altersjahr erhöht das Körpergewicht um.476 Kilogramm, wenn alle anderen unabhängigen Variablen konstant bleiben. Überprüfung der Voraussetzungen (nach Gauss-Markov) Voraussetzung Erfüllt 1. Linearität in den Koeffizienten Lineares Regressionsmodell 2. Zufällige Stichprobe Datensatz einer klinischen Studie 3. Bedingter Erwartungswert der Fehler = 0 Residuenanalyse 4. Stichprobenvariation erklärende Variablen Datensatz einer klinischen Studie 5. Homoskedastizität Residuenanalyse Unabhängigkeit / Normalverteilung Residuen Residuenanalyse Folie 10 Berichterstattung Der Modellschätzung folgend, lässt sich das Körpergewicht mit den Faktoren Körpergrösse (β=.417), Alter (β=.476) und Geschlecht (β=8.345) vorhersagen (F= , df=3, p=.000). Das Modell erklärt 89.4% der Varianz der Variablen Körpergewicht. Das Alter hat den grössten Einfluss auf das Gewicht (Standardisiertes β=.596). Modell 1 Regression Residuen Gesamt ANOVA b Quadrats Mittel der umme df Quadrate F Signifikanz a a. Einflußvariablen : (Konstante), gender_d, age, size b. Abhängige Variable: weight

6 Hauptschritte bei der Durchführung einer Regressionsanalyse Folie Formulierung des Modells Gesunder Menschenverstand (Beispiel der Störche und Babies) Nicht zu viele Variablen (Parsimonie-Prinzip: Einfachste Lösung eines Problems) 2. Schätzung des Modells Modellschätzung mit SPSS mit OLS-Schätzern (ordinary least squares) 3. Verifizierung des Modells Ist das Gesamtmodell signifikant? (d.h. sind alle Koeffizienten zusammen signifikant?) F-Test Sind die Regressionskoeffizienten je einzeln signifikant? t-test (sollte nur durchgeführt werden wenn der F-Test signifikant ist) Welcher Anteil der Streuung erklärt die Regressionsgleichung? Bestimmtheitsmass ("Adjusted R Squared") 4. Betrachtung weiterer Aspekte (z.b. Multikollinearität) 5. Überprüfung der Annahmen (Gauss-Markov, Unabhängigkeit und Normalverteilung) 6. Berichterstattung Ziele der Regressionsanalyse Folie 12 Ursachenanalyse Gibt es einen Zusammenhang zwischen den unabhängigen und der abhängigen Variable? Wie eng ist dieser? Beispiel Gibt es ein Modell, das die Abhängigkeit des Körpergewichts von Körpergrösse, Alter und Geschlecht beschreibt, oder folgt der Zusammenhang nur einem zufälligen Muster? Wirkungsanalyse Wie verändert sich die abhängige Variable bei einer Änderung der unabhängigen Variablen? Beispiel Mit zunehmendem Alter steigt das Körpergewicht an: Wie stark ist der Einfluss? Um wie viel steigt das Körpergewicht mit jedem zusätzlichen Altersjahr an? Prognose Voraussage der abhängigen Variablen für neue Werte der unabhängigen Variablen. Beispiel Wie gross ist das prognostizierte Körpergewicht einer Frau mit 1.68 cm Körpergrösse, die 32 Jahre alt ist?

7 Modelle Folie 13 Mathematisches Modell Das lineare Modell der Grundgesamtheit beschreibt y in Abhängigkeit von x. y = β + β 0 1 x Die Variable y ist linear abhängig von der Variablen x. β 0 (Konstante, Intercept) Der Punkt, an dem die Regressionslinie die Y-Achse schneidet (Y-Achsenabschnitt). Dies entspricht dem Wert der abhängigen Variable, wenn alle unabhängigen Variablen = 0 sind. β 1 (Regressionskoeffizient) Anstieg der abhängigen Variable pro Einheitsänderung der unabhängigen Variable ("the rise over the run", Steigung). run rise y x β 1 = Stochastisches Modell y = β 0 + β1 x + u Fehlerterm u beinhaltet alle anderen Faktoren (ausgenommen x), die y in irgendeiner Form beeinflussen. Diese Faktoren werden als nicht beobachtbar behandelt..af u steht für "unbeobachtet" (Englisch: "unobserved") Stochastisches Modell Voraussetzungen bezüglich Fehlerterm Der Fehlerterm u ist (muss sein) unabhängig von der erklärenden Variable x normalverteilt mit Mittelwert 0 und Varianz σ 2 : u ~ N(0,σ 2 ) Folie 14 σ E(y) =β +β x 0 1 Wooldridge J. (2005), Introductory Econometrics: A Modern Approach, 3 edition, South-Western College Pub

8 Voraussetzungen: Gauss-Markov-Theorem, Unabhängigkeit und Normalverteilung Sind die fünf Gauss-Markov-Annahmen erfüllt, so ist der OLS-Schätzer der beste, lineare, unbiased Schätzer (Estimator) des wahren Parameters β i, gegeben die vorliegende Stichprobe. Der OLS-Schätzer ist BLUE. Folie Linearität in den Koeffizienten y = β 0 + β 1 x + u 2. Zufällige Stichprobe mit n Beobachtungen {(x i,y i ): i = 1,,n} 3. Bedingter Erwartungswert: Für jeden Wert der erklärenden Variablen hat der Fehler u den Erwartungswert Stichprobenvariation der erklärenden Variablen: Die x i sind nicht konstant und nicht alle gleich. 5. Homoskedastizität: Für jeden Wert der erklärenden Variablen hat der Fehler u die gleiche Varianz. E(u x) = 0 x const x 1 x 2 x n Var(u x) = σ 2 Unabhängigkeit und Normalverteilung der Fehler u ~ N(0,σ 2 ) Diese Annahmen müssen geprüft werden unter anderem durch eine Residuenanalyse..AF Wooldridge (2005) Regressionsanalyse mit SPSS: Detailliertes Beispiel Folie 16 Einfaches Beispiel Stichprobe von 99 Männern (Angaben zu Körpergrösse und Gewicht) Regression von Gewicht auf Grösse: weight = β 0 + β1 size + u weight = abhängige Variable size = unabhängige Variable β, β = Koeffizienten 0 1 u = Fehlerterm

9 SPSS Menü: Analysieren Regression Linear... Folie 17 : SPSS Ausgabe: F-Test Folie 18 Die Nullhypothese (H 0 ) ist, dass die Konstante 0 ist und dass size keinen Einfluss hat. Die Alternativhypothese (H A ) unterstellt, dass dies nicht der Fall ist. H 0 : β 0 = β 1 = 0 H A : Mindestens einer der Koeffizienten ist nicht Null. Der empirische F-Wert und der entsprechende p-wert ("Sig.") werden von SPSS berechnet. Im Beispiel kann H 0 zugunsten von H A verworfen werden (Sig. < 0.05). Dies bedeutet, dass das geschätzte Modell nicht nur ein theoretisches Konstrukt ist, sondern es existiert und ist statistisch signifikant.

10 SPSS Ausgabe: t-tests Folie 19 Die Tabelle Koeffizienten beinhaltet einen Signifikanztest für die unabhängige Variable. Der Signifikanztest testet die Nullhypothese, dass der Regressionskoeffizient gleich Null ist, während alle anderen Koeffizienten bei Null festgehalten werden. H 0 : β i = 0, β j = 0, j i H A : β i 0, β j = 0, j i Die t-statistik für die Variable size (β 1 ) liefert den p-wert.000 ("Sig."). Daraus folgt, dass die Nullhypothese verworfen werden kann. Also ist der Koeffizient signifikant von Null verschieden. Dies gilt ebenfalls für die Konstante (β 0 ) mit p =.000. SPSS Ausgabe: Regressionskoeffizienten Folie 20 weight = β + β size i 0 1 i weight = size i i Nicht standardisierte Koeffizienten zeigen die absolute Veränderung der abhängigen Variable, wenn die unabhängige Variable um eine Einheit zunimmt: Steigt size um 1 cm, so steigt weight um kg. Hinweis: Die Konstante hat keine bestimmte Bedeutung. Es ist lediglich der Schnittpunkt der Regressionsgeraden mit der Y-Achse.

11 SPSS Ausgabe: Bestimmtheitsmass Folie 21 y i ŷ i Regression Fehler Gesamt y x i y i = Datenpunkt ŷ i = Schätzer (Modell) y = Mittelwert der Stichprobe Der Fehler wird auch als Residuum bezeichnet. SPSS Ausgabe: Bestimmtheitsmass Folie 22 Aufsummieren der Distanzen SS Total = SS Regression + SS Fehler n i= 1 (y n n i y) = (ŷi y) + (yi ŷi ) i= 1 i= 1 SSRegression R - Quadrat = 0 R - Quadrat 1 SS Total R-Quadrat (das Bestimmtheitsmass) hat den Wert.546. Im Beispiel wird etwa die Hälfte der Streuung von weight durch das Modell erklärt (R 2 = 54.6%). Je grösser R-Quadrat ist, desto besser "passt" das lineare Modell zu den Daten. Für Modellbeschreibungen wird "Korrigiertes R-Quadrat" verwendet ( multiple Regression).

12 Testen der Voraussetzungen Folie 23 Sind im Beispiel die Gauss-Markov-Voraussetzungen und die weiteren Anforderungen erfüllt? 1. Ist das Modell linear in den Koeffizienten Ja, Wahl eines Regerssionsmodells 2. Ist es eine zufällige Stichprobe? Ja, klinische Studie 3. Haben die Residuen für jeden Wert von x den Erwartungswert 0? (bedingter Erwartungswert) Residuenplot 4. Gibt es Varianz in den erklärenden Variablen? Ja, klinische Studie 5. Haben die Residuen über alle Werte von x eine konstante Varianz? (Homoskedastizität) Sind die Residuen von einander unabhängig? Sind die Residuen normalverteilt? Residuenplot Residuenplot (Durbin-Watson betrachten) Histogramm SPSS Ausgabe: Annahmen bezüglich der Residuen Folie 24 Residuenplot der standardisierten, vorhergesagten Werte von y vs. standardisierte Residuen 3. Bedingter Erwartungswert: Die Mittelwerte der Residuen weichen über die ganze Bandbreite der standardisierten geschätzten Werte nicht sichtbar von 0 ab. OK 5. Homoskedastizität: Residuenplot trompetenförmig, Varianz der Residuen nicht konstant. Diese Gauss-Markov-Anforderung ist verletzt. Es liegt Heteroskedastizität vor. Unabhängigkeit: Es liegt kein eindeutiges Muster vor, das einen Einfluss der Residuen aufeinander zeigen würde (z.b. "wellenförmiger" Verlauf). OK.AF

13 Histogramm der standardisierten Residuen Folie 25 Normalverteilung der Residuen: Die standardisierten Residuen sind mehr oder weniger normalverteilt. OK.AF Konzepte der multiplen Regressionsanalyse Folie 26 Multikollinearität Überblick Multikollinearität tritt auf, wenn unabhängige Variablen stark korrelieren. Perfekte Kollinearität: Eine Variable ist eine lineare Kombination von anderen Variablen. => eindeutige Schätzung der Koeffizienten nicht möglich, da unendliche viele Kombinationen. In der Praxis ist perfekte Kollinearität selten (ausgenommen durch Codierfehler ) Korrelationen oder gar starke Korrelationen zwischen Variablen sind aber unvermeidbar. Symptome von Multikollinearität Bei starker Korrelation werden die Standardfehler der geschätzten Koeffizienten gross. Es ist schwierig oder unmöglich, die relative Wichtigkeit der Variablen zu bewerten. Die Wahrscheinlichkeit steigt, dass ein "guter" Prädiktor sich als nicht signifikant erweist. Die Koeffizientenschätzung kann grossen Veränderungen unterworfen sein, wenn Variablen zum Modell hinzugefügt oder weggelassen werden (Stepwise Regression). Es könnten Koeffizienten mit entgegengesetztem Vorzeichen als erwartet auftreten. Multikollinearität ist ein ernsthaftes Problem, wenn Kausalmodellierung das Forschungsziel ist. weniger wichtig, wenn Prognose das Forschungsziel ist, da die prognostizierten Werte relativ zueinander stabil bleiben.

14 Identifikation von Multikollinearität Folie 27 Falls Korrelationen der unabhängigen Variablen grösser als 0.80 sind, sollten sie nicht verwendet werden. Verwenden von Indikatoren, die von SPSS berechnet werden: Toleranz Toleranz ist der Anteil an der nicht erklärten Varianz einer unabhängigen Variablen, gegeben die anderen unabhängigen Variablen. Die Toleranz gibt Auskunft über das Ausmass der Unabhängigkeit einer unabhängigen Variablen: Die Werte liegen zwischen 0 (= multikollinear) und 1 (= unabhängig). Faustregel (O'Brien 2007): Toleranz kleiner als.10 => Problem mit Multikollinearität Varianz-Inflations-Faktor (VIF) Beispiel von Folie 35 VIF = Kehrwert der Toleranz (1/Toleranz). Der VIF hat einen Bereich von 1 bis unendlich. Beispiel von Folie 35 Schrittweise Regression Folie 28 Wie kann bestimmt werden, welches die "richtigen" unabhängigen Variablen sind? Wie Variablen in das Modell eingeführt werden, hat einen grossen Einfluss auf die Koeffizienten. Wenn Variablen vollständig unkorreliert sind, hat die Reihenfolge, in der sie eingeführt werden, einen sehr geringen Einfluss auf die berechneten Koeffizienten. Doch in den Sozialwissenschaften (Pflegewissenschaft) korrelieren Variablen meist. Die Methode der Variablenauswahl ist entscheidend. Theoretische und empirische Aspekte Unabhängige Variablen, die hinzugefügt werden, sollten idealerweise eine erhebliche theoretische Bedeutung haben oder es sollte eine starke empirische Indikation vorliegen (z.b. durch andere Studien). Anwendung des "schrittweisen" Algorithmus Variablen können auch aufgrund mathematischer Kriterien in das Modell aufgenommen werden. Sinnvoll vor allem im Rahmen einer explorativen Analyse. Ungeeignet, um Theorien zu testen.

15 Folie 29 Vorgehen bei schrittweiser Regression Beispiel für "Vorwärts"-Selektion in SPSS Schritt 1 Diejenige unabhängige Variable, die am stärksten mit der abhängigen Variable korreliert, wird in die Gleichung aufgenommen. Schritt 2 Als nächstes wird jene unabhängige Variable aufgenommen, die die höchste partielle Korrelation mit der abhängigen Variable aufweist. Wiederholung des Prozesses Schritt 2 wird wiederholt bis das Hinzufügen von unabhängigen Variablen das Bestimmtheitsmass (R-Quadrat) nicht weiter signifikant erhöht. oder bis alle Variablen eingeschlossen sind. "Rückwärts"-Elimination Der obige Prozess ist auch rückwärts möglich: Beginnend mit allen Variablen wird schrittweise jene unabhängige Variablen mit der geringsten partiellen Korrelation entfernt, bis sich keine weiteren Variablen in der Gleichung befinden, die die Ausschlusskriterien erfüllen. SPSS Methoden der schrittweisen Regression "Einschluss" Alle Variablen werden gleichzeitig in einem einzigen Schritt in das Modell eingefügt. "Vorwärts"-Selektion Die Variablen werden sequenziell in das Modell aufgenommen. "Rückwärts"-Elimination Alle Variablen sind zunächst in der Gleichung und werden sequenziell entfernt. "Schrittweise" Wie bei "Vorwärts"-Selektion, aber bei jedem Schritt wird zusätzlich getestet, ob die am wenigsten "nützliche" Variable ausgeschlossen werden soll: Sie wird entfernt, falls ihr p-wert genügend gross ist. Folie 30 SPSS Menü Analysieren Regression Linear...> "Methode"

16 Regressionsanalyse mit SPSS: Einige detaillierte Beispiele Folie 31 Beispiel einer multiplen Regression Stichprobe von 198 Männern und Frauen (Angaben zu Körpergrösse, Gewicht und Alter) Regression von Grösse und Alter auf Gewicht weight = β 0 + β1 size + β2 age + u weight = abhängige Variable size = unabhängige Variable age = unabhängige Variable β, β, β = Koeffizienten u = Fehlerterm Ausgabe von SPSS (ohne Dummy für das Geschlecht) Folie 32 F-Test: OK (F = , p =.000) (Tabelle wird hier nicht gezeigt) weight = β 0 + β1 size + β2 age + u weight = size age Die unstandardisierten B-Koeffizienten zeigen die absolute Veränderung der abhängigen Variable weight, falls sich die jeweilige unabhängige Variable (size, age) um eine Einheit verändert. Die Beta-Koeffizienten sind die standardisierten Regressionskoeffizienten. Ihre Werte zeigen die relative Wichtigkeit in der Prognose von weight. Beta-Koeffizienten sind nur innerhalb eines Modells vergleichbar und nicht zwischen Modellen. Ausserdem werden sie stark durch eine allfällige Fehlspezifikation des Modells beeinflusst. Das Hinzufügen oder Weglassen von Variablen beeinflusst die Höhe der Beta-Koeffizienten.

17 Folie 33 Ausgabe von SPSS (ohne Dummy für das Geschlecht) R-Quadrat wird von der Anzahl der unabhängigen Variablen beeinflusst. R-Quadrat nimmt mit zunehmender Anzahl Variablen zu. Korrigiertes R-Quadrat = R-Quadrat n (1 R-Quadrat) n m 1 n = Anzahl Beobachtungen m = Anzahl unabhängier Variablen n m 1= Freiheitsgrade(df) Folie 34 Geschlecht als Dummy-Variable Frauen und Männer haben unterschiedliche Mittelwerte von size und weight. Mittelwert Grösse Gewicht Männer Frauen Total Einführen von Geschlecht als unabhängige Dummy-Variable. Syntax: recode gender (1 = 0) (2 = 1) into female.

18 Ausgabe von SPSS mit Dummy für das Geschlecht Folie 35 F-Test: OK (F = , p =.000) (Tabelle wird hier nicht gezeigt) weight = size age female Wechsel von Mann (female = 0) zu Frau (female = 1) senkt das Gewicht um kg. Modell ist besser (korrigiertes R-Quadrat.894 vs..832) durch "Trennung" der Geschlechter. Beispiel einer multiplen Regression mit Multikollinearität Folie 36 Umfrage bei Pflegepersonal zu Zufriedenheit und Commitment (Identifikation mit der Abteilung). Datei: Teilstichprobe von n = 198 Pflegenden zu Fragen bezüglich Einkommen Regressionsmodell für das Einkommen salary = β + β age + β education + β experience + β experience 2 + u Wozu die Variable experience 2? Der Effekt der Erfahrung ist disproportional bezüglich jüngerer und älterer Personen. Diese Disproportionalität kann mit einem quadratischen Term beschrieben werden. Wie stark ist die Korrelation zwischen experience und experience 2? experience und experience 2 sind stark korreliert!

19 Ausgabe von SPSS Folie 37 Toleranz für experience und experience 2 ist sehr gering. Eine der zwei Variablen kann aus dem Modell entfernt werden. Durchführen einer schrittweisen Regression? Leider berücksichtigt SPSS Multikollinearität nicht direkt, d.h. Toleranz wird nicht verwendet. Ausgabe von SPSS Folie 38 Dieses Modell wird bevorzugt, weil eine nicht signifikante Konstante schwierig zu interpretieren ist.

20 Beispiel einer schrittweisen Regressionsanalyse Folie 39 General Social Survey (GSS) (www3.norc.org/gss+website) (Zugriff: November 2012) Der GSS fühlt den Puls von Amerika und ist eine einzigartige und wertvolle Ressource. Damit wurden die Meinungen der Amerikaner über die letzten vier Dekaden erforscht. Viele der Kernfragen blieben seit 1972 unverändert um Längsschnittstudien zu ermöglichen. Items zu Demographie, Verhalten und Einstellungen sowie Themen von besonderem Interesse. Daten Stichprobe mit n = 2023 Antwortenden Abhängige Variable rincome Persönliches Einkommen Unabhängige Variablen age Alter curempyr Anzahl Jahre für den aktuellen Arbeitgeber tätig educ Höchster Schulabschluss hrs1 Anzahl Stunden während der letzten Woche gearbeitet sei Sozioökonomischer Index tvhours Stunden Fernsehen pro Tag Modell rincome = β 0 + β1 age + β2 curempyr + β3 educ + β4 hrs1+ β5 sei + β6 tvhours + u Folie 40 SPSS Syntax: "EINSCHLUSS" REGRESSION /STATISTICS COEFF OUTS R ANOVA /DEPENDENT rincome /METHOD=ENTER age curempyr educ hrs1 sei tvhours. SPSS Syntax: "SCHRITTWEISE" REGRESSION /STATISTICS COEFF OUTS R ANOVA /DEPENDENT rincome /METHOD=STEPWISE age curempyr educ hrs1 sei tvhours.

21 Ausgabe von SPSS Folie 41 Methode EINSCHLUSS Tiefes R-Quadrat Toleranz OK age, educ, hrs1, tvhours sind nicht signifikant Verbleibendes Modell: rincome = β 0 + β 1 curempry + β 3 sei + u? Folie 42 Methode SCHRITTWEISE SPSS schätzt 3 Modelle. Modell 3 (das letzte in der Liste) ist das "beste" Modell.

22 Logistische Regressionsanalyse Beispiel Folie 43 Medizin: Ursache für Herzinfarkt. Stichprobe: 200 männliche Patienten eines Spitals. Hat Herzinfarkt erlitten Körperliche Aktivität Variablen (Heart_attack.sav) Abhängig: heart = hat Herzinfarkt erlitten (ja=1, nein=0) Unabhängig: activity = Körperliche Aktivität (1 to 6) dweight = Differenz zu Normalgewicht (kg) press = Blutdruck (metrisch) stress = Stresslevel (1 bis 6) Typische Fragen Wie beeinflussen individuelle Eigenschaften die Wahrscheinlichkeit einen Herzinfarkt zu erleiden? Wie kann dieser Einfluss modelliert werden? Wie stark ist der Einfluss jedes Faktors? Zusammenhang unabhängige Variablen und "Wahrscheinlichkeit" eines Herzinfarkts Folie 44 Blutdruck Stresslevel Körperliche Aktivität Differenz zu Normalgewicht Nein Ja Herzinfarkt Nein Ja Herzinfarkt Nein Ja Herzinfarkt Nein Ja Herzinfarkt

23 Fragen Umgangssprachliche Fragestellung: Welche individuellen Eigenschaften beeinflussen die Wahrscheinlichkeit einen Herzinfarkt zu erleiden? Forschungsfrage: Haben die Faktoren Körperliche Aktivität Differenz zum Normalgewicht Blutdruck Stresslevel einen Einfluss auf die Wahrscheinlichkeit einen Herzinfarkt zu erleiden? Wie stark ist der Einfluss? Gibt es ein Modell? Ist die logistische Regressionsanalyse das richtige Modell? Statistische Frage: Hypothesenbildung H 0 : "Kein Modell" (= Kein Gesamtmodell und keine signifikanten Koeffizienten) H A : "Modell" (=Gesamtmodell und signifikante Koeffizienten) Kann die Hypothese H 0 verworfen werden? Folie 45 Lösung Logistisches Regressionsmodell mit Wahrscheinlichkeit für das Erleiden eines Herzinfarkts als abhängige Variable. 1 Wahrscheinlichkeit (Herzinfarkt = 1) = 1+e z = β 0 + β1 activity + β2 dweight + β3 press + β4 stress + u Wahrscheinlichkeit (Herzinfarkt = 1) = abhängige Variable activity,... stress = unabhängige Variablen β,... β = Koeffizienten u 0 4 = Fehlerterm z Folie 46 "How to" mit SPSS Skalen: Abhängige Variable: binär (auch dichotom genannt) Unabhängige Variablen: metrisch, kategorial (codiert als Dummy-Variable) SPSS-Menü Analysieren Regression Binär logistisch...

24 Folie 47 Ergebnisse Signifikantes logistisches Modell (Tabelle nicht gezeigt). Signifikante Koeffizienten (ausser Konstante, was kein Problem ist). Vergleichbar mit R-Quadrat der linearen Regression z = activity dweight press stress Beispielinterpretation für activity (unter Berücksichtigung von "Exp(B)"): Eine Zunahme der körperlichen Aktivität um eine Einheit reduziert die relative Wahrscheinlichkeit einen Herzinfarkt zu erleiden um 54.3% ( = 0.543). Konzepte der logistischen Regressionsanalyse Folie 48 Was ist neu? Logistische Regression = Abhängie Variable ist kategorial Konzept der logistischen Funktion Konzept von Odds und Odds-Ratio Maximum-Likelihood-Schätzung (MLE = Maximum Likelihood Estimation) anstelle OLS Arten der logistischen Regressionsanalyse (Binäre) logistische Regression Abhängige Variable ist nominal und hat zwei Kategorien Beispiel: Wahrscheinlichkeit einen Herzinfarkt zu erleiden als Funktion individueller Eigenschaften (siehe oben) Multinomiale logistische Regression Abhängige Variable ist nominal und hat mehr als zwei Kategorien Beispiel: Zusammenhang zwischen Drogenmissbrauch (keine Drogen, Marihuana, harte Droge) und Geschlecht, Alter und einem Faktor, wie Drogenmissbrauch wahrgenommen wird. Ordinal logistische Regression Abhängige Variable ist ordinal Beispiel: Zusammenhang zwischen Bechergrösse (klein, mittel, gross, extra gross), die eine Person in einer Fast-Food-Kette bestellt, Sandwich-Typ (Rind oder Hühnchen) und Alter.

25 Logistisches Regressionsmodell (Logit und Odds) Folie 49 Schritt für Schritt Abhängige binäre Variable y (z.b. Herzinfarkt ja/nein) Unabhängige Variable x (z.b. Stresslevel) Binäre Variable y In diesem Beispiel hat nahezu die Hälfte der "y" den Wert 1. x Folie 50 Durchführung einer linearen Regression (Vergessen Sie für den Moment alle die verletzten Voraussetzungen.) Binäre Variable y Regressionsgerade Lineare Funktion y = β + β 0 1 x x Das Modell (F-Test, t-test) könnte in Ordnung sein, aber was bedeuten hier Vorhersagen? Was bedeutet zum Beispiel ein Wert von -0.1 oder +1.1 für y (Herzinfarkt ja/nein)?

26 Folie 51 Um Vorhersagen von y auf das Intervall [0,1] zu beschränken, wird eine logistische Funktion an die Daten angepasst Binäre Variable y logistische Funktion 1 Logistische Funktion = 1+e z = Funktion(x) 0 logistische Funktion 1 z x Die logistische Funktion wird als Wahrscheinlichkeit interpretiert, dass y den Wert 1 annimmt. Anstelle der Vorhersage des Wertes der Variable y mittels der unabhängigen Variable x, wird die Wahrscheinlichkeit vorausgesagt, dass y den Wert 1 annimmt (gegeben x). Logistisches Regressionsmodell 1 Wahrscheinlichkeit(y=1) = 1+e z Hinweis für später Folie 52 "z" wird auch logit genannt z = β 0 + β1 activity + β2 dweight + β3 press + β4 stress + u Wahrscheinlichkeit (Herzinfarkt = 1) = abhängige Variable activity,... stress = unabhängige Variablen β,... β = Koeffizienten u 0 4 = Fehlerterm Das Logit z ist ein lineares multiples Regressionsmodell der unabhängigen Variablen. Zusammenfassung Für kategoriale abhängige Variablen ist der Zusammenhang zwischen y und x nicht linear. Um das Problem zu lösen, können die Daten transformiert werden (exponentiell / logarithmisch). Die logistische Regressionsgleichung basiert auf diesem Prinzip.

27 Odds ("Wettquote") Folie 53 Beispiel: Wetten bei Pferderennen Die Wahrscheinlichkeit, dass ein Pferd ein Rennen gewinnt, wird ins Verhältnis gesetzt zur Wahrscheinlichkeit, dass es verliert. Dieses Verhältnis wird Wettquote genannt. Beispiel: Bei einem Pferderennen sei die Wahrscheinlichkeit, dass ein bestimmtes Pferd gewinnt 0.1. Wahrscheinlichkeit zu gewinnen: 0.1 Wahrscheinlichkeit zu verlieren: = Wettquote = = = "Wettquote 1 zu 9" beziehungsweise "Wettquote 10% zu 90%" Allgemeine Gleichung Wahrscheinlichkeit, dass ein Ereignis eintritt: P(Ereignis tritt ein) Wahrscheinlichkeit, dass ein Ereignis nicht eintritt: 1 - P(Ereignis tritt ein) P(Ereigniss tritt ein) Odds = 1 - P(Ereigniss tritt ein) Odds sind eigentlich relative Wahrscheinlichkeiten. Odds ratio Folie 54 Beispiel: Haarfarben in Norddeutschland Frauen Männer blond 55% 48% nicht blond 45% 52% 100% 100% Stichprobe von Männern und Frauen aus Norddeutschland (n ist unbekannt). Frauen Männer P(blond) P(nicht blond) = = 0.52 Odds ratio oddsf 1.23 odds Ratio = = = 1.33 odds 0.92 M odds F = = = odds M = = = Die relative Chance von Frauen, blonde Haare zu haben, ist 1.33mal höher als jene der Männer. (Zugriff: November 2012)

28 Odds und die logistische Regression Folie 55 Überblick über die logistische Funktion: P(y=1) => e z 1 1+e = z umstellen P(y=1) = 1-P(y=1) Hinweis für später e z z = odds = ln(odds) logit = ln(odds) Von Folie 53: P(y=1) odds = 1-P(y=1) z => e = odds P(y=1) = = z ln(e ) ln(odds) ln 1-P(y=1) z = ln(odds) z wird auch logit genannt..af Logistische Regressionsanalyse mit SPSS: Ein Beispiel Was verursacht einen Herzinfarkt? Folie 56 Datensatz und Variablen Daten Heart_attack.sav: Stichprobe mit n = 200 männlichen Patienten eines Spitals Variablen Abhängig heart = Hat Herzinfarkt erlitten (ja=1/nein=0) Unabhängig activity = Physische Aktivität (1 bis 6) dweight = Differenz zu Normalgewicht (kg) press = Blutdruck (metrisch) stress = Stresslevel (1 bis 6) Modell Logistisches Regressionsmodell

29 SPSS: Analysieren Regression Binär logistisch... Folie 57 SPSS-Ausgabe Omnibus-Test Folie 58 Der Omnibus-Test entspricht dem F-Test der linearen Regression. Weil nicht SCHRITTWEISE verwendet wird, sind "Schritt", "Block" und "Modell" dasselbe. p < 5%: Die Nullhypothese (H 0 ) kann verworfen werden. SPSS-Ausgabe Modellzusammenfassung (Goodness of fit) Das Cox & Snell R 2 und das Nagelkerke R 2 sind Analogien zum R 2 der OLS-Regression. Cox & Snell R-Quadrat 2 L(Basismodell) RCS = 1 L(Modell) R 2 n 2 2 n CSmax = 1 L(Basismodell) Nagelkerke R-Quadrat R R 2 2 CS N = 2 RCSmax Nagelkerkes R-Quadrat standardisiert Cox & Snell R-Quadrat, so dass es von 0 bis 1 variiert.

30 SPSS-Ausgabe Klassifikation I Folie 59 SPSS nutzt die Regressionsgleichung um vorherzusagen, ob in einem Einzelfall 0 oder 1 eintritt. Der Default-Trennwert ist 0.5. Vergleich mit den Werten der Variable heart: Ungefähr 50% No, ungefähr 50% Yes => Trennwert von 96 (= 76.0%) Werte 0 der Variable heart werden korrekt vorhergesagt. 85 von 104 (= 81.7%) Werte 1 der Variable heart werden korrekt vorhergesagt. SPSS-Ausgabe Klassifikation II Folie 60 Beobachtete Werte Vorhergesagte Werte Trennwert (p = 0.5) Korrekte Prognosen für No (= N) Korrekte Prognosen für Yes (= Y)

31 SPSS-Ausgabe Variablen in der Gleichung Folie 61 Wald B Wald = s.e. B 2 Vergleichbar mit der t-statistik der linearen Regressionsanalyse Testet die Nullhypothese, dass B = 0 Regressionskoeffizient B (die β's in der linearen multiplen Regressionsgleichung) 1 Wahrscheinlichkeit(Herzinfarkt=1) = 1+e z = activity dweight press stress Die Konstante ist nicht signifikant, deshalb wird β 0 auf 0 gesetzt. z Was bedeutet eine nicht signifikante Konstante? Folie 62 Zurück zum geschätzten logistischen Regressionsmodell 1 Wahrscheinlichkeit (y=1) = 1+e z = β 0 + β1 activity + β2 dweight + β3 press + β4 stress + u z = activity dweight press stress z Falls β 0 = 0 und β i = 0 für i > 0, dann Wahrscheinlichkeit(y=1) = = = 1+e Der Fall β i = 0 für alle i entspricht einer "mittleren" Wahrscheinlichkeit. In einer Stichprobe, in der ungefähr die Hälfte der Personen einen y-wert von 1 haben, ist die durchschnittliche Wahrscheinlichkeit etwa x

32 Interpretation der Koeffizienten III Folie 63 B Exp(B) Logit z P(y=1) B > 0 e B > 1 nimmt um B zu Zunahme B = 0 e B = 1 bleibt gleich bleibt gleich B < 0 e B < 1 nimmt um B ab Abnahme Beispiel activity B = e B = Abnahme um Abnahme von 100% auf 45.7% Abnahme um 54.3% Beispiel stress B =.568 e B = Zunahme um.568 Zunahme von 100% auf 176.5% Zunahme um 76.5% Anhang Folie 64 Methoden zur Auswahl von Variablen (Quelle: SPSS-Hilfe) Einschluss: Alle Variablen (eines Blocks) werden in einem einzigen Schritt aufgenommen. Vorwärtsselektion (Bedingt): Schrittweise Variablenauswahl mit einem Test auf Aufnahme, der auf der Signifikanz der Werte-Statistik beruht, und einem Test auf Ausschluss, der auf der Wahrscheinlichkeit einer Likelihood-Quotienten-Statistik beruht. Vorwärtsselektion (Likelihood-Quotient): Schrittweise Variablenauswahl mit einem Test auf Aufnahme, der auf der Signifikanz der Werte-Statistik beruht, und einem Test auf Ausschluss, der auf der Wahrscheinlichkeit einer Likelihood-Quotienten-Statistik beruht. Vorwärtsselektion (Wald): Schrittweise Variablenauswahl mit einem Test auf Aufnahme, der auf der Signifikanz der Werte-Statistik beruht, und einem Test auf Ausschluss, der auf der Wahrscheinlichkeit der Wald- Statistik beruht. Rückwärtselimination (Bedingt): Rückwärtsgerichtete schrittweise Auswahl. Der Ausschlusstest basiert auf der Wahrscheinlichkeit der Likelihood-Quotienten-Statistik auf der Grundlage bedingter Parameterschätzer. Rückwärtselimination (Likelihood-Quotient): Rückwärtsgerichtete schrittweise Auswahl. Der Ausschlusstest basiert auf der Wahrscheinlichkeit der Likelihood-Quotienten-Statistik auf der Grundlage maximaler, partieller Likelihood-Schätzer. Rückwärtselimination (Wald): Rückwärtsgerichtete schrittweise Auswahl. Der Ausschlusstest basiert auf der Wahrscheinlichkeit der Wald-Statistik.

33 SPSS-Ausgabe Omnibus-Test Folie 65 Weil nicht SCHRITTWEISE verwendet wird, sind "Schritt", "Block" und "Modell" dasselbe. Intermezzo: Log-Likelihood-Statistik Multiple Regressionsanalyse: Schätzung der kleinsten Quadrate (Ordinary least squares OLS) OLS minimiert die Summe der quadrierten Abstände der Datenpunkte zur Regressionslinie. Logistische Regressionsanalyse: Maximum-Likelihood-Schätzung (MLE) MLE maximiert eine "Likelihood"-Funktion, die aussagt, wie wahrscheinlich es ist, dass der Wert einer abhängigen Variablen durch eine unabhängige Variable vorausgesagt werden kann. Der Wert dieser "Likelihood"-Funktion ist negativ und klein. Manchmal wird der Logarithmus der "Likelihood"-Funktion verwendet Abkürzung LL Per Konvention wird der Wert "-2 facher Log Likelihood (-2LL)" für Schätzungen der Modellgüte verwendet. Genau genommen beschreibt -2LL einen Fehlerterm. Omnibus-Test Folie 66 Der Omnibus-Test entspricht dem F-Test der linearen Regression. Der Omnibus-Test vergleicht zwei Modelle: Basismodell: Nur die Konstante β 0 ist im Modell (auch "Nullmodell" genannt) Modell: Alle Koeffizienten β 0, β 1,, β p sind im Modell (das "endgültige" Modell) Beide Modelle haben entsprechende Log-Likelihood-Werte: Basismodell: -2LL(Basismodell) Modell: -2LL(Modell) Die Nullhypothese (H 0 ) postuliert, dass nur die Konstante einen Einfluss hat. Die Alternativhypothese (H A ) postuliert, dass dies nicht der Fall ist. H 0 : β 0 0, β 1 = = β p = 0 H A : Mindestens zwei der Koeffizienten sind nicht Null. Die Testgrösse "-2LL(Basismodell) - (-2LL(Modell))" folgt einer Chi-Quadrat-Verteilung.

34 Modell Basismodell Folie 67 χ 2 = -2LL(Basismodell) - (-2LL(Modell)) χ 2 = = p < 5%: Die Nullhypothese (H 0 ) kann verworfen werden. Interpretation der Koeffizienten I Beispiel mit nur einem Prädiktor x 1 Logistische Funktion = 1+e mit z = β + β x + u 0 1 z Folie 68 Verschiedene Werte für β 0 (bei β 1 = 0.5) Verschiedene Werte für β 1 (bei β 0 = 0) Probability βb0 0 = βb0 0 = βb0 0 = x Probability b1 β 1 = b1 β 1 = b1 β 1 = x β 0 verschiebt die Funktion links/rechts. β 0 bestimmt den Wert der Variable x, an dem statt einem Wert 0 ein Wert 1 erwartet wird. β 1 verändert die Steigung der Kurve. Ist β 1 höher, so kann die abhängige Variable besser vorhergesagt werden.

35 Interpretation der Koeffizienten II Folie 69 Zurück zu Odds und Odds ratio 1 P(y=1) 1+e 1-P(y=1) z z β1 activity+β2 dweight+β3 press+β4 stress+u P(y=1) = => e = = Odds wobei e = e z Exp(β i ) stellt die relativen Odds dar, wenn die unabhängige Variable um 1 Einheit erhöht wird. Exp(β i ) entspricht einer Odds ratio (alle anderen Variablen konstant gehalten). Exp(β i ) wird auch als "Effektkoeffizient" bezeichnet. Odds nach Veränderung um eine Einheit Exp( β i)=odds Ratio = Odds Beispiel activity (Exp(B) =.457) Eine Zunahme der körperlichen Aktivität um eine Einheit reduziert die relative Wahrscheinlichkeit einen Herzinfarkt zu erleiden um ungefähr 54.3%. Exp(B) =.457 entspricht 45.7%, wenn die unabhängige Variable um eine Einheit erhöht wird. Die relative Wahrscheinlichkeit nimmt um 54.3% ab (von 100% auf 45.7%) Inhaltsverzeichnis Folie 70 Ziele der Vorlesung 3 Einführung 5 Beispiel...5 Hauptschritte bei der Durchführung einer Regressionsanalyse...11 Ziele der Regressionsanalyse...12 Modelle...13 Regressionsanalyse mit SPSS: Detailliertes Beispiel 16 Konzepte der multiplen Regressionsanalyse 25 Konzepte der multiplen Regressionsanalyse 26 Multikollinearität...26 Schrittweise Regression...28 Regressionsanalyse mit SPSS: Einige detaillierte Beispiele...31 Logistische Regressionsanalyse 43 Beispiel...43 Konzepte der logistischen Regressionsanalyse 48 Logistisches Regressionsmodell (Logit und Odds)...49 Logistische Regressionsanalyse mit SPSS: Ein Beispiel 56 Anhang 64