Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

Transkript

1 6.0 Logistische Regression Die logistische Regression ist ein Spezialfall des Generalisierten Linearen Modells (GLM), ist ein spezielles Klassifikationsverfahren, wird in der Praxis sehr häufig verwendet, obwohl andere Verfahren oft (aber nicht immer) verständlicher, theoretisch einfacher oder performanter sind. Bemerkung 1: Dies stellt einen Sonderfall der generalisierten linearen Modelle (GLM) dar (vgl. Fahrmeir und Hamerle, 1983), bei denen anstelle von F (η) eine beliebige umkehrbare Funktion h(η) (inverse Link-Funktion) verwendet wird. und π1 auch eine metrische Zielgröße sein darf. Bemerkung 2: Wählt man für F (η) die Verteilungsfunktion der Standardnormalverteilung Φ(η), dann erhält man das binäre Probit-Modell. 6.2 Eigenschaften 6.2 Eigenschaften 6.2 Eigenschaften Mit der Wahrscheinlichkeit für das Eintreten eines Ereignisses ist der Begriff der Chance (odds) eng verbunden (Tutz, 2000). Die Chance 1. Ordnung ist das Verhältnis der Eintrittswahrscheinlichkeit zu ihrer Gegenwahrscheinlichkeit γ(x) = P(Y = 1 x) P(Y = 0 x) = π(x) 1 π(x) Eine Chance von 3:1 entspricht γ(x) = 3, π(x) = 0.75 und 1 π(x) = (6) Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Ziel ist zunächst die Erklärung einer binären Zielgröße Y {0, 1} mit Hilfe eines Vektors von Einflussgrößen X R p, d.h. wir beschränken uns hier auf 2 Klassen. Beim binären Logit wird für F (η) die Verteilungsfunktion der standardisierten logistischen Verteilung Logist(η) = exp(η) 1 + exp(η) verwendet. Man erhält dann als Modell: (4) exp(x β) π1 = P(Y = 1 x, β) = + exp(x β) 1. (5) Hier wird die a posteriori Eintrittswahrscheinlichkeit direkt modelliert und daher müssen die a priori-wahrscheinlichkeiten der Klassen nicht geschätzt werden, wie z.b. bei der linearen Diskriminanzanalyse. 6.2 Eigenschaften 6.2 Eigenschaften Im binären Logit-Modell ist die Chance γ(x) = π1 1 π1 = exp(x β) 1+exp(x β) 1 1+exp(x β) = exp(x β) (7) Logarithmiert man die Chance, dann erhält man die so genannten Logits ( ) π1 Logit(x) = ln = x β (8) 1 π1 Im Wesentlichen wird also durch das binäre Logit-Modell eine Regression der logarithmierten Chancen auf die unabhängigen Variablen beschrieben. Problem: Da die Eintrittswahrscheinlichkeiten π1 = P(Y = 1 x, β) nicht beobachtet werden, kann der von der Regression bekannte Kleinste-Quadrate-Schätzer nicht direkt angewandt werden. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Sei x der Vektor der Einflussgrößen mit einem Eins-Element, um die Regressionskonstante zu modellieren. Angenommen, es gilt das Regressionsmodell: yi = x i β + ɛi mit E(ɛ) = 0, ɛi, ɛj unabhängig für i j. Für die binäre Zielgröße Y gilt dann: πi := P(yi = 1 xi) = E(yi xi) = x i β. Leider kann x i β auch Werte außerhalb von [0, 1] annehmen. Deshalb wird die Wahrscheinlichkeit P(Y = 1 x, β) mit Hilfe einer Verteilungsfunktion F (η) modelliert, da die Werte von F in [0, 1] liegen: π1 = P(Y = 1 x, β) = F (x β) (3) Üblicherweise erfolgt die Klassifikation über einen Schwellenwert τ: Ist ˆπ1 > τ, dann wird Kategorie 1 prognostiziert, ansonsten Kategorie 0. Verwendet man den Schwellenwert 0.5, dann ist dies äquivalent zur Auswahl der Kategorie mit der größten Eintrittswahrscheinlichkeit. 6.3 Einschub: ML Prinzip 6.3 Einschub Maximum Likelihood Prinzip 6.3 Einschub: ML Prinzip Erläuterung des Maximum Likelihood Prinzips am Beispiel einer diskreten Verteilung: Gesucht: Schätzung für Parameter θ einer diskreten Verteilung Bestimme Wahrscheinlichkeit für das Auftreten der Stichprobe x1,..., xn unter der Annahme einer jeden der in Frage kommenden Verteilungen. ML-Schätzer := derjenige Parameter der Verteilung, der die größte Wahrscheinlichkeit für die beobachtete Stichprobe liefert (maximale Mutmaßlichkeit). Bei dieser Verteilung ist die beobachtete Stichprobe also am ehesten zu erwarten. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

2 6.3 Einschub: ML Prinzip 6.3 Einschub Maximum Likelihood Prinzip Beispiel: Bei der Stichprobe der Personen (davon 2475 Raucher) im Blutdruckdatensatz wird untersucht, ob sie rauchen. Es soll nun das p der Bernoulliverteilung (Binomialverteilung mit einer Wiederholung, B(1,p)) geschätzt werden. Annahme: Die Xi sind u.i.v. B(1, p). Die Likelihood für p ist gegeben durch die Wahrscheinlichkeit, dass x1,..., xn auftritt, wenn Parameter p vorliegt: ( ) n L(p) := P(x1,..., xn p) = p x (1 p) n x x n mit x = xi = 2475, n = Parameter-Schätzung 6.4 Schätzung: (Log)-Likelihood Die Likelihood-Funktion bei einer Stichprobe (yi, x i ), i = 1,..., n, unter der Annahme der unabhängigen identischen Verteilung ergibt sich damit als: L(β) = mit πi1 = Logist(x i β). n Die Log-Likelihood-Funktion ist dann ln L(β) = n π yi i1 (1 πi1)1 yi (10) yi ln(πi1) + (1 yi) ln(1 πi1). (11) 6.4 Parameter-Schätzung Nichtlineare Optimierung Schätzung: Nichtlineare Optimierung Wenn δ eine uphill Richtung ist, wird ein kleiner Schritt in dieser Richtung sicher zu einer Vergrößerung der Zielfunktion führen. Wir suchen also nach einem δ, so dass S(θn + tδ) eine steigende Funktion von t ist für t genügend nahe bei Null, d.h. d[s(θn + tδ)] dt = t=0 [ S θ ] [ ] d(θ + tδ) θn dt = t=0 [ S θ θn ] δ > 0. (14) Wenn wir den Gradienten der Zielfunktion S θ durch γn θn abkürzen, dann ist es klar, dass wir δ = Pnγn wählen können, wobei Pn irgendeine positiv definite Matrix ist, d.h. γ Pnγ > 0 für alle Vektoren γ 0, also γ n = γ npγn > 0, wenn γn 0. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Einschub: ML Prinzip 6.3 Einschub Maximum Likelihood Prinzip Beispiel: Fortsetzung Das ist schwierig zu maximieren, daher nehmen wir den Logarithmus, der zur log-likelihood führt, die leichter differenzierbar ist. Die erste Ableitung wird gleich Null gesetzt, um ˆp zu bestimmen: ( ) n log L(p) = log + k log p + (n k) log(1 p) k (log L(ˆp)) = (n k) (1 ˆp) = kˆp nˆp kˆp = k kˆp kˆp (n k) (1 ˆp) = 0 ˆp = k/n = 2475/16386 Anschließend wird überprüft, ob die zweite Ableitung negativ ist. 6.4 Parameter-Schätzung 6.4 Schätzung: (Log)-Likelihood Zur Maximierung muss als notwendige (nicht hinreichende!) Bedingung der Vektor der ersten Ableitungen (Gradient) gleich dem Nullvektor gesetzt werden: ln L(β) β! = 0. (12) Da πi1 eine nichtlineare Funktion von β ist, muss dies mit Hilfe einer numerische Maximierungsmethode erfolgen. Bei ML-Schätzungen von GLM verwendet man üblicherweise dazu das Fisher-Scoring-Verfahren (vgl. Fahrmeir und Hamerle, 1983) oder den IWLS (Iterative Weighted Least Squares) Algorithmus. 6.4 Parameter-Schätzung Nichtlineare Optimierung Schätzung: Nichtlineare Optimierung Für γn = 0 können wir hoffen, dass wir das Maximum in dieser Richtung erreicht haben. Daraus ergibt sich als allgemeine Form der Iteration: θn+1 = θn + tnpnγn, wobei tn die Schrittlänge in der n-ten Iteration ist. Offenbar gibt es viele uphill Richtungen in dem Gebirge allgemeiner Zielfunktionen S, nämlich mindestens so viele wie positiv definite Matrizen. Da wir im Allg. nicht a-priori einschätzen können, welche Richtung optimal ist, werden in der Literatur viele verschiedene Richtungen vorgestellt. Eine mögliche Wahl für P ist das Negative der Hessematrix (Newton-Raphson-Methode). Allgemein wird die Hessematrix jedoch nicht negativ definit sein außerhalb einer kleinen Umgebung des Maximums. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Parameter-Schätzung 6.4 Schätzung: (Log)-Likelihood 6.4 Parameter-Schätzung Likelihood und Log-Likelihood-Funktion Die Schätzung des Parametervektors β erfolgt in der Regel mit Hilfe der Maximum-Likelihood-Methode (ML-Methode). Beim zugrunde liegenden Bernoulli-Experiment gilt: P(Y = y) = π y 1 (1 π1)1 y (9) 6.4 Parameter-Schätzung Nichtlineare Optimierung Schätzung: Nichtlineare Optimierung Einschub: Nichtlineare Optimierung: Wir verwenden ein iteratives Verfahren zur Maximierung einer nichtlinearen Zielfunktion S(θ). Gegeben sei ein Punkt θn im Koeffizientenraum. Dann suchen wir eine Richtung δ, in der S(θ) steigt (uphill). Dabei müssen wir allerdings einerseits darauf achten, dass wir in einer solchen Richtung nicht zu weit vorangehen, weil uns das u. U. über den Maximalpunkt in dieser Richtung hinausführt, d.h. wieder den Berg hinab (downhill). Andererseits wären zu kleine Schritte natürlich ineffizient. Mit anderen Worten, wir müssen eine angemessene Schrittlänge t und eine Schrittrichtung δ finden, so dass S(θn + tδ) > S(θn). (13) 6.4 Parameter-Schätzung Nichtlineare Optimierung Schätzung: Fisher-Scoring Fisher-Scoring Ausgehend von einem Startvektor ˆβ (0) wird die Iteration ˆβ (m) = ˆβ (m 1) + Q 1 m 1 sm 1 (15) mit m = 1, 2,... solange durchgeführt, bis sm 1 nahe genug am Nullvektor ist oder bis keine Veränderung mehr erfolgt. Dabei ist sm = ln L( ˆβ(m) ) β der Gradientenvektor (Score-Vektor) und (16) Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

3 6.4 Parameter-Schätzung Nichtlineare Optimierung Schätzung: Fisher-Scoring ( 2 ln L( Qm = E(Hm) = E ˆβ ) (m) ) β β (17) die Fisher-Informationsmatrix (gleich dem negativen Erwartungswert der Hesse-Matrix). Das Verfahren unterscheidet sich vom Newton-Raphson-Verfahren darin, dass anstelle der Hesse-Matrix deren Erwartungswert verwendet wird. Die Elemente des Score-Vektors ergeben sich für die angegebene Log-Likelihood-Funktion in Matrix-Schreibweise: sm = X (y ˆπm), wobei X := ((xij)), ˆπm := (πi1( ˆβ (m) )). (ohne Beweis, siehe Literatur). 6.5 Beispiel Beispiel für logistische Regression in R: Kann aus Blutdruck (systolisch + diastolisch) und Geschlecht auf Raucher vs. Nichtraucher geschlossen werden? Vermutlich nicht gut, aber es gibt interessante Einsichten... s <- sample(1:nrow(blutdruck), 1000) glmobj <- glm(raucher ~ messwert_bp_sys + messwert_bp_dia + geschlecht, data = Blutdruck[-s,], family = binomial) summary(glmobj) # Ausgabe auf nächster Folie hist(predict(glmobj, newdata = Blutdruck[s,], type = "response")) 6.6 Interpretation 6.6 Interpretation der logist. Regression 6.6 Interpretation Die Elemente des geschätzten Koeffizientenvektors ˆβ lassen sich direkt nur schlecht interpretieren. Stattdessen interpretiert man meistens exp(ˆβ), das äquivalent ist zum Odds Ratio. Definition: Das Odds Ratio für Wahrscheinlichkeiten p1, p2 ist definiert als: p1/(1 p1) p2/(1 p2). Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Parameter-Schätzung Nichtlineare Optimierung Schätzung: Fisher-Scoring Die Fisher-Informationsmatrix lässt sich schreiben als: mit Vm = Qm = n πi1( ˆβ (m) )(1 πi1( ˆβ (m) )) xi x i = X VmX (18) ˆπ (m) 11 (1 ˆπ(m) 11 ) (m) 0 ˆπ 21 (1 ˆπ(m) ) ˆπ (m) n1 (1 ˆπ(m) n1 ) (19) (ohne Beweis, siehe Literatur). 6.5 Beispiel Ausgabe: Call: glm(formula = raucher ~ messwert_bp_sys + messwert_bp_dia + geschlecht, family = binomial, data = Blutdruck) Coefficients: Estimate Std. Error z value Pr(> z ) < 2e-16 (Intercept) *** messwert_bp_sys e-09 *** messwert_bp_dia e-08 *** geschlechtm Signif. codes: *** ** 0.01 * (Dispersion parameter for binomial family taken to be 1) Number of Fisher Scoring iterations: Interpretation 6.6 Interpretation der logist. Regression Es gilt nämlich: ( ) P(Y = 1 Xi = 1; X1,..., Xi 1, Xi+1,..., Xp) exp(βi) = P(Y = 0 Xi = 1; X1,..., Xi 1, Xi+1,..., Xp) ( ). P(Y = 1 Xi = 0; X1,..., Xi 1, Xi+1,..., Xp) P(Y = 0 Xi = 0; X1,..., Xi 1, Xi+1,..., Xp) (In der R Ausgabe findet man den zugehörigen Test auf H0 : βi = 0 bzw. H0 : exp(β) = 1.) Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Beispiel 6.5 Beispiel Bemerkung: Die Matrix Q wird im Fisher-Scoring invertiert. Dazu muss gelten: 0 < ˆπ < 1. Eine perfekte Trennung der Klassen führt also zu Problemen. 6.5 Beispiel Wahrscheinlichkeit für Raucher bei 1000 Testfällen. Raucher können durch die benutzen Variablen nicht besonders sicher erklärt werden, denn die maximale Wahrscheinlichkeit ist knapp über 20%: Anzahl a posteriori Wahrscheinlichkeiten für Raucher a posteriori W. für Raucher Raucher: 2475 Nichtraucher: Bayes: Interpretation 6.6 Interpretation der logist. Regression Eine Koeffizientenschätzung von βi = 0 bedeutet also ein Odds Ratio von 1: Das Risiko für Klasse 1 gegen Klasse 0 ändert sich nicht mit Xi. Eine Koeffizientenschätzung von βi = 1 bedeutet also ein Odds Ratio von exp(1), das Risiko für Klasse 1 gegen Klasse 0 erhöht sich also mit der erklärenden Variablen um den entsprechenden Faktor. Eine Koeffizientenschätzung von βi = 1 bedeutet also ein Odds Ratio von exp( 1), das Risiko für Klasse 1 gegen Klasse 0 verringert sich also mit der erklärenden Variablen um den entsprechenden Faktor. Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

4 > hist(pimaindiansdiabetes$mass, main = "") > hist(pimaindiansdiabetes$glucose, main = "") > plot( ~ glucose, data = pid) Es folgt eine kleine Fallstudie in R. Daten aus dem UCI repository of machine learning databases. Eine Gesamtheit von mindestens 21 Jahre alten Frauen des Pima Indianerstamms, die bei Phoenix, Arizona, USA leben und gemäß WHO Kriterien auf Diabetes getestet wurden. n = 768 Beobachtungen Frequency PimaIndiansDiabetes$mass Frequency PimaIndiansDiabetes$glucose glucose Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Variable Beschreibung pregnant Anz. Schwangerschaften glucose Glukose Konzentration laut oralem Glukose-Toleranz Test pressure Blutdruck (mm Hg) triceps Triceps Hautfaltendicke (mm) insulin Insulin im Serum (µ U/ml) mass BMI (kg/m 2 ) pedigree Diabetes Vererbungs Index age Alter (in Jahren) Diabetestest > plot( ~ glucose, data = PimaIndiansDiabetes) > plot( ~ pregnant, data = pid) glucose pregnant Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester > data("pimaindiansdiabetes", package = "mlbench") > summary(pimaindiansdiabetes) pregnant glucose pressure triceps Min. : Min. : Min. : 0.0 Min. : st Qu.: st Qu.: st Qu.: st Qu.: 0.00 Median : Median :117.0 Median : 72.0 Median :23.00 Mean : Mean :120.9 Mean : 69.1 Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.:32.00 Max. : Max. :199.0 Max. :122.0 Max. :99.00 insulin mass pedigree age Min. : : Min. : :21.00 neg: Min Min. 1st Qu.: 0.0 1st Qu.: st Qu.: st Qu.:24.00 pos:268 Median : 30.5 Median :32.00 Median : Median :29.00 Mean : 79.8 Mean :31.99 Mean : Mean : rd Qu.: rd Qu.: rd Qu.: rd Qu.:41.00 Max. :846.0 Max. :67.10 Max. : Max. :81.00 Viele Messungen sind so nicht möglich und sollten auf fehlend gesetzt werden. Nach Wahba et al. (1995) ignorieren wir fortan insulin and die 0 Beobachtungen in mass und glucose. > pid <- subset(pimaindiansdiabetes[, -5], + mass > 0 & glucose > 0) > dim(pid) [1] > plot( ~ pressure, data = pid) pressure Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

5 > plot( ~ triceps, data = pid) > plot( ~ age, data = pid) > summary(pid_glm) Estimate Std. Error z value Pr(> z ) (Intercept) < 2.2e-16 *** pregnant ** glucose < 2.2e-16 *** pressure triceps mass e-06 *** pedigree * age Signif. codes: 0 *** ** 0.01 * triceps age Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester > plot( ~ mass, data = pid) mass Für die Modellevaluation nehmen wir hier zunächst einen ganz einfachen, groben Ansatz: Wir teilen die Daten in einen Lerndatensatz mit 500 Beobachtungen (etwa 2/3) und einen Testdatensatz mit 252 Beobachtungen, um hinterher zu evaluieren. > set.seed( ) > pid_index <- sample(1:nrow(pid)) > pid_learn <- pid[pid_index[1:500], ] > pid_test <- pid[pid_index[-(1:500)], ] > pred_true <- pid_test$ > pid_test <- pid_test[, -8] Später werden noch ausgefeiltere Methoden zur Evaluation vorgestellt. > pid_glm <- step(pid_glm) > summary(pid_glm) Estimate Std. Error z value Pr(> z ) (Intercept) < 2.2e-16 *** pregnant e-05 *** glucose < 2.2e-16 *** pressure mass e-07 *** pedigree * --- Signif. codes: 0 *** ** 0.01 * Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester > plot( ~ pedigree, data = pid) Als Startmodell nehmen wir eben eine logistische Regression (also Binomialfamilie mit Logit link Funktion) uns alle zur Verfügung stehende Variablen als erlkärende Haupteffekte: Zur Beurteilung der Anpassungsgüte können wir die angepassten Werte (fitted()) mit den beobachteten y vergleichen. > pid_glm <- glm( ~., data = pid_learn, + family = binomial) Dieses Modell wollen wir nun schrittweise per Modellselektion nach dem AIC Kriterium verbessern. Weil das auf den Originalbeobachtungen aber zu optimistisch sein wird, sollte man auch die vorhergesagten (predict()) Werte des Testdatensatzes anschauen pedigree Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester

6 > plot(fitted(pid_glm) ~, data = pid_learn) fitted(pid_glm) Ausserdem kann man die beobachteten Klassen mit vorhergesagten Wahrscheinlichkeiten vergleichen, indem man von den Wahrscheinlichkeiten zur Klassifikation übergeht: > pred_glm <- factor(pred_glm > 0.5, + labels = c("neg", "pos")) > (tab <- table(true = pred_true, pred = pred_glm)) pred true neg pos > 1 - sum(diag(tab))/sum(tab) 6.8 Literatur 6.8 Literatur Logistische Regression Anderson, J.A. (1982): Logistic Discrimination. In: P.R. Krishnaiah und L.N. Kanal (Hrsg.): Handbook of Statistics, Volume 2. North Holland Publishing Company, Amsterdam. Fahrmeir, L. und Hamerle, A. (1983): Multivariate statistische Verfahren. de Gruyter, Berlin. Tutz, G. (2000): Die Analyse kategorialer Daten. Oldenbourg Verlag, München. neg pos [1] Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester > pred_glm <- predict(pid_glm, newdata = pid_test, + type = "response") > plot(pred_glm ~ pred_true) pred_glm neg pos pred_true Katharina Morik und Uwe Ligges: Wissensentdeckung in Datenbanken Sommersemester