9 Diskriminanzanalyse

Transkript

1 9 Diskriminanzanalyse 9.1 Problemstellung Ziel einer Diskriminanzanalyse: Bereits bekannte Objektgruppen (Klassen/Cluster) anhand ihrer Merkmale charakterisieren und unterscheiden sowie neue Objekte in die Klassen einordnen. Nötig: Lernstichprobe von Objekten mit bekannter Klassenzugehörigkeit, um Abgrenzung der verschiedenen Gruppen anhand der beobachteten Merkmale zu lernen. Die Diskriminanzanalyse fällt unter die so genannten Klassifikations- oder auch Mustererkennungsmethoden (engl. pattern recognition). Cluster 1 Cluster 2 Cluster 1 Cluster 2 neue Beobachtung neue Beobachtung zu Cluster 2 Cluster 3 Cluster 3 Beispiel 9.1 : Kreditscoring Die Vergabe von Krediten hängt von der Bereitschaft und Fähigkeit der Kunden ab, die anfallenden Zins- und Tilgungsraten zu bezahlen. Banken stufen potenzielle Kunden vor Kreditvergabe entweder als problemlos oder als Problemfall ein. Problemfälle werden genauer geprüft und der Kredit ggf. abgelehnt. Die Einstufung erfolgt auf Basis von charakterisierenden Merkmalen der Kunden hinsichtlich ihrer persönlichen, wirtschaftlichen und rechtlichen Situation. Weitere Beispiele: Unterscheidung zwischen - Käufern und Nicht-Käufern eines neuen Produktes - Texten verschiedener Autoren 136

2 Definition 9.2 : Modell der Diskriminanzanalyse Eine Grundgesamtheit Ω bestehe aus mehreren Klassen (Gruppen) C 1,..., C k, so dass jedes Element (Objekt) ω Ω zu genau einer Gruppe gehört. Für die Zerlegung C 1,..., C k von Ω gelte also C i C j = für i = j und k j=1 C j = Ω. Ziel ist es, für ein Objekt ω Ω mit unbekannter Klassenzugehörigkeit anhand eines beobachteten Merkmalsvektors x die zugehörige Klasse C j zu ermitteln. Bemerkung 9.3 : Lernstichprobe In der Diskriminanzanalyse werden in der Regel nicht die Klassen selbst, sondern nur bestimmte Merkmale der Objekte beobachtet, anhand derer die Klassenzugehörigkeit festzustellen ist. Um typische Werte der Merkmale für die verschiedenen Klassen zu ermitteln, steht eine Lernstichprobe von Objekten zur Verfügung, für welche die Merkmalsausprägungen und die Klassenzugehörigkeit bekannt sind. Lernstichprobe: (x 1, y 1),...,(x n, y n) mit y i = j Objekt i gehört zu Klasse C j, i = 1,..., n, die ZVe Y gebe also die Klassenzugehörigkeit an. Beispiel 9.4 : Kredite (Fortsetzung Beispiel 9.1) Eine süddeutsche Großbank benutzt zur Einschätzung des Kreditrisikos ihrer Kunden eine Lernstichprobe von 1000 ehemaligen Kreditnehmern. 300 dieser ehemaligen Kunden zahlten den Kredit nicht vereinbarungsgemäß zurück. Es wurden folgende Merkmale erfasst: Kredit zurückgezahlt (ja; nein) bestehendes laufendes Konto bei der Bank (nein; ja - aber im Minus; ja - mit geringem Betrag; ja - als Gehaltskonto in beträchtlicher Höhe) Laufzeit des Kredits (in halben Jahren, bis zu 5 Jahren) bisherige Zahlungsmoral (von schlecht bis sehr gut) Verwendungszweck des Kredits (PKW; Möbel; Radio/Fernsehen; Haushalt; Reparaturen; Ausbildung; Urlaub; Umschulung; Betrieb; Sonstiges) Darlehenshöhe (in insgesamt 10 Kategorien von < 500 bis > Euro) Sparkonto oder Wertpapiere vorhanden (nach Anlagehöhen gestaffelt) Dauer der Beschäftigung bei derzeitigem Arbeitgeber 137

3 Ratenhöhe in % des verfügbaren Einkommens Familienstand und Geschlecht weitere Schuldner / Bürgen beteiligt in der jetzigen Wohnung seit... Jahren Vermögen vorhanden (Haus- und Grundbesitz; Bausparvertrag, Lebensversicherung; PKW, Sonstiges; keins) Alter (in Altersklassen) weitere Ratenkredite anderswo (andere Bank; Kauf-/Versandhaus; keine) Art der Wohnung (Miete; Eigentum; kostenlos überlassen) Anzahl bisheriger Ratenkredite einschl. des laufenden Beruf (nicht beschäftigt, ungelernt nicht sesshaft; ungelernt sesshaft; Facharbeiter, gelernte Angestellte, Beamte bis mittlerer Dienst; Führungskraft, selbstständig, Beamter höherer Dienst) Anzahl unterhaltsberechtigter Personen, die zu versorgen sind Telefon (nein; ja, unter dem Namen des Kunden) Gastarbeiter (ja; nein) Aus den Charakteristika der Kunden in der Lernstichprobe und der Kenntnis über die Rückzahlung ihrer Kredite werden Regeln abgeleitet, nach denen künftige potenzielle Kunden als unproblematisch oder als Risikofall eingestuft werden. Eine Regel, nach der Objekte zu den einzelnen Klassen zugeordnet werden, basiert auf einer so genannten Diskriminanzfunktion. Definition 9.5 : Diskriminanzfunktion, Diskriminanzregel Betrachtet wird ein Modell der Diskriminanzanalyse wie in Definition 9.2. Zu einem Objekt ω werde ein Merkmalsvektor x beobachtet. Eine Funktion D, die dem Beobachtungsvektor x für jede Gruppe C i der Grundgesamtheit einen charakterisierenden Wert D(x, C i ) zuordnet, heißt Diskriminanzfunktion. Eine Regel, die anhand von D(x, C 1 ),..., D(x, C k ) entscheidet, welcher Gruppe C i das Objekt ω zugeordnet wird, heißt Diskriminanzregel. Nachfolgend meist Betrachtung metrisch skalierter stetiger Merkmale. 138

4 9.2 Lineare Diskriminanzanalyse nach Fisher Bemerkung 9.6 : Idee der Diskriminanzregel bei nur einem Merkmal Die Grundgesamtheit Ω zerfalle in die Klassen C 1 und C 2. Pro Objekt werde ein eindimensionales Merkmal X beobachtet. Die Lernstichprobe enthalte n 1 Objekte aus C 1 und n 2 Objekte aus C 2 : x 1,..., x n } = x C 1 1,..., xc 1 n 1 } x C 2 1,..., xc 2 n 2 }, n = n 1 + n 2. Schätzung der Häufigkeitsverteilungen des Merkmals X in den beiden Klassen durch Histogramme der relativen Häufigkeiten. Geglättete Darstellung: C 2 C 1 x C 2 x C 1 x C j : arithmetisches Mittel der Beobachtungen aus Klasse C j in Lernstichprobe. Aus Abbildung: größere Werte von X sprechen tendenziell für das Vorliegen von Klasse 1, während kleinere Werte von X für Klasse 2 sprechen. Nötig: Trennpunkt t zwischen großen und kleinen Werten, vgl. senkrechten Trennstrich in Abb. Der Trennpunkt kann als Mitte zwischen den Gruppenmittelwerten der Lernstichprobe festgelegt werden, t = xc 1+x C 2 2. Für neue Beobachtung x würde man bei der vorliegenden Lernstichprobe entscheiden, dass x aus C 1 (C 2 ) stammt, wenn x > t (x < t) (x = t hat für stetige Merkmale Wahrscheinlichkeit Null und ist vernachlässigbar). Formulierung einer Diskriminanzfunktion: D(x, C 1 ) = 1, x > t 0, x < t, D(x, C 2) = 0, x > t 1, x < t. Diskriminanzregel: ordne Beobachtung x der Klasse C i mit D(x, C i ) = 1 zu. Alternativ kann die Regel auch über D(x, C i ) = x x C i formuliert werden. 139

5 Die Wahl des Trennpunkts in Bem. 9.6 unterstellt implizit, dass das Merkmal X in beiden Gruppen dieselbe Varianz besitzt. Ein Merkmal alleine führt selten zu guten Trennungen zwischen den Gruppen: Suche bessere Unterscheidung anhand mehrerer Merkmale. Bei Vorliegen eines zweidimensionalen Merkmalsvektors X = (X 1, X 2 ) pro Objekt ist es sinnvoll, X 1 und X 2 nicht einzeln zu betrachten, sondern eine Kombination aus beiden zur Trennung der Gruppen zu verwenden. Bemerkung 9.7 : Diskriminanzregel bei zwei Gruppen und zwei Merkmalen Bei zweidimensionalem Merkmal X kann man die Häufigkeitsverteilungen in den Klassen über die Dichtekonturlinien der zugehörigen Verteilungen visualisieren. Die Trennung zwischen den beiden Gruppen erfolgt dann nicht mit einem Trennpunkt, sondern mit einer Trenngeraden: C 2 C 1 Implizite Annahme hierbei: In allen Klassen j = 1,..., k gilt X (µ j, Σ) mit der gleichen elliptischen Verteilung in allen Klassen bis auf Lageunterschiede. Ohne diese Annahme ist die lineare Diskriminanzanalyse zwar anwendbar, liefert aber keine besonders guten Ergebnisse. 140

6 Lineare Diskriminanzfunktion nach Fisher durch Verallgemeinerung des in Bem. 9.7 beschriebenen Ansatzes auf p-dim. Merkmal X pro Objekt: X wird so in eine Linearkombination Z = a 1 X a p X p = a X transformiert, dass Z die zwei Gruppen möglichst gut trennt. Die Koeffizienten a i werden durch ein Maximierungsproblem bestimmt. Bemerkung 9.8 : Lineare Diskriminanzanalyse nach Fisher Grundgesamtheit Ω zerfalle in zwei Klassen C 1 und C 2. Pro Objekt werde p-dim. Merkmal X = (X 1,..., X p ) beobachtet mit metrisch skalierten stetigen Variablen X 1,..., X p. Die Lernstichprobe enthalte n 1 Objekte aus C 1 und n 2 Objekte aus C 2 : mit x C j i = x 1,..., x n } = x C 1 1,..., xc 1 n 1 } x C 2 1,..., xc 2 n 2 } ( x C j i,1,..., xc j i,p), n = n1 + n 2. Zur Trennung zwischen C 1 und C 2 bestimmt man Koeffizientenvektor a = (a 1,..., a p ) so, dass für die projizierten Werte z i = a x i, i = 1,..., n} ( z C 1 z C 2 ) 2 s 2 z = [ a (x C 1 x C 2 ) ] 2 a S x a maximiert wird, mit z C j arithmetisches Mittel der z-werte aus C j, und s 2 z Maß der Variabilität aller z-werte, s 2 z = n 1[ n 1 i=1 (z 1,i z C 1 ) 2 + n 2 i=1 (z 2,i z C 2 ) 2]. Lösung: a = S 1 x (x C 1 x C 2) Einordnung eines neu hinzukommenden Objekts mit Beobachtungsvektor x: Diskriminanzfunktion: 1, a x > a xc 1 + x C 2 D(x, C 1 ) = 2 0, a x < a xc 1 + x C 2 2, D(x, C 2 ) = 0, a x > t 1, a x < t. Trennpunkt: t = zc 1 + z C 2 2 Diskriminanzregel: Ordne ω mit Beobachtung x der Klasse C j zu, für die D(x, C j ) = 1 ist. 141

7 Verallgemeinerung auf k Klassen: Gesamte Abweichungsquadrate: n i=1 (z i z) 2 = Z HZ = a X HX a mit H = I n n 1 1 n 1 n Abweichungsquadrate innerhalb der Gruppen: k n j j=1 i=1 (z C j i z C j ) 2 = k a X jh j X j a =: a Wa j=1 mitx j Datenmatrix für Gruppe j,h j = I nj n 1 1 nj 1 n j und W = k j=1x j H jx j. Abweichungsquadrate zwischen den Gruppen: k n j (z C j z) 2 = j=1 k n j a (x C j x) } 2 =: a Ba j=1 mit B = k j=1 n j (x C j x)(x C j x). Maximiere nun den Quotienten a Ba a Wa Lösungsvektor a: Eigenvektor zum größten Eigenwert von W 1 B. Gruppiere sodann x in die Klasse j mit j = arg min i a (x x C i). Koeffizienten a i der Diskriminanzfunktion geben Auskunft darüber, welche Variablen wie stark zur Trennung der Gruppen beitragen. Damit die Koeffizienten direkt vergleichbar sind, müssen sie geeignet standardisiert werden. Die Lineare Diskriminanzfunktion stellt die einfachste Struktur zur Trennung von Gruppen dar (zweidimensional: Geraden, dreidimensional: Ebenen, höherdimensional: Hyperebenen als trennende Mengen). Andere Trennfunktionen sind denkbar: Die Annahme unterschiedlicher Kovarianzmatrizen in den verschiedenen Gruppen führt zu quadratischen Trennfunktionen und damit zur so genannten quadratischen Diskriminanzanalyse (QDA). 142

8 Beispiel 9.9 : Fisher (1936): The use of multiple measurements in taxonomic problems, Ann. Eugen. 7, Unterscheidung der Irisarten iris setosa (C 1 ) und iris versicolor (C 2 ) anhand von Länge und Breite des Kelchblattes (p = 2) Lernstichprobe mit n 1 = n 2 = 50 Pflanzen jeder Art. x C 1 = (5.006, 3.428) x C 2 = (5.936, 2.770) S x = 1 98 (49 S S 2 ) [( ) ( = ( ) = ( ) S x = a = ( , ) )] Resultierende Diskriminanzregel: Neue Iris mit Merkmalsvektor x = (x 1, x 2 ) in Gruppe iris setosa (C 1 ) einordnen, falls x x 2 > Bei k = 3 mit dritter Irisart iris virginica, n 3 = 50: x C 3 = (6.588, 2.974) S = (49 S S S 3 ) ( ) ( W =, B = a = (1, 1.293) ) Diskriminanzregel: Vergleich von a x , a x und a x führt zu R 1 = x : a x < }, R 2 = x : < a x < }, R 3 = x : < a x} 143

9 9.3 Maximum Likelihood und Bayes Regeln Sei im Folgenden: f j (x) = f(x Y = j) Dichte von X unter Y = j, j = 1,..., k. Ŷ Vorhersage von Y aus der erlernten Diskriminanzregel. R j R p Menge aller x, die Klasse C j zugeordnet werden, j = 1,..., k. Maximum Likelihood Diskriminanzregel: R j = x : f j (x) > f i (x), i = 1,..., k, i = j} Diese unterstellt implizit gleiche a-priori Wahrscheinlichkeiten für alle Klassen und gleiche Kosten aller möglichen Fehlklassifikationen, also gleiche Relevanz aller Gruppen. Verallgemeinerung: p j = P(Y = j) a-priori Ws keit von C j, j = 1,..., k, mit p p k = 1. Kosten von Fehlklassifikationen bei k = 2 Klassen y ŷ c(ŷ = 2 Y = 1) 2 c(ŷ = 1 Y = 2) 0 Kriterium: Minimiere erwartete gesamte Kosten 144

10 Erwartete gesamte Kosten (Expected Costs of Misclassification, ECM): ECM = c(ŷ = 2 Y = 1)P(Ŷ = 2 Y = 1)P(Y = 1) +c(ŷ = 1 Y = 2)P(Ŷ = 1 Y = 2)P(Y = 2) P(Ŷ = 2 Y = 1) = P(X R 2 Y = 1) = f 1 (x)dx R 2 P(Ŷ = 1 Y = 2) = P(X R 1 Y = 2) = f 2 (x)dx R 1 c(ŷ = 1 Y = 2) R 1 : f 1 (x)p(y = 1) c(ŷ = 2 Y = 1) f 2(x)P(Y = 2) R 2 : f 1 (x)p(y = 1) < Spezialfälle: c(ŷ = 1 Y = 2) c(ŷ = 2 Y = 1) f 2(x)P(Y = 2) Gesamte Wahrscheinlichkeit von Fehlklassifikationen: Hier c(ŷ = 2 Y = 1) = c(ŷ = 1 Y = 2) = 1: Maximum Likelihood Regel: R 1 : f 1 (x)p(y = 1) f 2 (x)p(y = 2) R 2 : f 1 (x)p(y = 1) < f 2 (x)p(y = 2) Hier P(Y = 1) = P(Y = 2) und c(ŷ = 1 Y = 2) = c(ŷ = 2 Y = 1): R 1 : f 1 (x) f 2 (x) R 2 : f 1 (x) < f 2 (x) 145

11 Entstehende Regeln unter Normalverteilungsannahmen Fall zweier Gruppen mit gleichen Kovarianzmatrizen, X Y = j} N(µ j, Σ), j = 1, 2: f j (x) = (2π) p/2 Σ 1/2 exp 1 } 2 (x µ j ) Σ 1 (x µ j ), j = 1, 2 (2π) p/2 Σ 1/2 exp 1 } f 1 (x) 2 (x µ 1 ) Σ 1 (x µ 1 ) = f 2 (x) (2π) p/2 Σ 1/2 exp 1 } 2 (x µ 2 ) Σ 1 (x µ 2 ) = exp 1 2 (x µ 1 ) Σ 1 (x µ 1 )+ 1 } 2 (x µ 2 ) Σ 1 (x µ 2 ) = exp (µ 1 µ 2 ) Σ 1 x 1 } 2 (µ 1 µ 2 ) Σ 1 (µ 1 + µ 2 ) [ = exp (µ 1 µ 2 ) Σ 1 x 1 ]} 2 (µ 1 + µ 2 ) Klassifikationsregel: R 1 : (µ 1 µ 2 ) Σ [x 1 1 ] 2 (µ 1 + µ 2 ) ln [ c(ŷ = 1 Y = 2) c(ŷ = 2 Y = 1) ] P(Y = 2) P(Y = 1) Für P(Y = 1) = P(Y = 2) und c(ŷ = 1 Y = 2) = c(ŷ = 2 Y = 1): R 1 : (µ 1 µ 2 ) Σ [x 1 1 ] 2 (µ 1 + µ 2 ) 0 [ ] 1 (µ 1 µ 2 ) Σ 1 x (µ 1 µ 2 ) Σ 1 2 (µ 1 + µ 2 ) Maximum Likelihood Ansatz führt unter Annahme multivariater Normalverteilung von X mit gleichen Kovarianzmatrizen zur linearen Diskriminanzanalyse von Fisher (LDA). Vorige Herleitung über Projektionen benötigt keine Verteilungsannahmen, man kann von der LDA daher auch ohne Normalverteilung gute Ergebnisse erhoffen. Gleichwertig über Betrachtung der Mahalanobisabstände: (x µ 1 ) Σ 1 (x µ 1 )? (x µ 2 ) Σ 1 (x µ 2 ) 146

12 Verallgemeinerungen: ML-Diskriminanzregel bei k normalverteilten Gruppen mit gleicher Kovarianzmatrix: R j : (x µ j ) Σ 1 (x µ j ) = min i=1,...,k (x µ i ) Σ 1 (x µ i ) Quadratische Diskriminanzanalyse (QDA): Fall zweier Normalverteilungen mit verschiedenen Kovarianzmatrizen, X Y = j} N(µ j, Σ j ), j = 1, 2: f j (x) = (2π) p/2 Σ j 1/2 exp 1 } 2 (x µ j ) Σ 1 j (x µ j ) (2π) p/2 Σ f 1 (x) 1 1/2 exp 1 } 2 (x µ 1 ) Σ 1 1 (x µ 1 ) = f 2 (x) (2π) p/2 Σ 2 1/2 exp 1 } 2 (x µ 2 ) Σ2 1(x µ 2 ) = exp 1 } 2 x (Σ 1 1 Σ2 1)x+(µ 1 Σ 1 1 µ 2 Σ 1 2 )x Σ 1 1/2 exp 1 } 1/2 Σ 2 2 (µ 1Σ 1 1 µ 1 µ 2Σ 2 1 µ 2 ) } R 1 : x R p f 1 (x) c(ŷ = 1 Y = 2) P(Y = 2) : f 2 (x) c(ŷ = 2 Y = 1) P(Y = 1) oder über ( ) f1 (x) ln f 2 (x) = 0.5x (Σ 1 1 Σ 1 2 )x+(µ 1 Σ 1 1 µ 2 Σ 1 2 )x+ ln(c) 147

13 Bemerkung 9.10 : Bewertung der Klassifikationsgüte Gütekriterien für die durch die Diskriminanzregel erreichten Trennung: 1. Analytische Berechnung der Fehlklassifikationsraten: Für ML Regel bei zwei Klassen mit X Y = j} N(µ j, Σ) Wegen a [X 1 2 (µ 1 + µ 2 )] Y = 2} N( 0.5δ 2, δ 2 ) mit δ 2 = (µ 1 µ 2 ) Σ 1 (µ 1 µ 2 ): [ P(Ŷ = 1 Y = 2) = P (a X 1 ] 2 (µ 1 + µ 2 ) ) > 0 Y = 2 = 1 Φ(0.5δ 2 /δ) = Φ( 0.5δ) = P(Ŷ = 2 Y = 1), was aus den Daten geschätzt werden kann. Hierbei verläßt man sich jedoch auf die Normalverteilungsannahme. 2. In sample Fehlklassifikationsraten (apparent error rate): Wende Diskriminanzregel auf die Objekte in der Lernstichprobe an und bestimme die Anzahl der Falschklassifikationen. Die entstehenden Fehlklassifikationsraten geben einen ersten Hinweis auf die Trennungsgüte, sind aber zu optimistisch. 3. Out of sample Fehlklassifikationsraten: Bei vielen Beobachtungen mit bekannter Klassenzugehörigkeit kann die Menge dieser Objekte in eine Lern- und eine Validierungsstichprobe unterteilt werden. Die Diskriminanzregel wird anhand der Lernstichprobe und die Fehlklassifikationsraten anhand der Validierungsstichprobe ermittelt. 4. Kreuzvalidierung (cross validation, leave one out): Unter Auslassung einer Beobachtung aus dem Datensatz wird die Diskriminanzfunktion auf Basis der restlichen n 1 Beobachtungen bestimmt und die ausgelassene Beobachtung mit dieser Diskriminanzfunktion klassifiziert. Dies wird sukzessive für alle Beobachtungen durchgeführt und die Fehlklassifikationsraten als Gütekriterium berechnet. Ziel der Diskriminanzanalyse: möglichst gute Trennung der Klassen anhand der beobachteten Merkmale. Eine Diskriminanzregel sollte daher eine bessere Zuordnung zu den Klassen vornehmen als reiner Zufall: 148

14 Bemerkung 9.11 : Test gegen zufällige Zuordnung für LDA Im Modell der Diskriminanzanalyse gemäß Definitionen 9.2 und 9.5 werde unterstellt, dass die multivariate Variable X einer p-dimensionalen Normalverteilung folgt. Dann ist ein Test für das Problem H 0 : keine der betrachteten Variablen verbessert die Klassifikation im Vergleich zu einer zufallsbasierten Zuordnung vs. H 1 : mindestens eine Variable verbessert die Klassifikation gegeben durch folgende Entscheidungsregel: H 0 wird zum Niveau α verworfen, wenn mit n = n 1 + n 2 gilt n p 1 n1 ( n 2 z C 1 z ) C 2 2 > F p n n s 2 p,n p 1;1 α. z Hierbei (vgl. Bem. 9.8): n 1, n 2 Stichprobenumfänge zu den Gruppen C 1 und C 2 z C j arithmetisches Mittel der z-werte zu Objekten aus C j, und s 2 z Maß der Variabilität der gesamten z-werte, s 2 z = n 1 ( n 1 i=1 (zc 1 i z C 1 ) 2 + n 2 i=1 (zc 2 i z C 2 ) 2 ). Dies entspricht F-Test im Varianzanalysemodell der einfachen Varianzanalyse (H 0 : Die Mittelwerte der p Variablen sind in beiden Gruppen gleich). Bemerkung 9.12 a) Variablenselektion: Vergleichbar zur Regressionsanalyse werden die Variablen nicht alle in einem Schritt zur Klassifikation herangezogen, sondern sukzessive aufgenommen oder entfernt, wobei jedesmal getestet wird, ob die Hinzunahme / Entfernung die Klassifikation verbessert. Dies erlaubt die Identifikation nutzloser Variablen, die für neue Objekte nicht mehr erhoben werden müssen. b) Andere Verteilungsarten: Bei nicht elliptischen Verteilungen können andere Klassifikationsverfahren weit bessere Ergebnisse liefern. Ein einfaches Verfahren ist das der k nächsten Nachbarn, bei dem man eine Beobachtung in die Klasse gruppiert, die unter den k nächsten Nachbarn am häufigsten vorkommt. k ist hierbei ein geeignet festzulegender Tuningparameter. c) Andere Variablentypen: Falls die beobachteten Merkmale nur ordinale oder nominale Skalierung besitzen, gibt es Verfahren der Diskriminanzanalyse, die auf entsprechenden Modellannahmen beruhen. Man verwendet hierzu ein so genanntes Multinomialmodell. 149