9 Diskriminanzanalyse

Transkript

1 9 Dskrmnanzanalyse Zel ener Dskrmnanzanalyse: Berets bekannte Objektgruppen (Klassen/Cluster) anhand hrer Merkmale charakterseren und unterscheden sowe neue Objekte n de Klassen enordnen. Nötg: Lernstchprobe von Objekten mt bekannter Klassenzugehörgket, um Abgrenzung der verschedenen Gruppen anhand der beobachteten Merkmale zu lernen. De Dskrmnanzanalyse fällt unter de so genannten Klassfkatons- oder auch Mustererkennungsmethoden (engl. pattern recognton). Cluster 1 Cluster 2 Cluster 1 Cluster 2 neue Beobachtung neue Beobachtung zu Cluster 2 Cluster 3 Cluster 3 Bespel 9.1. Kredtscorng De Vergabe von Kredten hängt von der Beretschaft und Fähgket der Kunden ab, de anfallenden Zns- und Tlgungsraten zu bezahlen. Banken stufen potenzelle Kunden vor Kredtvergabe entweder als problemlos oder als Problemfall en. Problemfälle werden genauer geprüft und der Kredt ggf. abgelehnt. De Enstufung erfolgt auf Bass von charakterserenden Merkmalen der Kunden hnschtlch hrer persönlchen, wrtschaftlchen und rechtlchen Stuaton. 154

2 Wetere Bespele: Unterschedung von handgeschrebenen Zffern (Postletzahlen), Käufern und Ncht-Käufern enes neuen Produktes, Texte verschedener Autoren, und natürlch echten und falschen Schwezer Banknoten. Defnton 9.2. Modell der Dskrmnanzanalyse Vorlesung Ene Grundgesamthet Ω bestehe aus mehreren Klassen (Gruppen) C 1,..., C k, so dass jedes Element (Objekt) ω Ω zu genau ener Gruppe gehört. Für de Zerlegung C 1,..., C k von Ω gelte also C C j = für = j und k j=1 C j = Ω. Zel st es, für en Objekt ω Ω mt unbekannter Klassenzugehörgket anhand enes beobachteten Merkmalsvektors x de zugehörge Klasse C j zu ermtteln. Bemerkung 9.3. (Lernstchprobe) In der Dskrmnanzanalyse werden n der Regel ncht de Klassen selbst, sondern nur bestmmte Merkmale der Objekte beobachtet, anhand derer de Klassenzugehörgket festzustellen st. Um typsche Werte der Merkmale für de verschedenen Klassen zu ermtteln, steht ene Lernstchprobe von Objekten zur Verfügung, für welche de Merkmalsausprägungen und de Klassenzugehörgket bekannt snd. Lernstchprobe: (x 1, y 1),..., (x n, y n ) mt y = j Objekt gehört zu Klasse C j, = 1,..., n, de ZVe Y gebe de Klassenzugehörgket an. 155

3 Bespel 9.4. Kredte (Fortsetzung Bespel 9.1) Ene süddeutsche Großbank benutzt zur Enschätzung des Kredtrskos hrer Kunden ene Lernstchprobe von 1000 ehemalgen Kredtnehmern. 300 deser ehemalgen Kunden zahlten den Kredt ncht verenbarungsgemäß zurück. Es wurden folgende Merkmale erfasst: Kredt zurückgezahlt (ja; nen) bestehendes laufendes Konto be der Bank (nen; ja, aber m Mnus; ja, mt gerngem Betrag; ja, als Gehaltskonto oder n beträchtlcher Höhe) Laufzet des Kredts (n halben Jahren, bs zu 5 Jahren) bsherge Zahlungsmoral (von schlecht bs sehr gut) Verwendungszweck des Kredts (PKW; Möbel; Rado/Fernsehen; Haushalt; Reparaturen; Ausbldung; Urlaub; Umschulung; Betreb; Sonstges) Darlehenshöhe (n nsgesamt 10 Kategoren von < 500 bs > DM) Sparkonto oder Wertpapere vorhanden (nach Anlagehöhen gestaffelt) Dauer der Beschäftgung be derzetgem Arbetgeber Ratenhöhe n % des verfügbaren Enkommens Famlenstand und Geschlecht wetere Schuldner / Bürgen betelgt n der jetzgen Wohnung set... Jahren Vermögen vorhanden (Haus- und Grundbestz; Bausparvertrag, Lebensverscherung; PKW, Sonstges; kens) Alter (n Altersklassen) wetere Ratenkredte anderswo (andere Bank; Kauf-/Versandhaus; kene) Art der Wohnung (Mete; Egentum; kostenlos überlassen) Anzahl bsherger Ratenkredte enschl. des laufenden 156

4 Beruf (ncht beschäftgt, ungelernt ncht sesshaft; ungelernt sesshaft; Facharbeter, gelernte Angestellte, Beamte bs mttlerer Denst; Führungskraft, selbstständg, Beamter höherer Denst) Anzahl unterhaltsberechtgter Personen, de zu versorgen snd Telefon (nen; ja, unter dem Namen des Kunden) Gastarbeter (ja; nen) Aus den Charakterstka der Kunden n der Lernstchprobe und der Kenntns über de Rückzahlung hrer Kredte wurden Regeln abgeletet, nach denen künftge potenzelle Kunden als unproblematsch oder als Rskofall engestuft werden. Ene Regel, nach der Objekte zu den enzelnen Klassen zugeordnet werden, basert auf ener so genannten Dskrmnanzfunkton. Defnton 9.5. (Dskrmnanzfunkton, Dskrmnanzregel) Betrachtet wrd en Modell der Dskrmnanzanalyse we n Defnton 9.2. Zu enem Objekt ω werde en Merkmalsvektor x beobachtet. Ene Funkton D, de dem Beobachtungsvektor x für jede Gruppe C der Grundgesamthet enen charakterserenden Wert D(x, C ) zuordnet, heßt Dskrmnanzfunkton. Ene Regel, de anhand von D(x, C 1 ),..., D(x, C k ) entschedet, welcher Gruppe C das Objekt ω zugeordnet wrd, heßt Dskrmnanzregel. Nachfolgend mest Betrachtung metrsch skalerter stetger Merkmale. 157

5 9.1 Lneare Dskrmnanzanalyse nach Fsher Idee ener Dskrmnanzregel be nur enem Merkmal und zwe Klassen De Grundgesamthet Ω zerfalle n de Klassen C 1 und C 2. Pro Objekt werde en endmensonales Merkmal X beobachtet. De Lernstchprobe enthalte n 1 Objekte aus C 1 und n 2 Objekte aus C 2 : {x 1,..., x n } = {y 1,..., y n1 } {z 1,..., z n2 }, n = n 1 + n 2, y = x C 1, z = x C 2 : arthmetsche Mttel der Klassen C 1 bzw. C 2. Schätzung der Häufgketsvertelungen des Merkmals X n den beden Klassen, (z. B. durch geglättete Hstogramme oder Anpassen von Normalvertelungen): C 2 C 1 x C 2 x C 1 Größere Werte von X sprechen tendenzell für de Zugehörgket zu C 1, während klenere Werte von X für Klasse C 2 sprechen. Suche Trennpunkt t zwschen großen und klenen Werten, vgl. senkrechten Trennstrch n Abb. Der Trennpunkt kann als Mtte zwschen den Gruppenmttelwerten der Lernstchprobe festgelegt werden, t = y + z 2. Für neue Beobachtung x würde man be der vorlegenden Lernstchprobe entscheden, dass x aus C 1 (C 2 ) stammt, wenn x > t (x < t) (x = t hat für stetge Merkmale Wahrschenlchket Null und st vernachlässgbar). 158

6 Resulterende Dskrmnanzfunkton: 1, x > t, 0, x > t, D(x, C 1 ) = D(x, C 2 ) = 0, x < t, 1, x < t.. Dskrmnanzregel: ordne neue Beobachtung x der Klasse C D(x, C ) = 1 zu. mt Dese Wahl des Trennpunkts t unterstellt mplzt, dass das Merkmal X n beden Gruppen deselbe Varanz bestzt. Idee der Dskrmnanzregel be zwe Merkmalen (und zwe Klassen) En Merkmal allene führt selten zu guten Trennungen zwschen den Gruppen: Suche bessere Unterschedung anhand mehrerer Merkmale. Be Vorlegen enes zwedmensonalen Merkmalsvektors X = (X 1, X 2 ) st es snnvoll, X 1 und X 2 ncht enzeln zu betrachten, sondern ene Kombnaton aus beden zur Trennung der Gruppen zu verwenden. Vsualserung der Häufgketsvertelungen n den Klassen über de Dchtekonturlnen der zugehörgen Vertelungen vsualseren. C 2 C 1 De Trennung zwschen den beden Gruppen erfolgt dann ncht mt enem Trennpunkt, sondern mt ener Trenngeraden. 159

7 Verallgemenerung auf p-dmensonale Merkmale X: Zerlegung des R p n zwe Klassen, Trennung mttel (p 1)-dm. Hyperebene. Suche Rchtung a (Normalenvektor der Hyperebene), so dass Projektonen α = a x = a 1 x, a p x,p m R 1 möglchst gut trennt werden. Lneare Dskrmnanzanalyse mt p Merkmalen und k Klassen Notaton: Stchprobe {x 1,..., x n }, x R p zerfällt n k Cluster C 1,..., C k, wobe C j = {x C j 1,..., xc j n j }, j = 1,..., k. De Clusterzentren snd x C 1,..., x C k. Seen a R p mt a a = 1 und α = a x, α = a x, = 1,..., n, α C j = a x C j, α C j = a x C j, = 1,..., n j, j = 1,..., k de Projektonen der Beobachtungen auf de Achse mt Rchtungsvektor a. De klasssche ANOVA-Varanzzerlegung (der projzerten Daten): n =1 (α α) 2 = k n j j=1 =1 (α C j α C j ) 2 + k n j (α C j α) 2 j=1 Maxmere Verhältns von Between-Group-Sum-of-Squares zu Wthn-Groups- Sum-of-Squares: f (a) = k j=1 n j (α C j α) 2 k j=1 n j =1 (αc j α C j ) 2 = a Ba a Wa, (7) 160

8 wobe B = k n j (x C j x)(x C j x), W = j=1 k j=1 n j =1 (x C j x C j )(x C j x C j ). 1 n W st ene gepoolte Kovaranzschätzung: W = k j=1 n j ˆΣ C j, wobe =1 ˆΣ C j = 1 n j (x C j n j x C j )(x C j x C j ) = 1 n j ( X C j ) Hnj X C j de emprsche Kovaranzmatrx des Clusters C j st, X C j = (x C j 1,..., xc j n j ) de Datenmatrx des Clusters C j und H nj de Zentrerungsmatrx. De Lösung des OP s (7) st bekannt (vgl. Lemma 6.2): Lösungsvektor a st der Egenvektor zum größten Egenwert von W 1 B. Klassfkatonsregel: Gruppere x n de Klasse j mt j = arg mn a (x x C ). Spezalfall k = 2. (führt zu etwas überschtlcherer Notaton.) Grundgesamthet Ω zerfalle n zwe Klassen C 1 und C 2. De Lernstchprobe enthalte n 1 Objekte aus C 1 und n 2 Objekte aus C 2 : {x 1,..., x n } = {y 1,..., y n1 } {z 1,..., z n2 }, n = n 1 + n 2 Dann ergbt sch für das zu maxmerende Zelkrterum (7): f (a) [a (y z)] 2 a Wa und für den Lösungsvektor a (muss noch auf Länge 1 normert werden): a = W 1 (y z). 161

9 Enordnung ener neuen Beobachtung x: Dskrmnanzfunkton: 1, a x > t, D(x, C 1 ) = 0, a x < t, 0, a x > t,, D(x, C 2 ) = 1, a x < t, wobe t = αc 1 + α C 2 2 ( ) y + z = a 2 Dskrmnanzregel: Ordne Beobachtung x der Klasse C j zu, für de D(x, C j ) = 1 st. Koeffzenten a der Dskrmnanzfunkton geben Auskunft darüber, welche Varablen we stark zur Trennung der Gruppen betragen. Damt de Koeffzenten drekt verglechbar snd, müssen se geegnet standardsert werden. De Lneare Dskrmnanzfunkton stellt de enfachste Struktur zur Trennung von Gruppen dar (zwedmensonal: Geraden, dredmensonal: Ebenen, höherdmensonal: Hyperebenen als trennende Mengen), unterstellt mplzt, dass alle Cluster de gleche Kovaranzstruktur haben. Andere Trennfunktonen snd denkbar: Quadratsche Funktonen führen zur so genannten quadratschen Dskrmnanzanalyse (QDA). Bespel 9.6. Schwezer Banknoten: a = ( 0.002, 0.327, 0.334, 0.439, 0.463, 0.612) Das sollte verglchen werden mt den ersten beden Hauptkomponen- 162

10 ten, vgl. Bsp. 4.14: a 1 = ( 0.044, 0.112, 0.139, 0.768, 0.202, 0.579) a 2 = (0.011, 0.071, 0.066, 0.563, 0.659, 0.489) De Hauptkomponenten a 1 und a 2 geben de beden Rchtungen mt der höchsten Gesamtvarabltät (über bede Gruppen hnweg) an, der Vektor a gbt de Rchtung an, n der Zwschen-Gruppen-Varabltät relatv zur Verglech zur Intra-Gruppen-Varabltät am größten st. Also wrd ene Banknote x als falsch klassfzert, falls ( ) x a x > a f + x e = Bespel 9.7. Fshers berühmter Irs-Datensatz ( rs n R), Fsher, 1936: The use of multple measurements n taxonomc problems, Ann. Eugen. 7, Unterschedung der Irsarten rs setosa (C 1 ) und rs verscolor (C 2 ) anhand von Länge und Brete des Kelchblattes (p = 2). Lernstchprobe mt n 1 = n 2 = 50 Pflanzen jeder Art. x C 1 = (5.006, 3.428), x C 2 = (5.936, 2.770) S x = 1 98 (49 S S 2 ) = =

11 S 1 x = , a = ( , ) Resulterende Dskrmnanzregel: Neue Irs mt Merkmalsvektor x = (x 1, x 2 ) n Gruppe rs setosa (C 1 ) enordnen, falls x x 2 > setosa verscolor Be k = 3 mt drtter Irsart rs vrgnca, n 3 = 50: x C 3 = (6.588, 2.974) S = (49 S S S 3 ) W =, B = a = (1, 1.293) Dskrmnanzregel: Verglech von a x , a x und a x führt zu R 1 = {x : a x < }, R 2 = {x : < a x < }, R 3 = {x : < a x} 164

12 5.0 setosa verscolor vrgnca Vorlesung 9.2 Maxmum-Lkelhood- und Bayes-Regeln Notaton: f j (x) = f (x Y = j) Dchte von X unter Y = j, j = 1,..., k, Ŷ Vorhersage von Y aus der erlernten Dskrmnanzregel. R j R p Menge aller x, de Klasse C j zugeordnet werden, j = 1,..., k. Maxmum Lkelhood Dskrmnanzregel: R j = {x : f j (x) > f (x), = 1,..., k, = j} Dese unterstellt mplzt gleche a-pror Wahrschenlchketen für alle Klassen und gleche Kosten aller möglchen Fehlklassfkatonen, also gleche Relevanz aller Gruppen. 165

13 Verallgemenerung: Bayes-Regel p j = P(Y = j) a-pror W ket von C j, j = 1,..., k, mt p p k = 1. Kosten von Fehlklassfkatonen be k = 2 Klassen y ŷ c(ŷ = 2 Y = 1) 2 c(ŷ = 1 Y = 2) 0 Krterum: Mnmere erwartete gesamte Kosten Erwartete gesamte Kosten (Expected Costs of Msclassfcaton, ECM): ECM = c(ŷ = 2 Y = 1)P(Ŷ = 2 Y = 1)P(Y = 1) + c(ŷ = 1 Y = 2)P(Ŷ = 1 Y = 2)P(Y = 2) P(Ŷ = 2 Y = 1) = P(X R 2 Y = 1) = f 1 (x)dx R 2 P(Ŷ = 1 Y = 2) = P(X R 1 Y = 2) = f 2 (x)dx R 1 Bayes-Klassfkatonsregel: R 1 : f 1 (x)p(y = 1) R 2 : f 1 (x)p(y = 1) < c(ŷ = 1 Y = 2) c(ŷ = 2 Y = 1) f 2(x)P(Y = 2) c(ŷ = 1 Y = 2) c(ŷ = 2 Y = 1) f 2(x)P(Y = 2) Spezalfälle: Gleche Kosten von Fehlklassfkatonen c(ŷ = 2 Y = 1) = c(ŷ = 1 Y = 2): R 1 : f 1 (x)p(y = 1) f 2 (x)p(y = 2) R 2 : f 1 (x)p(y = 1) < f 2 (x)p(y = 2) 166

14 Maxmum-Lkelhood-Regel P(Y = 1) = P(Y = 2) und c(ŷ = 1 Y = 2) = c(ŷ = 2 Y = 1): R 1 : f 1 (x) R 2 : f 1 (x) < f 2 (x) f 2 (x) Bayes-Regel unter Normalvertelungsannahmen Fall zweer Gruppen mt glechen Kovaranzmatrzen, X {Y = j} N(µ j, Σ), j = 1, 2: { f j (x) = (2π) p/2 Σ 1/2 exp 1 } 2 (x µ j ) Σ 1 (x µ j ), j = 1, 2 { (2π) p/2 Σ 1/2 exp 1 } f 1 (x) 2 (x µ 1 ) Σ 1 (x µ 1 ) = { f 2 (x) (2π) p/2 Σ 1/2 exp 1 } 2 (x µ 2 ) Σ 1 (x µ 2 ) { = exp 1 2 (x µ 1 ) Σ 1 (x µ 1 ) + 1 } 2 (x µ 2 ) Σ 1 (x µ 2 ) { = exp (µ 1 µ 2 ) Σ 1 x 1 } 2 (µ 1 µ 2 ) Σ 1 (µ 1 + µ 2 ) = exp {(µ 1 µ 2 ) Σ [x 1 12 ]} (µ 1 + µ 2 ) Klassfkatonsregel: R 1 : (µ 1 µ 2 ) Σ 1 [ x 1 2 (µ 1 + µ 2 ) ] ln [ c(ŷ = 1 Y = 2) c(ŷ = 2 Y = 1) ] P(Y = 2) P(Y = 1) Spezalfall ML-Regel: Für P(Y = 1) = P(Y = 2) und c(ŷ = 1 Y = 2) = c(ŷ = 2 Y = 1): [ R 1 : (µ 1 µ 2 ) Σ 1 x 1 ] 2 (µ 1 + µ 2 ) 0 [ ] 1 (µ 1 µ 2 ) Σ 1 x (µ 1 µ 2 ) Σ 1 2 (µ 1 + µ 2 ) 167

15 Maxmum Lkelhood Ansatz führt unter Annahme multvarater Normalvertelung von X mt glechen Kovaranzmatrzen zur lnearen Dskrmnanzanalyse von Fsher (LDA). Vorge Herletung über Projektonen benötgt kene Vertelungsannahmen, man kann von der LDA daher auch ohne Normalvertelung gute Ergebnsse erhoffen. Verallgemenerungen: ML-Dskrmnanzregel be k normalvertelten Gruppen mt glecher Kovaranzmatrx: R j : (x µ j ) Σ 1 (x µ j ) = mn =1,...,k (x µ ) Σ 1 (x µ ) Quadratsche Dskrmnanzanalyse (QDA): Fall zweer Normalvertelungen mt verschedenen Kovaranzmatrzen, X {Y = j} N(µ j, Σ j ), j = 1, 2: { f j (x) = (2π) p/2 Σ j 1/2 exp 1 } 2 (x µ j ) Σ 1 j (x µ j ) { f 1 (x) (2π) p/2 Σ 1 1/2 exp 1 } f 2 (x) = 2 (x µ 1 ) Σ 1 1 (x µ 1 ) { (2π) p/2 Σ 2 1/2 exp 1 } 2 (x µ 2 ) Σ2 1(x µ 2 ) { = exp 1 } 2 x (Σ 1 1 Σ2 1)x + (µ 1 Σ 1 1 µ 2 Σ 1 2 )x Σ 1 1/2 { exp 1 } 1/2 Σ 2 2 (µ 1 Σ 1 1 µ 1 µ 2 Σ 1 2 µ 2 ) { } R 1 : x R p f 1 (x) c(ŷ = 1 Y = 2) P(Y = 2) : f 2 (x) c(ŷ = 2 Y = 1) P(Y = 1) 168

16 9.3 Bewertung der Klassfkatonsgüte Zur Bewertung, we gut de durch de Dskrmnanzregel errechte Trennung st, gbt es verschedene Methoden. 1. Analytsche Berechnung der Fehlklassfkatonsraten: Für ML Regel be zwe Klassen mt X {Y = j} N(µ j, Σ) Mt a = Σ 1 (µ 1 µ 2 ) und δ 2 = (µ 1 µ 2 ) Σ 1 (µ 1 µ 2 ) glt a [X 1 2 (µ 1 + µ 2 ) ] {Y = 2} N( 0.5δ 2, δ 2 ) und somt P(Ŷ = 1 Y = 2) = P (a [X 12 ] ) (µ1 + µ2 ) > 0 Y = 2 = 1 Φ(0.5δ 2 /δ) = Φ( 0.5δ) = P(Ŷ = 2 Y = 1) was aus den Daten geschätzt werden kann. 2. In sample Fehlklassfkatonsraten (apparent error rate): Dskrmnanzregel auf de Objekte n der Lernstchprobe anwenden und de Anzahl der Falschklassfkatonen bestmmen. De entstehenden Fehlklassfkatonsraten geben enen ersten Hnwes auf de Trennungsgüte, snd aber zu optmstsch. 3. Out of sample Fehlklassfkatonsraten: Be velen Beobachtungen mt bekannter Klassenzugehörgket kann de Menge deser Objekte n ene Lern- und ene Valderungsstchprobe untertelt werden. De Dskrmnanzregel wrd anhand der Lernstchprobe und de Fehlklassfkatonsraten anhand der Valderungsstchprobe ermttelt. 169

17 4. Kreuzvalderung (cross valdaton, leave one out): Unter Auslassung ener Beobachtung aus dem Datensatz wrd de Dskrmnanzfunkton auf Bass der restlchen n 1 Beobachtungen bestmmt und de ausgelassene Beobachtung mt deser Dskrmnanzfunkton klassfzert. Des wrd sukzessve für alle Beobachtungen durchgeführt und de Fehlklassfkatonsraten als Gütekrterum berechnet. Zel der Dskrmnanzanalyse: möglchst gute Trennung der Klassen auf Bass der beobachteten Merkmale. En weteres Gütekrterum für ene Dskrmnanzregel st daher, dass se ene bessere Zuordnung zu den Klassen vornmmt als ene ren zufällge Zuordnung. Bemerkung 9.8. (Test gegen zufällge Zuordnung für LDA) Im Modell der Dskrmnanzanalyse gemäß Defntonen 9.2 und 9.5 werde unterstellt, dass de multvarate Varable X ener p-dmensonalen Normalvertelung folgt. Dann st en Test für das Problem H 0 : kene der betrachteten Varablen verbessert de Klassfkaton m Verglech zu ener zufallsbaserten Zuordnung vs. H 1 : mndestens ene Varable verbessert de Klassfkaton gegeben durch folgende Entschedungsregel (mt der Notaton aus Abschntt 9.1): H 0 wrd zum Nveau α verworfen, falls ( n p 1 n1 n 2 α C 1 α ) C 2 2 > F p,n p 1;1 α, p n WSS(α) wobe n 1, n 2 Stchprobenumfänge zu den Gruppen C 1 und C 2 und WSS(α) = k n j j=1 =1 (α C j α C j ) 2 de Wthn-Group-Sum-of-Squares der projzerte Werte α st. 170

18 Des entsprcht dem F-Test m Varanzanalysemodell der enfachen Varanzanalyse (H 0 : De Mttelwerte der p Varablen snd n beden Gruppen glech). Bemerkung 9.9. Varablenselekton: Verglechbar zur Regressonsanalyse werden de Varablen ncht alle n enem Schrtt zur Klassfkaton herangezogen, sondern sukzessve aufgenommen oder entfernt, wobe jedesmal getestet wrd, ob de Hnzunahme / Entfernung de Klassfkaton verbessert. Des erlaubt Identfkaton nutzloser Varablen, de für neue Objekte ncht mehr erhoben werden müssen. Andere Varablentypen: Falls de beobachteten Merkmale nur ordnale oder nomnale Skalerung bestzen, gbt es Verfahren der Dskrmnanzanalyse, de auf entsprechenden Modellannahmen beruhen. Man verwendet herzu en so genanntes Multnomalmodell. 171