Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07

Transkript

1 Classification Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Ao.Univ.Prof. Dr. Marcus Hudec Institut für Scientific Computing, Universität Wien

2 2 Classification Gesucht ist eine Entscheidungsfunktion e: e: S {1,..., g} S R P bezeichnet den Wertebereich von x x k = e(x) Falls ω Ω k und k = k Richtige Entscheidung Falls ω Ω k und k k Falsche Entscheidung (Fehlklassifikation) pk ( ) = P{ ω Ωk} > 0 k = 1,..., g a priori-wahrscheinlichkeit f(x k) k = 1,..., g Klassenverteilung von x in Ω k d.h. bedingte Verteilung von x bei gegebenem k g f(x) = p(k) * f( x k) k= 1 p(k x) = p(k) * f( x k) f( x) unbedingte Verteilung von x auf Ω a posteriori- Wahrscheinlichkeit (Satz von Bayes)

3 3 Classification Bayes Entscheidungsregel Ein Objekt wird derjenigen Klasse k = e(x) zugeordnet, welche die größte a posteriori Wahrscheinlichkeit besitzt. bzw. k = e(x), so daß p( k x) p (l x) für l = 1,..., g p( k ) * f(x k ) p(l) * f(x l) für l = 1,..., g Maximum-Likelihood Entscheidungsregel Ein Objekt wird derjenigen Klasse k = e(x) zugeordnet, welche die größte Likelihood L( k ; x) = f (x k ) besitzt. k = e(x), so daß f(x k ) f(x l) für l = 1,..., g Im Spezialfall, daß alle a priori-wahrscheinlichkeiten gleich sind p(1) =... = p(g), ist die Maximum Likelihood Regel äquivalent zur Bayes Entscheidungsregel.

4 4 Classification Visualisierung der Bayes- Entscheidungsregel im univariaten Fall

5 5 Classification Optimalitätseigenschaft der BAYES-Regel Unter allen Entscheidungsregeln besitzt die BAYES-Regel für alle x die kleinste bedingte Fehlerrate und damit auch die kleinste Gesamtfehlerrate.

6 6 Classification Unabhaengige Merkmale mit gleicher Varianz Priori-Wahrscheinlickeiten 0,5 0,5 Annahme einer multivariaten Normalverteilung innerhalb jeder Klasse

7 7 Classification Unabhaengige Merkmale mit gleicher Varianz Bayes-Regel ML-Regel Priori-Wahrscheinlickeiten 0,8 0,2

8 8 Classification heteroscedastic Unterschiedliche Kovarianzmatrizen in jeder Klasse

9 9 Classification funval

10 10 Classification grid Bei unterschiedlichen Kovarianzmatrizen: quadratische Trennfunktion

11 11 Classification

12 12 Classification Diskriminanzanalyse nach Fisher

13 13 Classification Bessere Trennung als zuvor

14 14 Classification Ansatz von Fisher y k Q( a) = = a x k=1,2 ( y y ) S S2 1 k a = W ( x x ) 1 2 max Allgemein im Fall von g Gruppen 1 W Ba = λ * a Eigenwertproblem für W -1 B

15 15 Classification Logistische Regression Logit wird als eine lineare Funktion der erklärenden Variablen modelliert. p ln( ) = β0 + β1x 1 p bzw. p exp( β + β X ) 1 1+ exp( β + β X ) 1+ exp( β β X ) 0 1 = =

16 16 Classification

17 17 Classification In Matrixnotation gebracht können wir auch schreiben: wobei π π log it( π ) = ln( ) = 1 π π 1 x X β, β = X = β = β1 π n 1x n ist. Für die Erfolgswahrscheinlichkeiten ergibt sich: exp( X β ) 1 π = = 1+ exp( Xβ ) 1+ exp( Xβ ) Oft wird für den linearen Prädiktor kurz η (eta) geschrieben. η = X β

18 18 Classification y x Effekt eines größeren β

19 19 Classification y x Effekt eines größeren β

20 20 Classification Alternativen zur logistischen Transformation Probit-Funktion wobei probit X X 1 ( π) = φ ( π) = β π = φ( β) x 1 1 φ( x) = exp( z²) dz 2π 2 In der Praxis liefert die Probit-Transformation oft ähnliche Ergebnisse, wie die Logit- Transformation. Complimentary Log Log Transformation clog log( π) = log{ log(1 π) = Xβ π = 1 exp( exp( X β)) Die Complimentary Log Log Transformation ist nicht symmetrisch und stimmt für kleine Werte mit der Logit-Funktion gut überein.

21 21 Classification Binomial Response Transformations prob - probability eta - Linear Predictor Logit Probit cloglog

22 22 Classification

23 23 Classification Klassifikationsmodelle Lineare Diskriminanzanalyse

24 24 Classification Klassifikationsmodelle Lineare Diskriminanzanalyse bzw. Logistische Regression

25 25 Classification Klassifikationsmodelle Quadratische Diskriminanzanalyse

26 26 Classification Klassifikationsmodelle Nichtparametrische Diskriminanzanalyse

27 27 Classification Klassifikationsmodelle Baumverfahren - Recursive Partitioning

28 28 Classification Klassifikationsmodelle Optimale Entscheidungsregel Bei vollständiger Information

29 29 Classification Constructing Decision Trees Strategy: top down Recursive Partitioning of space spanned by input variables to maximize a score of class purity (i.e. majority of points in each cell of the resulting partition belong to one class) First: select attribute for splitting of a node Second: select threshold value for partitioning (numeric data) Try all Variables and for each variable all possible thresholds Choose that split which gives the best improvement of score function Repeat the above steps for each resulting branch Stop (at least) if all instances of a node have the same class

30 30 Classification In Clementine verfügbare Baumverfahren CART (Breiman et al., 1984) C5.0 (Quinlan) QUEST(Loh & Shih, 1997) Quick, Unbiased, Efficient, Statistical Tree CHAID (Kass, 1980) Exhaustive CHAID

31 31 Classification Measuring Impurity of a node Entropy Given a probability distribution, the information required to predict an event is the distribution s entropy Entropy measures information in bits Formula for computing the entropy in a node i with k indexing the classes pik log 2 p k ik

32 32 Classification Information Gain Popular impurity criterion: Information Gain Information Gain is reduction in entropy induced by a particular split Used by C5.0 IG = I( Node ) ( p I( Node ) + p I( Node )) i L i, L R i, R

33 8 Gute, 2 Schlechte 33 Classification n=10 100% Anteil Schlechte: 20% Entropie: 0,72 Trennung nach Merkmal X 4 Gute, 1 Schlechter 4 Gute, 1 Schlechter n=5 n=5 50% 50% Anteil Schlechte: 20% Anteil Schlechte: 20% Entropie: 0,72 Entropie: 0,72 Entropie nach Trennung mit Merkmal X: 0,5 0,72 + 0,5 0,72 = 0,72 Informationsgewinn: 0,72-0,72 = 0 relativer Informationsgewinn: 0 = 0% 0,72

34 34 8 Gute, 2 Schlechte Classification n=10 100% Anteil Schlechte: 20% Entropie: 0,72 Trennung nach Merkmal X 3 Gute, 2 Schlechte 5 Gute, 0 Schlechte n=5 n=5 50% 50% Anteil Schlechte: 40% Anteil Schlechte: 0% Entropie: 0,97 Entropie: 0 Entropie nach Trennung mit Merkmal X: 0,5 0, = 0,48 Informationsgewinn: 0,72-0,48 = 0,24 relativer Informationsgewinn: 0,24 = 33% 0,72

35 8 Gute, 2 Schlechte 35 Classification n=10 100% Anteil Schlechte: 20% Entropie: 0,72 Trennung nach Merkmal X 0 Gute, 2 Schlechte 8 Gute, 0 Schlechte n=2 n=8 20% 80% Anteil Schlechte: 100% Anteil Schlechte: 0% Entropie: 0 Entropie: 0 Entropie nach Trennung mit Merkmal X: 0, ,8 0 = 0 Informationsgewinn: 0,72-0 = 0,72 relativer Informationsgewinn: 0,72 = 100% 0,72

36 36 Classification Gini Criterion Gini-Index: k p ik (1 p ) ik Gini Criterion for Growing Tress Used by CART GC = g( Node ) ( p g( Node ) + p g( Node )) i L i, L R i, R

37 37 Classification Twoing Criterion Trees generated by Information Gain or Gini-Index are often quite similar An alternative leading to quite different results has been proposed by Breiman TC = p p p il p ir L R k k k 2

38 38 Classification Strategies for Tree Pruning Post-pruning take a fully grown decision tree and discard unreliable parts Pre-pruning stop growing a branch when information becomes unreliable In practice Post-pruning preferred pre-pruning can stop too early

39 39 Classification Pre-Pruning Based on statistical significance test Idea: Stop growing the tree when there is no statistically significant association between any attribute and the class at a particular node Only statistically significant attributes were allowed to be selected by information gain procedure Most popular tests: Chi² (nominal attributes), F-Test (interval-scaled attributes) Pre-pruning faster than post-pruning but may Marcus stop Hudec premature (Interaction of Variables)

40 40 Classification Post-Pruning First, build full tree then, prune it Fully grown tree shows all attribute interactions Problem: some sub-trees might be due to chance effects Two pruning operations: Sub-tree replacement Sub-tree raising

41 41 Classification Sub-tree Replacement

42 42 Classification Sub-tree Raising

43 43 Classification Cost Complexity Criterion D(T). error rate of a tree D k (T) cost complexity criterion D k ( T ) = D( T ) + k size( T )

44 44 Classification QUEST Main Idea: Separate split field selection and splitpoint selection QUEST performs univariate tests on all predictor variables (F-Test for numeric variables) and decides choice of variable independent of actual threshold used for the split Determination of threshold is based on QDA

45 45 Classification CHAID Chi-squared Automatic Interaction Detector Using the significance of a statistical test as a criterion, CHAID evaluates all of the values of a potential predictor field. It merges values that are judged to be statistically homogeneous (similar) with respect to the target variable and maintains all other values that are heterogeneous (dissimilar). CHAID is not a binary tree method, therefore it tends to create wider trees. It works for all types of variables but makes an automatic binning of continuous variables

46 46 Classification Exhaustive CHAID Avoids early stopping of merging categories of predictor variables by making an exhaustive search over all possible combinations

47 47 Classification Goodness of Fit versus Prediction Error Prediction Error Großer Bias Geringe Varianz Training Sample Test Sample Geringer Bias Hohe Varianz Modell - Komplexität Möglichst genaues Anpassen des Modells an die Daten führt zu einem Overfit und schlechten Prognosen.

48 48 Classification Phasen der Modellierung

49 49 Classification Interpretation ROC-Kurve Vorhersage von 65% der Kündigern impliziert, dass 20% der Nicht- Kündiger fälschlicherweise als Kündiger vorhergesagt werden Vorhersage von 92% der Kündigern impliziert, dass 60% der Nicht-Kündiger fälschlicherweise als Kündiger vorhergesagt werden AUC = 0,797 Beispiel Prognose von Kündigern

50 50 Classification Alternative Darstellung CAP

51 51 Classification Entscheidungskriterien für Selektion Anzahl der anzuschreibenden Kunden, geordnet nach Antwortwahrscheinlichkeit

52 52 Classification Entscheidungskriterien für Selektion Annahmen: Angesetzte Kosten (Bearbeitung und Versand): 1,10 Angesetzter Erlös : 50

53 53 Classification Entscheidungskriterien für Selektion Selektion: maximale Responsequote

54 54 Classification Entscheidungskriterien für Selektion Profitmaximierende Selektion

55 55 Classification Entscheidungskriterien für Selektion Reichweitenmaximierende und kostenneutrale Selektion

56 56 Classification Entscheidungskriterien für Selektion Optimale Selektion unter Berücksichtigung beider Größen