Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07

Transkript

1 Regression Trees Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Ao.Univ.Prof. Dr. Marcus Hudec Institut für Scientific Computing, Universität Wien

2 2 Regression Trees Der Grundgedanke baum-basierender statistischer Verfahren (tree-based statistical methods) ist es, den durch die Prädiktoren aufgespannten Merkmalsraum, rekursiv zu partitionieren und in den dadurch entstandenen Teilbereichen ein möglichst einfaches Modell an die Daten anzupassen (z.b.: eine Konstante). Bei den meisten Verfahren erfolgt die Aufteilung des Merkmalsraums in jedem Schritt jeweils nur anhand eines Kriteriums, wodurch sich als Partitionierung eine Menge von Rechtecken (bzw. Quadern) ergibt. Baumverfahren sind konzeptionell extrem einfach, relativ leicht zu interpretieren und zu kommunizieren und erfreuen sich demgemäß großer Beliebtheit bei den Anwendern im Bereich Data Mining. Das Hauptproblem ist, dass sie zu Instabilitäten neigen bzw. dass es leicht zu einem Overfit der Daten kommen kann.

3 3 Regression Trees Baumverfahren (CART-Verfahren; Classification and Regression Trees) können als <binäres> rekursives Partitionieren (RPART) aufgefasst werden. Binär, falls in jedem Schritt des Algorithmus ein Knoten (repräsentiert eine Teilmenge des Prädiktorraums) in genau zwei Teilknoten aufgeteilt wird. Rekursiv, da dieser Prozess beliebig oft wiederholt werden kann, indem die Sub-Knoten erneut partitioniert werden können. Der Algorithmus wird im Wesentlichen durch 3 Komponenten charakterisiert: Splitting Partitionierung des Prädiktorraumes Abbruchkriterien und nachträgliches Vereinfachen des Baumes Zuordnung von Prognosewerten bzw. Klassen zu den Endknoten

4 4 Regression Trees Ausgangspunkt: Fragestellungen mit einer stetigen abhängigen Variablen Y und einer Menge von Prädiktoren X 1,, X p Notation: Split Variable j jene Variable, welche als Teilungskriterium ausgewählt wurde Split Point s jener Wert, der zur Teilung herangezogen wird { X X s} R1( j, s) = j { X X s} R2( j, s) = j

5 5 Regression Trees Minimierungsaufgabe: Gesucht ist in jedem Schritt eine Split Variable j und ein Split Point s, welche sich durch Lösung folgender Minimierungsaufgabe ergeben: min : min j, s c1 ( y c ) + min 2 i 1 i c2 x R ( j, s) x R ( j, s) i 1 i 2 ( y c 2 ) 2 Dabei sei c = ave( y x R j, )) c = ave( y x R j, )) ( 1 i i 1 s ( 2 i i 2 s, wobei ave für die Mittelung (average) steht.

6 6 Regression Trees Als Vorhersagemodell dient bei Regression Trees: M m ( m), f ( x) = c I x R m= 1 wobei die ermittelte Partition M durch die Gebiete R 1, R 2,, R M charakterisiert wird und ( ) c = ave y x R m i i m

7 7 Regression Trees Cost Complexity Pruning Darunter versteht man das Verschmelzen von Knoten (Abschneiden von Ästen) zur Reduktion der Komplexität des Baums. Sei size(t) die Anzahl der Endknoten eines Baums und cˆ m = 1 N m x R i m y i und 1 DT ( ) = ( y ˆ i cm)² N m x R i m Als Cost Complexity Kriterium wird dann definiert: D k ( T ) = D( T ) + k size( T ) Die Idee besteht darin, jenen Sub-Baum von T zu finden, welcher das obige Minimierungskriterium minimiert. Dabei dient der Parameter k zum Tuning. Große Werte von k führen zu kleineren Bäumen, und ein Wert k=0 verhindert das Pruning.

8 8 Regression Trees wind ozone

9 9 Regression Trees k = 0.50 wind<6.6 wind<4.3 wind< wind<6 wind<7.15 wind< wind<7.7 wind<10.6 wind< wind<9.45 wind<11.2 wind< wind<

10 10 Regression Trees Sehr komplexer Baum ozone wind

11 11 Regression Trees Reduzierter Baum ozone wind

12 12 Regression Trees 2 Prädiktorvariable temp<82.5 wind<7.15 wind< temp<77.5 temp< wind<8.3 temp<81.5 wind<6.85 temp< temp<64.5 wind< temp<

13 13 Regression Trees Z X 80 Y