Validation Model Selection Kreuz-Validierung Handlungsanweisungen. Validation. Oktober, von 20 Validation

Transkript

1 Validation Oktober, von 20 Validation

2 Lernziele Konzepte des maschinellen Lernens Validierungsdaten Model Selection Kreuz-Validierung (Cross Validation) 2 von 20 Validation

3 Outline 1 Validation 2 Model Selection 3 Kreuz-Validierung 4 Handlungsanweisungen 3 von 20 Validation

4 Idee Oene Frage: Welche Modell Komplexität ist passend, bzw. wie stark soll die Regularisierung (λ) sein? Nicht-Trainingsdaten Daten (out-of-sample) zur Schätzung des out-of-sample Fehlers E out. E[loss(h(x), y)] = E out (h) 4 von 20 Validation

5 Validierungsdaten Aufteilen der m gelabelten Daten D zum Training mit Validierung in m train Trainingsdaten D train m val Validierungsdaten D val D val = {(x (1), y (1) ), (x (2), y (2) ),..., (x (m val ), y (m val ) )} Somit sind m train = m m val Daten für das eigentliche Training (Anpassen der Parameter) im Validierungsfall vorhanden. 5 von 20 Validation

6 Validierungsfehler E val (h) = 1 m val loss(h(x (i) ), y (i) )) m val i=1 i=1 E [E val (h)] = 1 m val [ ] E loss(h(x (i) ), y (i) )) = E out (h) m val 6 von 20 Validation

7 Zuverlässigkeit des Validierungsfehler als Schätzung für E out Für die Abhängigkeit der Zuverlässigkeit des Validierungsfehler als Schätzung für E out von der Anzahl der Validierungsdaten m val gilt: 1 E val (h) = E out (h) ± O( ) mval 7 von 20 Validation

8 Datenverwendung: Training vs. Validierung Verwendung der Daten D unter m = m train + m val je mehr Daten für das Training, desdo kleiner wird E out ; vgl. Lern-Kurven je mehr Daten für die Validierung, desdo zuverlässiger wird E val als Schätzung für E out Daumenregel: ca. 20% der Daten für Validierung 8 von 20 Validation

9 Training/Validierung und zweites Training 1 Training und Validierung Training mit m train -Daten h Validierung mit m val -Daten zur Schätzung von E out Beurteilung von h 2 Training mit voller Datenmenge m h, d.h. E out (h) E out (h ) E val (h 1 ) + O( ) mval 9 von 20 Validation

10 Outline 1 Validation 2 Model Selection 3 Kreuz-Validierung 4 Handlungsanweisungen 10 von 20 Validation

11 Validierung vs. Test Testdaten: Nur zur Abschätzung der Qualität Validierungsdaten werden indirekt beim Training verwendet: Einstellungen der Hyperparameter Verschiedene Vorverarbeitungsmethoden Auswahl zwischen verschiedenen Modellen (Modell Selection) 11 von 20 Validation

12 Modelle Verschiedene Modelle sind: Stärke der Regularisierung (Einstellung des Regularization Hyper-Parameter λ Wahl zwischen verschiedenen Lernverfahren, wie Logistische Regression, SVM, NN Wahl innerhalb eines Verfahrens: zwischen linearem Modell, Grad- des Polynoms etc. bei Neuronalen Netzen: Anzahl der Neurone in den Schichten, Anzahl der Schichten bei SVM: Art des Kernels 12 von 20 Validation

13 Werden verschiedene Modelle mittels der Validierungsdaten ausgewählt, ist der Validierungsfehler E val nicht mehr ein neutraler Schätzer des out-of-sample errors E out. Erläuterung am Beispiel zweier Hypothesen h, 1 h 2 mit E out (h ) = 1 E out(h ) = 2 C Wahl der Hypothese h mit dem niedrigerem E val führt zu E[E val (h )] < C 13 von 20 Validation

14 Mehrere Hypothesen h, 1 h,..., 2 h M, also H val = M Auswahl der Hypothese h m mit dem niedrigsten E val: ( ) E out (h m ) E val(h m ) + O ln M m val Lernen mit m Trainingsbeispielen ergibt somit (vgl. Lernkurven): ( ) E out (h m ) E out (h m ) E ln M val(h m ) + O m val 14 von 20 Validation

15 Outline 1 Validation 2 Model Selection 3 Kreuz-Validierung 4 Handlungsanweisungen 15 von 20 Validation

16 Kreuz-Validierung Ziel (wie bei der Validierung): Modellselektion statt ein Modell h mit D train zu trainieren und dies mit der Validierungsmenge D val einzuschätzen: Durchführung dieser Prozedur v-mal: v-fache Kreuz-Validierung (v-fold cross validation): Aufteilen der Daten D in v-teile Benutzen von v 1 Teilen zum Training und 1 Teil zur Validierung v-fache Durchführung (v-mal trainieren und validieren), wobei jeweils ein anderer Teil der Daten der Validierungsdatensatz ist. Durchschnittsbildung des Validierungsfehlers aus den v-validierungsfehler zur Beurteilung des Modells. Extremfall one-leave-out: v = m train, d.h. Validierung mit jeweils nur einem Datum. 16 von 20 Validation

17 Outline 1 Validation 2 Model Selection 3 Kreuz-Validierung 4 Handlungsanweisungen 17 von 20 Validation

18 Undertting - High Bias Benutze ein Model mit einer höheren Kapazität (capacity) Füge aussagekräftige Features hinzu Erniedrige den Regularization-Parameter 18 von 20 Validation

19 Overtting - High Variance Reduzieren der Anzahl der Features (Feature Selection) Benutze ein Model mit einer niedrigeren Kapazität (capacity) Erhöhe die Anzahl der Trainingsdaten Erhöhe den Regularization-Parameter 19 von 20 Validation

20 Literaturangabe Andrew Ng: Machine Learning (Cousera Online Kurs), 2013 Yaser Abu-Mostafa: Learning from Data, Caltech Machine Learning bzw. Yaser Abu-Mostafa et all.: Learning from Data, AMLBook 2012 Weiterführende Literatur: Trevor Hastie,Robert Tibshirani, Jerome Friedman: The Elements of Statistical Learning, insb.: Kapitel 7, Springer Verlag von 20 Validation