Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren

Transkript

1 Lineare Regression Christian Herta Oktober, von 33 Christian Herta Lineare Regression

2 Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion (cost function) Gradientenabstiegsverfahren (gradient descent) 2 von 33 Christian Herta Lineare Regression

3 Outline 1 Problemstellung 2 Kostenfunktion 3 Gradientenabstiegsverfahren 3 von 33 Christian Herta Lineare Regression

4 Lineare Regression Überwachtes Lernen (supervised learning): m-beobachtungen: {x (i) } mit Zielwerten {y (i) } Ziel: Vorhersage eines Wertes y für einen neuen Wert für x. Lineares Modell Wie sieht die Geradengleichung aus? 4 von 33 Christian Herta Lineare Regression

5 Lineare Regression Überwachtes Lernen (supervised learning): m-beobachtungen: {x (i) } mit Zielwerten {y (i) } Ziel: Vorhersage eines Wertes y für einen neuen Wert für x. Lineares Modell Parameter): h Θ (x) = Θ 0 + Θ 1 x (zwei 4 von 33 Christian Herta Lineare Regression

6 Lineare Regression Idee: Finde eine Gerade h Θ (x), die möglichst nahe zu den Datenpunkten ist. 5 von 33 Christian Herta Lineare Regression

7 Trainingsmenge Notation: m: Anzahl der Trainingsbeispiele x: Inputvariable y: Outputvariable (x, y): ein Trainingsbeispiel (x (i), y (i) ): ite-trainingsbeispiel Beispieldatensatz: Hg-PCV haemoglobin packed cell level / g/dl (x) volume (y) von 33 Christian Herta Lineare Regression

8 Übersicht: Trainingsverfahren Modell h Θ (x) Bestimmen der Modellparameter Θ mittels Lernen aus den Daten (Trainingsmenge) Funktion h Θ : Hypothese 7 von 33 Christian Herta Lineare Regression

9 Lineare Regression mit einer Variable (Univariate Lineare Regression) Warum der Name Lineare Regression mit einer Variable? Eine Variable: x Hypothese h Θ (x) = Θ 0 + Θ 1 x Hypothese ist linear bezüglich der Variable x Hypothese ist linear bezüglich der anpassbaren Parameter Θ 0, Θ 1. Vorhersage einer Flieÿkomma-Zahl mittels der Hypothese: Regression 8 von 33 Christian Herta Lineare Regression

10 Outline 1 Problemstellung 2 Kostenfunktion 3 Gradientenabstiegsverfahren 9 von 33 Christian Herta Lineare Regression

11 Kostenfunktion (cost fuction) Ausgangspunkt Hypothese hθ(x) = Θ 0 + Θ 1 x Trainingsmenge D (Paare (x, y) ) Ziel: Bestimmen der Modellparameter Θ = {Θ 0, Θ 1 } mittels Lernen aus den Daten (Trainingsmenge) Kostenfunktion ((squared error) cost function): J D (Θ) = 1 2m m (h Θ (x (i) ) y (i) ) 2 i=1 Ziel: Minimieren der Kosten(funktion) minimize θ J(Θ) 10 von 33 Christian Herta Lineare Regression

12 Kostenfunktion (cost fuction) Beachte Kostenfuntion J(Θ) ist eine Funktion von Θ. Hypothese h Θ (x) ist eine Funktion von x mit festen Parametern Θ. Erläuterung beider Funktionen an der Tafel am einfachen Beispiel hθ 1 (x) = Θ 1 x und 3 Trainingsbeispiele, für die eine Hypothese (nur hier: J Θ min 1 = 0) gefunden werden kann. 11 von 33 Christian Herta Lineare Regression

13 Beipiel: Kostenfunktion und Hypothese Datenerzeugung: y(x) = x + N(µ = 0, σ = 2.5) (N: Normalverteilung) Hypothese: h(x) = Θ 1 x 12 von 33 Christian Herta Lineare Regression

14 Problemstellung mit zwei Parametern Hypothese: h Θ (x) = Θ 0 + Θ 1 x zwei Parameter: Θ 0, Θ 1 Kostenfunktion: J(Θ 0, Θ 1 ) = 1 2m m i=1 (h Θ(x (i) ) y (i) ) 2 Darstellung von J(Θ 0, Θ 1 ) in drei Dimensionen: Θ 0, Θ 1, J 13 von 33 Christian Herta Lineare Regression

15 Contour Plot 14 von 33 Christian Herta Lineare Regression

16 Datenraum und Parameterraum 15 von 33 Christian Herta Lineare Regression

17 Kostenfunktion - Übersicht Kosten sind eine Funktion der Parameter Ziel ist es die Kosten zu minimieren, um gute Parameter zu nden. Konzept der Kostenfunktion auch für andere Arten von Modellfunktionen, wie Neuronale Netze und K-Means Clustering 16 von 33 Christian Herta Lineare Regression

18 Outline 1 Problemstellung 2 Kostenfunktion 3 Gradientenabstiegsverfahren 17 von 33 Christian Herta Lineare Regression

19 Problemstellung Hypothese: h Θ (x) = Θ 0 + Θ 1 x Parameter: Θ 0, Θ 1 Kostenfunktion: J(Θ 0, Θ 1 ) = 1 m 2m i=1 (h Θ(x (i) ) y (i) ) 2 Ziel: minimize Θ J(Θ) 18 von 33 Christian Herta Lineare Regression

20 Gradientenabstieg Ziel: Minimieren der Kosten(funktion) minimize θ J(Θ) 1 Starte mit speziellen Werten für Θ. Bei univariater linearer Regression: Θ = {Θ 0, Θ 1 } 2 Verändere die Werte für Θ so, sodass J(Θ) kleiner wird. Wiederhole Schritt 2 solange, bis ein Minimum erreicht ist. 19 von 33 Christian Herta Lineare Regression

21 Gradientenabstiegsverfahren Ziel: Minimieren der Kosten(funktion) minimize θ J(Θ) 1 Starte mit speziellen Werten für Θ 0, Θ 1 2 Bestimme den Gradienten (partiellen Ableitungen), um neue Θ 0, Θ 1 Werte in der Umgebung der alten Θ-Werte mit folgender Update Rule zu nden: Θ neu j Θ alt j mit α : Lernrate (learning rate) α Θ j J(Θ alt ) 3 Gehe zu 2 bis ein Stopp Kriterium (stopping condition) erfüllt ist, wie z.b. nur noch marginale Änderung der Kosten. 20 von 33 Christian Herta Lineare Regression

22 Gleichzeitiges Update aller Parameter Beachte bei der Implementierung: Gleichzeitiges Update aller Parameter temp0 Θ 0 α Θ 0 J(Θ 0, Θ 1 ) temp1 Θ 1 α Θ 1 J(Θ 0, Θ 1 ) Θ 0 temp0 Θ 1 temp1 21 von 33 Christian Herta Lineare Regression

23 Berechung der Gradienten Rechenübung 22 von 33 Christian Herta Lineare Regression

24 Gradientenabstiegsverfahren für lineare Regression: Θ 0 Θ 0 Θ 0 α Θ 0 J(Θ) Θ 0 J(Θ) = Θ 0 1 2m m (h Θ (x (i) ) y (i) ) 2 i=1 = 1 m (Θ 0 + Θ 1 x (i) y (i) ) 2 Θ 0 2m i=1 = 1 m (Θ 0 + Θ 1 x (i) y (i) ) m i=1 23 von 33 Christian Herta Lineare Regression

25 Gradientenabstiegsverfahren für lineare Regression: Θ 1 Θ 1 Θ 1 α Θ 1 J(Θ) Θ 1 J(Θ) = Θ 1 1 2m m (h Θ (x (i) ) y (i) ) 2 i=1 = 1 m (Θ 0 + Θ 1 x (i) y (i) ) 2 Θ 1 2m i=1 = 1 m (Θ 0 + Θ 1 x (i) y (i) ) x (i) m i=1 24 von 33 Christian Herta Lineare Regression

26 Schrittweite Schrittweite hängt von zwei Faktoren ab: Gröÿe des Gradienten Θ i J(Θ) Lernrate α > 0 (Hyperparameter) α muss richtig gewählt werden (mehr hierzu später). 25 von 33 Christian Herta Lineare Regression

27 26 von 33 Beispieldatensatz: Christian Herta Lineare Hg-PCV Regression Annäherungen der Gerade mit den Iterationen Startwert für Θ = (1., 1.)

28 27 von 33 Beispieldatensatz: Christian Herta Lineare Hg-PCV Regression Annäherungen der Gerade mit den Iterationen Startwert für Θ = (1., 1.)

29 Warum ist das Lernen so langsam? (negative) Gradient zeigt (meist) weg vom Minimum! Zig-Zag Bewegung im Parameterraum oder sehr kleines α 28 von 33 Christian Herta Lineare Regression

30 Kostenfunktion bei umskalierten x-werte Lösung: Feature Scaling - Erklärung später im Kurs Beachte: Der Gradient zeigt direkt zum Minimum! Beispieldatensatz: Hg-PCV 29 von 33 Christian Herta Lineare Regression

31 Kostenfunktion bei umskalierten x-werte Erklärung an einfachem Beispiel: x-werte der grünen Daten sind mit Faktor 2 multipliziert. 30 von 33 Christian Herta Lineare Regression

32 Batch, Mini-Batch und Online Learning Batch-Learning: Verwende alle Trainingsdaten für einen Optimierungsschritt Mini-Batch Learning: Verwende einen (kleinen) Teil der Traingsdaten für einen Optimierungsschritt Online Learning: Verwende nur ein Trainingsdatum pro Schritt typischerweise Auswahl per Zufall (Stochastic Gradient Descent) 31 von 33 Christian Herta Lineare Regression

33 Literaturangabe Andrew Ng: Machine Learning. Openclassroom Stanford University, 2013 Weiterführende Literatur: C. Bishop: Pattern recognition and Machine Learning, Springer Verlag von 33 Christian Herta Lineare Regression