Optimierung in R. Michael Scholz

Transkript

1 N Optimierung in R Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) Michael Scholz Institut für Statistik und Ökonometrie Georg-August-Universität Göttingen Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 1 / 27

2 : N 1 Lineare Programmierung () simplex solve 2 Nichtlineare Optimierung (N) optimize optim constroptim nlm Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 2 / 27

3 Lineare Programmierung N package: boot Befehl: simplex Die Funktion simplex optimiert lineare Funkionen a x unter den Nebenbedingungen A 1 x b 1, A 2 x b 2 und/oder A 3 x = b 3 sowie x 0. Example 1.1 (17.8, Beispiel 1) max 700x x 2 unter Matrixformulierung: 3x 1 + 5x x 1 + 3x x 1 + 2x x 1, x 2 0. max a x unter Ax b und x 0 mit ( ) a =, A = , b = Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 3 / 27

4 Die R-Funktion simplex N 1 > library(boot) 2 > A <- matrix( c(3, 5, 1, 3, 2, 2), nrow = 3, 3 > ncol = 2, byrow = TRUE) 4 > b <- c(3900, 2100, 2200) 5 > a <- c(700, 1000) 6 > simplex(a = a, A1 = A, b1 = b, maxi = TRUE) Lade Paket boot Matrix A Vektor b Koeff.vektor der Zielfkt. Funktionsaufruf Linear Programming Results Call : simplex(a = a, A1 = A1, b1 = b1, maxi = TRUE) Maximization Problem with Objective Function Coefficients x1 x Optimal solution has the following values x1 x The optimal value of the objective function is Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 4 / 27

5 Die R-Funktion simplex N Example 1.2 ( mit weiterer NB) 4x 1 + 5x 2 20 max 2x 1 + 7x 2 unter 3x 1 + 7x 2 21 x 1 + x 2 1 x 1, x 2 0. Matrixformulierung: max a x unter A 1 x b 1, A 2 x b 2 und x 0 mit ( ) ( ) ( ) a =, A 1 =, b 1 =, A 2 = ( ) 1 1, b 2 = ( ) Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 5 / 27

6 Die R-Funktion simplex N 1 > library(boot) 2 > A1 <- matrix( c(4, 5, 3, 7), nrow = 2, 3 > ncol = 2, byrow = TRUE) 4 > b1 <- c(20, 21) 5 > A2 <- matrix( c(1, 1), nrow = 1, 6 > ncol = 2, byrow = TRUE) 7 > b2 <- c(1) 8 > a <- c(2, 7) 9 > simplex(a = a, A1 = A1, b1 = b1, A2 = A2, 10 > b2 = b2, maxi = TRUE) kleiner-gleich NB größer-gleich NB Funktionsaufruf Linear Programming Results Call : simplex(a = a, A1 = A1, b1 = b1, A2 = A2, b2 = b2, maxi = TRUE) Maximization Problem with Objective Function Coefficients x1 x2 2 7 Optimal solution has the following values x1 x2 0 3 The optimal value of the objective function is 21. Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 6 / 27

7 Die R-Funktion simplex N Example 1.3 ( mit weiterer NB und Minimum) 4x 1 + 5x 2 20 min 2x 1 + 7x 2 unter 3x 1 + 7x 2 21 x 1, x 2 0. x 1 + x 2 = 1 Matrixformulierung: min a x unter A 1 x b 1, A 3 x = b 3 und x 0 mit ( ) ( ) ( ) a =, A 1 =, b 1 =, A 3 = ( ) 1 1, b 3 = ( ) Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 7 / 27

8 Die R-Funktion simplex N 1 > library(boot) 2 > A1 <- matrix( c(4, 5, 3, 7), nrow = 2, 3 > ncol = 2, byrow = TRUE) 4 > b1 <- c(20, 21) 5 > A3 <- matrix( c(1, 1), nrow = 1, 6 > ncol = 2, byrow = TRUE) 7 > b3 <- c(1) 8 > a <- c(2, 7) 9 > simplex(a = a, A1 = A1, b1 = b1, A3 = A3, 10 > b3 = b3) kleiner-gleich NB gleichheits NB Funktionsaufruf Linear Programming Results Call : simplex(a = a, A1 = A1, b1 = b1, A3 = A3, b3 = b3) Minimization Problem with Objective Function Coefficients x1 x2 2 7 Optimal solution has the following values x1 x2 1 0 The optimal value of the objective function is 2. Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 8 / 27

9 Die R-Funktion simplex N Nur für relativ kleine Systeme empfehlenswert. NB, wie x i b i > 0, sollten durch Einführen von x i := x i b i 0 im gesamten System ersetzt werden. (Rücktranfsformation nachdem Lösung gefunden wurde.) Duale Lösung nicht ablesbar. Keine Sensitivitätsanalyse. Zwei-Phasen Simplex-Verfahren, falls x = 0 nicht zum Zulässigen Bereich gehört, dann wird versucht eine zulässige Startlösung zu finden. Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 9 / 27

10 Die R-Funktion solve N package: linprog Befehl: solve Die Funktion solve optimiert lineare Funkionen a x unter den Nebenbedingungen Ax b sowie x 0. Example 1.4 (17.5.2) max 15x 1 +5x 2 5x 3 20x 4 unter x 1 + x 2 x 3 + x 4 1 6x 1 + x 2 + x 3 2x 4 2 x 1,..., x 4 0. Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 10 / 27

11 Die R-Funktion solve N Matrixformulierung: max a x unter Ax b und x 0 mit 15 ( ) ( ) a =, A =, b = > library( linprog) 2 > A <- matrix( c(1, 1, -1, 1, 6, 1, 1, -2), 3 > nrow = 2, ncol = 4, byrow = TRUE) 4 > b <- c(1, 2) 5 > a <- c(15, 5, -5, -20) 6 > solve(a, b, A, maximum = TRUE) Lade Paket linprog Matrix A Vektor b Koeff.vektor der Zielfkt. Funktionsaufruf Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 11 / 27

12 Die R-Funktion solve N Results of Linear Programming / Linear Optimization Objective function (Maximum): [1] 7 Iterations in phase 1: 0 Iterations in phase 2: 2 Basic Variables opt Constraints max actual diff dual price dual.reg All Variables (including slack variables) opt c min c max c marg. marg.reg NA NA NA NA Inf Inf S NA NA S NA NA Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 12 / 27

13 Die R-Funktion solve N Ausgabe von: optimaler Wert der Zielfkt. Anzahl Iterationen in Phase 1/2 Vektor der von Null verschiedenen Variablen im Optimum. Informationen über NB: 1. Spalte = b 2. Spalte = NB-Werte ( linke Seite ) im Optimum 3. Spalte = Differenz von Spalte 1 und 2 4. Spalte = duale Lösung (Schattenpreise) Resultate aller Variablen (inklusive Schlupfvariablen) 1. Spalte = Optimalwerte 2. Spalte = Koeffizienten der Zielfkt. 3. Spalte = Minimum von 2. Spalte, dass Lösung nicht ändert 4. Spalte = Maximum von 2. Spalte, dass Lösung nicht ändert 5. Spalte = Koeffizienten der Zielfuntion nach letzter Iteration Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 13 / 27

14 Die R-Funktion solve N 1 > res <- solve(a, b, A, maximum = TRUE) 2 > res$tab Abspeichern der Lösung Anzeigen des letzten Tableaus S 1 S 2 P Z-C Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 14 / 27

15 Die R-Funktion solve N Example 1.5 ( mit weiterer NB) 4x 1 + 5x 2 20 max 2x 1 + 7x 2 unter 3x 1 + 7x 2 21 x 1 + x 2 1 x 1, x 2 0. Matrixformulierung: max a x unter Ax b und x 0 mit ( ) a =, A = 3 7 7, b = > library( linprog) 2 > A <- matrix( c(4, 5, 3, 7, -1, -1), 3 > nrow = 3, ncol = 2, byrow = TRUE) 4 > b <- c(20, 21, -1) 5 > a <- c(2, 7) 6 > solve(a, b, A, maximum = TRUE) Lade Paket linprog Matrix A Vektor b Koeff.vektor der Zielfkt. Funktionsaufruf Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 15 / 27

16 Die R-Funktion solve Results of Linear Programming / Linear Optimization N Objective function (Maximum): [1] 21 Iterations in phase 1: 1 Iterations in phase 2: 2 Basic Variables opt 2 3 S 1 5 S 3 2 Constraints max actual diff dual price dual.reg All Variables (including slack variables) opt c min c max c marg. marg.reg Inf Inf NA NA S S NA NA S Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 16 / 27

17 Die R-Funktion solve N Letztes Tableau kann ausgegeben werden, d.h. Sensitivitätsanalyse möglich. Duale Lösung direkt ablesbar. Zwei-Phasen Simplex-Verfahren, falls x = 0 nicht zum Zulässigen Bereich gehört, dann wird versucht eine zulässige Startlösung zu finden. Keine Gleichheits-NB implementiert. Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 17 / 27

18 Nichtlineare Programmierung N package: stats Befehl: optimize Univariate Optimierung einer Fkt. f(x) in einem gegebenen Intervall [a, b]. Example 2.1 (8.2, Beispiel 2) min f(x) = e 2x 5e x + 4 im Intervall [ 3.0, 1.5] 1 > fkt <- function(x){ 2 > exp(2 * x) - 5 * exp(x) + 4} 3 > interval <- c(-3,1.5) 4 > optimize(fkt, interval) Definiere zu optimierende Funktion zu untersuchendes Intervall Funktionsaufruf $minimum [1] $objective [1] Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 18 / 27

19 Die R-Funktion optimize N Example 2.2 (8.4, Beispiel 2) max f(x) = 1 4 x4 5 6 x x2 1 im Intervall [ 1, 3] 1 > fkt <- function(x){ 1 / 4 * x ^ 4-2 > 5 / 6 * x ^ / 2 * x ^ 2-1} 3 > interval <- c(-1,3) 4 > optimize(fkt, interval, maximum = TRUE) Definiere zu optimierende Funktion zu untersuchendes Intervall Funktionsaufruf $maximum [1] $objective [1] ACHTUNG: Findet nicht den richtigen globalen MAX-Wert f(3) = 1.25, sondern hier nur lokales Maximum! Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 19 / 27

20 Nichtlineare Programmierung N package: stats Befehl: optim Multivariate Optimierung einer Fkt. f : R n R. Example 2.3 (13.1, Beispiel 1) max f(x, y) = 2x 2 2xy 2y x + 42y > fkt <- function(x){-2 * x[1]^2-2 * x[1] * x[2] 2 > -2 * x[2]^ * x[1] + 42 * x[2] - 158} 3 > optim(c(1,1), fkt, control = list( fnscale = -1)) Definiere zu optimierende Funktion Funktionsaufruf Benötigt werden Startpunkt, da iteratives Optimierungsverfahren, hier: x 0 = (1, 1) zu optimierende Funktion falls maximiert werden soll, explizite Angabe: control = list(fnscale = -1) Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 20 / 27

21 Die R-Funktion optim N Ausgabe: Optimalpunkt Funktionswert im Optimalpunkt Anzahl der Funktionsaufrufe Status-Information (0 = Erfolg, 1 = max. Anzahl Iterationen,... ) zusätzliche Informationen $par [1] $value [1] 100 $counts function gradient 87 NA $convergence [1] 0 $message NULL Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 21 / 27

22 Die R-Funktion optim N weitere Optionen: Angabe des Gradienten (wenn nötig) Auswahl verschiedener Verfahren (z. B. CG, BFGS, Nelder-Mead) Ausgabe der Hesse-Matrix 1 > gr <- function(x){c(-4 * x[1] - 2 * x[2] + 36, 2 > -2 * x[1] - 4 * x[2] + 42)} 3 > res <- optim(c(1,1), fkt, gr, method = "CG", 4 > control = list( fnscale = -1), 5 > hessian = TRUE) 6 > res$ hessian Definiere Gradienten Funktionsaufruf Aufruf der Hesse-Matrix [,1] [,2] [1,] -4-2 [2,] > eigen(res$ hessian) Eigenwerte und Vektoren $values [1] -2-6 $vectors [,1] [,2] [1,] [2,] Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 22 / 27

23 Die R-Funktion constroptim N package: stats Befehl: constroptim Minimierung einer Fkt. f : R n R unter linearen Ungleichheitsnebenbedingungen der Form Ax b. Example 2.4 (14.8, Beispiel 2) max f(x, y) = x + y unter 3x + 5y 10 1 > fkt <- function(x){sqrt(x[1]) + sqrt(x[2])} 2 > A <- matrix(c(-3,-5), nrow = 1, ncol = 2, 3 > byrow = TRUE) 4 > b <- c(-10) 5 > constroptim(c(1,1), fkt, NULL, ui = A, ci = b, 6 > control = list( fnscale = -1)) Funktion Matrix A rechte Seite b Funktionsaufruf Benötigt werden: Startpunkt (muss im Inneren des zul. Bereichs liegen), Funktion, Gradient (kann NULL gesetzt werden), Nebenbedingungungen, Info für Maximierung Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 23 / 27

24 Die R-Funktion constroptim N Ausgabe analog zu optim $par [1] $value [1] $counts function gradient 81 NA $convergence [1] 0 $message NULL $outer.iterations [1] 1 $barrier.value [1] Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 24 / 27

25 Die R-Funktion nlm N package: stats Befehl: nlm Minimierung einer Fkt. f : R n R mittels line-search (Algorithmus vom Newton-Typ). Example 2.5 (13.1, Beispiel 1) min f(x, y) = 2x 2 + 2xy 2y 2 36x 42y > fkt <- function(x){-1 * (-2 * x[1]^2-2 * 2 > x[1] * x[2] -2 * x[2]^ * x[1] + 3 > 42 * x[2] - 158)} 4 > nlm(fkt, c(1,1)) Benötigt werden Definiere zu minimierende Funktion Funktionsaufruf Startpunkt, da iteratives Optimierungsverfahren, hier: x 0 = (1, 1) zu optimierende Funktion Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 25 / 27

26 Die R-Funktion nlm N Ausgabe: Funktionswert im Minimum Optimalpunkt Gradient der Lösung Status-Information (1 = Gradient in der Nähe von Null,... ) Anzahl Iterationen $minimum [1] -100 $estimate [1] $gradient [1] e e-09 $code [1] 1 $iterations [1] 3 Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 26 / 27

27 Die R-Funktion nlm N weitere Optionen: Angabe des Gradienten Ausgabe der Hesse-Matrix 1 > gr <- function(x){c(4 * x[1] + 2 * x[2] - 36, 2 > 2 * x[1] + 4 * x[2] - 42)} 3 > res <- nlm(fkt, c(1,1), gr, hessian = TRUE) 4 > res$ hessian Definiere Gradienten Funktionsaufruf Aufruf der Hesse-Matrix [,1] [,2] [1,] [2,] > eigen(res$ hessian)$ values Eigenwerte [1] 6 2 Fortgeschrittene Mathematik: Optimierung (WiSe 09/10) 27 / 27