v R n ist Abstiegsrichtung in x R n wenn f(x) v < 0 v R n ist Abstiegsrichtung in x R n wenn i=1,,d: f i

Größe: px

Ab Seite anzeigen:

Download "v R n ist Abstiegsrichtung in x R n wenn f(x) v < 0 v R n ist Abstiegsrichtung in x R n wenn i=1,,d: f i"

Minna Frank
vor 6 Jahren
Abrufe

MOP: Pareto-Gradientenabstiegsverfahren Annahme: Zielfunktion differenzierbar Wintersemester 2007/08 Praktische Optimierung (Vorlesung) d = 1: (monokriteriell) v R n ist Abstiegsrichtung in x R n

1 MOP: Pareto-Gradientenabstiegsverfahren Annahme: Zielfunktion differenzierbar Wintersemester 2007/08 Praktische Optimierung (Vorlesung) d = 1: (monokriteriell) v R n ist Abstiegsrichtung in x R n wenn f(x) v < 0 d > 1: (multikriteriell) v R n ist Abstiegsrichtung in x R n wenn i=1,,d: f i (x) v < 0 bzw. max { f i (x) v : i=1,,d } < 0 Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering (LS XI) Fachgebiet Computational Intelligence Bewegung von x in Richtung v mit geeigneter Schrittweite s führt zu einer Lösung y = x + s v, die x dominiert: f(y) f(x) Rudolph: PO (WS 2007/08) 2 MOP: Pareto-Gradientenabstiegsverfahren Berechnung einer Abstiegsrichtung v für gegebenes x Arbeitsdefinition: Ansatz: max { f i (x) v : i=1,,d } min! Metaheuristik = def unter v 1 v 0 min! Algorithmischer Rahmen für eine Lösungsstrategie, bei der viele Bestandteile initial unspezifiziert sind. unter i=1,,d: f i (x) v v 0 lineares Optimierungsproblem (LP) viele algorithmische Bestandteile können ausgetauscht werden, ohne die generelle Lösungsstrategie zu verändern i=1,,d: 1 v i 1 viele verschiedene Algorithmen Bestimmung der Schrittweite s Aufbau einer Theorie mühsam finde größtes s mit f(x + s v) f(x) + s J(x) v, J(x) Jacobi-Matrix bzw. i=1,,d: f i (x + s v) f i (x) + s f i (x) v und echt kleiner für mindestens ein i Rudolph: PO (WS 2007/08) 3 Rudolph: PO (WS 2007/08) 4 1

07/08) 5 1. Mutationsvektoren keine Änderung nötig! 2. Selektion Neudefinition: = { z F : z ¹ } keine Änderung an der Rahmenstruktur des Algorithmus!

2 Beispiel: Monokriterieller (1+1) EA ( evolutionärer Algorithmus ) Multikriterieller (1+1)-EA: Was wäre zu ändern? Mutation Selektion : Zufallsvektor (hier: unspezifiziert) R Zielfunktion ( min!) Zielwerte, die besser als sind Rudolph: PO (WS 2007/08) 5 1. Mutationsvektoren keine Änderung nötig! 2. Selektion Neudefinition: = { z F : z ¹ } keine Änderung an der Rahmenstruktur des Algorithmus! Rudolph: PO (WS 2007/08) 6 I = { z F : z ¹ } better than = { z F : z } incomparable to = { z F : ¹ z } worse than Multikriterieller (1+1)-EA: Beispiel: Monokriterielles Threshold Accepting (TA) : Zufallsvektor (hier: unspezifiziert) Threshold 0 R Zielfunktion ( min!) monoton fallend 0 Zielwerte, die besser als sind Rudolph: PO (WS 2007/08) 7 Rudolph: PO (WS 2007/08) 8 2

3 Idee bei monokriteriellem Threshold Accepting (TA) Multikriterielles Threshold Accepting: Was wäre zu ändern? Akzeptiere jede Verbesserung Akzeptiere zu Anfang der Suche auch große Verschlechterungen Akzeptiere danach immer geringere Verschlechterungen am Ende nahezu keine Akzeptanz von Verschlechterungen mehr Verlassen von lokalen Optima durch Akzeptanz von Verschlechterungen Regeln für : = c -1, c (0,1) = T 0 / (k+1) a a > 0 = T 0 / log(k+1) weitere Regeln denkbar und wohl auch im Einsatz 1. wird m-dimensionaler Vektor (ein Threshold je Zielgröße oder einer für alle) 2. ggf. m verschiedene Verringerungsregeln Rudolph: PO (WS 2007/08) 9 Rudolph: PO (WS 2007/08) 10 I = { z F : z ¹ } better than = { z F : z } incomparable to = { z F : ¹ z } worse than Multikriterielles TA: Alternative Akzeptanzregeln für multikriterielles TA > 0 Verschlechterung bzgl. Ziel i Sei = f i (y k ) f i (x k ). < 0 Verbesserung bzgl. Ziel i 1. max{ : i = 1,,m} f(y k ) B( f(x k ) + (1,,1) ) 2. i max{, 0 } Konvexkombination w 1, w m 3. i 4. Rudolph: PO (WS 2007/08) 11 Rudolph: PO (WS 2007/08) 12 3

4 = { z F : z ¹ } better than = { z F : z ¹ } better than I = { z F : z } incomparable to I = { z F : z } incomparable to = { z F : ¹ z } worse than = { z F : ¹ z } worse than MTA: i max{, 0 } MTA: i Rudolph: PO (WS 2007/08) 13 Rudolph: PO (WS 2007/08) 14 Beispiel: Monokriterielles Simulated Annealing (SA) Idee beim monokriteriellem Simulated Annealing: Akzeptiere auch schlechtere Lösungen mit abnehmender Wahrscheinlichkeit, um aus lokalen Optima zu entkommen! Satz (Hayek 1988, Haario & Saksman 1991) = T 0 / log(k + 1), m k mit beschränktem Träger SA konvergiert gegen globales Optimum mit W keit 1 sehr langsame Temperaturverringerung! Praxis: +1 = c mit c (0,1) : Zufallsvektor u U[0,1], 0 monoton fallend Zielwerte, die besser als sind Zielwerte, die schlechter als sind Satz (Belisle 1992) = c k T 0, c (0,1) und supp(m k ) = R n SA konvergiert zum globalen Optimum mit W keit 1 Rudolph: PO (WS 2007/08) 15 Rudolph: PO (WS 2007/08) 16 4

Multikriterielles Simulated Annealing: Was wäre zu ändern?

worse than Multikriterielles SA: (k) = f i (y k ) f i (x k ) Δ k = max{ (k) :

.,m } Zielwerte, die besser als sind Zielwerte, die schlechter als sind

Simulated Annealing: Serafini (1992) MSA (Serafini 1992) ϑ: R m x R + [0,1] δ

5 Multikriterielles Simulated Annealing: Was wäre zu ändern? I = { z F : z ¹ } better than = { z F : z } incomparable to = { z F : ¹ z } worse than Multikriterielles SA: (k) = f i (y k ) f i (x k ) Δ k = max{ (k) : i = 1,..,m } Zielwerte, die besser als sind Zielwerte, die schlechter als sind Rudolph: PO (WS 2007/08) 17 Rudolph: PO (WS 2007/08) 18 Multikriterielles Simulated Annealing: Serafini (1992) MSA (Serafini 1992) ϑ: R m x R + [0,1] δ (k) = ( δ 1 (k),, δ m (k) ) mit (k) = f i (y k ) f i (x k ) supp(m k ) kann beschränkt sein Rudolph: PO (WS 2007/08) 19 zzgl. zusammengesetzte Regeln: Rudolph: PO (WS 2007/08) 20 5

MSA (Engrand et al. 1998) MSA (Engrand et al. 1998) Ersatzzielfunktion Skalarisierung! Ersatzzielfunktion erfordert i : x: f i (x) > 0 vermutlich nicht alle Lösungen erreichbar!

Rudolph: PO (WS 2007/08) 21 Rudolph: PO (WS 2007/08) 22 Beispiel: Monokriterielles Tabu Search (TS) Bisher: Ein Lauf ein Lösungskandidat Erwünscht: Approximation der Paretomenge Ansatz: Einsammeln

6 MSA (Engrand et al. 1998) MSA (Engrand et al. 1998) Ersatzzielfunktion Skalarisierung! Ersatzzielfunktion erfordert i : x: f i (x) > 0 vermutlich nicht alle Lösungen erreichbar! Ansatz: g i (x) = exp(f i (x)) i : x : g i (x) > 0 lokale und globale Minimalstellen identisch! Ersatzzielfunktion mit = 1/m kann nur Pareto-optimale Lösungen im konvexen Zielbereich finden! Rudolph: PO (WS 2007/08) 21 Rudolph: PO (WS 2007/08) 22 Beispiel: Monokriterielles Tabu Search (TS) Bisher: Ein Lauf ein Lösungskandidat Erwünscht: Approximation der Paretomenge Ansatz: Einsammeln nicht-dominierter Lösungen Tabu-Liste L k mit max. Länge Nachbarschaft N(x) von x X auch schlechtere neue Punkte werden akzeptiert! zugeschnitten für diskrete Probleme Knowles & Corne (2000): Pareto-Archived ES (PAES) Rudolph: PO (WS 2007/08) 23 Rudolph: PO (WS 2007/08) 24 6

(1+1)-PAES (Knowles & Corne 2000) (1+1)-PAES

(cells); d = dim(f) f 2 most crowded (size =

7 (1+1)-PAES (Knowles & Corne 2000) (1+1)-PAES (Knowles & Corne 2000) A k : Archiv zum Zeitpunkt k Rudolph: PO (WS 2007/08) 25 Rudolph: PO (WS 2007/08) 26 (1+1)-PAES (Knowles & Corne 2000) Idee: Zielraum unterteilen in Raster mit 2 d s Zellen (cells); d = dim(f) f 2 most crowded (size = 3) Speichereffiziente Implementierung möglich quadtree f 1 Rudolph: PO (WS 2007/08) 27 7

Ähnliche Dokumente

Synthese Eingebetteter Systeme. 16 Abbildung von Anwendungen: Optimierung mit DOL

12 Synthese Eingebetteter Systeme Sommersemester 2011 16 Abbildung von Anwendungen: Optimierung mit DOL 2011/06/24 Michael Engel Informatik 12 TU Dortmund unter Verwendung von Foliensätzen von Prof. Lothar