11. Vorlesung Stochastische Optimierung
|
|
- Gerda Adler
- vor 5 Jahren
- Abrufe
Transkript
1 Soft Control (AT 3, RMA) 11. Vorlesung Stochastische Optimierung Simmulated Annealing
2 11. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation und Wissensverarbeitung (Symbolische KI) Anwendung: Expertensysteme 3. Fuzzy-Systeme: Umgang mit unscharfem Wissen Anwendung: Fuzzy-Control 4. Konnektionistische Systeme: Neuronale Netze Anwendung: Identifikation und neuronale Regler 5. Stochastische Optimierung (Genetische Algorithmen Simulated Annealing, Differential Evolution) Anwendung: Optimierung 1. Genetische Algorithmen 2. Simulated Annealing 6. Zusammenfassung & Literaturhinweise 294
3 Simulated Annealing: Einführung 1/2 Simulated Annealing Annealing: Erhitzung und anschließende langsame Abkühlung Von der Physik inspiriertes Verfahren Vorbild ist der Abkühlungsprozess in Kristallstrukturen Man erhitzt eine Substanz mit Gitterstruktur (z.b. Silizium) Beobachteter Effekt Kühlt man die Substanz besonders schnell ab ( Abschrecken ), so ergibt sich eine sehr ungleichmäßige (unreine) Gitterstruktur Lässt man die Substanz jedoch langsam abkühlen, so ergibt sich am Ende des Abkühlvorgangs eine besonders gleichmäßige Gitterstruktur Gitterstruktur durch Abschrecken Erhitzte Substanz Gitterstruktur durch Annealing 295
4 Simulated Annealing: Einführung 2/2 Erklärung Allgemein streben Körper in der Natur nach einem Zustand mit möglichst niedriger Energie Der Abkühlprozess entspricht dem Streben nach einer Gitterstruktur mit dieser Eigenschaft natürliches Optimierungsverfahren Je wärmer der Körper ist, desto beweglicher sind die Teilchen der Gitterstruktur vorhandene (nicht optimale) Gitterstrukturen können aufgelöst werden Je kälter der Körper wird, desto unbeweglicher werden die Teilchen im Gitter und eine feste Gitterstruktur bildet sich aus Beachtenswert: Beim Übergang von einer sub-optimalen Gitterstruktur zu einer optimalen Gitterstruktur ist oftmals ein Zwischenzustand notwendig der noch sub-optimaler ist als der Ausgangszustand schlechtes Gitter sehr schlechtes Gitter gutes Gitter 296
5 Simulated Annealing: Nachteile lokaler Optimierungsverfahren Lokale Optimierungsverfahren Verfahren die innerhalb einer vorgegebenen Umgebung nach dem lokalen Extremum suchen Populärstes Beispiel: Gradienten-Abstiegsverfahren Finde das Minimum einer Funktion bei gegebenem Startpunkt 0 Startpunkt Endpunkt der Suche Lokales Minimum globales Minimum Problem: Um das globale Minimum zu finden müssen ausgehend vom Startpunkt i.a. auch lokale Minima durchschritten werden Vorübergehend (aber nicht dauerhaft) müssen schlechtere Lösungen als eine Verbesserung akzeptiert werden 297
6 Simulated Annealing: Lokale Suche mit wechselndem Suchraum 1/2 Simulated Annealing erlaubt Überwindung lokaler Minima Grund-Algorithmus 1. Lege eine Initallösung fest (aktuelle Lösung zu Beginn der Optimierung) Zentrum des Lokalen Suchraums 2. Wähle im Umkreis des Zentrums (lokaler Suchraum) einen Lösungskandidaten aus 3. Entscheidung ob der Lösungskandidat die neue Lösung werden soll 4. Soll die Lösung übernommen werden, so verschiebt sich das Zentrum in die neue Lösung (Verschiebung des lokalen Suchraums) 5. Weiter bei 2 bis Abbruchkriterium erfüllt 298
7 Simulated Annealing: Lokale Suche mit wechselndem Suchraum 2/2 Veranschaulichung 2-Dimensionaler Suchraum lokaler Suchraum globaler Suchraum X Verlauf der Güte Hier Vereinfachung, Güte ist nur Abhängig von X2 X2 299
8 Simulated Annealing: Stochastische Elemente von Simulated Annealing 1/2 Metropolis-Algorithmus (1953, Metropolis et al.) Algorithmus zur Wahl einer zu testenden Lösung innerhalb des lokalen Suchraums und zur Entscheidung ob schlechtere Lösung als neues Zentrum benutzt wird heißt Metropolis-Algorithmus Ursprünglicher Zweck: Erzeugung einer Boltzmann-Verteilung Wahl einer zu testenden Lösung y: zu testende Lösung x: Zentrum des lokalen Suchraums y { x } : Radius des lokalen Suchraums Für konkrete Wahl von y wird eine Wahrscheinlichkeitsverteilung herangezogen Häufig eingesetzt: Gauss-Verteilung Bevorzugter Test von Lösungen in der Nähe des Zentrums Wahl der zu testen Lösung durch Zufall x x1 x2 300
9 Simulated Annealing: Stochastische Elemente von Simulated Annealing 2/2 Übernahme der getesteten Lösung Bestimmung der Energie (Güte) des Zentrums: E(x) Bestimmung der Energie (Güte) der Testlösung: E(y) Vergleiche E(x) mit E(y) Gilt E(y) < E(x) so wird y das neue Zentrum: x:=y Sonst ermittle die Energie-Differenz E=E(y)-E(x) Die neue (schlechtere) Lösung wird mit einer Wahrscheinlichkeit gemäß einer Exponential-Verteilung trotzdem übernommen p( E, T) e E / T p( E) 1 E: Gütedifferenz (abstrakte Energie-Differenz) T: (abstrakte) Temperatur p(t) E 1 T Je geringer die Energiedifferenz und je höher die Temperatur, desto wahrscheinlicher die Übernahme einer schlechteren Lösung 301
10 Simulated Annealing: Interpretation von Energie und Temperatur Interpretation der Energie Bei Minimierungsproblem soll Energie minimiert werden Bei Maximierungsproblemm soll Energie maximiert werden Transformation des Problems in ein Minimierungsproblem notwendig z.b. durch Inversion (1/E), oder durch Multiplikation mit -1 (-E) Achtung: 1/E ist nichtlinear Die Energie ist eine Metapher für ein Gütefunktional Interpretation der Temperatur Hohe Temperatur hohe Übernahmewahrscheinlichkeit Niedrige Temperatur geringe Übernahmewahrscheinlichkeit Temperatur entspricht Maß für Übernahmewahrscheinlichkeit Beschrieben wird eine Erhitzung mit anschließender Abkühlung Erhitzung: Initialtemperatur Abkühlung: Absenkung der Temperatur (z.b. exponentielle Abkühlung) Mit sinkender Temperatur sinkt die Übernahmewahrscheinlichkeit schlechter Lösungen 302
11 Simulated Annealing: Simulated Annealing Optimierungsalgorithmus 1. Lege eine Initallösung fest (Lösung zu Beginn der Optimierung) 2. Wähle im Umkreis des Zentrums (lokaler Suchraum) einen Lösungskandidaten aus Zum Beispiel durch Gauss-Verteilung 3. Entscheidung ob der Lösungskandidat die neue Lösung werden soll Berechnung von E(y) E sollte einfach zu berechnen sein Bessere Lösung auf jeden Fall übernehmen Schlechtere Lösung wird mit Wahrscheinlichkeit übernommen p( E, T) E / T 4. Bestimmung des neuen Zentrums und Abkühlung Verschiebung des Zentrums (oder eben nicht) Abkühlung: T=α*T, α є [0,1), Abkühlungskoeffizient e 5. Weiter bei 2 bis Abbruchkriterium erfüllt 303
12 Simulated Annealing: Eigenschaften Kombinierte globale und lokale Suche Die Extremum-Suche findet in einem lokalen Suchraum statt Das Zentrum des Suchraums verschiebt sich jedoch Lokale Suche im globalen Suchraum Unabhängigkeit von Initiallösung Initiallösung muss vorgegeben werden Ist Anfangstemperatur hoch genug kann ein lokales Extremum problemlos verlassen werden Mit sinkender Temperatur sinkt dann jedoch die Wahrscheinlichkeit für das Verlassen eines lokalen Extremums Am Anfang der Optimierung Suche eines guten lokalen Suchraums Am Ende der Optimierung Suche des Minimums im lokalen Suchraum Hybrides Optimierungsverfahren Bitcodierung der Lösung Diskrete Optimierung Fließkomma-Codierung der Lösung kontinuierliche Optimierung 304
13 Simulated Annealing: Typischer Suchverlauf Beispiel eines typischen Sucherverlaufs 2-Dimensionaler Lösungsraum (x1,x2) Mehrere lokale Minima globaler Suchraum Initiallösung Suche nach Umgebung mit globalem Minimum X1 Suche nach lokalem Minimum X2 305
14 Simulated Annealing: Anwendungsbeispiel 1/4 Travelling Salesman Problem Eines der schwierigsten bekannten diskreten Optimierungsprobleme Es gehört zur Klasse der NP-vollstänidgen Probleme Berechnungsaufwand steigt mit wachsender Größe des Problems stärker als polynomial an O TSP > O(n k ) Problembeschreibung Ein Handlungs-Reisender möchte auf einer Rundreise n Städte besuchen um dort seine Waren anzubieten Start und Endpunkt sind festgelegt Jede Stadt soll genau einmal besucht werden Die zurückgelegte Strecke soll minimal sein (Optimierungsproblem) Lösung mit Simulated Annealing Codierung der Lösung als Liste von Städten Energie zurückgelegte Gesamtstrecke (soll minimal werden) 306
15 Simulated Annealing: Anwendungsbeispiel 2/4 Globaler Suchraum Alle denkbaren Routen mit denen alle n Städte besucht werden Exakte Größe des Suchraums: Lösungen 10 Städte: Lösungen ( n 1)!/ 2 20 Städte: Lösungen 6*10 16 Lösungen Bereits bei 20 Städten kann man unmöglich alle Lösungen durchprobieren, bei 10 6 Lösungen pro Sekunde rechnet man mehr als 1902 Jahre um garantiert die optimale Lösung zu finden Bestimmung eines Lösungskandidaten Ausgangslösung: 1,2,3,..,i,i+1,,j-1,j,,n Kopiere Ausgangslösung, Schneide Segment i,,j aus Kopie heraus Invertiere Segment: i,i+1,,j-1,j j,j-1,,i+1,i Setze invertiertes Segment anstelle des Ursprungsegments in Kopie ein i,j werden zufällig bestimmt (z.b. mit Normalverteilung), wobei die Kette als Ring aufgefasst wird, sodass der Mittelwert der Normalverteilung auch verschoben werden kann 307
16 Simulated Annealing: Anwendungsbeispiel 3/4 Beispiel: Bestimmung des Lösungskandidaten (Fortsetzung) Initiallösung als Liste von Städten: 1,2,3,..,i,i+1,,j-1,j,,n Darstellung als Ring 1 2 i 1 2 i i+1 i+1 n n j j-1 j j-1 308
17 Simulated Annealing: Anwendungsbeispiel 4/5 Demo Applet für TSP-Problem von TU Clausthal Beispiel TSP Problem 50 Städte Intiallösung: E=11603 Parameter T 0 = 10 α = 0,999 Anzahl Lösungen 3*10 62 Zum Vergleich Sonne besteht aus ca Atomen (Quelle: 309
18 Simulated Annealing: Anwendungsbeispiel 5/5 Gefundene Lösung nach 60 Sekunden Rechenzeit E = Lösungskandidaten abgesucht Optimale Lösung: unbekannt! 310
19 Simulated Annealing: Bewertung 1/2 Simulated Annealing Stochastisches Optimierungsverfahren Globale Optimierung Keine Optimierungsgarantie Praktisch ist nicht garantiert, dass das globale Optimum gefunden wird I.A. werden jedoch in endlicher Zeit quasi-optimale Lösungen gefunden Durch einen formalen Beweise wurde gezeigt, dass bei unendlicher Rechenzeit das globale Optimum gefunden wird (praktisch irrelevant) Auch bei unendlich niedriger Temperatur und großer Gütedifferenz wird die Wahrscheinlichkeit zum Wechsel des lokalen Minimums nie 0 Praktische Anwendbarkeit Der Algorithmus ist sehr simpel schnelle Abarbeitung Auch mit Skript-Sprachen einfach zu implementieren ideal zum Ausprobieren ob der Algorithmus auf ein Problem anwendbar ist 311
20 Simulated Annealing: Bewertung 2/2 Viele Varianten Bestimmung des Lösungskandidaten (Wahrscheinlichkeitsverteilung) Merken der besten Lösung (eine Art Elitismus) Periodisches partielles Erhöhen der Temperatur T T T 0 T 0 t Möglichkeit zum Verlassen eines lokalen Extremums Erfolgreiche Anwendung auf viele Probleme in der Praxis Travelling Salesman Problem Regler-Parameter-Optimierung t Codierung muss für jedes Problem neu gewählt werden Bei ungeeigneter Codierung versagt das Optimierungsverfahren In der Codierung steckt Wissen des Anwenders (Heuristik) 312
21 Zusammenfassung und Lernkontrolle zur 11. Vorlesung Grundidee von Simulated Annealing kennen Vorbild in der Physik Probleme lokaler Optimierungsverfahren kennen Beschreiben können warum Simulated Annealing stochastisch ist Wahl des Lösungskandidaten Entscheidung ob Lösung übernommen wird Metropolis-Algorithmus Travelling Salesman-Problem Beschreiben können Komplexität Lösung mit Simulated Annealing 313
12. Vorlesung Stochastische Optimierung
Soft Control (AT 3, RMA) 12. Vorlesung Stochastische Optimierung Differential Evolution 12. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter"
MehrSynthese Eingebetteter Systeme. Übung 6
12 Synthese Eingebetteter Systeme Sommersemester 2011 Übung 6 Michael Engel Informatik 12 TU Dortmund 2011/07/15 Übung 6 Evolutionäre Algorithmen Simulated Annealing - 2 - Erklären Sie folgende Begriffe
Mehr10. Vorlesung Stochastische Optimierung
Soft Control (AT 3, RMA) 10. Vorlesung Stochastische Optimierung Genetische Algorithmen 10. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter"
Mehr3. Vorlesung Fuzzy Systeme
Soft Control (AT 3, RMA) 3. Vorlesung Fuzzy Systeme Fuzzy Mengen 3. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
Mehr11. Übung zu Algorithmen I 6. Juli 2016
11. Übung zu Algorithmen I 6. Juli 2016 Lisa Kohl lisa.kohl@kit.edu mit Folien von Lukas Barth Roadmap Ausblick: Was sind schwierige Probleme? Travelling Salesman Problem - Reprise ein ILP ein Algorithmus
Mehr1 Heuristiken für das Traveling Salesman Problem
Praktikum Diskrete Optimierung (Teil 5) 15.06.2011 1 1 Heuristiken für das Traveling Salesman Problem Wir betrachten das folgende Problem. Wir wollen einen gegebenen Graphen möglichst schnell so durchlaufen,
Mehr7. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
Mehr09. Übung zu Algorithmen I 12. Juli 2017
09. Übung zu Algorithmen I 12. Juli 2017 Björn Kaidel bjoern.kaidel@kit.edu mit Folien von Lukas Barth 1 / 67 Roadmap Ausblick: Was sind schwierige Probleme? Travelling Salesman Problem - Reprise ein ILP
MehrLösung von Optimierungsproblemen mit Monte Carlo Methoden
Lösung von Optimierungsproblemen mit Monte Carlo Methoden Am Beispiel des Problem des Handlungsreisenden Vortragende: Alexandra Vosseler Inhaltsverzeichnis I. Einleitung II. Optimierung mit MCM II.i Vom
MehrNumerische Methoden und Algorithmen in der Physik
Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 11.12.2008 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 1/ 18 Einführung Einführung Verfahren für
Mehr5. Vorlesung Fuzzy Systeme
Soft Control (AT 3, RMA) 5. Vorlesung Fuzzy Systeme Fuzzy Control 5. Vorlesung im Aufbau der Vorlesung. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
Mehr15 Grundlagen der Simulation
15 Grundlagen der Simulation 15.1 Einführung Komplexe Problemstellungen, die einer analytischen Behandlung nur sehr schwer oder gar nicht zugänglich sind Lösung von diskreten (oder analytischen) Optimierungsaufgaben,
Mehr1. Vorlesung Gliederung und Einführung
Soft Control (AT 3, RMA) 1. Vorlesung Gliederung und Einführung Inhalt der Vorlesung Rechnergestützte Methoden in der Automatisierungstechnik Expertensysteme Anwendung: Diagnose Fuzzy-Systeme Anwendung:
Mehr6. Vorlesung Fuzzy Systeme
Soft Control (AT 3, RMA) 6. Vorlesung Fuzzy Systeme Entwurfsbeispiele 6. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrComputational Intelligence 1 / 37. Berechne die Positionen potentieller Optima, d.h. die Stellen an denen der Gradient verschwindet
1 / 37 Gliederung 1 Analytische Lösung 2 Optimierungsalgorithmen Kalkülbasierte Verfahren Indirekte kalkülbasierte Verfahren Direkte kalkülbasierte Verfahren Zufallsgesteuerte Verfahren Rein zufallsgesteuerte
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
Mehr4. Vorlesung Fuzzy Systeme
Soft Control (AT 3, RMA) 4. Vorlesung Fuzzy Systeme Fuzzy Inferenz 4. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrBetriebliche Optimierung
Betriebliche Optimierung Joachim Schauer Institut für Statistik und OR Uni Graz Joachim Schauer ( Institut für Statistik und OR Uni Graz Betriebliche ) Optimierung 1 / 19 1 Joachim Schauer ( Institut für
MehrVerbesserungsheuristiken
Verbesserungsheuristiken Bestandteile der Lokalen Suche Für schwierige Optimierungsaufgaben haben Verbesserungsheuristiken eine große praktische Bedeutung. Sie starten mit Ausgangslösungen, die von z.b.
MehrLocal Search Algorithmen 1
Local Search Algorithmen 1 Seminar über Algorithmen Manuel Gellfart 18.05.2012 Fachbereich Mathematik und Informatik 18.05.2012 2 Gliederung 1. Einleitung 2. Theorie 3. Beispiel: Vertex Cover 4. Beispiel:
MehrDynamisches Routing in der Logistik
Informatik, Angewandte Informatik, Technische Informationssysteme Dynamisches Routing in der Logistik Tobias Dimmel Dresden, 24.05.2012 Agenda 1. Begriffe 2. Traveling Salesman Problem 3. Ameisenalgorithmus
MehrAdaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Evolutionäre Algorithmen: Überlebenskampf und Evolutionäre Strategien Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überblick Einleitung Adaptive Filter Künstliche
MehrGenetische Algorithmen. Uwe Reichel IPS, LMU München 8. Juli 2008
Genetische Algorithmen Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 8. Juli 2008 Inhalt Einführung Algorithmus Erweiterungen alternative Evolutions- und Lernmodelle Inhalt 1 Einführung
MehrBayesianische Netzwerke - Lernen und Inferenz
Bayesianische Netzwerke - Lernen und Inferenz Manuela Hummel 9. Mai 2003 Gliederung 1. Allgemeines 2. Bayesianische Netzwerke zur Auswertung von Genexpressionsdaten 3. Automatische Modellselektion 4. Beispiel
MehrBetriebliche Optimierung
Betriebliche Optimierung Joachim Schauer Joachim Schauer Betriebliche Optimierung 1 / 31 1 Metaheuristische Verfahren 2 Joachim Schauer Betriebliche Optimierung 2 / 31 Einleitendes Metaheuristische Verfahren
MehrRandomisierte Algorithmen
Randomisierte Algorithmen Randomisierte Algorithmen Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2018/2019 1 / 25 Überblick Überblick Metropolis-Algorithmus
Mehr5. Lokale Suchverfahren. Beispiel TSP: k-change Nachbarschaft. Nachbarschaft. k-opt Algorithmus
5. Lokale Suchverfahren Lokale Suche 5. Lokale Suchverfahren Beispiel TSP: k-change Nachbarschaft Optimale Lösungen können oft nicht effizient ermittelt werden. Heuristiken liefern zwar zulässige Lösungen,
MehrStatistik I für Betriebswirte Vorlesung 4
Statistik I für Betriebswirte Vorlesung 4 Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik 25. April 2016 Prof. Dr. Hans-Jörg Starkloff Statistik I für Betriebswirte Vorlesung
MehrSIMULATED ANNEALING IM RAHMEN DES PS VIRTUAL LAB MARTIN PFEIFFER. Simulated Annealing Virtual Lab 1 /42
SIMULATED ANNEALING IM RAHMEN DES PS VIRTUAL LAB MARTIN PFEIFFER Simulated Annealing Virtual Lab 1 /42 - Simulated Annealing = Simuliertes Abkühlen - Verfahren zum Lösen kombinatorischer Probleme - inspiriert
MehrFormale Grundlagen der Informatik F3: Berechenbarkeit un
Formale Grundlagen der Informatik F3: Berechenbarkeit und Komplexität Fachbereich Informatik AB Theoretische Grundlagen der Informatik (TGI) Universität Hamburg farwer@informatik.uni-hamburg.de 14. Dezember
MehrOptimale Produktliniengestaltung mit Genetischen Algorithmen
Optimale Produktliniengestaltung mit Genetischen Algorithmen 1 Einleitung 2 Produktlinienoptimierung 3 Genetische Algorithmen 4 Anwendung 5 Fazit Seite 1 Optimale Produktliniengestaltung mit Genetischen
MehrTheoretische Informatik 1
Theoretische Informatik 1 Approximierbarkeit David Kappel Institut für Grundlagen der Informationsverarbeitung Technische Universität Graz 02.07.2015 Übersicht Das Problem des Handelsreisenden TSP EUCLIDEAN-TSP
MehrSynthese durch Rechner-Optimierung
4.2.4. Synthese durch Rechner-Optimierung Möglichkeiten zum Finden passender Reglerparameter: 1. Theoretische Synthese (Herleitung der optimalen Werte) 2. Einstellregeln Messungen an der Strecke (z. B.
MehrVorlage für das Schulcurriculum Qualifikationsphase
Vorlage für das Schulcurriculum Qualifikationsphase Grundkurs/grundlegendes Anforderungsniveau Kompetenzen/ Fähigkeiten L1 Leitidee: Algorithmus und Zahl - lösen lineare Gleichungssysteme mithilfe digitaler
Mehrlineare Programmierung
lineare Programmierung Viele Probleme sind durch lineare Gleichungssysteme charakterisiert lineare Programmiermethoden Der Lösungsraum ist häufig auf ganze Zahlen oder gar natürliche Zahlen eingeschränkt!
MehrAngewandte Stochastik
Angewandte Stochastik Dr. C.J. Luchsinger 19 Miscellanea Entsprechend dem Titel folgen ein paar lose Resultate aus diversen Gebieten. Die ersten drei Sektionen haben übrigens Anwendungen in der modernen
MehrWissensbasierte Systeme. Kombinatorische Explosion und die Notwendigkeit Heuristischer Suche. Heuristiken und ihre Eigenschaften
1 Michael Beetz Technische Universität München Wintersemester 2004/05 Kombinatorische Explosion und die Notwendigkeit Heuristischer Suche 2 3 der Eigenschaften der 4 : 8-Puzzle 5 Heuristiken und ihre Eigenschaften
Mehrx x x x Repräsentation von Lösungen (2) Repräsentation von Lösungen (1)
Repräsentation von Lösungen () Repräsentation von Lösungen () Kontinuierliche Optimierung: x x x x n Binäre Optimierung: n = (,,, ) R x = ( x, x,, x ) {0,} n n Lokale Suche: x i = x i + ε Lokale Suche:
Mehr12. Potentialflächen und Optimierung
Dr. Jens Döbler Computeranwendung in der Chemie Informatik für Chemiker(innen) 12. Potentialflächen und Optimierung Jens Döbler 2004 "Computer in der Chemie", WS 2003-04, Humboldt-Universität VL12 Folie
MehrLokale Suche. 31. Januar / 28
Lokale Suche 31. Januar 2018 1 / 28 Lokale Suche Wir betrachten das allgemeine Minimierungsproblem min y f (x, y) so dass L(x, y). Wir nehmen an, dass zu jeder Lösung y auch eine Nachbarschaft N (y) benachbarter
MehrTECHNISCHE UNIVERSITÄT MÜNCHEN Fakultät für Mathematik. Grundlagen der Nichtlinearen Optimierung. Klausur zur Vorlesung WS 2008/09
................ Note I II Name Vorname 1 Matrikelnummer Studiengang (Hauptfach) Fachrichtung (Nebenfach) 2 Obige Angaben sind richtig: Unterschrift der Kandidatin/des Kandidaten 3 TECHNISCHE UNIVERSITÄT
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrDas Gradientenverfahren
Das Gradientenverfahren - Proseminar: Algorithmen der Nichtlinearen Optimierung - David Beisel December 10, 2012 David Beisel Das Gradientenverfahren December 10, 2012 1 / 28 Gliederung 0 Einführung 1
MehrGenetische und Evolutionäre Algorithmen (Vol. 2)
Vortrag über Genetische und Evolutionäre Algorithmen (Vol. 2) von Adam El Sayed Auf und Kai Lienemann Gliederung: 4) Rückblick 5) Allgemeine Einführung 6) Genauere Beschreibung von Evolutionären Strategien
MehrTheoretische Informatik 1
Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs
MehrHauptseminar Repräsentationen für Optimierungsalgorithmen
Stefan Bens Hauptseminar Dresden, 03.07.2008 Inhalt 1. Motivation 2. Einleitung 3. Repräsentationsarten und Eigenschaften 4. Beispiel 5. Zusammenfassung Folie 2 Als Repräsentation bezeichnet man die Kodierung
MehrTheoretische Informatik 1
Theoretische Informatik 1 Approximierbarkeit David Kappel Institut für Grundlagen der Informationsverarbeitung Technische Universität Graz 10.06.2016 Übersicht Das Problem des Handelsreisenden TSP EUCLIDEAN-TSP
MehrGenetische Algorithmen von der Evolution lernen
Genetische Algorithmen von der Evolution lernen (c) Till Hänisch 2003, BA Heidenheim Literatur zusätzlich zum Lit. Verz. Nils J. Nilsson Artificial Intelligence Morgan Kaufmann, 1998 Ansatz Bisher: Problemlösung
MehrRepräsentation von Lösungen (1)
Repräsentation von Lösungen (1) Kontinuierliche Optimierung: Binäre Optimierung: x x1 x2 x n n = (,,, ) R x = ( x1, x2,, x ) {0,1} n n Lokale Suche: x i = x i + ε Lokale Suche: x i = 1-x i 0.5 0.9 0.2
MehrBiostatistik, Sommer 2017
1/51 Biostatistik, Sommer 2017 Wahrscheinlichkeitstheorie: Verteilungen, Kenngrößen Prof. Dr. Achim Klenke http://www.aklenke.de 8. Vorlesung: 09.06.2017 2/51 Inhalt 1 Verteilungen Normalverteilung Normalapproximation
MehrInhaltsverzeichnis. 4 Statistik Einleitung Wahrscheinlichkeit Verteilungen Grundbegriffe 98
Inhaltsverzeichnis 1 Datenbehandlung und Programmierung 11 1.1 Information 11 1.2 Codierung 13 1.3 Informationsübertragung 17 1.4 Analogsignale - Abtasttheorem 18 1.5 Repräsentation numerischer Daten 20
MehrStatistik I für Betriebswirte Vorlesung 3
Statistik I für Betriebswirte Vorlesung 3 Dr. Andreas Wünsche TU Bergakademie Freiberg Institut für Stochastik 15. April 2019 Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 3 Version: 1. April
Mehr2.1 Importance sampling: Metropolis-Algorithmus
Kapitel 2 Simulationstechniken 2.1 Importance sampling: Metropolis-Algorithmus Eine zentrale Fragestellung in der statistischen Physik ist die Bestimmung von Erwartungswerten einer Observablen O in einem
MehrPaper Computer Science Experiment. Computation (NP-Vollständigkeit) Traveling Salesman
Paper Computer Science Experiment Great Principles of Computing Computation (NP-Vollständigkeit) Thema Traveling Salesman Unterrichtsform Lernen am Modell Voraussetzung Wahrscheinlich kennen viele Schüler/innen
MehrBewertung von Optimierungs- und Zuverlässigkeitsalgorithmen für die virtuelle Produktauslegung
Weimarer Optimierungs- und Stochastiktage 4.0 Bewertung von Optimierungs- und Zuverlässigkeitsalgorithmen für die virtuelle Produktauslegung Dr.-Ing. Andreas Plotzitza, PT/EST4 29. November 2007 1 Inhalt
Mehr7.5 Erwartungswert, Varianz
7.5 Erwartungswert, Varianz Def. 7.5.: a) X sei eine diskrete ZV, die bei unendl. vielen Werten x k folgende Zusatzbedingung erfüllt: x k p k
MehrImplementation und Evaluierung innovativer Heuristiken für die Anordnung von Entwurfsentscheidungen
Implementation und Evaluierung innovativer Heuristiken für die Anordnung von Entwurfsentscheidungen Diplomarbeit Thomas Scharler Universität Hamburg, FB Informatik, AB Tech Implementation und Evaluierung
MehrKlassifikation von Signifikanztests
Klassifikation von Signifikanztests nach Verteilungsannahmen: verteilungsabhängige = parametrische Tests verteilungsunabhängige = nichtparametrische Tests Bei parametrischen Tests werden im Modell Voraussetzungen
MehrAnt Colony Optimization (ACO)
Ant Colony Optimization (ACO) Daniel Blum 24.4.2003 Projektgruppe 431 Metaheuristiken Lehrstuhl 11, Fachbereich Informatik, Universität Dortmund 1 Übersicht Vorbild Natur Übertragung der Ideen Beispiele
MehrKodierung Genetische Algorithmen und Simulated Annealing
Kodierung Genetische Algorithmen und Simulated Annealing Referenten Dipl.-Ing. (FH) Dipl.-Ing. (FH) 1 Agenda Erklärung des Genetischen Algorithmus f(x)=x² (2-dimensional) Verschiedene Codierungen Binärcode,
MehrRechenzeit für A. Sei t B die Rechenzeit eines Algo für B. Seien p,q,r monotone Polynome ( +).
Rechenzeit für A Sei t B die Rechenzeit eines Algo für B. Seien p,q,r monotone Polynome ( +). Rechenzeit des resultierenden Algo für A: t A (n) p(n) + q(n) t B (r(n)). Ist polynomiell, falls t B Polynom.
Mehrv R n ist Abstiegsrichtung in x R n wenn f(x) v < 0 v R n ist Abstiegsrichtung in x R n wenn i=1,,d: f i
MOP: Pareto-Gradientenabstiegsverfahren Annahme: Zielfunktion differenzierbar Wintersemester 2007/08 Praktische Optimierung (Vorlesung) d = 1: (monokriteriell) v R n ist Abstiegsrichtung in x R n wenn
MehrGrundlagen der Künstlichen Intelligenz
Grundlagen der Künstlichen Intelligenz 21. Kombinatorische Optimierung und lokale Suche Malte Helmert Universität Basel 10. April 2015 Kombinatorische Optimierung Kombinatorische Optimierung: Einführung
MehrStatistik I für Betriebswirte Vorlesung 13
Statistik I für Betriebswirte Vorlesung 13 Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik 4. Juli 2016 Prof. Dr. Hans-Jörg Starkloff Statistik I für Betriebswirte Vorlesung
MehrOptimierung. Vorlesung 12
Optimierung Vorlesung 12 Letze Woche Approximieren von ILP durch randomisiertes Runden. Beispiel Set Cove Relaxiertes LP lösen und runden. Probleme: 1. Zielfunktionswert 2. Zulässigkeit 1. Linearität des
Mehr9. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 9. Vorlesung Neuronale Netze Anwendungen in der AT 9. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme
MehrBayes-Netze (2) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Bayes-Netze (2) Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl KI) Bayes-Netze (2) 1 / 23 Gliederung 1 Zusammenhang zwischen Graphenstruktur
MehrNICHTRESTRINGIERTE OPTIMIERUNG
3 NICHTRESTRINGIERTE OPTIMIERUNG Die Aufgabe, mit der wir uns im Folgen beschäftigen werden, ist die Lösung von Minimierungsproblemen der Form minimiere f(x) in R n, (3.1) wobei f : R n R eine gegebene
MehrPolynomialzeit- Approximationsschema
Polynomialzeit- Approximationsschema 27.01.2012 Elisabeth Sommerauer, Nicholas Höllermeier Inhalt 1.NP-Vollständigkeit Was ist NP-Vollständigkeit? Die Klassen P und NP Entscheidungsproblem vs. Optimierungsproblem
MehrDynamische Programmierung. Problemlösungsstrategie der Informatik
als Problemlösungsstrategie der Informatik und ihre Anwedung in der Diskreten Mathematik und Graphentheorie Fabian Cordt Enisa Metovic Wissenschaftliche Arbeiten und Präsentationen, WS 2010/2011 Gliederung
Mehr2. Vorlesung Expertensysteme
Soft Control (AT 3, RMA) 2. Vorlesung Expertensysteme 2. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrGrundlagen zur Delaunay-Triangulierung und zur konvexen Hülle. zum Begriff des Voronoi-Diagramms (vgl. auch Vorlesung "Algorithmische Geometrie"):
Grundlagen zur Delaunay-Triangulierung und zur konvexen Hülle zum Begriff des Voronoi-Diagramms (vgl. auch Vorlesung "Algorithmische Geometrie"): 1 Erzeugung des Voronoi-Diagramms (siehe Vorlesung "Algorithmische
MehrFinite Elemente Methoden (aus der Sicht des Mathematikers) Alfred Schmidt
Finite Elemente Methoden (aus der Sicht des Mathematikers) Alfred Schmidt Übersicht Partielle Differentialgleichungen, Approximation der Lösung Finite Elemente, lineare und höhere Ansatzfunktionen Dünn
MehrRegression IV: Anpassung mit nichtlinearen Funktionen. Teil B: Nicht linearisierbare Modelle. -Fortsetzung-
Regression IV: Anpassung mit nichtlinearen Funktionen Teil B: Nicht linearisierbare Modelle -Fortsetzung- T. Kießling: Auswertung von Messungen und Fehlerrechnung - Linienformanpassung 13.06.2018 Vorlesung
MehrMarkov-Prozesse. Markov-Prozesse. Franziskus Diwo. Literatur: Ronald A. Howard: Dynamic Programming and Markov Processes
Markov-Prozesse Franziskus Diwo Literatur: Ronald A. Howard: Dynamic Programming and Markov Processes 8.0.20 Gliederung Was ist ein Markov-Prozess? 2 Zustandswahrscheinlichkeiten 3 Z-Transformation 4 Übergangs-,
Mehr8.1 Einleitung. Grundlagen der Künstlichen Intelligenz. 8.1 Einleitung. 8.2 Lokale Suchverfahren. 8.3 Zusammenfassung. Suchprobleme: Überblick
Grundlagen der Künstlichen Intelligenz 5. April 0 8. Suchalgorithmen: Lokale Suche Grundlagen der Künstlichen Intelligenz 8. Suchalgorithmen: Lokale Suche 8.1 Einleitung Malte Helmert Universität Basel
MehrKapitel 12. Lagrange-Funktion. Josef Leydold Mathematik für VW WS 2017/18 12 Lagrange-Funktion 1 / 28. f (x, y) g(x, y) = c. f (x, y) = x y 2
Kapitel 12 Lagrange-Funktion Josef Leydold Mathematik für VW WS 2017/18 12 Lagrange-Funktion 1 / 28 Optimierung unter Nebenbedingungen Aufgabe: Berechne die Extrema der Funktion unter der Nebenbedingung
MehrBewegungsplanung bei unvollständiger Information
Bewegungsplanung bei unvollständiger Information Sebastian Hempel Aktuelle Forschungsthemen in der Algorithmik Überblick 1. Einleitung 2. Auswege aus einem Labyrinth 3. Finden eines Ziels in unbekannter
MehrKonvergenz von Hopfield-Netzen
Matthias Jauernig 1. August 2006 Zusammenfassung Die nachfolgende Betrachtung bezieht sich auf das diskrete Hopfield-Netz und hat das Ziel, die Konvergenz des Verfahrens zu zeigen. Leider wird dieser Beweis
MehrWahrscheinlichkeitsrechnung und Statistik. 11. Vorlesung /2019
Wahrscheinlichkeitsrechnung und Statistik 11. Vorlesung - 2018/2019 Quantil der Ordnung α für die Verteilung des beobachteten Merkmals X ist der Wert z α R für welchen gilt z 1 2 heißt Median. P(X < z
MehrTraveling Salesman Problem (TSP)
Traveling Salesman Problem (TSP) Das Traveling Salesman Problem (TSP) ist ein bekanntes Optimierungsproblem. Ein Handlungsreisender soll in einer Rundreise (auch Tour genannt) n vorgegebene Städte besuchen.
MehrStatistik I für Betriebswirte Vorlesung 3
Statistik I für Betriebswirte Vorlesung 3 Dr. Andreas Wünsche TU Bergakademie Freiberg Institut für Stochastik 20. April 2017 Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 3 Version: 18.
MehrGliederung. Kapitel 4. Lokale Suchverfahren. Meta-Heuristiken. Simulated Annealing. Lokale Suchverfahren. Optimierungsalgorithmen
Kapitel Optimierungsalgorithmen Gunnar Klau Institut für Computergraphik und Algorithmen Gliederung Kombinatorische vs. Ganzzahlige Optimierung Exakte Verfahren Branch-and-Bound Schnittebenenverfahren
MehrÜbungen mit dem Applet Vergleich von zwei Mittelwerten
Vergleich von zwei Mittelwerten 1 Übungen mit dem Applet Vergleich von zwei Mittelwerten 1 Statistischer Hintergrund... 2 1.1 Typische Fragestellungen...2 1.2 Fehler 1. und 2. Art...2 1.3 Kurzbeschreibung
MehrEntwurf und Analyse von Algorithmen
Entwurf und Analyse von Algorithmen (5. Sem 2VO MAT.319 & 1 UE MAT.320 // 3VU 716.325) VO/UE/VU: Oswin Aichholzer UE/VU: Birgit Vogtenhuber Institut für Softwaretechnologie Entwurf 22nd European und Analyse
MehrStatistik und Wahrscheinlichkeitsrechnung
Statistik und Wahrscheinlichkeitsrechnung 11. Vorlesung Jochen Köhler 10.05.011 1 Inhalt der heutigen Vorlesung Zusammenfassung Parameterschätzung Übersicht über Schätzung und Modellbildung Modellevaluation
MehrPolynomial Time Approximation Schemes for Euclidean Traveling Salesman Problems. Benjamin Thome
Polynomial Time Approximation Schemes for Euclidean Traveling Salesman Problems Benjamin Thome Gliederung Einleitung Definitionen ETSP in R 2 Der Algorithmus in R 2 ETSP in R d Idee Algorithmus für f R
MehrZeitstetige Markov-Prozesse: Einführung und Beispiele
Zeitstetige Markov-Prozesse: Einführung und Beispiele Simone Wielart 08.12.10 Inhalt Q-Matrizen und ihre Exponentiale Inhalt Q-Matrizen und ihre Exponentiale Zeitstetige stochastische Prozesse Inhalt Q-Matrizen
MehrTheoretische Informatik II
Theoretische Informatik II Einheit 5.2 Das P N P Problem 1. Nichtdeterministische Lösbarkeit 2. Sind N P-Probleme handhabbar? 3. N P-Vollständigkeit Bei vielen schweren Problemen ist Erfolg leicht zu testen
MehrEinführung in Berechenbarkeit, Komplexität und Formale Sprachen
Einführung in Berechenbarkeit, Komplexität und Formale Sprachen V17, 10.12.09 Willkommen zur Vorlesung Einführung in Berechenbarkeit, Komplexität und Formale Sprachen Friedhelm Meyer auf der Heide 1 Rückblick:
MehrEuklidische Distanzmatrizen. Andrei Grecu
Euklidische Distanzmatrizen Andrei Grecu Übersicht Motivation Definition und Problemstellung Algo 1: Semidefinite Programmierung Algo 2: Multidimensional Scaling Algo 3: Spring Embedder Algo 4: Genetischer
MehrVorlesung 13b. Relative Entropie
Vorlesung 13b Relative Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). 2 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. S sei eine abzählbare Menge (ein
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 20. November 2014 INSTITUT FÜR THEORETISCHE 0 KIT 20.11.2014 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der
Mehr