Problem lokaler Minima
|
|
- Sara Gärtner
- vor 7 Jahren
- Abrufe
Transkript
1 Optimierung
2 Optimierung Häufige Aufgabe bei Parameterschätzung: Minimierung der negativen log-likelihood-funktion F(a) oder der Summe der quadratischen Abweichungen S(a) und Berechnung der Unsicherheit aus der zweiten Ableitung am Minimum Optimierung: Bestimmung des Minimums eine Gütefunktion F(x = x1,..., xn ) (und deren Kovarianzmatrix am Minimum) mit oder ohne Nebenbedingungen in Gleichungs- oder Ungleichungsform Optimalität: x* ist ein lokales Minimum, wenn F(x*) < F(x) für alle x x* in der Umgebung von x* Achtung: lokales Minimum muss nicht globales Minimum sein!
3 Problem lokaler Minima Minimierungsalgorithmen können gegen lokale Minima konvergieren Es gibt keine allgemeine Methode zum Finden des globalen Minimums Ausprobieren unterschiedlicher Startwerte
4 Minimierung ohne Nebenbedingungen F(x) sei eine glatte Funktion (1. und 2. Ableitung stetig) Oft erfüllt, zumindest in Lösungsnähe Gradient: Notwendige Bedingung für Minimum (oder Maximum oder Sattelpunkt): g(x) = 0 d.h. df/dxi = 0 für alle i
5 Hesse-Matrix Hesse-Matrix (Matrix der 2. Ableitungen, n x n, symmetrisch): Taylor-Entwicklung: F(x + x) = F(x) + gt x + ½ xt H x + Liegt vielen Minimierungsalgorithmen zugrunde Hinreichende Bedingung für lokales Minimum: g(x) = 0 und H(x) positiv definit
6 Spektrale Zerlegung Für eine symmetrische Matrix H existieren n orthogonale Eigenvektoren ui mit Eigenwerten i : H ui = i ui Orthogonale Matrix U = (u1,, un ) mit normierten Eigenvektoren als Spalten transformiert H in Diagonalmatrix: Wegen U- 1 = UT gilt: H = U D UT = i = 1 n i ui ui T H- 1 hat identische Eigenvektoren mit Eigenwerten 1/ i
7 Eigenwerte der Hesse-Matrix Konditionszahl: = m a x / mi n Numerische Berechnung der inversen Matrix kann problematisch sein, wenn die Konditionszahl groß ist (H fast singulär) Hesse-Matrix bei g(x)=0: positiv definit ( i > 0) positive-semidefinit ( i >= 0) Minimum Tal, Lösungen oft instabil indefinit ( i > 0 und j < 0) Sattelpunkt
8 Eindimensionale Minimierung: Suchmethode Voraussetzung: Unimodale Funktion (eindeutiges Minimum) 1) Einschluss des Minimums Ausgangspunkt: Startwerte x1 und x2 mit F(x1 ) > F(x2 ) Iteration: xk = xk 1 + (xk 1 xk 2 ) (z.b. = 3) Abbruchbedingung: F(xk ) > F(xk 1 ) 2) Reduktion des Einschlussintervalls Ausgangspunkt: Tripel (xk 2, xk 1, xk ) mit F(xk 1 ) < F(xk 2 ), F(xk ) Testpunkt xt zwischen xk 1 und xk (oder xk 2 und xk 1 ) Falls F(xt ) < F(xik 1 ): Neues Triple (xk 1, xt, xik) Falls F(xt ) > F(xik 1 ): Neues Triple (xk 2, xk 1, xt )
9 Methode des Goldenen Schnitts Wahl des Testpunkts xt zwischen xa und xb, so dass (xb xt ) / (xb xa) = (xt xa ) / (xb xt ) Lange Teilstrecke zu Gesamtstrecke = kurze zu lange Teilstrecke Verhältnis des goldenen Schnitts: = ( 5-1) / 2 = Konstante Reduktion des Einschlussintervalls pro Iteration um Faktor Sinnvoll = 1/ zu wählen in 1. Phase der Suche Suchmethode ist robust, da unabhängig vom Verhalten der Funktion
10 Newton-Methode Newton-Raphson-Methode zur Nullstellenbestimmung Anwendung auf Ableitung zur Minimum-Suche: xk + 1 = xk F'(xik) / F''(xk ) Konvergenzverhalten nicht garantiert
11 Konvergenzverhalten Iterationsmethode ist lokal konvergent von der Ordnung p, wenn es eine positive Konstante c (c < 1 für p = 1) gibt, so dass für alle Startwerte x0 in einer Umgebung des Fixpunktes x* gilt: xk + 1 x* < c xk x* p Newton-Methode ist lokal quadratisch konvergent
12 Vergleich Suchmethode - Newton-Methode Suchmethode Item Newton-Methode Verwendet nur Funktionswerte, Verwendet nur 1. und 2. keine Ableitungen Ableitung, keine Funktionswerte Robust Konvergenz nicht garantiert Lokal linear konvergent Lokal quadratisch konvergent Robuste und schnelle Methode durch Kombination beider Methoden
13 Kombinierte Methode Polynom-Interpolationsmethode: Bekanntes Minimum für Polynom durch berechnete Funktionswerte ergibt nächsten Testpunkt Parabolische Interpolation entspricht Newton-Methode mit numerisch berechneten Ableitungen Bei sehr asymmetrischer Intervallteilung: Verwendung des goldenen Schnitts
14 Suchmethoden in mehreren Dimensionen Gittermethode: k gleichverteilte Testwerte pro Dimension Erfordert kn Berechnungen bei n Dimensionen Ungeeignet für große n Monte-Carlo-Methode: Funktionsberechnung an zufällig verteilten Testpunkten Auch bei großen n geeignet gut für Bestimmung von Startwerten Einfache Parametervariation: Eindimensionale Minimierung in einem Parameter Dann Minimierung in nächstem Parameter Iteration I.A. nur schnelle Konvergenz wenn Minimierung in Richtung der Eigenvektoren der Hesse-Matrix
15 Beispiel einfache Parametervariation Langsame Konvergenz, da Suchrichtung nicht der Richtung der Eigenvektoren der Hesse-Matrix entspricht
16 Simplex-Methode n+1 Punkte x1,..., xn + 1 im Rn n-dimensionaler Polyeder oder Simplex Sortierung, so dass F(x1 ) < < F(xn + 1 ) Schwerpunktes der n besten Punkte: c = i = 1 n xi / n Spiegelung des schlechtesten Punktes an c: xr = c + (c xn + 1 ) Falls F(x1 ) < F(xr ) < F(xn ): xr ersetzt xn + 1 Falls F(xr ) < F(x1 ): gute Richtung Streckung: xs = c + (xr c), > 1 Falls F(xs ) < F(xr ): xs ersetzt xn + 1, ansonsten xr ersetzt xn + 1 Falls F(xr ) > F(xn ): Simplex zu groß Abflachung: xs = c (c xn + 1 ), 0 < < 1 Falls F(xs ) < F(xn + 1 ): xs ersetzt xn + 1 Ansonsten Kontraktion um x1 : xj = x1 + (xj x1 ), 0 < < 1
17 Beispiel Simplex-Methode in 2 Dimensionen Simplex passt sich Verlauf der Funktion an Informationen aus vorhergehenden Funktionsberechnungen werden genutzt, ohne Ableitungen zu verwenden
18 Methode des steilsten Abstiegs x = -g Einfach, aber ernsthafte Nachteile: Keine natürliche Schrittweite gegeben Nur lineare Konvergenz Insbesondere langsam wenn Konditionszahl von H groß: c [( 1)( + 1)]2 Besser: Newton-Methode
19 Newton-Methode in mehreren Dimensionen Quadratische Näherung: F(x + x) F(x) + gt x + ½ xt H x g(x + x) g + H x Bedingung für Minimum: g(x + x) = 0 Newton-Schritt: x = -H 1 g
20 Line-Search in Newton-Richtung Funktionsverlauf in Newton-Richtung: f(z) = F(x + z x) Quadratische Näherung: f(z) = F(x) + d(z2/2 z) mit d = -gt x Minimierung von f(z) bei jedem Schritt
21 Algorithmus mit Line-Search Definiere Startwert x0 Berechne Suchvektor x, z.b. Newton-Vektor x = -H 1 g Minimiere Funktion in Richtung des Suchvektors (line search) Eindimensionale Minimierung von f(z) = F(x + z x) Iteration: xk + 1 = xk + zm i n x Konvergenztest: xk + 1 ist Lösung bei erfolgreichem Konvergenztest, Empfehlung Blobel: = 0.01 Abbruch bei Erreichen eine Maximalzahl von Iterationen z.b. d < und Fk Fk + 1 <
22 Beispiel: Anpassung einer Exponentialfunktion Simplex + Newton
23 Modifizierte Newton-Methode Falls Hesse-Matrix nicht positiv definit Verwende modifizierte Hesse-Matrix H' zur Berechnung des Newton-Vektors Spektrale Zerlegung Setze i' = max( i, ) + Rücktransformation Sehr aufwendig Addition der Einheitsmatrix In H' = H + In H' positiv definit, falls > m i n klein nahe Newton-Richtung, groß nahe steilstem Abstieg
24 Numerische Differentiation Vorwärts-Differenz: f'(x) = [f(x + h) f(x)] / h Rückwärtz-Differenz: f'(x) = [f(x) f(x h)] / h Zentrale Differenz: f'(x) = [f(x + h) f(x h)] / 2h Erfordert eine Funktionsauswertung mehr Abbruchfehler (durch Vernachlässigung höherer Ordnungen): Einseitige Ableitung h f'' Zentrale Ableitung h2 f''' viel besser, insbesondere in Minimum-Nähe Rundungsfehler: 1/h
25 Methoden mit variabler Metrix Statt numerischer Berechnung der Hesse-Matrix (O(n2 ) Berechnungen erforderlich) Iterative Schätzung der Hesse-Matrix aus Änderung der Gradientenvektors z.b. BFGS-Formel
26 Nebenbedingungen als Gleichungen Minimierung von F(x), mit m Bedingungen f1 (x) = fm (x) = 0 z.b. Energie- und Impulserhaltung Parametertransformation z.b. mit r = const, statt x und y Methode der Lagrange'schen Multiplikatoren (x, ) = F(x) + i = 1 m i fi (x) Minimierung von : d /d i = 0 = fi (x) Nebenbedingung erfüllt Zurückführung auf Minimierung ohne Nebenbedingungen, aber mit m zusätzlichen Dimensionen Alternative: Minimierungsalgorithmen, die Nebenbedingungen berücksichtigen (z.b. durch projizierten Gradient und Hesse-Matrix bei linearen Nebenbedingungen)
27 Nebenbedingungen als Ungleichungen Minimierung von F(x), mit m Bedingungen hi (x) > 0, für i = 1,, m z.b. Masse > 0 oder 0 < Wahrscheinlichkeit < 1 Am günstigsten: Konvergenz weit weg von den Grenzen Geeignete Wahl der Startparameter Parametertransformation z.b. für a < x < b: x' = arcsin(2 (x a) / (b a) 1) Kann zu (numerischen) Problemen führen Falls möglich, vermeiden
28 Kostenmethode Häufige Nebenbedingung: Parameterwert und Unsicherheit bekannt aus anderen Messungen: xi = xi0 ± i Addition einer Kosten-(oder Straf-/Penalty-)Funktion: 2-Fit: F'(x) = F(x) + (xi xi0)2,/ i2 ML-Fit: F'(x) = F(x) ln p(xi, xi0, i) = F(x) + ½ (xi xi0)2,/ i2 Entspricht zusätzlichem Datenpunkt für Parameter xi Methode kann auch zur näherungsweisen Berücksichtigung von Nebenbedingungen in Gleichungs- oder Ungleichungsform verwendet werden
29 Lösung von Gleichungssystemen Lösung des Gleichungssystem f1 (x) = fm (x) = 0 entspricht Minimierungsproblem nur mit Nebenbedingungen Zu minimierende Gütefunktion: F(x) = i = 1 m fi (x) F = 0 am Minimum bei lösbaren Gleichungssystemen Auch anwendbar bei überbestimmten Gleichungssystemen Ergebnis hängt dann von der Gewichtung ab Methode kann recht ineffizient gegenüber angepassten Algorithmen sein
30 Empfehlungen Nutzen Sie existierende, gut getestete Optimierungsalgorithmen Achten Sie darauf, dass es keine Unstetigkeiten gibt Versuchen Sie, numerische Probleme zu vermeiden (z.b. durch geeignete Skalierungen, doppelte Genauigkeit) Verifizieren Sie analytisch berechnete Ableitungen durch numerische Versuchen Sie, Parametergrenzen zu vermeiden Probieren Sie unterschiedliche Startwerte aus Achten Sie auf Fehler- und Warnmeldungen des Minimierungsprogramms
Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
MehrOptimierung für Nichtmathematiker
Optimierung für Nichtmathematiker Prof. Dr. R. Herzog WS2/ / Inhaltsübersicht 3Einführung in die freie Optimierung 4Orakel und Modellfunktionen 5Optimalitätsbedingungen der freien Optimierung 6Das Newton-Verfahren
MehrNewton- und und Quasi-Newton-Methoden in der Optimierung. János Mayer
Newton- und und Quasi-Newton-Methoden in der Optimierung János Mayer 1 GLIEDERUNG Newton-Methode für nichtlineare Gleichungen nichtlineare Gleichungssysteme freie Minimierung. Quasi-Newton-Methoden für
MehrNICHTRESTRINGIERTE OPTIMIERUNG
3 NICHTRESTRINGIERTE OPTIMIERUNG Die Aufgabe, mit der wir uns im Folgen beschäftigen werden, ist die Lösung von Minimierungsproblemen der Form minimiere f(x) in R n, (3.1) wobei f : R n R eine gegebene
Mehr9 Optimierung mehrdimensionaler reeller Funktionen f : R n R
9 Optimierung mehrdimensionaler reeller Funktionen f : R n R 91 Optimierung ohne Nebenbedingungen Ein Optimum zu suchen heißt, den größten oder den kleinsten Wert zu suchen Wir suchen also ein x R n, sodass
Mehr3 Optimierung mehrdimensionaler Funktionen f : R n R
3 Optimierung mehrdimensionaler Funktionen f : R n R 31 Optimierung ohne Nebenbedingungen Optimierung heißt eigentlich: Wir suchen ein x R n so, dass f(x ) f(x) für alle x R n (dann heißt x globales Minimum)
Mehr2 k k 1 k(k + 1) = 2n+1. n = 0 = k(k + 1) = 2n+1 n n. = 2 n+1 n + 2 (n + 1)(n + 2) + n. (n + 1)(n + 2)
Prof. Hesse Höhere Mathematik I und II Musterlösung 7. 0. 0, 80min Aufgabe (3 Punkte) Zeigen Sie mit vollständiger Induktion: Für alle n N gilt n k= k k k(k + ) = n+ n +. Induktionsanfang: k= Induktionsschluss
MehrTeil 6. Differentialrechnung mehrerer Veränderlicher
Teil 6 Differentialrechnung mehrerer Veränderlicher 95 96 6.1 Topologie von Mengen Umgebung ε-umgebung eines Punktes x R n : B ε (x) = {y : y x < ε} Umgebung U von x: Menge, die eine ε-umgebung von x enthält
MehrOptimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 1 Newton Verfahren Taylor Approximation 1. Ordnung von Newton Verfahren! 0 Setze 0und berechne Löse lineares Gleichungssystem für : 2
Mehr12. Potentialflächen und Optimierung
Dr. Jens Döbler Computeranwendung in der Chemie Informatik für Chemiker(innen) 12. Potentialflächen und Optimierung Jens Döbler 2004 "Computer in der Chemie", WS 2003-04, Humboldt-Universität VL12 Folie
MehrMathematische Werkzeuge R. Neubecker, WS 2016 / 2017
Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017 Optimierung: Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen Optimierungsprobleme Optimierung Suche nach dem Maximum oder Minimum
MehrStudientag zur Algorithmischen Mathematik
Studientag zur Algorithmischen Mathematik Numerische Verfahren der nicht-linearen Optimierung Winfried Hochstättler Diskrete Mathematik und Optimierung FernUniversität in Hagen 1. Juli 2012 Outline Line
MehrVF-2: 2. Es seien x = 1 3 und y = π Bei der Berechnung von sin(x) sin(y) in M(10, 12, 99, 99) tritt. Auslöschung auf.
IGPM RWTH Aachen Verständnisfragen-Teil NumaMB H11 (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben). Es müssen mindestens zwei
MehrInstitut für Geometrie und Praktische Mathematik
RWTH Aachen Verständnisfragen-Teil Institut für Geometrie und Praktische Mathematik (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben).
MehrÜbungen zur Ingenieur-Mathematik III WS 2011/12 Blatt Aufgabe 25: Berechnen Sie den kritischen Punkt der Funktion
Übungen zur Ingenieur-Mathematik III WS 11/1 Blatt 8 3.11.11 Aufgabe 5: Berechnen Sie den kritischen Punkt der Funktion fx, y 3x 5xy y + 3 und entscheiden Sie, ob ein Maximum, Minimum oder Sattelpunkt
MehrAnwendungen der Differentialrechnung
KAPITEL 3 Anwendungen der Differentialrechnung 3.1 Lokale Maxima und Minima Definition 16: Sei f : D R eine Funktion von n Veränderlichen. Ein Punkt x heißt lokale oder relative Maximalstelle bzw. Minimalstelle
MehrAusgleichsproblem. Definition (1.0.3)
Ausgleichsproblem Definition (1.0.3) Gegeben sind n Wertepaare (x i, y i ), i = 1,..., n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die die Wertepaare bestmöglich annähert, d.h. dass möglichst
MehrNullstellen von algebraischen Gleichungen
Kapitel 2 Nullstellen von algebraischen Gleichungen 2.1 Vorbemerkungen Suche Lösung der Gleichung f(x) = 0 (2.1) Dies ist die Standardform für eine Dimension. - typisch nichtlineare Gleichung, sonst elementar
MehrHöhere Mathematik II für die Fachrichtung Physik Lösungsvorschläge zum 8. Übungsblatt. ). 12x 3 Die Hessematrix von f ist gegeben durch H f (x, y) =
Karlsruher Institut für Technologie (KIT Institut für Analysis Priv-Doz Dr P C Kunstmann Dipl-Math D Roth SS 0 7060 Höhere Mathematik II für die Fachrichtung Physik Lösungsvorschläge zum 8 Übungsblatt
MehrDiplom VP Numerik 27. August 2007
Diplom VP Numerik 27. August 2007 Multiple-Choice-Test 30 Punkte Bei jeder MC-Aufgabe ist mindestens eine Aussage korrekt. Wird dennoch bei einer MC-Aufgabe keine einzige Aussage angekreuzt, gilt diese
MehrRückblick auf die letzte Vorlesung. Bemerkung
Bemerkung 1) Die Bedingung grad f (x 0 ) = 0 T definiert gewöhnlich ein nichtlineares Gleichungssystem zur Berechnung von x = x 0, wobei n Gleichungen für n Unbekannte gegeben sind. 2) Die Punkte x 0 D
MehrDer CG-Algorithmus (Zusammenfassung)
Der CG-Algorithmus (Zusammenfassung) Michael Karow Juli 2008 1 Zweck, Herkunft, Terminologie des CG-Algorithmus Zweck: Numerische Berechnung der Lösung x des linearen Gleichungssystems Ax = b für eine
MehrLösungsvorschlag zur Modulprüfung Numerische Methoden Sommersemester 2016
Institut für Analysis Prof Dr Michael Plum Lösungsvorschlag zur Modulprüfung Numerische Methoden Sommersemester 0 0090 Aufgabe Punkte: Betrachten Sie das lineare Gleichungssystem Ax = b mit A = 0 und b
MehrName: Matr.-Nr.: 2. Aufgabe 1. Gegeben sei das folgende lineare Gleichungssystem: b a 2 3a 1
Name: Matr.-Nr.: 2 Aufgabe 1. Gegeben sei das folgende lineare Gleichungssystem: 1 1 0 2 b 1 1 2 4 1 1 4 6 x = 1 1. 2 2 2a 2 3a 1 (a) Bringen Sie das lineare Gleichungssystem auf Treppenform. (b) Für welche
MehrInstitut für Geometrie und Praktische Mathematik
RWTH Aachen IGPM RWTH Aachen Institut für Geometrie und Praktische Mathematik Verständnisfragen-Teil (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen
Mehr(d) das zu Grunde liegende Problem gut konditioniert ist.
Aufgabe 0: (6 Punkte) Bitte kreuzen Sie die richtige Lösung an. Es ist jeweils genau eine Antwort korrekt. Für jede richtige Antwort erhalten Sie einen Punkt, für jede falsche Antwort wird Ihnen ein Punkt
MehrMATHEMATIK 2 FÜR DIE STUDIENGÄNGE CHE- MIE UND LEBENSMITTELCHEMIE
Mathematik und Naturwissenschaften Fachrichtung Mathematik, Institut für Numerische Mathematik MATHEMATIK 2 FÜR DIE STUDIENGÄNGE CHE- MIE UND LEBENSMITTELCHEMIE Differentialrechnung für Funktionen mehrerer
MehrName: Matr.-Nr.: 2. Aufgabe 1. Gegeben sei die Matrix
Name: Matr.-Nr.: 2 Aufgabe 1. Gegeben sei die Matrix 1 1 1 A = 3 3 3 2 2 2 (a) Bestimmen Sie Rang(A), Kern(A) und Bild(A). Ist A invertierbar? Geben Sie zwei verschiedene rechte Seiten b 1, b 2 an, so
MehrVF-3: Es seien A R n n beliebig aber regulär, b R n und gesucht sei die Lösung x R n von A x = b.
NumaMB F14 Verständnisfragen-Teil (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben). Bewertung: Vier Fragen richtig beantwortet
Mehr(a), für i = 1,..., n.
.4 Extremwerte Definition Sei M R n eine Teilmenge, f : M R stetig, a M ein Punkt. f hat in a auf M ein relatives (oder lokales) Maximum bzw. ein relatives (oder lokales) Minimum, wenn es eine offene Umgebung
MehrNichtlineare Gleichungen
Nichtlineare Gleichungen Ein wichtiges Problem in der Praxis ist die Bestimmung einer Lösung ξ der Gleichung f(x) =, () d.h. das Aufsuchen einer Nullstelle ξ einer (nicht notwendig linearen) Funktion f.
Mehrf f(x ɛξ) f(x) 0, d.h. f (x)ξ = 0 für alle ξ B 1 (0). Also f (x) = 0. In Koordinaten bedeutet dies gerade, dass in Extremstellen gilt: f(x) = 0.
Mehrdimensionale Dierenzialrechnung 9 Optimierung 9 Optimierung Definition Seien U R n oen, f : U R, x U x heiÿt lokales Maximum, falls eine Umgebung V U von x existiert mit y V : fx fy x heiÿt lokales
MehrDas Trust-Region-Verfahren
Das Trust-Region-Verfahren Nadine Erath 13. Mai 2013... ist eine Methode der Nichtlinearen Optimierung Ziel ist es, das Minimum der Funktion f : R n R zu bestimmen. 1 Prinzip 1. Ersetzen f(x) durch ein
Mehr5 Numerische Mathematik
6 5 Numerische Mathematik Die Numerische Mathematik setzt sich aus mehreren Einzelmodulen zusammen Für alle Studierenden ist das Modul Numerische Mathematik I: Grundlagen verpflichtend In diesem Modul
MehrMathematik. für das Ingenieurstudium. 10 Funktionen mit mehreren Variablen. Jürgen Koch Martin Stämpfle.
10 Funktionen mit mehreren Variablen www.mathematik-fuer-ingenieure.de 2010 und, Esslingen Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung
MehrInhaltsverzeichnis. 4 Statistik Einleitung Wahrscheinlichkeit Verteilungen Grundbegriffe 98
Inhaltsverzeichnis 1 Datenbehandlung und Programmierung 11 1.1 Information 11 1.2 Codierung 13 1.3 Informationsübertragung 17 1.4 Analogsignale - Abtasttheorem 18 1.5 Repräsentation numerischer Daten 20
MehrNichtlineare Ausgleichsrechnung
10. Großübung Nichtlineare Ausgleichsrechnung Allgemeines Problem: Wir betrachten ein nichtlineares System F : R n R m mit (m > n, d.h. das System ist überbestimmt und F i (x g(t i ; x g i! 0 i 1,.., m.
MehrKAPITEL 6. Nichtlineare Ausgleichsrechnung
KAPITEL 6 Nichtlineare Ausgleichsrechnung Beispiel 61 Gedämpfte Schwingung: u + b m u + D m u = 0, Lösungen haben die Form: u(t) = u 0 e δt sin(ω d t + ϕ 0 ) Modell einer gedämpften Schwingung y(t; x 1,
MehrPraktische Optimierung
Grundlagen klassischer Optimiertechniken Praktische Optimierung Wintersemester 2008/09 Prof Dr Günter Rudolph Lehrstuhl für Algorithm Engineering Fakultät für Informatik TU Dortmund Themen der heutigen
MehrInhaltsübersicht für heute:
Inhaltsübersicht für heute: Freie Nichtlineare Optimierung Orakel, lineares/quadratisches Modell Optimalitätsbedingungen Das Newton-Verfahren Line-Search-Verfahren Inhaltsübersicht für heute: Freie Nichtlineare
Mehr3 Nichtlineare Gleichungssysteme
3 Nichtlineare Gleichungsssteme 3.1 Eine Gleichung in einer Unbekannten Problemstellung: Gegeben sei die stetige Funktion f(). Gesucht ist die Lösung der Gleichung f() = 0. f() f() a) f ( ) 0 b) f ( )
MehrLösungsvorschlag zur Nachklausur zur Analysis
Prof Dr H Garcke, D Depner SS 09 NWF I - Mathematik 080009 Universität Regensburg Lösungsvorschlag zur Nachklausur zur Analysis Aufgabe Untersuchen Sie folgende Reihen auf Konvergenz und berechnen Sie
MehrAufgabe 1. Berechnen Sie die absolute und die relative Kondition des Problems x f(x) für die Abbildung. x = x 2 e x 1.
Name: Matrikel-Nr.: 1 Aufgabe 1. Berechnen Sie die absolute und die relative Kondition des Problems x f(x) für die Abbildung R 3 R 2, x 1 f : x 1 + e x2 2 sin(x3 ) x = x 2 e x 1 (1 + x 2 1 + x, 2x 3 )
MehrExtremwerte von Funktionen mehrerer reeller Variabler
Extremwerte von Funktionen mehrerer reeller Variabler Bei der Bestimmung der Extrema von (differenzierbaren) Funktionen f : R n R ist es sinnvoll, zuerst jene Stellen zu bestimmen, an denen überhaupt ein
MehrNäherungsverfahren zur Bestimmung der Nullstelle α sind iterativ, d.h. sie liefern eine Folge {x (k) } k=0 mit α = lim x (k). (3.0.
3 Nullstellenbestimmung von Funktionen Sei x f(x) eine reellwertige Funktion, definiert auf einem Intervall I = [a, b] R. suchen Nullstellen der Funktion f, d.h. Wir finde α R so, das f(α) = 0. (3.0.1)
MehrOptimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen
Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen Dr. Nico Düvelmeyer Freitag, 1. Juli 2011 1: 1 [1,1] Inhaltsübersicht für heute 1 Einführung und Wiederholung Beispiel
MehrOptimierung für Nichtmathematiker
Optimierung für Nichtmathematiker Prof. Dr. R. Herzog WS/ / Inhaltsübersicht 3Einführung in die freie Optimierung 4Orakel und Modellfunktionen 5Optimalitätsbedingungen der freien Optimierung 6Das Newton-Verfahren
MehrNewton-Verfahren für ein Skalarfunktion
Newton-Verfahren für ein Skalarfunktion Für eine Näherungsberechnung von Nullstellen einer reellen Funktion f(x) : R R benutzt man das Newton-Verfahren: x (n+1) = x (n) f(x (n) )/f (x (n) ). Das Newton-Verfahren
MehrKonvexe Menge. Eine Menge D R n heißt konvex, wenn für zwei beliebige Punkte x, y D auch die Verbindungsstrecke dieser Punkte in D liegt, d.h.
Konvexe Menge Eine Menge D R n heißt konvex, wenn für zwei beliebige Punkte x, y D auch die Verbindungsstrecke dieser Punkte in D liegt, dh Kapitel Extrema konvex: h x + h y D für alle h [0, ], und x,
Mehr18.2 Implizit definierte Funktionen
18.2 Implizit definierte Funktionen Ziel: Untersuche Lösungsmengen von nichtlinearen Gleichungssystemen g(x) = 0 mit g : D R m, D R n, d.h. betrachte m Gleichungen für n Unbekannte mit m < n, d.h. wir
MehrMathematik für Wirtschaftswissenschaftler im WS 12/13 Lösungen zu den Übungsaufgaben Blatt 12
Mathematik für Wirtschaftswissenschaftler im WS /3 Lösungen zu den Übungsaufgaben Blatt Aufgabe 5 Welche der folgenden Matrizen sind positiv bzw negativ definit? A 8, B 3 7 7 8 9 3, C 7 4 3 3 8 3 3 π 3
MehrAufgabenkomplex 5: Hauptachsentransformation, Lineare Optimierung, Differentialrechnung in mehreren Veränderlichen
Aufgabenkomplex 5: Hauptachsentransformation, Lineare Optimierung, Differentialrechnung in mehreren Veränderlichen 1. Bestimmen Sie für die folgenden Funktionen zunächst die kritischen Stellen und entscheiden
MehrOptimale Steuerung 1
Optimale Steuerung 1 Kapitel 6: Nichtlineare Optimierung unbeschränkter Probleme Prof. Dr.-Ing. Pu Li Fachgebiet Simulation und Optimale Prozesse (SOP) Beispiel: Parameteranpassung für Phasengleichgewicht
MehrKAPITEL 5. Nichtlineare Gleichungssysteme
KAPITEL 5. Nichtlineare Gleichungssysteme Beispiel 5.1. Gravitationskraft zwischen zwei Punktmassen m 1 und m 2 mit gegenseitigem Abstand r: F = G m 1m 2 r 2, wobei G = 6.67 10 11 Nm 2 /kg. Gravitationsfeld
MehrKontinuierliche Optimierung
Kontinuierliche Optimierung Markus Herrich Wintersemester 2018/19 ii Inhaltsverzeichnis 2 Optimalitäts- und Regularitätsbedingungen 1 2.1 Einleitung und Wiederholung.................... 1 2.2 Optimalitätsbedingungen
MehrNichtlineare Gleichungssysteme
Kapitel 5 Nichtlineare Gleichungssysteme 51 Einführung Wir betrachten in diesem Kapitel Verfahren zur Lösung von nichtlinearen Gleichungssystemen Nichtlineares Gleichungssystem: Gesucht ist eine Lösung
MehrExtrema multivariater Funktionen
Extrema multivariater Funktionen Ist f (x ) ein Minimum (Maximum) einer stetig differenzierbaren skalaren Funktion f auf einer Umgebung U von x, so gilt grad f (x ) = (0,..., 0) t. Extrema multivariater
MehrMultivariate Analysis
Kapitel Multivariate Analysis Josef Leydold c 6 Mathematische Methoden I Multivariate Analysis / 38 Lernziele Funktionen in mehreren Variablen Graph und Niveaulinien einer Funktion in zwei Variablen Partielle
MehrGleichungsbasierte Modellierung
1 Gleichungsbasierte Modellierung Die Benutzung von Gleichungen zur Geometrischen Modellierung wurde bereits von Sutherland eingeführt. Fortgeführt wurde sie durch die Arbeiten von Light und Gossard. Wie
Mehr6. Numerische Lösung des. Nullstellenproblems
6. Numerische Lösung des Nullstellenproblems 1 Problemstellung Zwischenwertsatz: Sei f : [a,b] R stetig und c R mit f(a) c f(b) oder f(b) c f(a). Dann gibt es ein x [a,b] mit f(x) = c. Frage: Wie lässt
MehrNumerische Methoden und Algorithmen in der Physik
Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 11.12.2008 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 1/ 18 Einführung Einführung Verfahren für
Mehr8 Extremwerte reellwertiger Funktionen
8 Extremwerte reellwertiger Funktionen 34 8 Extremwerte reellwertiger Funktionen Wir wollen nun auch Extremwerte reellwertiger Funktionen untersuchen. Definition Es sei U R n eine offene Menge, f : U R
Mehr18.4 Das Newton-Verfahren
18.4 Das Newton-Verfahren Ziel: Wir suchen die Nullstellen einer Funktion f : D R n, D R n : f(x) = 0 Wir kennen bereits die Fixpunktiteration x k+1 := Φ(x k ) mit Startwert x 0 und Iterationsvorschrift
MehrInstitut für Geometrie und Praktische Mathematik
RWTH Aachen Institut für Geometrie und Praktische Mathematik Multiple-Choice-Test NumaMB F08 (30 Punkte) Bei jeder MC-Aufgabe ist mindestens eine Aussage korrekt. Wird dennoch bei einer MC-Aufgabe keine
Mehr6.8 Newton Verfahren und Varianten
6. Numerische Optimierung 6.8 Newton Verfahren und Varianten In den vorherigen Kapiteln haben wir grundlegende Gradienten-basierte Verfahren kennen gelernt, die man zur numerischen Optimierung von (unbeschränkten)
MehrNichtlineare Gleichungssysteme
Nichtlineare Gleichungssysteme Jetzt: Numerische Behandlung nichtlinearer GS f 1 (x 1,..., x n ) =0. f n (x 1,..., x n ) =0 oder kurz f(x) = 0 mit f : R n R n Bemerkung: Neben dem direkten Entstehen bei
MehrÜbungen zur Ingenieur-Mathematik III WS 2012/13 Blatt
Übungen zur Ingenieur-Mathematik III WS 2012/13 Blatt 9 19.12.2012 Aufgabe 35: Thema: Differenzierbarkeit a) Was bedeutet für eine Funktion f : R n R, dass f an der Stelle x 0 R n differenzierbar ist?
MehrVorlesung: Analysis II für Ingenieure. Wintersemester 09/10. Michael Karow. Themen: Taylor-Entwicklung und lokale Extrema
Vorlesung: Analysis II für Ingenieure Wintersemester 09/10 Michael Karow Themen: Taylor-Entwicklung und lokale Extrema Motivierendes Beispiel: die Funktion f(x, y) = x(x 1) 2 2 y 2. Dieselbe Funktion von
MehrBlock I: Integration und Taylorentwicklung in 1D
Wiederholungsübungen zur Ingenieur-Mathematik III WS 5/6 Blatt 3..6 Block I: Integration und Taylorentwicklung in D Aufgabe : Berechnen Sie die Integrale: a) π sin x cos x dx b) ( x) +x dx c) x e x dx
MehrAnalysis II 14. Übungsblatt
Jun.-Prof. PD Dr. D. Mugnolo Wintersemester 01/13 F. Stoffers 04. Februar 013 Analysis II 14. Übungsblatt 1. Aufgabe (8 Punkte Man beweise: Die Gleichung z 3 + z + xy = 1 besitzt für jedes (x, y R genau
Mehreps für alle x D. 4. Die Zahl 256 ist in M(2, 4, 6, 6) exakt darstellbar.
IGPM RWTH Aachen Verständnisfragen-Teil NumaMB H13 (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben). Es müssen mindestens zwei
MehrPraktische Optimierung
Praktische Optimierung Dozent: Günter Rudolph Vertretung: Nicola Beume Wintersemester 2007/08 Universität Dortmund Fachbereich Informatik Lehrstuhl für Algorithm Engineering (LS11) Fachgebiet Computational
MehrMusterlösung zu Blatt 1
Musterlösung zu Blatt Analysis III für Lehramt Gymnasium Wintersemester 0/4 Überprüfe zunächst die notwendige Bedingung Dfx y z = 0 für die Existenz lokaler Extrema Mit x fx y z = 8x und y fx y z = + z
MehrLösungsvorschlag zur Modulprüfung Numerische Methoden - Wintersemester 2016/17
Institut für Analysis Prof Dr Michael Plum Lösungsvorschlag zur Modulprüfung Numerische Methoden - Wintersemester 6/7 837 Aufgabe Punkte): Gegeben sei das lineare Gleichungssystem Ax = b mit A = 6 3 und
MehrKapitel 8: Suche nach Nullstellen und Extremwerten
Kapitel 8: Suche nach Nullstellen und Extremwerten Nullstellensuche (root finding) Einfachste Variante: Suche Nullstelle(n) einer 1D-Funktion: f(x) = 0 (1) Dies umfaßt bereits scheinbar andere Fälle, z.b.
MehrNumerische Ableitung
Numerische Ableitung Die Ableitung kann angenähert werden durch den Differentenquotient: f (x) f(x + h) f(x) h oder f(x + h) f(x h) 2h für h > 0, aber h 0. Beim numerischen Rechnen ist folgendes zu beachten:
MehrKapitel 6 Differential- und Integralrechnung in mehreren Variablen
Kapitel 6 Differential- und Integralrechnung in mehreren Variablen Inhaltsverzeichnis FUNKTIONEN IN MEHREREN VARIABLEN... 3 BEISPIELE UND DARSTELLUNGEN... 3 GRENZWERT UND STETIGKEIT (ABSTANDSBEGRIFF)...
MehrMehrdimensionale Differentialrechnung Übersicht
Mehrdimensionale Differentialrechnung Übersicht Partielle und Totale Differenzierbarkeit Man kann sich mehrdimensionale Funktionen am Besten für den Fall f : R 2 M R vorstellen Dann lässt sich der Graph
MehrRückblick auf die letzte Vorlesung
Rückblick auf die letzte Vorlesung 1. Anwendungen des Satzes über implizite Funktionen 2. Stationäre Punkte implizit definierter Funktionen 3. Reguläre Punkte 4. Singuläre Punkte Ausblick auf die heutige
Mehr3 Anwendungen der Differentialrechnung. (x 1, x 2,..., x n 1, x n ) f xn (x 1, x 2,..., x n 1, x n ), 1 i n 1. y + cos z
R Es sei f : R n D R eine einmal stetig differenzierbare Funktion, für die in einer Umgebung eines Punkte a = a 1, a,, a n D gilt: fa 1, a,, a n = 0, f xn a 1, a,, a n 0 Dann gibt es eines Umgebung U des
MehrRegression IV: Anpassung mit nichtlinearen Funktionen. Teil B: Nicht linearisierbare Modelle. -Fortsetzung-
Regression IV: Anpassung mit nichtlinearen Funktionen Teil B: Nicht linearisierbare Modelle -Fortsetzung- T. Kießling: Auswertung von Messungen und Fehlerrechnung - Linienformanpassung 13.06.2018 Vorlesung
MehrKarlsruher Institut für Technologie Institut für Analysis Dr. Andreas Müller-Rettkowski Dr. Vu Hoang. Sommersemester
Karlsruher Institut für Technologie Institut für Analysis Dr. Andreas Müller-Rettkowski Dr. Vu Hoang Sommersemester 03 6.06.03 Höhere Mathematik II für die Fachrichtungen Elektrotechnik und Informationstechnik
MehrVIII Inhaltsverzeichnis 4 Innere - Punkte - Methoden für Lineare Programme Exkurs: Newton -Verfahren,Konvergenzraten Anwendung:
Inhaltsverzeichnis 1 Einleitung... 1 1.1 Modellbildung,mathematische Formulierung............... 1 1.2 Nichtlineare Programme................................. 2 1.3 Einteilung von nichtlinearen Programmen...
MehrKapitel 5 Nichtlineare Gleichungssysteme und Iterationen
Kapitel 5 Nichtlineare Gleichungssysteme und Iterationen Wir betrachten das System f() = 0 von n skalaren Gleichungen f i ( 1,..., n ) = 0, i = 1,..., n. Gesucht: Nullstelle von f() = 0. Es sei (0) eine
Mehr3. Approximation von Funktionen und Extremwertprobleme im R n
3. Approximation von Funktionen und Extremwertprobleme im R n Wie in D ist es wichtig Funktionen mit mehreren Variablen durch Polynome lokal approximieren zu können. Polynome lassen sich im Gegensatz zu
MehrFunktionen mehrerer Variabler
Vektoranalysis Funktionen mehrerer Variabler Wir untersuchen allgemein vektorwertige Funktionen von vektoriellen Argumenten, wobei zunächst nur reelle Vektoren zugelassen seien. Speziell betrachten wir:
MehrNichtlineare Gleichungen, mehrere Unbekannte
Dritte Vorlesung, 6. März 2008, Inhalt Aufarbeiten von Themen der letzten Vorlesung, und Nichtlineare Gleichungen, mehrere Unbekannte Systeme nichtlinearer Gleichungen Vektor- und Matrixnormen Fixpunkt-Iteration,
MehrNichtlineare Gleichungen in einer und mehreren Unbekannten
Gleichungen in einer und mehreren Unbekannten 2. Vorlesung 170004 Numerische Methoden I Clemens Brand 26. Februar 2009, Gliederung,, Gleichungen in einer Variablen Was ist... Wie geht... eine lineare (nichtlineare,
MehrLagrange-Multiplikatoren
Lagrange-Multiplikatoren Ist x eine lokale Extremstelle der skalaren Funktion f unter den Nebenbedingungen g i (x) = 0, dann existieren Lagrange-Multiplikatoren λ i, so dass grad f (x ) = λ i grad g i
MehrWiederholung von Linearer Algebra und Differentialrechnung im R n
Wiederholung von Linearer Algebra und Differentialrechnung im R n 1 Lineare Algebra 11 Matrizen Notation: Vektor x R n : x = x 1 x n = (x i ) n i=1, mit den Komponenten x i, i {1,, n} zugehörige Indexmenge:
MehrÜbungen zur Mathematik Blatt 1
Blatt 1 Aufgabe 1: Bestimmen Sie die Fourier-Reihe der im Bild skizzierten periodischen Funktion, die im Periodenintervall [ π, π] durch die Gleichung f(x) = x beschrieben wird. Zeichnen Sie die ersten
MehrMathematische Behandlung der Natur- und Wirtschaftswissenschaften I. f(x) := e x + x.
Technische Universität München WS 009/0 Fakultät für Mathematik Prof. Dr. J. Edenhofer Dipl.-Ing. W. Schultz Übung Lösungsvorschlag Mathematische Behandlung der Natur- und Wirtschaftswissenschaften I Aufgabe
MehrExtrema von Funktionen mit zwei Variablen
Extrema von Funktionen mit zwei Variablen Es gilt der Satz: Ist an einer Stelle x,y ) f x x,y ) = und f y x,y ) = und besteht außerdem die Ungleichung f xx x,y )f yy x,y ) f xy x,y ) >, so liegt an dieser
MehrFixpunkt-Iterationen
Fixpunkt-Iterationen 2. Vorlesung 170 004 Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 3. März 2016 Nichtlineare Gleichungen, Fixpunkt-Iterationen 1 Wiederholung Aufgabentypen
MehrFerienkurs der TU München- - Analysis 2 Funktionen in mehreren Variablen Vorlesung
Ferienkurs der TU München- - Analysis 2 Funktionen in mehreren Variablen Vorlesung Jonas J. Funke 30.08.2010-03.09.2010 Inhaltsverzeichnis 1 Funktionen in mehreren Variablen 3 2 Partielle Differentiation
Mehr5.10. Mehrdimensionale Extrema und Sattelpunkte
5.1. Mehrdimensionale Extrema und Sattelpunkte Zur Erinnerung: Eine Funktion f von einer Teilmenge A des R n nach R hat im Punkt a ein (strenges) globales Maximum, falls f( x ) f( a ) (bzw. f( x ) < f(
Mehr2 Extrema unter Nebenbedingungen
$Id: lagrange.tex,v 1.6 2012/11/06 14:26:21 hk Exp hk $ 2 Extrema unter Nebenbedingungen 2.1 Restringierte Optimierungsaufgaben Nachdem wir jetzt die bereits bekannten Techniken zur Bestimmung der lokalen
Mehr2 Funktionen in mehreren Variablen: Differentiation
Satz 2. (Richtungsableitung) Für jede auf der offenen Menge D R n total differenzierbaren Funktion f (insbesondere für f C 1 (D, R) und für jeden Vektor v R n, v 0, gilt: n v f(x) = f(x) v = f xi (x)v
MehrNewton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme
Newton-Verfahren zur gleichungsbeschränkten Optimierung Armin Farmani Anosheh (afarmani@mail.uni-mannheim.de) 3.Mai 2016 1 Gleichungsbeschränkte Optimierungsprobleme Einleitung In diesem Vortrag geht es
MehrInhalt Kapitel I: Nichtlineare Gleichungssysteme
Inhalt Kapitel I: Nichtlineare Gleichungssysteme I Nichtlineare Gleichungssysteme I. Nullstellenbestimmung von Funktionen einer Veränderlichen I.2 I.3 Newton-Verfahren Kapitel I (UebersichtKapI) 3 Bisektionsverfahren
Mehr