Jochen Werner Numeristhe Mathematik 2
vieweg studium Aufbaukurs Mathematik Herausgegeben von Gerd Fischer Manfredo P. do Carmo Differentialgeometrie von Kurven und Flachen Wolfgang Fischer / Ingo lieb Funktionentheorie Wolfgang Fischer / Ingo lieb Ausgewahlte Kapitel aus der Funktionentheorie Otto Forster Analysis 3 Manfred Knebusch / Claus Scheiderer Einfiihrung in die reelle Algebra Ulrich Krengel Einfiihrung in die Wahrscheinlichkeitstheorie und Statistik Alexander Prestel Einfiihrung in die mathematische Logik und Modelltheorie Ernst Kunz Algebra Jochen Werner Numerische Mathematik 1 und 2 Joachim Hilgert und Karl-Hermann Neeb Lie-Gruppen und Ue-Algebren Advanced Lectures in Mathematics Herausgegeben von Gerd Fischer Johann Baumeister Stable Solution of Inverse Problems Manfred Denker Asymptotic Distribution Theory in Nonparametric Statistics A1exandru Dimca Topics on Real and Complex Singularities An Introduction Francesco Guaraldo, Patrizio Macri und Alessandro Tancredi Topics on Real Analytic Spaces Heinrich von Weizsacker und Gerhard Winkler Stochastic Integrals An Introduction Jochen Werner Optimization Theory and Applications
Jochen Werner NUlllerische Matheillatik Band 2: Eigenwertaufgaben, lineare Optimierungsaufgaben, unrestringierte Optimierungsaufgaben Mit 8 Abbildungen und 122 Aufgaben II vleweg
Prof. Dr. Jochen Wemer Institut fiir Numerische und Angewandte Mathematik Georg-August-Universitiit Giittingen LutzestraBe 16-18 D-3400 Giittingen Die Deutsche Bibliothek - CIP-Einheitsaufnahme Wemer, Jochen: Numerische Mathematik I Jochen Wemer. Braunschweig; Wiesbaden: Vieweg Bd. 2. Eigenwertaufgaben, lineare Optimierungsaufgaben, unrestringierte Optimierungsaufgaben: mit l22 Aufgaben. - 1992 (Vieweg-Studium; 33: Autbaukurs Mathematik) ISBN 978-3-528-07233-9 ISBN 978-3-663-07714-5 (ebook) DOI 10.1007/978-3-663-07714-5 NE:GT Alle Rechte vorbehalten Springer Fachmedien Wiesbaden 1992 UrsprUnglich erschienen bei Friedr. Vieweg & Sohn Verlagsgesellschaft mbh, BraunschweigIWiesbaden 1992 Das Werk einsch1ieblich aller seiner Teile ist urheberrechtlich geschiitzt. Jede Verwertung auberhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzuliissig und stratbar. Das gilt insbesondere fiir Vervielfâ1tigungen, Ubersetzungen, Mikroverlilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Gedruckt auf siiurefreiem Papier ISBN 978-3-528-07233-9
Vorwort Die Zielsetzung in diesem Buch ist im wesentlichen dieselbe wie die zum Vorgiinger Numerische Mathematik I. Und zwar wird eine moglichst gut lesbare Darstellung zur numerischen Behandlung gewisser "Grundaufgaben" angestrebt, die beiden Worten im Titel "Numerische Mathematik" gerecht zu werden versucht. Nachdem im ersten Band tiber Lineare Gleichungssysteme, Nichtlineare Gleichungssysteme, Interpolation, Numerische Integration berichtet wurde, folgen jetzt Kapitel tiber Eigenwertaufgaben, Lineare Optimierungsaufgaben, Unrestringierte Optimierungsaufgaben. Wie schon im Vorwort zum ersten Band betont wurde, ist Wert darauf gelegt worden, dab die einzelnen Kapitel weitgehend unabhiingig voneinander gelesen werden konnen. Allerdings werden in diesem Buch Kenntnisse aus Kapitel 1 tiber lineare Gleichungssysteme vorausgesetzt. Eine andere Anordnung des Stoffes ware denkbar, yom systematischen Standpunkt aus gesehen vielleicht sogar sinnvoller gewesen. So bilden die Kapitel tiber lineare Gleichungssysteme, Eigenwertaufgaben und lineare Optimierungsaufgaben einen Block, den man der numerischen, linearen Algebra zuordnen kann. Auch die Kapitel tiber nichtlineare Gleichungssysteme und unrestringierte Optimierungsaufgaben gehoren yom Inhalt her eigentlich zusammen, was ftir die Kapitel tiber Interpolation und numerische Integration fast selbstverstiindlich und bei der hier gewiihlten Aufteilung auch der Fall ist. Wieder ist versucht worden, die auftretenden Algorithmen so zu formulieren, dafi ihre Umsetzung in ein Computer-Programm i. allg. keine grofieren Schwierigkeiten bereiten dtirfte. Numerische Beispiele finden sich fast nur in den Aufgaben, die angegebenen Ergebnisse dienen der Kontrolle. Bei der Lekttire des Inhaltsverzeichnisses wird auffallen, dafi dem letzten Kapitel tiber unrestringierte Optimierungsaufgaben verhiiltnismabig viel Platz zugestanden wird. Hierfiir waren mehrere Grtinde maf3geblich. Der unwichtigste (wenn
VI Vorwort auch vielleicht entscheidende) Grund besteht darin, dab die numerische Behandlung unrestringierter Optimierungsaufgaben zu meinen besonderen Interessengebieten gehort. Wichtiger ist, dab der Leser wenigstens in einem Kapitel an aktuelle, neuere Entwicklungen herangefiihrt werden sollte. Zwar gehort auch eine Darstellung des Karmarkar-Verfahrens im Kapitel tiber lineare Optimierungsaufgaben nicht zum "Standard" in Lehrbtichern tiber numerische Mathematik, was im abgeschwachten MaBe auch tiber die Behandlung der schnellen Fourier-Transformation, B-Splines und die Darstellung von Kurven in Kapitel 3 im ersten Band gilt. Aber nur das letzte Kapitel versucht, etwas mehr als einen Uberblick zur numerischen Behandlung einer "Grundaufgabe" zu bieten. In ihm werden Ergebnisse bewiesen (etwa zur globalen und lokalen Konvergenz des BFGS-Verfahrens oder zur Konvergenz von Trust Region-Verfahren bei glatten bzw. halbglatten Optimierungsaufgaben), die bisher in der Originalliteratur eher versteckt sind. 1m Rahmen eines Kurses tiber numerische Mathematik eignet sich die numerische Behandlung unrestringierter Optimierungsaufgaben besonders gut als vertiefendes Spezialgebiet, weil hier Kenntnisse aus den Kapiteln tiber lineare und nichtlineare Gleichungssysteme sowie tiber lineare Optimierungsaufgaben benutzt werden konnen. Wieder danke ich vor allem den Horern meiner Vorlesungen, die durch konstruktive Kritik die Darstellung beeinflubt haben. Ferner danke ich Horst Karaschewski und Martin Petry, die Teile des Manuskripts gelesen und mich auf einige Fehler hingewiesen haben. Mein besonderer Dank gilt Thomas Bannert, der die letzten beiden Kapitel gelesen und zahlreiche, von mir fast immer aufgegriffene, Verbesserungsvorschliige gemacht hat. Gottingen, im August 1991 Jochen Werner
Inhaltsverzeichnis 5 Eigenwertaufgaben 1 5.1 Einige theoretische Grundlagen 2 5.1.1 Der Satz von Gerschgorin ~ 5.1.2 Der Satz von Bauer-Fike. 6 5.1.3 Variationsprinzipien fur Eigenwerte hermitescher Matrizen. 9 5.1.4 Der Satz von Schur. 12 Aufgaben.............................. 14 5.2 Das QR-Verfahren......................... 18 5.2.1 Die Transformation einer Matrix auf Hessenberg-Fonn. 18 5.2.2 Die QR-Zerlegung einer Hessenberg-Matrix 24 5.2.3 Vektoriteration nach v. Mises......... 29 5.2.4 Inverse Iteration nach Wielandt........ 30 5.2.5 Die Konvergenz des einfachen QR-Verfahrens 32 5.2.6 Das QR-Verfahren mit Shifts...... 40 Aufgaben..................... 46 5.3 Eigenwertaufgaben fur symmetrische Matrizen 52 5.3.1 Das J acobi-verfahren... 52 5.3.2 Das Bisektions-Verfahren........ 56 5.3.3 Das QR-Verfahren fur symmetrische Matrizen. 61 5.3.4 Die Berechnung der Singularwertzerlegung. 65 A ufgaben......................... 73 6 Lineare Optimierungsaufgaben 81 6.1 Einfuhrung, Beispiele. 81 Aufgaben............ 86 6.2 Das Simplexverfahren..... 87 6.2.1 Geometrische Grundlagen des Simplexverfahrens 87 6.2.2 Die Phase II des Simplexverfahrens........ 93 6.2.3 Die Vermeidung von Zyklen beim Simplexverfahren 98 6.2.4 Die Phase I des Simplexverfahrens 101 Aufgaben................... 106 6.3 Dualitat bei linearen Programmen..... 110 6.3.1 Schwacher und starker Dualitatssatz 110 6.3.2 Okonomische Interpretation der Dualitat 118 6.3.3 Das duale Simplexverfahren........ 119
VIII Inhaltsverzeichnis Aufgaben.... 6.4 Das Karmarkar-Verfahren................. 6.4.1 Das Karmarkar-Verfahren und seine Motivation. 124 128 129 6.4.2 Die Konvergenz des Karmarkar-Verfahrens... 135 6.4.3 Zuriickfiihrung eines linearen Programms auf Karmarkar-Normalform 138 Aufgaben................. 141 7 Unrestringierte Optimierungsaufgaben 143 7.1 Grundlagen... 144 7.1.1 Einfiihrung... 144 7.1.2 Notwendige Optimalitiitsbedingungen erster Ordnung 145 7.1.3 Notwendige und hinreichende Optimalitiitsbedingungen zweiter Ordnung......... 152 7.1.4 Glatte konvexe Funktionen 155 Aufgaben.............. 158 7.2 Ein Modellalgorithmus....... 162 7.2.1 Schrittweitenstrategien bei glatter Zielfunktion 163 7.2.2 Konvergenz des Modellalgorithmus bei glatter Zielfunktion 169 7.2.3 Das gediimpfte GauB-Newton-Verfahren bei diskreten, nichtlinearen Approximationsaufgaben 173 Aufgaben............ 184 7.3 Quasi-Newton-Verfahren... 192 7.3.1 Das Newton-Verfahren...... 192 7.3.2 Die Broyden-Klasse und das BFGS-Verfahren. 195 7.3.3 Die globale Konvergenz des BFGS-Verfahrens. 203 7.3.4 Die superlineare Konvergenz des BFGS-Verfahrens 206 Aufgaben................ 211 7.4 Verfahren der konjugierten Gradienten 218 7.4.1 Quadratische Zielfunktionen.. 219 7.4.2 Das Fletcher-Reeves-Verfahren 224 7.4.3 Ein gediichtnisloses BFGS-Verfahren 226 Aufgaben........ 231 7.5 Trust-Region-Verfahren........ 236 7.5.1 Einfiihrung... 236 7.5.2 Glatte, unrestringierte Optimierungsaufgaben. 238 7.5.3 Nichtlineare Ausgleichsprobleme........ 248 7.5.4 Diskrete, nichtlineare Approximationsaufgaben 249 Aufgaben......................... 258 Literaturverzeichnis 265 Index 273