Jochen Werner. Numeristhe Mathematik 2

Transkript

1 Jochen Werner Numeristhe Mathematik 2

2 vieweg studium Aufbaukurs Mathematik Herausgegeben von Gerd Fischer Manfredo P. do Carmo Differentialgeometrie von Kurven und Flachen Wolfgang Fischer / Ingo lieb Funktionentheorie Wolfgang Fischer / Ingo lieb Ausgewahlte Kapitel aus der Funktionentheorie Otto Forster Analysis 3 Manfred Knebusch / Claus Scheiderer Einfiihrung in die reelle Algebra Ulrich Krengel Einfiihrung in die Wahrscheinlichkeitstheorie und Statistik Alexander Prestel Einfiihrung in die mathematische Logik und Modelltheorie Ernst Kunz Algebra Jochen Werner Numerische Mathematik 1 und 2 Joachim Hilgert und Karl-Hermann Neeb Lie-Gruppen und Ue-Algebren Advanced Lectures in Mathematics Herausgegeben von Gerd Fischer Johann Baumeister Stable Solution of Inverse Problems Manfred Denker Asymptotic Distribution Theory in Nonparametric Statistics A1exandru Dimca Topics on Real and Complex Singularities An Introduction Francesco Guaraldo, Patrizio Macri und Alessandro Tancredi Topics on Real Analytic Spaces Heinrich von Weizsacker und Gerhard Winkler Stochastic Integrals An Introduction Jochen Werner Optimization Theory and Applications

3 Jochen Werner NUlllerische Matheillatik Band 2: Eigenwertaufgaben, lineare Optimierungsaufgaben, unrestringierte Optimierungsaufgaben Mit 8 Abbildungen und 122 Aufgaben II vleweg

4 Prof. Dr. Jochen Wemer Institut fiir Numerische und Angewandte Mathematik Georg-August-Universitiit Giittingen LutzestraBe D-3400 Giittingen Die Deutsche Bibliothek - CIP-Einheitsaufnahme Wemer, Jochen: Numerische Mathematik I Jochen Wemer. Braunschweig; Wiesbaden: Vieweg Bd. 2. Eigenwertaufgaben, lineare Optimierungsaufgaben, unrestringierte Optimierungsaufgaben: mit l22 Aufgaben (Vieweg-Studium; 33: Autbaukurs Mathematik) ISBN ISBN (ebook) DOI / NE:GT Alle Rechte vorbehalten Springer Fachmedien Wiesbaden 1992 UrsprUnglich erschienen bei Friedr. Vieweg & Sohn Verlagsgesellschaft mbh, BraunschweigIWiesbaden 1992 Das Werk einsch1ieblich aller seiner Teile ist urheberrechtlich geschiitzt. Jede Verwertung auberhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzuliissig und stratbar. Das gilt insbesondere fiir Vervielfâ1tigungen, Ubersetzungen, Mikroverlilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Gedruckt auf siiurefreiem Papier ISBN

5 Vorwort Die Zielsetzung in diesem Buch ist im wesentlichen dieselbe wie die zum Vorgiinger Numerische Mathematik I. Und zwar wird eine moglichst gut lesbare Darstellung zur numerischen Behandlung gewisser "Grundaufgaben" angestrebt, die beiden Worten im Titel "Numerische Mathematik" gerecht zu werden versucht. Nachdem im ersten Band tiber Lineare Gleichungssysteme, Nichtlineare Gleichungssysteme, Interpolation, Numerische Integration berichtet wurde, folgen jetzt Kapitel tiber Eigenwertaufgaben, Lineare Optimierungsaufgaben, Unrestringierte Optimierungsaufgaben. Wie schon im Vorwort zum ersten Band betont wurde, ist Wert darauf gelegt worden, dab die einzelnen Kapitel weitgehend unabhiingig voneinander gelesen werden konnen. Allerdings werden in diesem Buch Kenntnisse aus Kapitel 1 tiber lineare Gleichungssysteme vorausgesetzt. Eine andere Anordnung des Stoffes ware denkbar, yom systematischen Standpunkt aus gesehen vielleicht sogar sinnvoller gewesen. So bilden die Kapitel tiber lineare Gleichungssysteme, Eigenwertaufgaben und lineare Optimierungsaufgaben einen Block, den man der numerischen, linearen Algebra zuordnen kann. Auch die Kapitel tiber nichtlineare Gleichungssysteme und unrestringierte Optimierungsaufgaben gehoren yom Inhalt her eigentlich zusammen, was ftir die Kapitel tiber Interpolation und numerische Integration fast selbstverstiindlich und bei der hier gewiihlten Aufteilung auch der Fall ist. Wieder ist versucht worden, die auftretenden Algorithmen so zu formulieren, dafi ihre Umsetzung in ein Computer-Programm i. allg. keine grofieren Schwierigkeiten bereiten dtirfte. Numerische Beispiele finden sich fast nur in den Aufgaben, die angegebenen Ergebnisse dienen der Kontrolle. Bei der Lekttire des Inhaltsverzeichnisses wird auffallen, dafi dem letzten Kapitel tiber unrestringierte Optimierungsaufgaben verhiiltnismabig viel Platz zugestanden wird. Hierfiir waren mehrere Grtinde maf3geblich. Der unwichtigste (wenn

6 VI Vorwort auch vielleicht entscheidende) Grund besteht darin, dab die numerische Behandlung unrestringierter Optimierungsaufgaben zu meinen besonderen Interessengebieten gehort. Wichtiger ist, dab der Leser wenigstens in einem Kapitel an aktuelle, neuere Entwicklungen herangefiihrt werden sollte. Zwar gehort auch eine Darstellung des Karmarkar-Verfahrens im Kapitel tiber lineare Optimierungsaufgaben nicht zum "Standard" in Lehrbtichern tiber numerische Mathematik, was im abgeschwachten MaBe auch tiber die Behandlung der schnellen Fourier-Transformation, B-Splines und die Darstellung von Kurven in Kapitel 3 im ersten Band gilt. Aber nur das letzte Kapitel versucht, etwas mehr als einen Uberblick zur numerischen Behandlung einer "Grundaufgabe" zu bieten. In ihm werden Ergebnisse bewiesen (etwa zur globalen und lokalen Konvergenz des BFGS-Verfahrens oder zur Konvergenz von Trust Region-Verfahren bei glatten bzw. halbglatten Optimierungsaufgaben), die bisher in der Originalliteratur eher versteckt sind. 1m Rahmen eines Kurses tiber numerische Mathematik eignet sich die numerische Behandlung unrestringierter Optimierungsaufgaben besonders gut als vertiefendes Spezialgebiet, weil hier Kenntnisse aus den Kapiteln tiber lineare und nichtlineare Gleichungssysteme sowie tiber lineare Optimierungsaufgaben benutzt werden konnen. Wieder danke ich vor allem den Horern meiner Vorlesungen, die durch konstruktive Kritik die Darstellung beeinflubt haben. Ferner danke ich Horst Karaschewski und Martin Petry, die Teile des Manuskripts gelesen und mich auf einige Fehler hingewiesen haben. Mein besonderer Dank gilt Thomas Bannert, der die letzten beiden Kapitel gelesen und zahlreiche, von mir fast immer aufgegriffene, Verbesserungsvorschliige gemacht hat. Gottingen, im August 1991 Jochen Werner

7 Inhaltsverzeichnis 5 Eigenwertaufgaben Einige theoretische Grundlagen Der Satz von Gerschgorin ~ Der Satz von Bauer-Fike Variationsprinzipien fur Eigenwerte hermitescher Matrizen Der Satz von Schur. 12 Aufgaben Das QR-Verfahren Die Transformation einer Matrix auf Hessenberg-Fonn Die QR-Zerlegung einer Hessenberg-Matrix Vektoriteration nach v. Mises Inverse Iteration nach Wielandt Die Konvergenz des einfachen QR-Verfahrens Das QR-Verfahren mit Shifts Aufgaben Eigenwertaufgaben fur symmetrische Matrizen Das J acobi-verfahren Das Bisektions-Verfahren Das QR-Verfahren fur symmetrische Matrizen Die Berechnung der Singularwertzerlegung. 65 A ufgaben Lineare Optimierungsaufgaben Einfuhrung, Beispiele. 81 Aufgaben Das Simplexverfahren Geometrische Grundlagen des Simplexverfahrens Die Phase II des Simplexverfahrens Die Vermeidung von Zyklen beim Simplexverfahren Die Phase I des Simplexverfahrens 101 Aufgaben Dualitat bei linearen Programmen Schwacher und starker Dualitatssatz Okonomische Interpretation der Dualitat Das duale Simplexverfahren

8 VIII Inhaltsverzeichnis Aufgaben Das Karmarkar-Verfahren Das Karmarkar-Verfahren und seine Motivation Die Konvergenz des Karmarkar-Verfahrens Zuriickfiihrung eines linearen Programms auf Karmarkar-Normalform 138 Aufgaben Unrestringierte Optimierungsaufgaben Grundlagen Einfiihrung Notwendige Optimalitiitsbedingungen erster Ordnung Notwendige und hinreichende Optimalitiitsbedingungen zweiter Ordnung Glatte konvexe Funktionen 155 Aufgaben Ein Modellalgorithmus Schrittweitenstrategien bei glatter Zielfunktion Konvergenz des Modellalgorithmus bei glatter Zielfunktion Das gediimpfte GauB-Newton-Verfahren bei diskreten, nichtlinearen Approximationsaufgaben 173 Aufgaben Quasi-Newton-Verfahren Das Newton-Verfahren Die Broyden-Klasse und das BFGS-Verfahren Die globale Konvergenz des BFGS-Verfahrens Die superlineare Konvergenz des BFGS-Verfahrens 206 Aufgaben Verfahren der konjugierten Gradienten Quadratische Zielfunktionen Das Fletcher-Reeves-Verfahren Ein gediichtnisloses BFGS-Verfahren 226 Aufgaben Trust-Region-Verfahren Einfiihrung Glatte, unrestringierte Optimierungsaufgaben Nichtlineare Ausgleichsprobleme Diskrete, nichtlineare Approximationsaufgaben 249 Aufgaben Literaturverzeichnis 265 Index 273