Institut für Geometrie und Praktische Mathematik Mathematisches Praktikum (MaPra) Wintersemester Aufgabe 4

Transkript

1 Rheinisch-Westfälische Technische Hochschule Institut für Geometrie und Praktische Mathematik Mathematisches Praktikum (MaPra) Wintersemester 2007 Prof. Dr. Wolfgang Dahmen Dr. Karl-Heinz Brakhage Aufgabe 4 Bearbeitungszeit: Drei Wochen (Abgabe bis Donnerstag, den 6. Dezember 2007) Bearbeitungshinweis: Es sollen auch eigene Tests erstellt werden. Diese sollen bereits eine Woche vor Abgabefrist vorgeführt werden, um böse Überaschungen zu vermeiden. Mathematischer Hintergrund: Iterative Verfahren für lineare Gleichungssysteme Elemente von C++: Klassen, dynamische Speicherverwaltung, Überladen von Operatoren, Makefiles 20 Punkte Long ago oder: Vor ziemlich genau 184 Jahren C.F.Gauß schrieb in einem Brief vom an Gerling: Ich empfehle Ihnen diesen Modus zur Nachahmung. Schwerlich werden Sie je wieder direct elimineren, wenigstens nicht wenn Sie mehr als 2 Unbekannte haben. Das indirecte Verfahren lässt sich halb im Schlafe ausführen, oder man kann während desselben an andere Dinge denken. Bemerkung: Während seinen Berechnungen stieß Gauß immer wieder auf Gleichungssysteme die zu groß waren, als dass er sie mit der direkten Methode der Gauß-Elimination berechnen konnte. Darum entwickelte er um 1820 das wohl erste Iterationsverfahren: Das Gauß-Seidel Verfahren (auch bekannt als Einzelschrittverfahren). Iterative Verfahren Was ist iteratives Lösen linearer Gleichungssysteme? Iteratives Lösen linearer Gleichungssysteme ist ein Approximationsverfahren zum Bestimmen der Lösung eines Gleichungssystems. Im Gegensatz hierzu stehen die direkten Verfahren zum Lösen linearer Gleichungssysteme (z.b: Gaußsches Eliminationsverfahren). Bei den direkten Verfahren kommt man nach endlich vielen Schritten zur genauen Lösung des Gleichungssystems. Bei den iterativen Verfahren nähert man sich in jedem Schritt der Lösung. Warum iterative Verfahren? In Zeiten ohne Rechner war es so gut wie unmöglich, mit dem direkten Verfahren größere Gleichungssysteme zu lösen, da diese enorm viel Rechenaufwand erfordern. Es war also notwendig, Verfahren zu entwickeln, mit denen man schneller an die Lösung kam. 1

2 Direkte Verfahren sind zwar für jede Dimension anwendbar, der benötigte Rechenaufwand (O(n 3 )) steigt aber mit der Dimension so stark an, dass man zur Lösung von Gleichungssystemen mit 10 5, 10 6 oder noch mehr Unbekannten auch große Rechner gut beschäfftigen kann. Wichtiges Beispiele für das Auftreten großer Gleichungssysteme sind die Diskretiserung partieller Differentialgleichungen, Computertomographie usw. In diesen Fällen sind die Matrizen meist schwach besetzt (d.h sie enthalten viele Nullen), und eignen sich besonders gut zur iterativen Lösung. Vorteile von Iterationsverfahren gegenüber direkter Verfahren Je größer die Dimension des Gleichungssystems, desto schneller ist das Iterationsverfahren (meistens) im Vergleich zu den direkten Verfahren. Schon nach wenigen Schritten erhält man oft eine ziemlich genaue Lösung. Durch die Rundungsfehler im Rechner besonders bei schlecht konditionierten Matrizen liefert das Iterationsverfahren sogar meist genauere Ergebnisse als das direkte Verfahren. Darum wurde auch die Methode der Nachiteration entwickelt (auf das Ergebnis des direkten Verfahrens wird ein iteratives Verfahren angewandt siehe Numerische Analysis). Bei den direkten Verfahren zur Lösung eines linearen Gleichungssystems A x = b wird die Koeffizientenmatrix A im Laufe der Rechnung verändert. Ist die Dimension von A (dünn besetzt) sehr groß, so ist das veränderte A im allgemeinen nicht im Hauptspeicher darstellbar. Direkte Verfahren sind daher oft nicht mehr möglich bzw. es ist ein sehr aufwendiger Datentransfers nötig. Iterative Verfahren veändern die Koeffizientenmatrix nicht, sondern berechnen sukkzessiv Näherungsvektoren für die Lösung und benötigen daher weniger Speicherplatz. Auch der Nachteil iterativer Verfahren soll nicht verschwiegen werden: Man muss prüfen, ob sie konvergieren. Das ist oft nicht ganz einfach. Weiterhin muss man sich ein geeignetes Abbruchkriterium überlegen. Aufgabenstellung endlich Mit Hilfe einer gut konzipierten Library für Matrizen und Vektoren lassen sich iterative Verfahren zur Lösung von linearen Gleichungssystemen mit einem sehr geringen Aufwand an Progammiertätigkeit implementieren. Dies soll mittels der bereits in der Vorbereitung erläuterten Matrix- und Vektorklasse an einigen Beispielen erprobt werden. Ziel ist es, Algorithmen so zu formulieren, dass sie im Wesentlichen mit Matrix-Vektor- Multiplikationen durchführbar sind. Dabei gehen wir aus Zeitgründen nicht auf die Ausnutzung der Struktur der Matrizen (dünn besetzt) ein. Wir merken uns aber, dass dies die Verfahren erst wirklich effektiv macht. Wir wollen hier drei (Pflicht-)Beispiele behandeln. Diese sind 1) Gesamtschrittverfahren das warm up, 2) konjugierte Gradienten das cg-verfahren für positiv definite Matrizen, 3) cgls ein cg-verfahren für lineare Ausgleichsprobleme. Dieses wird z.b. in der Computertomographie eingesetzt. Sie sollten danach in der Lage sein, jederzeit weitere Algorithmen hinzuzufügen. Dies könnte etwa die L-R- Zerlegung sein oder z.b. die ebenfalls in der Numerischen Analysis behandelteq-r-zerlegung. 2

3 Gesamtschrittverfahren (Jacobiverfahren entwickelt 1845 von Carl Gustav Jacobi) Löst man in einem linearen Gleichungssystem (A R n n ) A x = b die i-te Gleichung nach x i auf, so erhält man das Gesamtschrittverfahren. Zerlegt man A in A = A L +D+A R, wobei A L eine strikte untere Dreiecksmatrix und A R eine strikte obere Dreiecksmatrix sind, so lässt sich die so gewonnene Gleichung schreiben als x = D 1 (b (A L + A R )x). Die Multiplikation eines Vektors mit der Inversen einer Diagonalmatrix D bewirkt, dass jede Komponente des Vektors durch das entsprechende Diagonalelement geteilt wird. Weiterhin wird D nicht als Matrix sondern als Vektor d (D = diag{d 1,..., d n }) gespeichert. Die Operation D 1 y lässt sich dann mit dem Operator / als Vektor-Vektor-Operation y/d in der Vektorklasse implementieren. Damit lautet der Algorithmus des Gesamtschrittverfahrens (für A x = b) wie folgt: Zu beliebigem Startvektor x (0) : x (k+1) = (b (A L + A R )x (k) )/d bis stop Bleiben die Fragen, unter welchen Voraussetzungen konvergiert das Verfahren und was heißt stop. Es gibt ein Konvergenzkriterium, das sich auch einfach überprüfen läßt: Satz: Das Gesamtschrittverfahren konvergiert für streng diagonaldominante Matrizen A ( a ii > j i a ij ) für jedem Startwert x (0). Die Iteration soll abgebrochen werden (Bedingung stop), wenn eine maximale Anzahl von Schritten (k max ) überschritten wird bzw. das Residuum kleiner als ein vorgegebenes ε wird. Hier noch einige Hinweise / Bemerkungen: 1. A L + A R speichern wir in A. 2. Es werden nicht alle Iterationsvektoren gespeichert! 3. Das Residuum läßt sich ((b (A L + A R )x (k) ) speichern) einfach beerechnen. 4. Streng genommen müssen wir zwischen Residuenvektor r (k) = b Ax (k) und Residuum r (k) 2 unterscheiden. 5. Ein kleines Residuum bedeutet nicht zwangsweise das Vorliegen einer guten Lösung. 6. Bevor iteriert wird, überprüfen wir, ob das Konvergenzkriterium erfüllt ist. konjugierte Gradienten das cg-verfahren Das Verfahren der konjugierten Gradienten für symmetrisch positiv definite (spd) Matrizen A ist eines der effizientesten Verfahren für lineare Gleichungsysteme A x = b überhaupt. Wir formulieren zunächst den Algorithmus: Für A spd und zu beliebigem Startvektor x (0) : r (0) = b Ax (0), d (0) = r (0) α k = r (k) 2 2 /((Ad(k) )d (k) ) // Ad (k) für später speichern x (k+1) = x (k) + α k d (k) r (k+1) = r (k) α k Ad (k) β k = r (k+1) 2 2 / r(k) 2 2 // r (k+1) 2 2 für später speichern d (k+1) = r (k+1) + β k d (k) 3

4 bis stop Bleiben wieder die Fragen, unter welchen Voraussetzungen konvergiert das Verfahren und was heißt stop. Konvergenzkriterium: Satz: Für A R n n spd findet das cg-verfahren nach höchstens n Schritten die exakte Lösung. Wenn wir also die Eigenschaft spd voraussetzen, konvergiert das Verfahren für jeden beliebigen Startwert. Die Iteration soll wieder abgebrochen werden (Bedingung stop), wenn eine maximale Anzahl von Schritten (k max ) überschritten wird bzw. das Residuum kleiner als ein vorgegebenes ε wird. Hier noch einige Hinweise / Bemerkungen: 1. Für A spd ist x A := x T Ax eine Norm, die sogenannte Energienorm. 2. Der Name konjugierte Gradienten erklärt sich wie folgt: Die Minimierung des quadratischen Funktionals Φ(x) = 1/2 x T Ax x T b führt auf die notwendige Bedingung gradφ(x) = Ax b = 0 (A spd ist dann hinreichend für ein Minimum). Wenn man Φ(x) nun schrittweise mittels des Ansatzes x (k+1) = x (k) + α k d (k) minimiert, so sind mit obiger Wahl die d (k) bzgl. A konjugiert, d.h.: (d (k+1) ) T Ad (k) = 0. Ein cg-verfahren für lineare Ausgleichsprobleme cgls Zu dem linearen Ausgleichsproblem Ax b 2 min gehört bekanntlich (Numerische Analysis) das Normalgleichungssystem A T Ax = A T b mit der hat A vollen Rang spd Matrix A T A. Leider ist A T A meist schlecht konditioniert und für dünnbesetzte A s ist A T A meist nicht mehr dünn besetzt. Das Verfahren der konjugierten Gradienten kann aber so umformuliert werden, dass beide Probleme umgangen werden. Wir benutzen zwei Residuen(vektoren): r (k) = b Ax (k) und s (k) = A T b A T Ax (k) = A T r (k). Da wir in unseren Klassen nicht zwischen Zeilen- und Spaltenvektoren unterscheiden, können wir in der Implementierung statt A T r (k) auch r (k) A benutzen. Damit lässt sich der Algorithmus wie folgt formulieren: Für A R m n mit vollem Rang und zu beliebigem Startvektor x (0) : r (0) = b Ax (0) s (0) = A T r (0) d (0) = s (0) α k = s (k) 2 2 / Ad(k) 2 2 // Ad (k) für später speichern x (k+1) = x (k) + α k d (k) r (k+1) = r (k) α k Ad (k) s (k+1) = A T r (k+1) β k = s (k+1) 2 2 / s(k) 2 2 d (k+1) = s (k+1) + β k d (k) bis stop Das stop Kriterium wählen wir wie beim cg-verfahren maximale Anzahl von Schritten oder Residuum unter einer vorgegeben Schranke ε ( s (k) 2 ε). What to do Im Lastenheft (s.u.) steht diesmal, dass Sie sich selbst zunächst geeignete Tests und Testbeispiele überlegen müssen. Dies muss im Pflichtenheft (s.u.) abgearbeitet werden, D.h.: Sie müssen die Tests und Testbeispiele erstellen und diese auch (mit Begründung der Auswahl) dokumentieren. In der Praxis ist dies meistens ein entscheidender Schritt zum Erfolg, denn normalerweise hat man ja kein programmiertes Referenzverfahren, das die eigenen Ergebnisse testet. Sie sollten Ihre Programmiertätigkeit soweit vorantreiben, dass Sie die 4

5 eigenen Tests nach zwei Wochen abschließen und vorführen. In der letzten Bearbeitungswoche sollen dann Tests mit von uns gestellten Beispielen durchgeführt werden. Um dies ohne große Umstellung bewerkstelligen zu können, sind ein paar Grundsätze zu beachten. Da wir nur ein einheitliches stop-kriterium vorgegeben haben, können alle drei Verfahren folgendermaßen implementiert werden int gsv ( Matrix &A, const Vektor &b, Vektor &x0, int k max, double &eps ); int cg ( Matrix &A, const Vektor &b, Vektor &x0, int k max, double &eps ); int cgls ( Matrix &A, const Vektor &b, Vektor &x0, int k max, double &eps ); A darf (Gesamtschrittverfahren) modifiziert werden, muss aber beim Verlassen der Funktion (Unterprogramm) wieder wie beim Eingang besetzt sein. Es brauchen und sollen auch keine weiteren Matrizen und/oder arrays von Vektoren angelegt werden. Ist die Dimension des Vektors x0 1, so soll das Unterprogramm selbst einen Startvektor bestimmen. Beim Aufruf steht in eps die gewünschte Genauigkeit (Residuum). Beim Rücksprung soll eps die erreichte Genauigkeit enthalten. Der Rückgabewert der Funktion ist die Anzahl der durchgeführten Schritte (falls >0) bzw. ein Fehlercode. Dabei sollen folgende Fehler berücksichtigt werden. 0: k max Iterationen erreicht (auch in diesem Fall soll aber eps die erreichte Genauigkeit enthalten); -1: Voraussetzung nicht erfüllt (gsv: A nicht diagonaldominant, cg: A nicht symmetrisch, cgls: m<n); -2: Dimensionen von A, b und x0 passen nicht zusammen. Medizinische Anwendungen Zum Abschluss noch einige Worte Zur Anwendung bei der Computertomographie. Eine gute Übersicht findet sich in dem auf der Web-Seite aufliegenden Artikel Mathematik fürs Leben am Beispiel der Computertomographie. Hier nur soviel: Ein Scan mit Bildpunkten führt (in jeder Schicht!!) auf Unbekannte. Da das System überbestimmt sein muss, hat man ca Gleichungen. cgls braucht dafür nur ca Iterationen, um akzeptable Lösung zu bekommen. Die Kernspin-Tomographie, auch Magnet-Resonanz-Tomographie (MRT) genannt, ist eine diagnostische Technik zur Darstellung der inneren Organe und Gewebe mit Hilfe von Magnetfeldern und Radiowellen. Das technische Prinzip wurde 1946 von Bloch und Purcell unabhängig voneinander entdeckt und bald in Physik und Chemie angewandt erhielten die beiden Wissenschaftler den Nobelpreis (in Physik) für ihre Entdeckung. Die Weiterentwicklung zu einer Technik in der Medizin, mit Hilfe derer Bilder erzeugt werden können, wurde im wesentlichen durch Lauterbur (Chemiker) und Mansfield (Physiker) im Jahr 1973 vorangetrieben. Dafür bekamen sie 2003 den Nobelpreis für Medizin. Praktisch verfügbar ist das Verfahren seit Lastenheft Der Auftraggeber erstellt das Lastenheft. Nach der DIN enthält es die Gesamtheit der Forderungen an die Lieferungen und Leistungen eines Auftragnehmers. Zugleich dient das Lastenheft auch als Grundlage beim Einholen von Angeboten. Konkret umfasst ein solches Heft die technischen und inhaltlichen Vorgaben, die an die Software gestellt werden. Auch ein Web-Projekt lässt sich als Software-Projekt begreifen (und da es Software-Projekte schon seit den 60er Jahren gibt, kann die geballte Praxis-Erfahrung auch dem Web-Projektmanagement nicht schaden). Pflichtenheft Dienstleister erstellen ein Pflichtenheft. Es enthält nach DIN die vom Auftragnehmer erarbeiteten Realisierungsvorgaben und beschreibt die Umsetzung des vom Auftraggeber vorgegebenen Lastenhefts. Das Pflichtenheft bildet die Basis für die vertraglich festgehaltenen Leistungen des Auftragnehmers. Dienstleister und Kunden legen sich fest und sichern sich ab. Kein Dienstleister kann mehr sagen, dies und das sei nicht eingeplant gewesen - und der Kunde kann nicht einfach Forderungen nachlegen. 5