Dünn besetzte Matrizen. Unterschiede in Speicherbedarf und Rechenzeit im Vergleich zu voll besetzten Matrizen. Besetzungsmuster mit spy.

Transkript

1 Übungen zu Numerische Methoden I Fünfte Übungseinheit 21. März, 22. und 23. April 2013 Inhalt der fünften Übungseinheit: Dünn besetzte Matrizen. Unterschiede in Speicherbedarf und Rechenzeit im Vergleich zu voll besetzten Matrizen. Besetzungsmuster mit spy. Iterative Gleichungslöser. Einfache Implementierungen von Jacobi-, Gauss-Seidel und SOR-Verfahren. Rechenaufwand zur Bestimmung der Determinante. Vergleich der klassischen Entwicklungsformel mit LR-Zerlegung. Ein Beispiel zur rekursiven Programmierung. 5.1 Gleichungssysteme mit voll und dünn besetzten Matrizen Das Standardverfahren zur Lösung linearer Gleichungssysteme im allgemeinen Fall ist Gauß-Elimination. Auch MATLABs A\b arbeitet damit. Elimination benötigt grob n 3 /3 Punktoperationen, um in einer Matrix alle Einträge unterhalb der Hauptdiagonalen auf Null zu transformieren. Wenn die Matrix allerdings von vornherein schon viele Nullen enthält, können sich Rechenaufwand und Speicherplatz gewaltig verringern. In dieser Übungseinheit sollen Sie für verschiedene Matrixtypen Rechenaufwand und Speicherplatzbedarf beim Lösen von Gleichungssystemen untersuchen. Aufgabe 35 Rechenzeit für Gleichungslöser bei vollen Matrizen Der Befehl >> A = rand(n); erzeugt eine voll besetzte n n-matrix, indem er A mit Zufallszahlen auffüllt. LösenSiefürverschiedeneWertevonnundirgeinerechteSeiteb 0,etwa b = rand(n,1). Sammeln Sie für verschiedene n-werte die gemessenen Rechenzeiten. Je nach Leistungsfähigkeit des Rechners können sie für n einige hundert bis mehrere taus wählen. Vorschlag: n = 200,300,400,...,2000. Verwen Sie zur Zeitmessung die Befehle tic ; x=a\b; toc Beachten Sie: auf älteren Systemen kann die Zeitmessung des Rechners Zeitintervalle < Sekunden nicht auflösen. Für n 200 erhalten sie kaum brauchbare Werte. Die neueren MATLAB-Versionen liefern Werte mit genauerer Auflösung, trotzdem schwanken die Resultate einzelner Messungen noch relativ stark. Bessere Werte, vor allem bei kleineren Matrizen, liefert ein Funktions-Skript in der Art 1

2 function t = Zeitmessung(n) A = rand(n); b=rand(n,1); tic ; for i=1:10 x=a\b; t = toc/10; Hier läuft die Zeitmessung über 10 Runden, die mittlere Zeit für eine Runde wird ausgegeben Stellen Sie den Zusammenhang zwischen n und der Rechenzeit graphisch dar! Ein vergleichsweise langsamer 850 MHz- Rechner hat diese Resultate geliefert. Die Rechner im Hilbertraum liefern von der Form her ähnliche Kurven, aber mit deutlich geringeren Werten auf der Zeit- Achse. Zeit (s) Rechenzeit zur Lsg. eines voll besetzten NxN Gleichungssystems auf Pentium 850MHz N Theoretisch sollte die reine Rechenzeit proportional n 3 sein. Allerdings braucht auch der Datentransfer Zeit; bei großen Datenmengen, die nicht mehr in den Cache (Speicher mit ganz kurzer Zugriffszeit) passen, wird der Datentransfer zum Flaschenhals bei der Programmausführung. Aufgabe 36 Tridiagonalmatrix Eine Matrix, in der nur in der Hauptdiagonale und in den beiden Diagonalen unmittelbar darüber und darunter Nichtnull-Einträge stehen, heißt Tridiagonalmatrix. Ein typisches Beispiel: T = MATLAB erkennt einfache Matrixformen und nützt dies bei der Lösung linearer Gleichungssysteme. n=5; T=sparse(n,n); for i=1:n T(i, i ) = 4; if (i<n) T(i, i+1) = 1; T( i+1,i ) = 1; Dieses Skript erzeugt eine n n-tridiagonalmatrix T in MATLABs sparse-modus. 2

3 1. Überlegen Sie sich: Eine n n-tridiagonalmatrix hat höchstens 3n 2 Nichtnull- Einträge. 2. Im Vergleich zu einer voll besetzten 10 10, , ,..., Matrix: wieviel Prozent der Einträge einer Tridiagonalmatrix sind 0? Wieviel MB Speicherplatz braucht die Tridiagonalmatrix (wenn sie nur die Nichtnull-Elemente speichert), und wieviel im Vergleich dazu die voll besetzte Matrix? Sie können die Matrix T aus dem sparse-format in eine voll besetzte Matrix (wo auch alle Null-Einträge explizit gespeichert sind) umwandeln. Der Befehl lautet A = full(t);. Vorsicht: verwen Sie diesen Befehl nicht für Matrizen mit mehreren taus Zeilen und Spalten, Ihr Rechner bleibt hängen, wenn er dafür nicht genug Speicher hat. 3. Angenommen, ein Rechner hat 512 MB Hauptspeicher: wie große Tridiagonal- bzw. voll besetzte Matrizen lassen sich im Hauptspeicher halten? Sie sollten natürlich wissen, wieviel Byte Speicherplatz eine Gleitkommazahl in Matlab braucht. Wenn Sie das nicht verstehen, fragen Sie den Rechner auf steirisch: wous? >> whos Name Size Bytes Class T 5x5 180 double array (sparse) A 5x5 200 double array... Der Befehl whos zeigt eine Tabelle mit Größe und Typ aller Variablen an. Hier sind eine 5 5-Tridiagonalmatrix T und als A dieselbe Matrix in voll besetzter Form angezeigt. Dieselbe Information können Sie auch im Workspace-Fenster finden. Wenn in der installierten Version Ihr Fenster die Spalte Bytes nicht standardmäßig anzeigt: Rechtsklicken auf einen Spaltenkopf öffnet ein Menü, in dem Sie Bytes wählen können. Sie sehen, die skalaren Variablen i und n belegen je 8 Byte. Die 4 4-Matrix A belegt = 128 Bytes. Achten Siebei dermatrix T im sparse format auf das unterschiedliche Icon: es symbolisiert das Besetzungsmuster einer typischen sparse-matrix. Der Speicherbedarf ist bei dieser kleinen Matrix alledings höher als bei der voll besetzten Form! Füllen Sie aus: In 512MB Speicher lässt sich eine volle Matrix bis zur Größe unterbringen. In 512MB Speicher lassen sich die Nichtnull-Einträge einer Tridiagonalmatrix bis zur Größe unterbringen. 3

4 Nichtnull-Einträge und Speicherbedarf für eine n n-tridiagonalmatrix n % Elemente 0 MB Speicher für 0-Elem. MB Speicher volle Matrix Aufgabe 37 Rechenzeit für tridiagonale Systeme MATLAB erkennt einfache Matrixformen und nützt dies bei der Lösung linearer Gleichungssysteme. Erzeugen Sie Tridiagonalmatrizen wie in Aufgabe 36 oder (bei größeren n-werten schneller) durch e = ones(n,1); T = spdiags([ e 4 e e], 1:1, n, n); Der Befehl A = T + rand(n); erzeugt eine voll besetzte Matrix, indem er T mit Zufallszahlen auffüllt. Vergleichen Sie im Workspace-Fenster die Matrizen A und T: sie erkennen, dass MATLAB für T eine andere Speicherform (sparse matrix format) benützt und bei großen n sehr viel weniger Bytes braucht. Lösen Sie für verschiedene Werte von n Gleichungssysteme Ax = b und Tx = b mit irgeiner rechten Seite b 0. Verwen Sie Befehle wie in Aufgabe 35 zur Zeitmessung. Stellen Sie den Zusammenhang zwischen n und der Rechenzeit graphisch dar. Für die Tridiagonalmatrix lassen sich in vergleichbarer Zeit wesentlich größere Systeme lösen. Mit einem normalen plot-befehl können Sie die Kurven für volle und tridiagonale Matrix in einem Bild gar nicht gut darstellen. Verwen Sie loglog, oder zwei getrennte Plots. Effiziente Eliminationsverfahren brauchen nur knapp 5n Punktoperationen zur Lösung tridiagonaler Systeme. Theoretisch sollte die Rechenzeit bei tridiagonalen Matrizen also ungefähr linear von n abhängen. Aufgabe 38 Rechenzeit bei anderen Gleichungslöser-Befehlen Lösen Sie wie in Aufgabe 35 Gleichungssysteme mit unterschiedlich großen Testmatrizen und stellen Sie den Rechenzeitbedarf graphisch dar. Vergleichen Sie den Standard- Gleichungslösebefehl x = A\b; mit der Lösung durch Multiplikation mit der Inversen x = inv(a) b; und der Pseudoinversen x = pinv(a) b; 5.2 Iterative Gleichungslöser Bei Strömungs- oder Festigkeitsberechnungen treten dünn besetzte Systeme mit mehreren hunderttaus oder Millionen Unbekannten auf. Moderne Gleichungslöser für solche Systeme verwen iterativen Verfahren. 4

5 Aufgabe 39 Jacobi-Verfahren Ein Gleichungssystem mit der Matrix T aus Aufgabe 36 lautet ausgeschrieben 4x 1 x 2 = b 1 x1+4x 2 x3 = b 2 x2+4x 3 x4 = b 4... x n 1 +4x n = b n Es lässt sich ganz einfach auf Fixpunkt-Form bringen: x 1 = (b 1 +x 2 )/4 x 2 = (b 2 +x 1 +x 3 )/4 x 3 = (b 3 +x 2 +x 4 )/4... x j = (b j +x j 1 +x j+1 )/4... x n = (b n +x n 1 )/4 xneu(1) = (b(1) + x(2))/4; for j=2:n 1 xneu( j ) = (b( j)+x(j 1)+x( j +1))/4; xneu(n)= (b(n) + x(n 1))/4; Das entspreche MATLAB-Codefragment könnte so aussehen Implementieren Sie die entspreche Fixpunkt-Iteration. Vergleichen Sie für verschiedene n mit der Lösung, die MATLAB mit x=t\b berechnet. Wählen Sie für die rechte Seite der Einfachheit halber lauter Einsen; als Startvektor den Nullvektor. Messen Sie die Rechenzeit und stellen Sie den Zusammenhang zwischen Rechenzeit und n graphisch dar. (Wenn sie halbwegs vernünftig programmiert haben, können Sie Systeme mit mehreren hunderttaus Gleichungen in wenigen Sekunden lösen!). Aufgabe 40 Jacobi-Verfahren in Matrix-Schreibweise Die Matrix T aus den vorigen Aufgaben lässt sich auch schreiben als T = 4I E, = Ein Gleichungssystem T x = b lässt sich mit dieser Schreibweise umformen auf (4I E)x = b 4x Ex = b +Ex 4x = b+ex : 4 x = 1 4 (b+ex) 5

6 In dieser Form handelt es sich um eine Fixpunktgleichung. Erzeugen Sie die Matrix E in sparse-format und implementieren Sie die entspreche Fixpunkt-Iteration für n n- Matrizen. Lösen Sie für b = (1,1,...1) T, Startwert x (0) = b, Abbruchschranke Vergleichen Sie für verschiedene n im Bereich 4 n 20 mit der Lösung, die MATLAB mit x=t\b berechnet (und dabei ein Eliminationsverfahren verwet). Wie groß sind jeweils die maximalen Abweichungen? Zusatzfrage: wie bestimmt man in MATLAB einfach die maximale Abweichung zwischen den Komponenten zweier Vektoren? Wenn Sie das wissen, können Sie die Frage von vorhin auch für größere n untersuchen. Aufgabe 41 Gauß-Seidel Verfahren Mit wenig Aufwand lässt sich das Programm aus Aufgabe 39 zu einer Gauß-Seidel-Iteration umformulieren. xneu(1) = (b(1) + x(2))/4; for j=2:n 1 xneu( j ) = (b( j)+xneu(j 1)+x( j +1))/4; xneu(n)= (b(n) + xneu(n 1))/4; Dieses MATLAB-Codefragment unterscheidet sich kaum vom Code in Aufgabe 39 finden Sie die Unteschiede? Ändern Sie außerdem das Programm so, dass es Systeme mit der Matrix T = löst. Vergleichen Sie für verschiedene n die Anzahl der Iterationen, die Jacobi- bzw. Gauß- Seidel-Verfahren benötigen. Aufgabe 42 SOR Verfahren Ein paar ergänze Code-Zeilen machen aus der Gauß-Seidel-Iteration das SOR-Verfahren. (Vergleichen Sie mit den Aufgaben 39 und 41: omg = 1.8; xneu(1) = (b(1) + x(2))/2; xneu(1) = omg xneu(1) + (1 omg) x(1); for j=2:n 1 MATLAB-Codefragment fuer SOR, hier schon fuer xneu( j ) = (b( j)+xneu(j 1)+x( j +1))/2; die Matrix aus Aufgabe 41. xneu( j ) = omg xneu( j ) + (1 omg) x( j ); xneu(n)= (b(n) + xneu(n 1))/2; xneu(n) = omg xneu(n) + (1 omg) x(n); Testen Sie für n = 100 verschiedene Werte von omg im Bereich 1 < ω < 2, und stellen Sie graphisch die Anzahl der Iterationen bis zum Erreichen des Konvergenz-Kriteriums x x neu < 10 6 als Funktion von ω dar. Für welchen Wert von ω konvergiert das Verfahren am schnellsten? 5.3 Moderne iterative Verfahren Eine Matrix, die bei Problemen der Wärmeleitung oder Potentialtheorie auftritt, lässt sich so erzeugen: 6

7 >> n=5; >> A = gallery( poisson,n); >> b = ones(n n,1); Diese Befehle erzeugen eine n 2 n 2 -Matrix und einen entsprechen Vektor für die rechte Seite. Achtung, n = 5 liefert eine Matrix! Aufgabe 43 Minimum residual method Sie können sich die Matrix in der Form full(a) anzeigen lassen, aber sie ist eigentlich zu gross für das Bildschirmfenster. Besser sehen Sie die Struktur mit dem Befehl spy(a). Sie sehen dabei die Position der Nichtnull- Elemente. Im Unterschied zu den Tridiagonalmatrizen der vorigen Übungseinheit (Aufgaben 36 40) liegen die Nichtnull-Elemente entlang von fünf Diagonalen. Es handelt es sich hier um eine Pentdiagonalmatrix. Der Befehl x=minres(a,b,1.e 5,1000) ruft ein iteratives Verfahren(minimum residual, Kapitel im Skriptum beschreibt kurz diese Methode) mit Genauigkeitsschranke 10 5 und maximaler Iterationsanzahl 1000 auf. Testen Sie für verschieden grosse Gleichungssysteme (bis n 100, das sind dann schon Gleichungen und Unbekannte!) und stellen Sie Rechenzeit und Iterationsanzahl in Abhängigkeit von der Systemgröße dar. 5.4 Entwicklung der Determinante, Komplexität Ein Rechenverfahren, das zwar korrekt rechnet, aber ewig dafür braucht, hat nur theoretischen Wert. Die Berechnung der Determinante durch Entwicklung nach Unterdeterminanten ist ein Beispiel dafür. 7

8 Aufgabe 44 Determinante Berechnen Sie von folgen Matrizen die Determinante auf verschiedene Arten: 1. Mit der Matlab-Funktion det( ) 2. durch LR-Zerlegung, Matlab-Funktion lu( ), aus dem Produkt der Diagonalelemente von R. Der Befehl diag(r) extrahiert übrigens die Hauptdiagonale einer Matrix als einen Vektor. Wiederholen Sie auch die bekannten Standardverfahren (Regel von Sarrus, Entwicklung nach Unterdeterminanten) und rechnen Sie für A, B, C von Hand nach. A = Aufgabe 45 [ ] 1 2,B = ,C = ,D = Die folge Funktion implementiert das Standardverfahren zur Berechnung der Determinante durch Entwicklung nach Unterdeterminanten. function d = mydet(a) n = length(a); if n==1 d = A(1,1); else d = 0; sig = 1; for i=1:n d = d + sig A(1, i ) mydet(a(2:n,[1: i 1,i+1:n])); sig = sig ; Überlegen Sie sich die Funktionsweise dieses Programms und testen Sie anhand der Matrizen der vorigen Aufgabe. Versuchen Sie auch etwas größere Matrizen. Einfache Testmatrizen liefert z. B. die Funktion magic(n). Bis zu welchem n lässt sich die Determinante 1. in weniger als zehn Sekunden, 2. in weniger als einer Minute 3. in weniger als zehn Minuten berechnen? Das hängt natürlich von der Leistungsfähigkeit Ihres Rechners ab. Schätzen Sie aufgrund Ihrer Zeitmessungen und der Tabelle im Skriptum, Kapitel 4.7.1, wie lange die Berechnung für n = 15 und n = 20 dauern würde. 8