4 Direkte Verfahren für spezielle Systeme

Transkript

1 Numerische Mathematik Direkte Verfahren für spezielle Systeme 4.1 Die Cholesky-Zerlegung Satz 4.1 Es sei A = [a i,j ] R n n [C n n ] symmetrisch [Hermitesch]. Dann sind die folgenden Aussagen äquivalent: (a) A ist positiv definit, d.h. x T Ax > 0 x R n \ {0 } [x H Ax > 0 x C n \ {0 }]. (b) Alle Eigenwerte von A sind positiv. (c) Alle Hauptuntermatrizen von A sind positiv definit. (d) Es gibt eine orthogonale Matrix U R n n (d.h. U T U = I n ) [eine unitäre Matrix U C n n (d.h. U H U = I n )] und positive Zahlen λ 1, λ 2,..., λ n mit U T AU = diag(λ 1, λ 2,..., λ n ) [U H AU = diag(λ 1, λ 2,..., λ n )]. (e) Für alle regulären Matrizen X ist X T AX [X H AX] positiv definit. 4 Direkte Verfahren für spezielle Systeme Technische Universität Bergakademie Freiberg

2 Numerische Mathematik 151 Satz 4.2 Es sei A R n n [C n n ] symmetrisch [Hermitesch]. A ist genau dann positiv definit, wenn es eine reguläre untere Dreiecksmatrix L R n n [C n n ] gibt mit A = LL T [A = LL H ] (Cholesky-Zerlegung). (André-Louis Cholesky, ) Bemerkung 4.3 Statt der in Satz 4.2 beschriebenen Cholesky-Zerlegung wird oft die rationale (oder wurzelfreie) Cholesky-Zerlegung A = L 1 DL T 1 [A = L 1 DL H 1 ] verwendet. Hier ist L 1 eine normierte untere -Matrix und D eine Diagonalmatrix mit positiven Hauptdiagonalelementen. Mit = diag(l) gilt L 1 = L 1 und D = Die Cholesky-Zerlegung Technische Universität Bergakademie Freiberg

3 Numerische Mathematik 152 Pseudocode: Cholesky-Zerlegung for j = 1 : n do ( l j,j := a j,j ) 1/2 j 1 k=1 l2 j,k for i = j + ( 1 : n do l i,j := a i,j ) j 1 k=1 l i,kl j,k /l j,j Aufwand: 1 3 n3 + O(n 2 ) flops. Bemerkung: Der untere -Anteil von A wird kann mit L überschrieben werden. Der (echte) obere -Anteil von A wird im Algorithmus nicht verwendet. 4.1 Die Cholesky-Zerlegung Technische Universität Bergakademie Freiberg

4 Numerische Mathematik 153 Lösung eines linearen Gleichungssystems Ax = b, A s.p.d. [H.p.d.] durch Cholesky-Zerlegung: 1: Berechne Cholesky-Zerlegung A = LL T 2: Löse Ly = b 3: Löse L T x = y Dieses Verfahren ist rückwärtsstabil: Satz 4.4 Die in Gleitpunktarithmetik mit Rundungseinheit u durch Cholesky- Zerlegung berechnete Lösung x des linearen Gleichungssystems Ax = b mit einer symmetrisch positiv-definiten Matrix A genügt einer Gleichung (A + A) x = b mit A 3n 2 u A. 4.1 Die Cholesky-Zerlegung Technische Universität Bergakademie Freiberg

5 Numerische Mathematik Bandmatrizen, Tridiagonalmatrizen Man nennt A = [a i,j ] C n n eine Bandmatrix mit unterer Bandbreite b L und oberer Bandbreite b R, falls a i,j = 0 für i j > b L und für j i > b R gilt. Eine Bandmatrix T mit b L = b R = 1 heißt Tridiagonalmatrix: a 1 c 1 b 2 a 2 c 2 T = tridiag(b, a, c) = b n 1 a n 1 c n 1 b n a n 4.2 Bandmatrizen, Tridiagonalmatrizen Technische Universität Bergakademie Freiberg

6 Numerische Mathematik 155 Besitzt die Tridiagonalmatrix T eine LR-Zerlegung, dann hat diese die Form 1 r 1 c 1 l 2 1. r.. 2 T = r n 1 c n 1 l n 1 mit r 1 = a 1 und l j = b j /r j 1, r j = a j l j c j 1 (j = 2, 3,..., n). r n Ist Gauß-Elimination ohne Pivotsuche für T x = d durchführbar, so erfordert sie also einen Aufwand von nur 3(n 1) Gleitpunktoperationen. 4.2 Bandmatrizen, Tridiagonalmatrizen Technische Universität Bergakademie Freiberg

7 Numerische Mathematik 156 Dies ist aber nur bei speziellen (z.b. diagonaldominanten) T stabil: Beispiel. Sei T = tridiag(2, 1, 3) R n n und d R n so gewählt, dass x = [1, 1,..., 1] T das System T x = d löst. Gauß-Elimination liefert die Lösung x. x x 2 / x 2 x x 2 / x 2 n (ohne Spaltenpivotsuche) (mit Spaltenpivotsuche) Bandmatrizen, Tridiagonalmatrizen Technische Universität Bergakademie Freiberg

8 Numerische Mathematik 157 Spaltenpivotisierung führt allerdings zu einem sog. fill-in, d.h. auf Positionen, wo die Einträge der Ausgangsmatrix T Null waren, können in der LR-Zerlegung von Null verschiedene Elemente auftreten was zusätzlichen Speicherplatz erfordert. Bei Tridiagonalmatrizen liefert Gauß-Elimination mit Spaltenpivotsuche eine LR-Zerlegung der Form , d.h. der fill-in beschränkt sich auf eine zusätzliche Diagonale in R. 4.2 Bandmatrizen, Tridiagonalmatrizen Technische Universität Bergakademie Freiberg

9 Numerische Mathematik 158 Analoge Eigenschaften besitzt die Gauß-Elimination bei allgemeinen Bandmatrizen mit unterer Bandbreite b L und oberer Bandbreite b R : Der Aufwand zur Berechnung der LR-Zerlegung beträgt (etwa) (2b L b R + 1)n flops. Wird nicht pivotisiert, so entsteht kein fill-in, d.h. L besitzt untere Bandbreite b L und R besitzt obere Bandbreite b R. Bei Spaltenpivotsuche verändert sich die Struktur von L nicht, R allerdings besitzt i.allg. obere Bandbreite b L + b R. Bei weniger strukturierten schwach besetzen Matrizen werden Umordnungsstrategien (z.b. reverse Cuthill-McKee) zur Bandbreitenminimierung eingesetzt (vgl. den nächsten Abschnitt). 4.2 Bandmatrizen, Tridiagonalmatrizen Technische Universität Bergakademie Freiberg

10 Numerische Mathematik Schwach besetzte Matrizen Schwach besetzte Matrizen sind (üblicherweise sehr große) Matrizen, bei denen viele Einträge den Wert Null besitzen, oder pragmatischer: Matrizen mit so vielen Nulleinträgen, dass es sinnvoll ist, Algorithmen einzusetzen, die weder diese Nulleinträge speichern noch auf ihnen operieren. Wieviel fill-in bei der LR-Zerlegung schwach besetzter Matrizen auftritt, hängt entscheidend von der Nummerierung der Zeilen und Spalten ab: Für A = Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

11 Numerische Mathematik 160 liefert Gauß-Elimination (mit Spaltenpivotsuche) P A = , also eine (nahezu) voll besetzte LR-Zerlegung. (P entspricht der Permutation ( ).) Vertauscht man in A die erste und letzte Zeile sowie die erste und letzte Spalte, so ergibt sich für B = A([ ], [ ]) eine viel schwächer besetzte LR-Zerlegung, 4.3 Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

12 Numerische Mathematik 161 B = , also keinerlei fill-in. Wir beschreiben mit der umgekehrten Cuthill-McKee-Nummerierung eine Heuristik, die sich bei symmetrischen Problemen bewährt hat. Ziel ist es, die Zeilen und Spalten von A so umzunummerieren, dass die Bandbreite möglichst klein wird. 4.3 Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

13 Numerische Mathematik 162 Wie benötigen den Begriff des gerichteten Graphen einer Matrix A C n n (vorläufig beliebig). Der Graph G(A) = (N, V ) von A besteht aus n = dim(a) Knoten P 1, P 2,..., P n, die zusammen die Knotenmenge N bilden. Für jedes Element a i,j 0 wird P i mit P j durch eine gerichtete Kante verbunden (von P i nach P j ). Falls a i,i 0 ist, so wird P i mit einer geschlossenen Schleife versehen. Die Gesamtheit aller Kanten bildet die Kantenmenge V. (Bei symmetrischen Matrizen oder allgemeiner bei Matrizen mit symmetrischer Besetzungsstruktur kann man auf die Orientierung der Kanten natürlich verzichten.) Der Grad d i eines Knotens P i ist durch d i := {j : a i,j 0} definiert. 4.3 Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

14 Numerische Mathematik 163 Beispiel. A = G(A) : P 2 P 1 P 3 P 4 d 1 = 1, d 2 = 2, d 3 = d 4 = Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

15 Numerische Mathematik 164 Cuthill-McKee-Nummerierung (CMK) für symmetrisches A R n n : 1: Wähle (beliebigen) Knoten aus G(A) als Knoten P 1 2: for i = 1, 2,..., n 1 do 3: Nummeriere die (noch unnummerierten) Nachbarn von P i nach aufsteigendem Grad 4: Entferne alle Kanten zwischen bereits nummerierten Knoten und bestimme die Grade der noch unnummerierten Knoten bez. dieses neuen Graphen. Bemerkungen. Diese Nummerierung ist nur möglich, wenn G(A) zusammenhängend ist, d.h. wenn jeder Knoten von jedem anderen Knoten aus in G(A) erreichbar ist. Ist [π(1), π(2),..., π(n)] die CMK-Nummerierung, so ist die umgekehrte Cuthill-McKee-Nummerierung durch [π(n), π(n 1),..., π(1)] definert. 4.3 Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

16 Numerische Mathematik nz = nz = nz = nz = Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

17 Numerische Mathematik 166 Legende. Links oben wird die Struktur der symmetrischen positiv definiten Matrix A = CC T (auf die Bedeutung dieser Matrix wird später eingegangen) gezeigt, wobei die nichtsymmetrische Matrix C R aus der Modellierung eines chemischen Betriebs stammt (zu Details siehe chemimp/impcolb.html). Rechts oben ist die Besetztheitsstruktur des Cholesky-Faktors L T A von A geplottet. Sei P die Permutationsmatrix, die zur umgekehrten Cuthill-McKee-Nummerierung gehört, dann ist B = P AP T (links unten) und L T B der zugehörige Cholesky-Faktor. # entries (i, j) A L A B L B 0 (i j) 503 (28%) 1073 (61%) 503 (28%) 657 (37%) 4.3 Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

18 Numerische Mathematik 167 Weiteres Beispiel: Finite-Element Modell eines Tragflächenprofils. Graph von A 4.3 Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

19 Numerische Mathematik A (4235 x 4235) 0 A (nach umgekehrter CMK Nummerierung) Bandbreite: Bandbreite: Schwach besetzte Matrizen Technische Universität Bergakademie Freiberg

20 Numerische Mathematik Vandermondesche Matrizen x 0 x 1 x 2 x n V = V (x 0, x 1, x 2,..., x n ) = x 2 0 x 2 1 x 2 2 x 2 n..... C (n+1) (n+1) x n 0 x n 1 x n 2 x n n heißt Vandermondesche Matrix (Alexandre Théophile Vandermonde, ). Es gilt det(v (x 0, x 1,..., x n )) = i>j(x i x j ), insbesondere ist V genau dann regulär, wenn die x j paarweise verschieden sind. 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

21 Numerische Mathematik 170 V ist zwar voll besetzt, besitzt aber eine sehr spezielle Struktur. Man erwartet, dass diese ausgenutzt werden kann zur Konstruktion von Algorithmen, die LGSe mit Koeffizientenmatrix V bzw. LGSe der Form ( V T a = f V R (n+1) (n+1), f R n+1) (LGS) mit deutlich weniger als O(n 3 ) Flops lösen. Wir betrachten die folgende polynomiale Interpolationsaufgabe: Zu gegebenen (paarweise verschiedenen) Knoten x 0, x 1,..., x n R und gegebenen Funktionswerten f 0, f 1,..., f n R soll ein Interpolationspolynom p(x) = a n x n + a n 1 x n a 1 x + a 0 P n (mit reellen Koeffizienten a 0, a 1,..., a n = n + 1 Freiheitsgrade) vom Grad n konstruiert werden, das die n + 1 Interpolationsbedingungen erfüllt. p(x i ) = f i (i = 0, 1,..., n) (IP) 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

22 Numerische Mathematik 171 Satz 4.5 Die Probleme (LGS) und (IP) sind äquivalent: Der Vektor a = [a 0, a 1,..., a n ] T R n+1 löst das LGS V T a = f genau dann, wenn das Polynom p(x) = a n x n + a n 1 x n a 1 x + a 0 P n die Interpolationsbedingungen (IP) erfüllt. Bemerkung 4.6 Damit ist unsere Interpolationsaufgabe genau dann eindeutig lösbar, wenn die Knoten {x i } n i=0 paarweise verschieden sind, d.h. es gibt in diesem Fall genau ein Polynom p P n, das den Bedingungen (IP) genügt. 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

23 Numerische Mathematik 172 Wir lösen V T a = f dadurch, dass wir die Koeffizienten des Interpolationspolynoms p in Newton-Form berechnen. Letztere verwendet die dividierten Differenzen der Wertepaare {(x i, f i )} n i=0, welche wie folgt definiert sind: Sind i 0, i 1,..., i k {0, 1,..., n} paarweise verschieden, so setzen wir f i0,i 1,...,i k := f i 1,i 2,...,i k f i0,i 1,...,i k 1 x ik x i0 (k 1). Satz 4.7 (Newton, 1669) Bezüglich der dividierten Differenzen lässt sich das Interpolationspolynom p in Newton-Form darstellen. p(x) = f 0 + f 0,1 (x x 0 ) + f 0,1,2 (x x 0 )(x x 1 ) + + f 0,1,...,n (x x 0 )(x x 1 ) (x x n 1 ) 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

24 Numerische Mathematik 173 Die dividierten Differenzen der Wertepaare {(x i, f i )} n i=0 kann man sukzessive durch spaltenweises Auffüllen des Newton-Tableaus generieren. Für n = 4 erhält man beispielsweise x i k = 0 k = 1 k = 2 k = 3 k = 4 x 0 f 0 f 0,1 x 1 f 1 f 0,1,2 f 1,2 f 0,1,2,3 x 2 f 2 f 1,2,3 f 0,1,2,3,4 f 2,3 f 1,2,3,4 x 3 f 3 f 2,3,4 x 4 f 4 f 3,4 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

25 Numerische Mathematik 174 Folgender Algorithmus berechnet die dividierten Differenzen: Gegeben: Wertepaare {x i, f i } n i=0, x i paarweise verschieden for k = 0 : n 1 do for j = n : 1 : k + 1 do f j := (f j f j 1 )/(x j x j k 1 ) Die im weiteren Verlauf nicht mehr benötigten Differenzen werden im obigen Algorithmus überschrieben. Dadurch wird kein zusätzlicher Speicherplatz benötigt. Am Ende stehen die dividierten Differenzen f 0, f 0,1, f 0,1,...,n in den Variablen f 0, f 1,..., f n. Aufwand: 3 2 (n2 + n) Flops. 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

26 Numerische Mathematik 175 Um aus der Newton-Darstellung p(x) = n f 0,1,...,k k 1 k=0 j=0 (x x j ) die Koeffizienten in p(x) = a 0 + a 1 x + + a n x n zu ermitteln, beachte man, dass die Rekursion p n (x) := f 0,1,...,n, p k (x) := f 0,1,...,k + (x x k )p k+1 (x) (k = n 1, n 2,..., 0) mit p 0 (x) = p(x) endet. Durch Koeffizientenvergleich in dieser Rekursion erhält man folgenden Algorithmus. 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

27 Numerische Mathematik 176 Gegeben: Dividierte Differenzen der Newton-Darstellung in den Variablen f 0,...,f n, zugehörige x-werte x 0,..., x n paarweise verschieden. for k = n 1 : 1 : 0 do for j = k : n 1 do f j := f j f j+1 x k Am Ende stehen die Koeffizienten a 0,..., a n in den Variablen f 0,..., f n. Aufwand: n 2 + n Flops. Fazit: Da das Hintereinanderausführen der beiden vorangehenden Algorithmen die Koeffizienten {a i } n i=0 des Interpolationspolynoms der Wertepaare {(x i, f i )} n i=0 in 5 2 n2 + O(n) Flops liefert, ist damit auch die äquivalente Aufgabe, das LGS V T a = f zu lösen, mit derselben Komplexität gelöst. 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

28 Numerische Mathematik 177 Mit den (n + 1) (n + 1)-Matrizen D k := diag(1,..., 1, x }{{} k+1 x 0,..., x n x n k+1 ), L k (α) := k = 0, 1,..., n 1, wobei k+1 [ Ik O O T n+1 k ] T n+1 k = tridiag( α, 1, 0) R (n+1 k), (n+1 k), α R, definieren wir eine normierte untere -Matrix L sowie eine obere -Matrix R gemäß L := L n 1 (x n 1 )L n 2 (x n 2 )... L 0 (x 0 ), R := L 0 (1) T D 1 0 L 1(1) T D L n 1 (1) T D 1 n 1., 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

29 Numerische Mathematik 178 Satz 4.8 Für V = V (x 0, x 1,..., x n ) ist V 1 = RL. Mit anderen Worten: Der Algorithmus zur Lösung von V T a = f berechnet implizit eine RL-Zerlegung von V 1. Dies kann zur Lösung von LGSen der Bauart V z = b verwendet werden. Der folgende Algorithmus berechnet z = V 1 b in 5n 2 /2 Flops. Eingabedaten sind x 0, x 1,..., x n (paarweise verschieden), so dass V = V (x 0, x 1,..., x n ), und b = [b 0, b 1,..., b n ] T. Die rechte Seite b wird mit der Lösung z überschrieben. 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

30 Numerische Mathematik 179 for k=0:n-1 for j=n:-1:k+1 b(j)=b(j)-x(k)*b(j-1) end end for k=n-1:-1:0 for j=k+1:n b(j)=b(j)/(x(j)-x(j-k-1) end for j=k:n-1 b(j)=b(j)-b(j+1) end end 4.4 Vandermondesche Matrizen Technische Universität Bergakademie Freiberg

31 Numerische Mathematik Toeplitz-Matrizen Eine Matrix T heißt Toeplitz-Matrix Otto Toeplitz, ), wenn sie die Form t 0 t 1 t 2 t n 1 t 1 t 0 t 1.. T = t 2 t 1 t t 0 t 1 t 1 n t 1 t 0 besitzt, also konstante Einträge auf jeder Diagonalen besitzt (T = [t i j ] 1 i,j n C n n ). 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

32 Numerische Mathematik 181 Jede Toeplitz-Matrix ist persymmetrisch, d.h. symmetrisch zur NO-SW- Diagonalen. Formal: 1 T E = ET T mit E :=. 1 Beachte: Ist T invertierbar und persymmetrisch, so ist auch T 1 persymmetrisch (besitzt aber i.a. keine Toeplitz-Struktur), denn E 2 = I. Wir interessieren uns hier ausschließlich für symmetrisch positiv definite Toeplitz-Matrizen. O.B.d.A. können wir dann von t 0 = 1 ausgehen. Im Folgenden seien also 1 = t 0, t 1,..., t n 1 so gewählt, dass die symmetrische Toeplitz-Matrix T = [t i j ] positiv definit ist. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

33 Numerische Mathematik 182 Zunächst lösen wir positiv definite Toeplitz-Systeme mit spezieller rechter Seite (sog. Yule-Walker-Gleichungen): 1 t 1 t n 1 y 1 t 1. t =,.. t 1. t n 1 oder kurz: T n y = t n. t n 1 t 1 1 Hierzu nehmen wir an, wir hätten das k-te Yule-Walker-System y n T k y = t k, t k = [t 1,..., t k ] T, bereits gelöst und zeigen, dass das (k + 1)-te System dann in O(k) Schritten gelöst werden kann. t n 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

34 Numerische Mathematik 183 Dazu zerlegen wir das (k + 1)-te System wie folgt: [ ] [ ] [ ] Tk E k t k z tk T k z + αe k t k = t k. tk T E =, d.h. k 1 α tk T E kz + α = t k+1. Wir erhalten t k+1 z = T 1 k ( t k αe k t k ) = y αt 1 k E kt k, α = t k+1 t T k E k z. Wegen der Persymmetrie von T 1 k z = y αe k T 1 k t k = y + αe k y gilt T 1 k E k = E k T 1 k und damit α = t k+1 t T k E k (y + αe k y) = (t k+1 + t T k E k y + αt T k y) und schließlich α = t k+1 + t T k E ky 1 + t T k y. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

35 Numerische Mathematik 184 Wegen [ ] T [ ] [ ] I Ek y Tk E k t k I Ek y [ Tk O ] O 1 t T k E k 1 O 1 = O 1 + t T k y und da T k+1 positiv definit, ist 1 + t T k y > 0. Damit ist der k-te Schritt des Algorithmus von Durbin vollendet, den wir nun folgendermaßen zusammenfassen können: 1: y 1 = t 1 2: for k = 1, 2,..., n 1 do 3: β k = 1 + t T k y k 4: α k = (t [ k+1 + tk T E ky k ] )/β k yk + α k E k y k 5: y k+1 = α k 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

36 Numerische Mathematik 185 Diese Variante benötigt 3n 2 + O(n) Flops. Durch Ausnutzung einiger der obigen Beziehungen ist es jedoch möglich, den Rechenaufwand noch etwas zu reduzieren. Man beachte nämlich [ ] β k = 1 + tk T y k = 1 + [tk 1 T yk 1 + α k 1 E k 1 y k 1 t k ] = 1 + t T k 1y k 1 }{{} β k 1 = (1 α 2 k 1)β k 1. α k 1 T + α k 1 (t k + tk 1E k 1 y k 1 ) }{{} α k 1 β k 1 Durch Einbeziehung dieser zusätzlichen Rekursion gelangt man zur endgültigen Fassung des Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

37 Numerische Mathematik 186 Algorithmus zur Lösung eines Yule-Walker-Systems [J. Durbin (1960)]. Gegeben: 1 = t 0, t 1,..., t n 1, t n, so dass T n = [t i j ] spd ist. Gesucht: y = T 1 n t n. 1: y(1) = -t(1); beta = 1; alpha = -t(1); 2: for k=1:n-1, 3: beta = (1-alpha*alpha)*beta; 4: alpha = -(t(k+1) + t(k:-1:1) *y(1:k)) / beta; 5: y(1:k) = y(1:k) + alpha*y(k:-1:1); 6: y(k+1) = alpha; 7: end Aufwand: 2n 2 + O(n) flops. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

38 Numerische Mathematik 187 Wir betrachten nun symmetrisch positiv definite Toeplitz-Systeme mit beliebiger rechter Seite: 1 t 1 t n 1 x 1 b 1. t =,.. t 1. b n 1 t n 1 t 1 1 oder kurz T n x = b. Wir gehen dabei wieder von der Lösung des Systems T k x = b k, b k = [b 1,..., b k ] T (4.1) aus und bestimmen daraus die Lösung des nächstgrößeren Systems [ ] [ ] [ ] Tk E k t k v bk tk T E =, t k = [t 1,..., t k ] T. (4.2) k 1 µ b k+1 x n b n 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

39 Numerische Mathematik 188 Wir nehmen ferner an, die Lösung y des k-ten Yule-Walker-Systems T k y = t k sei verfügbar. Wegen T k v + µe k t k = b k folgt und somit v = T 1 k (b k µe k t k ) = x µ T 1 k E k }{{} =E k T 1 k t k = x + µe k y, d.h. µ = b k+1 t T k E k v = b k+1 t T k E k x µt T k y µ = b k+1 t T k E kx 1 + t T k y. Damit ist der Schritt von (4.1) nach (4.2) in 6k + 1 Operationen vollzogen. Bei diesem Algorithmus zur Lösung eines Toeplitz-Systems mit beliebiger rechter Seite werden also gleichzeitig das System T n x = b und die Yule-Walker- Gleichung T n y = t n schrittweise gelöst. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

40 Numerische Mathematik 189 Algorithmus zur Lösung eines spd Toeplitz-Systems [N. Levinson (1947)]. Gegeben: 1 = t 0, t 1,..., t n 1, so dass T n = [t i j ] spd ist, b R n. Gesucht: x = T 1 n b. 1: y(1) = -t(1); x(1) = b(1); beta = 1; alpha = -t(1); 2: for k=1:n-1, 3: beta = (1-alpha*alpha)*beta; 4: mu = (b(k+1) - t(1:k) *x(k:-1:1)) / beta; 5: x(1:k) = x(1:k) + mu*y(k:-1:1); 6: x(k+1) = mu; 7: if k < n-1, 8: alpha = -(t(k+1) + t(1:k) *y(k:-1:1)) / beta; 9: y(1:k) = y(1:k) + alpha*y(k:-1:1); 10: y(k+1) = alpha; 11: end 12: end Aufwand: 4n 2 + O(n) flops. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

41 Numerische Mathematik 190 Schließlich bestimmen wir die Inverse einer spd Toeplitz-Matrix T n, die wir wie folgt partitionieren: [ ] 1 [ ] A Et B v Tn 1 A = T n 1, = =, t = t t T E 1 v T n 1. γ E = E n 1, Aus [ ] [ ] [ ] A Et v 0 = t T E 1 γ 1 folgt zunächst Av = γet, γ = 1 t T Ev. Löst y die (n 1)-te Yule-Walker-Gleichung Ay = t, so gilt v = γa 1 Et = γea 1 t = γey, γ = 1 γt T y, d.h. γ = 1/(1 + t T y). 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

42 Numerische Mathematik 191 Damit sind die letzte Zeile und Spalte von Tn 1 bestimmt, und es verbleibt die Bestimmung einer Rekursion für die Matrix B. Hierzu beachte man, dass wegen AB + Etv T = I n 1 sowie A 1 Et = EA 1 t = Ey = v/γ folgt B = A 1 A 1 Etv T = A 1 + vv T /γ. Da A 1 persymmetrisch, d.h. [A 1 ] ij = [A 1 ] n j,n i, erhalten wir die Beziehung b ij = [A 1 ] ij + v iv j γ = [A 1 ] n j,n i + v iv j γ = b n j,n i v n jv n i γ + v iv j γ (4.3) = b n j,n i + 1 γ (v iv j v n j v n i ). 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

43 Numerische Mathematik 192 Dies zeigt, dass B zwar nicht persymmetrisch ist, aber wir können einen Eintrag b ij durch Spiegelung an der NO-SW-Diagonalen bestimmen. Unter zusätzlicher Ausnutzung der Persymmetrie von Tn 1 können wir deshalb B vom Rand nach innen berechnen. In der folgenden schematischen Darstellung des Algorithmus anhand eines 6 6 Beispieles stehen die Symbole u und b für unbekannte bzw. bereits bestimmte Matrixeinträge von Tn 1. Wir beginnen mit der berechneten letzten Zeile und Spalte und nutzen dann abwechselnd die Persymmetrie von Tn 1 und Formel (4.3). u u u u u b b b b b b b b b b b b b u u u u u b b u u u u b b u u u b b u u u u u b b u u u u b b u u u b b u u u u u b b u u u u b b u u u b b u u u u u b b u u u u b b b b b b b b b b b b b b b b b b b b b b b b b 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

44 Numerische Mathematik 193 b b b b b b b b b b b b b b u u b b b b u u b b b b b b b b b b b b b b b b b b b b b b u b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b. b b b b b b b b b b b b b b b b b b b b b b b b b b b b b b Den Algorithmus von Trench erhält man, wenn man noch berücksichtigt, dass Tn 1 als sowohl symmetrische als auch persymmetrische Matrix durch ihren oberen Keil bestimmt ist, d.h. im Fall n = 6 durch den Anteil. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg

45 Numerische Mathematik 194 Algorithmus [W. F. Trench (1964)]: Loese T_{n-1} y = -t(1:n) mit dem Algorithmus von Durbin gamma = 1/(1 + t(1:n-1) *y(1:n-1); v(1:n-1) = gamma*y(n-1:-1:1); B(1,1) = gamma; B(1,2:n) = v(n-1:-1:1) ; for i=2:floor((n-1)/2)+1, for j=1:n-i+1, B(i,j) = B(i-1,j-1)+... (v(n+1-j)*v(n+1-i)-v(i-1)*v(j-1)) / gamma; end end Aufwand: 13 4 n2 + O(n) (!) Flops. Wie erwähnt werden nur b i,j mit i j, i + j n + 1 berechnet. 4.5 Toeplitz-Matrizen Technische Universität Bergakademie Freiberg