6 Interpolation und numerische Approximation

Transkript

1 Numerische Mathematik Interpolation und numerische Approximation 6.1 Polynominterpolation Das (allgemeine) Interpolationsproblem: Zu gegebener Funktion f : [a, b] C und gegebenen Stützstellen (Knoten) a x 0 < x 1 < x 2 < < x n b soll eine einfache Funktion p : [a, b] C konstruiert werden, die die Interpolationsbedingungen p(x i ) = f(x i ) (i = 0, 1,..., n) erfüllt. Warum? f ist nur an diskreten Punkten bekannt (Messwerte), aber eine geschlossenen Formel für f ist auf ganz [a, b] erwünscht (z.b. um f an Zwischenstellen x [a, b] \ {x 0, x 1,..., x n } auszuwerten), f ist kompliziert und soll durch eine einfache Funktion angenähert werden (z.b. um die Ableitung f (x), x [a, b], oder das Integral b a f(x)dx näherungsweise zu bestimmen). 6 Interpolation und numerische Approximation Technische Universität Bergakademie Freiberg

2 Numerische Mathematik 249 Das polynomiale Interpolationsproblem: Zu gegebenen (paarweise verschiedenen) Knoten a x 0 < x 1 < x 2 < < x n b und gegebenen Funktionswerten f 0, f 1,..., f n C soll ein Interpolationspolynom p(x) = π n x n + π n 1 x n π 1 x + π 0 P n (mit komplexen Koeffizienten π 0, π 1,..., π n = n + 1 Freiheitsgrade) vom Grad n konstruiert werden, das die n + 1 Interpolationsbedingungen erfüllt. p(x i ) = f i (i = 0, 1,..., n) 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

3 Numerische Mathematik 250 Satz 6.1 Die polynomiale Interpolationsaufgabe ist eindeutig lösbar. Mit den Lagrange-Grundpolynomen (Joseph Louis Lagrange, ) l i (x) := n j=0 j i x x j x i x j P n (beachte l i (x i ) = 1 und l i (x j ) = 0 für j i) lässt sich das Interpolationspolynom in der Lagrange-Form p(x) = n f i l i (x) i=0 darstellen. 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

4 Numerische Mathematik L 0 L 1 L P Beispiel 1. Daten: (x 0, f 0 ) = ( 1, 1), (x 1, f 1 ) = (0, 1), (x 2, f 2 ) = (2, 2). Lagrange-Grundpolynome: l 0 (x) = x(x 2)/3, l 1 (x) = (x + 1)(x 2)/( 2), l 2 (x) = (x + 1)x/6. Interpolationspolynom: p(x) = l 0 (x) l 1 (x) + 2l 2 (x) = x 2 /2 + x/ Polynominterpolation Technische Universität Bergakademie Freiberg

5 Numerische Mathematik 252 Setze w n+1 (x) := n i=0 (x x i) (Knotenpolynom) und Damit gelten ω i := [ n j=0 j i (x i x j ) ] 1 = 1 w n+1 (x i) ω i (i = 0, 1,..., n). l i (x) = w n+1 (x) (i = 0, 1,..., n) x x i und folglich die erste baryzentrische Formel n p(x) = w n+1 (x) i=0 f i ω i x x i. Weil die konstante Funktion f(x) = 1 ohne Fehler interpoliert wird, ist 1 = w n+1 (x) n i=0 ω i x x i. 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

6 Numerische Mathematik 253 Bildet man den Quotienten der beiden letzten Formeln (und kürzt w n+1 (x)), so erhält man mit n p(x) = i=0 n f i ω i x x i ω i die zweite baryzentrische Formel. i=0 x x i Diese Formel erlaubt den Update des Interpolationspolynoms, falls ein zusätzlicher Knoten x n+1 berücksichtigt werden muss: 1. Update von ω 0, ω 1,..., ω n durch ω neu i = ωi alt /(x i x n+1 ) (2(n + 1) flops), 2. berechne ω n+1 über die Definitionsformel (n + 1 weitere flops, falls man sich die Größen x i x n+1 aus 1. merkt). 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

7 Numerische Mathematik 254 Die Berechnung von ω 0, ω 1,..., ω n erfordert also j=1 3j = 3 2 (n2 + n) = O(n 2 ) flops. Sind die baryzentrischen Gewichte ω i (i = 0, 1,..., n) bestimmt, so erfordert die Auswertung des Interpolationspolynoms an der Stelle x insgesamt 5n + 4 = O(n) weitere flops. Ein weiterer Vorteil ist, dass die Gewichte ω i nicht von den Daten f i abhängen. Damit ist es möglich, mehrere Funktionen f in den Knoten x i in O(n) flops zu interpolieren, wenn die ω i bekannt sind. Schließlich sind die ω i (im Gegensatz zu den dividierten Differenzen, siehe unten) unabhängig von der Nummerierung der Knoten. Ein Beispiel. Interpolation an äquidistanten Knoten in [α, β] liefert ( ) n ω i = ( 1) i (i = 0, 1,..., n) i (modulo des gemeinsamen Faktors ( 1)n n! ( n β α )n ). 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

8 Numerische Mathematik 255 Es gibt alternative rekursive Berechnungsmethoden: Lemma 6.2 Für eine beliebige Indexmenge 0 i 0 < i 1 < < i k n bezeichne p i0,i 1,...,i k das (nach Satz 1 eindeutig bestimmte) Polynom vom Grad k, das die Bedingungen erfüllt. Dann gilt die Rekursionsformel p i0,i 1,...,i k (x ij ) = f ij (j = 0, 1,..., k) p i (x) = f i, p i0,i 1,...,i k (x) = (x x i 0 )p i1,i 2,...,i k (x) (x x ik )p i0,i 1,...,i k 1 (x) x ik x i Polynominterpolation Technische Universität Bergakademie Freiberg

9 Numerische Mathematik 256 Rechenschema (Algorithmus von Neville-Aitken, Alexander Craig Aitken, ; Charles William Neville, 1941): x i k = 0 k = 1 k = 2 k = 3 k = 4 x 0 p 0 (x) = f 0 p 0,1(x) x 1 p 1 (x) = f 1 p 0,1,2 (x) p 1,2 (x) p 0,1,2,3 (x) x 2 p 2 (x) = f 2 p 1,2,3 (x) p 0,1,2,3,4 (x) p 2,3 (x) p 1,2,3,4 (x) x 3 p 3 (x) = f 3 p 2,3,4 (x) p 3,4 (x) x 4 p 4 (x) = f 4 (Berechnungsreihenfolge : p 0 p 1 p 0,1 p 2 p 1,2 p 0,1,2 ) 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

10 Numerische Mathematik 257 Beispiel 2 (vgl. Beispiel 1). x i k = 0 k = 1 k = (x ( 1))( 1) (x 0)( 1) 0 ( 1) = 1 (x ( 1))(3x/2 1) (x 2)( 1) 2 ( 1) (x 0)2 (x 2)( 1) 2 0 = 3 2 x 1 = 1 2 x x 1 Aufwand des Neville-Aitken Schemas (für Auswertung des Interpolationspolynoms vom Grad n an einer Stelle x): 5 2 n n + 1 Gleitpunktoperationen (falls die Differenzen x x i (0 i n) vorab bestimmt werden). 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

11 x 0 f 0 (x) = f 0 f 0,1(x) Numerische Mathematik 258 Tableau der dividierten Differenzen von f (vgl. 4.4): x i k = 0 k = 1 k = 2 k = 3 k = 4 mit x 1 f 1 (x) = f 1 f 0,1,2 (x) f 1,2 (x) f 0,1,2,3 (x) x 2 f 2 (x) = f 2 f 1,2,3 (x) f 0,1,2,3,4 (x) f 2,3 (x) x 3 f 3 (x) = f 3 f 2,3,4 (x) x 4 f 4 (x) = f 4 f 3,4 (x) f 1,2,3,4 (x) f i (x) := f i und f i0,i 1,...,i k (x) := f i 1,i 2,...,i k (x) f i0,i 1,...,i k 1 (x) x ik x i0 (k 1). 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

12 Numerische Mathematik 259 Satz 6.3 (vgl. Satz 4.7) Mit Hilfe der dividierten Differenzen lässt sich das (nach Satz 6.1 eindeutig bestimmte) Interpolationspolynom p in Newton-Form darstellen. Rechenaufwand: p(x) = f 0 + f 0,1 (x x 0 ) + f 0,1,2 (x x 0 )(x x 1 ) + + f 0,1,...,n (x x 0 )(x x 1 ) (x x n 1 ) Zur Bestimmung der Differenzentafel: 3 2 (n2 + n) Gleitpunktoperationen. Zur Auswertung des Newtonschen Interpolationspolynoms mit dem Horner-Schema (William George Horner, ): 3n Gleitpunktoperationen (pro Auswertungspunkt). 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

13 Numerische Mathematik 260 Beispiel 3 (vgl. Beispiele 1 und 2). Dividierte Differenzen: x i k = 0 k = 1 k = f 0,1 = ( 1) ( 1) 0 ( 1) = f 0,1,2 = 3/2 0 2 ( 1) = Das bedeutet: f 1,2 = 2 ( 1) 2 0 = 3 2 p(x) = ( 1) + 0 (x ( 1)) (x ( 1))(x 0) = 1 2 x x Polynominterpolation Technische Universität Bergakademie Freiberg

14 Numerische Mathematik 261 Satz 6.4 (Fehler der Polynominterpolation) Für f C n+1 [a, b] sei p das Polynom vom Grad n, welches f an den Knoten a x 0 < x 1 < < x n b interpoliert. Außerdem bezeichne w n+1 (x) = n (x x i ) P n+1 i=0 das zugehörige Knotenpolynom. Dann gibt es zu jedem x [a, b] ein ξ = ξ(x) (a, b) mit f(x) p(x) = w n+1(x) (n + 1)! f (n+1) (ξ). Mit M n+1 := max a t b f (n+1) (t) gilt für alle x [a, b] die Fehlerabschätzung f(x) p(x) M n+1 (n + 1)! max w n+1(t). a t b 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

15 Numerische Mathematik 262 Optimale Knoten. Idee (motiviert durch Fehlerabschätzung): Wähle Knoten a x 0 < x 1 < < x n b so, dass so klein wie möglich wird. max w n+1(t) = max a t b a t b n t x i Lösung: Tschebyscheff-Knoten (Pafnutĭi L vovich Tschebyscheff, ) x (T) i = b a ( ) 2(n i) + 1 cos π + a + b (i = 0, 1,..., n) 2 2n mit max a t b n i=0 t x (T) i = 2 ( b a für jede andere Wahl x 0,..., x n der Knoten. 4 i=0 ) n+1 < max a t b n t x i i=0 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

16 Numerische Mathematik 263 Knotenpolynome mit äquidistanten und Tschebyscheff-Knoten: 0.8 aequidistante Knoten Tschebyscheff Knoten Polynominterpolation Technische Universität Bergakademie Freiberg

17 Numerische Mathematik 264 Beispiel 5. Interpoliere f(x) = x 2 ( 5 x 5) (Runge-Funktion) (Carl David Tolmé Runge, ) an n + 1 äquidistanten Stützstellen: 8 n=10 8 n= Polynominterpolation Technische Universität Bergakademie Freiberg

18 Numerische Mathematik 265 Beispiel 5. Interpoliere an n + 1 Tschebyscheff-Knoten: f(x) = x 2 ( 5 x 5) 8 n=10 8 n= Polynominterpolation Technische Universität Bergakademie Freiberg

19 Numerische Mathematik 266 Fazit. Durch eine geeignete Knotenwahl (Tschebyscheff-Knoten) lässt sich auch die Runge-Funktion durch Interpolationspolynome beliebig genau annähern. Prinzipiell ist eine Approximation durch Interpolationspolynome aber nur dann ratsam, wenn man mit wenigen Knoten (d.h. mit Polynomen niedrigen Grades) ausreichend gute Ergebnisse erzielen kann. Das ist i.a. nur bei extrem glatten Funktionen (wie etwa bei der Exponentialfunktion) gewährleistet. (Die Runge-Funktion ist zwar in ganz R beliebig oft differenzierbar, besitzt aber Pole in ± 1. Wie gut eine Funktion durch reelle Interpolationspolynome genähert werden kann, hängt auch von der Lage ihrer komplexen Singularitäten ab!) Polynome hohen Grades neigen zu Oszillationen und sind daher zur Approximation oft unbrauchbar. 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

20 Numerische Mathematik 267 Eine Anwendung: Numerische Differentiation. Naheliegende Idee, um die n-te Ableitung einer komplizierten Funktion f anzunähern: 1. Bestimme ein Interpolationspolynom p vom Grad n für f. 2. Differenziere p n-mal: p (n) (x) = n! f 0,1,...,n. Z.B.: a. Knoten: x 0 und x 1 = x 0 + h, d.h. f (x 0 ) p (x 0 ) = 1! f 0,1 = f(x 0 + h) f(x 0 ). h b. Knoten: x 0 = x 1 h, x 1 und x 2 = x 1 + h, d.h. f (x 1 ) p (x 1 ) = 2! f 0,1,2 = f(x 1 + h) 2f(x 1 ) + f(x 1 h) h Polynominterpolation Technische Universität Bergakademie Freiberg

21 Numerische Mathematik 268 Problematik: Numerische Auslöschung. Für f(x) = sinh(x) = (exp(x) exp( x))/2 approximiere = f(0.6) = f (0.6) für h = 10 e, e = 1, 2,..., im IEEE-double-Format (Maschinengenauigkeit: eps = ). f(0.6 h) 2f(0.6) + f(0.6 + h) h 2 e f (0.6) e f (0.6) Polynominterpolation Technische Universität Bergakademie Freiberg

22 Numerische Mathematik 269 Diskretisierungsfehler 1 12 f (4) (0.6) h e,. Rundungsfehler = 4h 2 eps 4 eps 10 2e Rundungsfehler optimale Schrittweite 10 5 Fehler Diskretisierungsfehler Schrittweite 6.1 Polynominterpolation Technische Universität Bergakademie Freiberg

23 Numerische Mathematik Spline-Interpolation Splines sind stückweise Polynome. (Eigentlich: Spezielle biegsame Kurvenlineale, die durch Halterungen gezwungen werden, auf dem Zeichenpapier gegebene Punkte zu verbinden; wurden im Schiffsbau verwendet.) Idee: Um die Güte der Approximation zu verbesseren, wird hier nicht der Polynomgrad erhöht, sondern die Unterteilung der Intervalls verfeinert. Seien n + 1 Knoten in [a, b] gegeben: a = x 0 < x 1 < < x n 1 < x n = b. Mit T := [x 0, x 1 ] [x 1, x 2 ] [x n 1, x n ] bezeichnene wir die zugehörige Zerlegung des Intervalls [a, b]. Ein Spline vom Grad k bez. T ist eine Funktion s C k 1 [a, b], die auf jedem Teilintervall von T mit einem Polynom vom Grad k übereinstimmt: s [xi 1, x i ] P k für i = 1, 2,..., n. 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

24 Numerische Mathematik 271 Satz 6.5 ST k, die Menge aller Splines vom Grad k bez. T, ist ein (n + k)-dimensionaler Raum. 1 Runge Funktion Knoten linearer Spline kubischer Spline Spline-Interpolation Technische Universität Bergakademie Freiberg

25 Numerische Mathematik 272 Einfachster Fall: k = 1. Splines vom Grad 1 oder lineare Splines. Die zwei charakteristischen Eigenschaften eines linearen Splines s: 1. Auf jedem Teilintervall [x i 1, x i ] von T ist s linear: s(x) = α i + β i x für alle x [x i 1, x i ] und i = 1, 2,..., n. 2. Auf ganz [a, b] ist s stetig, d.h. für i = 1, 2,..., n 1 lim s(x) = α i + β i x i = α i+1 + β i+1 x i = x x i lim s(x). x x i + Interpolationsaufgabe: Zu vorgebener Zerlegung T = [x 0, x 1 ] [x 1, x 2 ] [x n 1, x n ] von [a, b] und zu vorgegebenen Werten f 0, f 1,..., f n bestimme einen linearen Spline s S 1 T mit s(x i ) = f i für alle i = 0, 1,..., n. 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

26 Numerische Mathematik 273 Offensichtlich: Diese Aufgabe ist eindeutig lösbar: s(x) = f i 1 + f i f i 1 x i x i 1 (x x i 1 ) für x [x i 1, x i ] linearer Interpolationsspline x 0 x 1 x 2 x 3 x Spline-Interpolation Technische Universität Bergakademie Freiberg

27 Numerische Mathematik 274 Fehler des linearen Interpolationssplines: (f C 2 [a, b]) Lokal, d.h. für x [x i 1, x i ]: f(x) s(x) = 1 2 f (ζ) (x x i 1 )(x x i ) 1 8 M 2,i h 2 i mit M 2,i = max xi 1 ζ x i f (ζ) und h i = x i x i 1. Global, d.h. für x [x 0, x n ]: f(x) s(x) 1 8 M 2 h 2 max mit M 2 = max 1 i n M 2,i = max x0 ζ x n f (ζ) und h max = max 1 i n h i. Adaptive Knotenwahl. Stategie: Fehler etwa gleich auf jedem Teilintervall. D.h.: Wähle h i invers proportional zu M 2,i (viele Knoten dort, wo die Krümmung von f groß ist). 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

28 Numerische Mathematik 275 Zur Implementierung. Gegeben: x 0, x 1,..., x n und f 0, f 1,..., f n. Gesucht: Wert s(x) des linearen Interpolationssplines an der Stelle x. Bestimme g i 1 = (f i f i 1 )/(x i x i 1 ) für i = 1, 2,..., n. Falls x [x i 1, x i ], dann s(x) = f i 1 + g i 1 (x x i 1 ). Problem: Gegeben x, in welchem Teilintervall [x i 1, x i ] liegt x? Einfach, falls h i = h (äquidistante Knoten): { x x0 i = := min k N : k x x } 0. h h Schwieriger bei beliebigen Knoten: Binäres Suchen ergibt Komplexität von log 2 n. 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

29 Numerische Mathematik 276 Gesucht ist ein interpolierender kubischer Spline s S 3 T : Charakteristische Eigenschaften des kubischen Splines: 1. Auf jedem Teilintervall [x i 1, x i ] von T ist s kubisch: s(x) = p i (x) = α i + β i (x x i 1 ) + γ i (x x i 1 ) 2 + δ i (x x i 1 ) Auf ganz [a, b] ist s zweimal stetig differenzierbar, d.h.: p i (x i ) = p i+1 (x i ), p i(x i ) = p i+1(x i ), p i (x i ) = p i+1(x i ) für i = 1, 2,..., n Interpolationsbedingungen: s(x i ) = f i (i = 0, 1,..., n) (Also 3(n 1) + (n + 1) = 4n 2 Bedingungen, aber 4n Freiheitsgrade). 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

30 Numerische Mathematik 277 Drei Möglichkeiten für die erforderlichen zwei Zusatzbedingungen. Natürlicher Spline: s (x 0 ) = s (x n ) = 0 Hermitescher oder vollständiger Spline (Charles Hermite, ): s (x 0 ) = f 0 und s (x n ) = f n mit f 0, f n R. (N) (H) Periodischer Spline: Falls s(x 0 ) = s(x n ), s (x 0 ) = s (x n ) und s (x 0 ) = s (x n ). (P) 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

31 Numerische Mathematik 278 Berechnung des kubischen Interpolationssplines. Auf jedem Teilintervall [x i 1, x i ] hat der kubische Spline die Form s(x) = p i (x) = α i + β i (x x i 1 ) + γ i (x x i 1 ) 2 + δ i (x x i 1 ) 3. Die Koeffizienten lassen sich durch die Momente µ i := s (x i ) und die Funktionswerte f i (i = 0, 1,..., n) darstellen: α i = f i 1, γ i = 1 2 µ i 1, β i = f i f i 1 h i δ i = µ i µ i 1 6h i, h i 6 (µ i + 2µ i 1 ), wobei h i := x i x i 1. M. a. W.: Ein kubischer Spline ist durch die Funktionswerte f i und die Momente µ i (i = 0, 1,..., n) eindeutig bestimmt. 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

32 Numerische Mathematik 279 Die (n + 1) Momente µ i erfüllen die (n 1) linearen Gleichungen h i 6 µ i 1 + h i + h i+1 µ i + h i µ i+1 = f i+1 f i h i+1 f i f i 1 h i (i = 1, 2,..., n 1) und zwei Zusatzgleichungen: (N) µ 0 = 0, (H) h n µ n = 0, h 1 3 µ 0 + h 1 6 µ 1 = f 1 f 0 h 1 f 0, 6 µ n 1 + h n 3 µ n = f n f n f n 1, h n (P) µ 0 + µ n = 0, h 1 6 µ 1 + h 1 6 µ n 1 + h 1 + h n µ n = f 1 f n 3 h 1 f n f n 1 h n. 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

33 Numerische Mathematik 280 Sei H k T := { f C k 1 [a, b] : f [xi 1,x i ] C k [x i 1, x i ] } und f 2 := [ b a f (x) 2 dx] 1/2 = [ n i=1 ] 1/2 f (x) 2 dx (f HT k, k 2). x i 1 xi Lemma 6.6 Für f H 2 T und s S3 T gilt f s 2 2 = f 2 2 s 2 2 [ 2 (f (x) s (x))s (x) b n a i=1 (f(x) s(x))s (x) x i+ x i 1 ]. Satz 6.7 (Minimierungseigenschaft kubischer Splines) Ist f HT 2 s ST 3 ein zugehöriger kubischer Interpolationsspline, der eine der drei Zusatzbedingungungen (N), (H) oder (P) erfüllt, dann folgt ( ) s 2 2 f 2 2 =: b a f (x) 2 dx. und 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

34 Numerische Mathematik 281 Interpretation von Satz 7. Die Biegeenergie E B (f) = b a f (x) 2 dx (1 + f (x) 2 ) 3/2 b a f (x) 2 dx wird näherungsweise durch den kubischen Interpolationsspline s minimiert. Im Folgenden werden nur vollständige kubische Splines (Bedingung (H)) betrachtet, analoge Aussagen gelten unter den Voraussetzungen (N) und (P). 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

35 Numerische Mathematik 282 Die Momente erfüllen das LGS (s.o.) h 1 h h 1 h 1 +h h h n 1 6 h n 1 +h n 3 h n6 h n6 h n3 µ 0 µ 1. µ n 1 µ n = d 0 d 1. d n 1 d n mit d 0 = f 1 f 0 h 1 d n = f n f n f n 1 h n. f 0, d j = f j+1 f j h j+1 f j f j 1 h j (1 j n) und Lemma 6.8 Für jede Wahl der Knoten a = x 0 < x 1 < < x n = b ist dieses Gleichungssystem eindeutig lösbar. D.h.: Zu jeder Knotenwahl gibt es genau einen vollständigen kubischen Interpolationsspline für f. 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

36 Numerische Mathematik 283 Satz 6.9 (Fehler bei kubischer Spline-Interpolation) Ist f C 4 [a, b] und s ST 3 der vollständige kubische Interpolationsspline für f, dann gelten 5 max f(x) s(x) x [a,b] 384 M 4 h 4 max, max f (x) s (x) 1 x [a,b] 24 M 4 h 3 max, max f (x) s (x) x [a,b] 3 8 M 4 h 2 max mit M 4 := max a x b f (4) (x) und h max = max 1 i n h i = max 1 i n (x i x i 1 ). 6.2 Spline-Interpolation Technische Universität Bergakademie Freiberg

37 Numerische Mathematik Trigonometrische Interpolation Seien f 0, f 1,..., f m 1 R und x j := 2π j/m (j = 0, 1,..., m 1), d.h. x 0 < x 1 < < x m 1 sind äquidistante Knoten aus [0, 2π). Gesucht ist ein reelles trigonometrisches Polynom t n (x) = α n [ ] α k cos(kx) + β k sin(kx) k=1 vom Grad n, das die m Interpolationsbedingungen t n (x j ) = f j (j = 0, 1,..., m 1) erfüllt. Hier ist m = 2n (wenn m gerade ist) bzw. m = 2n + 1 (wenn m ungerade ist). 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

38 Numerische Mathematik 285 Transformation auf den (komplexen) Einheitskreis: φ : [0, 2π) T := {z C : z = 1}, x z = exp(ix) = cos x + i sin x. Die Knoten x j gehen in die m-ten Einheitswurzeln über: φ(x j ) = exp(2πij/m) = [exp(2πi/m)] j = ωm j (j = 0, 1,..., m 1) mit ω m := exp(2πi/m) = cos(2π/m) + i sin(2π/m). Setzt man β 0 = 0 und für k = 0, 1,..., n [ ] [ 1 C 2 ak 2 := (α ] k iβ k ) 1 a k 2 (α = 1 k + iβ k ) 2 [ ] [ ] 1 i αk 1 i β k, d.h. 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

39 Numerische Mathematik 286 ] ] ] ] R 2 [ αk β k = i [ 1 1 i ] [ ak a k = [ ak + a k i(a k a k ) = [ 2 Real (ak ) 2 Imag(a k ), so folgt t n (x) = n a k exp(ikx) = n a k z k = z n n a k z k+n = z n p 2n (z) k= n k= n k= n mit p 2n (z) = n k= n a kz k+n = 2n j=0 a j nz j P 2n. Wegen p 2n (ω j m) = ω jn m t n (x j ) ist die trigonometrische Interpolationsaufgabe zurückgeführt auf ein (gewöhnliches) Interpolationsproblem für algebraische Polynome. 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

40 Numerische Mathematik 287 Satz 6.10 Zu beliebig vorgegebenen paarweise verschiedenen Knoten x 0, x 1,..., x 2n [0, 2π) und zu beliebigen Funktionswerten f 0, f 1,..., f 2n R gibt es genau ein reelles trigonometrisches Polynom t n T n mit t n (x j ) = f j (j = 0, 1,..., 2n). Lemma 6.11 Für die m-ten Einheitswurzeln ω k m (k Z, m N) gelten: a) [ω k m] j = ω kj m = [ω j m] k (j Z), b) ω kl ml = ωk m (l Z, l 0), c) ω k m = ω k d) m 1 j=0 m, ω kj m = { m, falls k = 0 (mod m), 0, falls k 0 (mod m). 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

41 Numerische Mathematik 288 Satz 6.12 Das komplexe (algebraische) Interpolationspolynom p m 1 (z) = m 1 k=0 c kz k P m 1 mit p m 1 (ωm) j = f j C (j = 0, 1,..., m 1) besitzt die Koeffizienten c k = 1 m m 1 j=0 f j ω kj m (k = 0, 1,..., m 1). In Matrix-Vektor-Schreibweise c 0 c 1. c m 1 = 1 m F m f 0 f 1. f m 1 mit der Fourier-Matrix 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

42 Numerische Mathematik 289 F m := [ ωm kj ] 0 k,j m 1 = ωm 1 ω m+1 m ωm m+1 ωm (m 1)2 Bemerkung. Seien m N, d N 0, d m 1, f 0, f 1,..., f m 1 C und z j = ω j m (j = 0, 1,..., m 1). Unter allen Polynomen q P d vom Grad d minimiert p m,d (z) = c 0 + c 1 z + + c d z d, also das abgeschnittene Interpolationspolynom, die Fehlerquadratsumme m 1 j=0 f j q(z j ) 2 : m 1 j=0 f j p m,d (z j ) 2 < m 1 j=0 f j q(z j ) 2 für alle q P d, q p m,d. 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

43 Numerische Mathematik 290 Satz 6.13 Für m = 2n oder m = 2n + 1 gibt es zu beliebigen f 0, f 1,..., f m 1 R ein reelles trigonometrisches Interpolationspolynom [ ] t n (x) = 1 n 2 α 0 + α k cos(kx) + β k sin(kx) T n k=1 vom Grad n, das die m Bedingungen t n (2πj/m) = f j (j = 0, 1,..., m 1) erfüllt. Seine Koeffizienten sind durch ( ) α k = 2 m 1 f j cos k 2πj bzw. β k = 2 m m m j=0 m 1 j=0 f j sin ( k 2πj m ) (k = 0, 1,..., n) gegeben. Im Fall m = 2n muß β n = 0 gesetzt und α n halbiert werden. 6.3 Trigonometrische Interpolation Technische Universität Bergakademie Freiberg

44 Numerische Mathematik Schnelle Fourier-Transformation (FFT) Seien ω j m (j = 0,..., m 1, ω m := exp(2πi/m)) die m-ten Einheitswurzeln. Diskrete Fourier-Analyse: Bestimme zu vorgebenen Funktionswerten f 0,..., f m 1 C die Koeffizienten c 0,..., c m 1 des Interpolationspolynoms P (z) = m 1 j=0 c jz j mit P (ωm) j = f j für j = 0,..., m 1. Wir wissen: Mit der Fourier-Matrix F m := [ωm kj ] 0 k,j m 1 C m m gilt c 0 c 1.. = 1 m F m f 0 f 1.. c m 1 f m Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

45 Numerische Mathematik 292 Diskrete Fourier-Synthese: Inverse Aufgabe: Bestimme zu vorgebenen Koeffizienten c 0,..., c m 1 C die Funktionswerte f 0,..., f m 1 des Polynoms P (z) = m 1 j=0 c jz j an den m-ten Einheitswurzeln ωm, 0... ωm m 1. Offensichtlich: f 0 f 1. = W m c 0 c 1. f m 1 c m 1 mit der Matrix W m := [ω kj m ] 0 k,j m 1 = F m C m m. 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

46 Numerische Mathematik 293 Lemma 6.14 Für die Fourier-Matrix F m = [ωm kj ] 0 k,j m 1 C m m gelten: (a) Fm T = F m (aber Fm H F m für m > 2!), (b) Fm H F m = mi m, d.h. die Spalten von F m sind orthogonal und besitzen alle die Euklid-Norm m. (c) Fm 1 = 1 m F m H = 1 F m m. Diskrete Fourier-Transformationen (d.h. diskrete Fourier-Analysen und Synthesen) müssen in der Praxis oft berechnet werden (Signalverarbeitung, Lösung der Poisson-Gleichung etc.). Die klassische Berechnung einer Fourier-Transformation (ein Matrix-Vektor-Produkt mit F m /m bzw. W m ) erfordert offenbar O(m 2 ) komplexe Multiplikationen. Bei Anwendung der schnellen Fourier-Transformation (FFT) reduziert sich dieser Aufwand auf O(m log 2 m) (James William Cooley ( 1926) and John Wilder Tuckey ( 1915): An algorithm for the machine calculation of complex Fourier series, Math. Comp. 19, (1965)). 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

47 Numerische Mathematik 294 Diese Verbesserung kann nicht überbewertet werden: It [the FFT] has changed the face of science and engineering so much that it is not an exaggeration to say that life as we know it would be very different without the FFT. [Charles Van Loan, Computational Frameworks for the Fast Fourier Transform, SIAM, Philadelphia 1992, p. ix] Wir setzen (aus schreibtechnischen Gründen) im folgenden ( ζ m = ω m = exp 2πi ) ( ) 2π = cos i sin m m so dass F m = [ζ kj m ] 0 k,j m 1. Außerdem sei m gerade. ( 2π m ), 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

48 Numerische Mathematik 295 Die Idee der FFT (für m = 8): Mit ζ := ζ 8 ist ζ ζ 2 ζ 3 ζ 4 ζ 5 ζ 6 ζ 7 1 ζ 2 ζ 4 ζ 6 ζ 8 ζ 10 ζ 12 ζ 14 1 ζ 3 ζ 6 ζ 9 ζ 12 ζ 15 ζ 18 ζ 21 F 8 =. 1 ζ 4 ζ 8 ζ 12 ζ 16 ζ 20 ζ 24 ζ 28 1 ζ 5 ζ 10 ζ 15 ζ 20 ζ 25 ζ 30 ζ 35 1 ζ 6 ζ 12 ζ 18 ζ 24 ζ 30 ζ 36 ζ 42 1 ζ 7 ζ 14 ζ 21 ζ 28 ζ 35 ζ 42 ζ Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

49 Numerische Mathematik 296 Wegen ζ 8 = 1, d.h. ζ j = ζ k, wenn j k (ohne Rest) durch 8 teilbar ist, folgt ζ ζ 2 ζ 3 ζ 4 ζ 5 ζ 6 ζ 7 1 ζ 2 ζ 4 ζ 6 1 ζ 2 ζ 4 ζ 6 1 ζ 3 ζ 6 ζ ζ 4 ζ 7 ζ 2 ζ 5 F 8 =. 1 ζ 4 1 ζ 4 1 ζ 4 1 ζ 4 1 ζ 5 ζ 2 ζ 7 ζ 4 ζ ζ 6 ζ 3 1 ζ 6 ζ 4 ζ 2 1 ζ 6 ζ 4 ζ 2 1 ζ 7 ζ 6 ζ 5 ζ 4 ζ 3 ζ 2 ζ Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

50 Numerische Mathematik 297 Jetzt nummerieren wir die Zeilen von F 8 um: zuerst werden die mit geradem (0,2,4,6), danach die mit ungeradem Index (1,3,5,7) gezählt. Die zugehörige Pemutationsmatrix wird mit P bezeichnet ζ 2 ζ 4 ζ 6 1 ζ 2 ζ 4 ζ 6 1 ζ 4 1 ζ 4 1 ζ 4 1 ζ 4 [ ] 1 ζ 6 ζ 4 ζ 2 1 ζ 6 ζ 4 ζ 2 B1,1 B 1,2 P F 8 = =: 1 ζ ζ 2 ζ 3 ζ 4 ζ 5 ζ 6 ζ 7 B 2,1 B 2,2 1 ζ 3 ζ 6 ζ ζ 4 ζ 7 ζ 2 ζ 5 1 ζ 5 ζ 2 ζ 7 ζ 4 ζ ζ 6 ζ 3 1 ζ 7 ζ 6 ζ 5 ζ 4 ζ 3 ζ 2 ζ Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

51 Numerische Mathematik 298 Wir untersuchen die einzelnen Blöcke: Wegen ζ = ζ 8 ist ζ 2 = ζ 4, d.h B 1,1 = B 1,2 = 1 ζ 4 ζ4 2 ζ ζ4 2 ζ4 4 ζ4 6 = F 4. 1 ζ4 3 ζ4 6 ζ4 9 Aus den Spalten 0,1,2 bzw. 3 von B 2,1 klammern wir ζ0, ζ 1, ζ 2 bzw. ζ 3 aus : B 2,1 = 1 ζ 2 ζ 4 ζ 6 0 ζ ζ 4 1 ζ ζ 2 0 = F 4D 4. 1 ζ 6 ζ 4 ζ ζ Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

52 Numerische Mathematik 299 Analog: B 2,2 = ζ ζ 2 ζ 4 ζ 6 0 ζ ζ 4 1 ζ ζ 6 0 = F 4(ζ 4 D 4 ) = F 4 D 4. 1 ζ 6 ζ 4 ζ ζ 7 Insgesamt erhalten wir [ ] F4 F 4 P F 8 = F 4 D 4 F 4 D 4 = [ ] [ ] F4 O I4 I 4. O F 4 D 4 D Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

53 Numerische Mathematik 300 Satz 6.15 Seien m gerade, σ die folgende (even/odd) Permutation σ = [0, 2..., m 2, 1, 3,..., m 1] und P = P σ die zugehörige Permutationsmatrix. Dann besitzt die zeilenpermutierte Fourier-Matrix F m die Zerlegung [ ] [ ] [ ] F m/2 F m/2 Fm/2 O Im/2 I m/2 P F m = =. F m/2 D m/2 F m/2 D m/2 O F m/2 D m/2 D m/2 Dabei bezeichnet D m/2 die Diagonalmatrix ( ) D m/2 = diag ζm, 0 ζm, 1..., ζm m/2 1 C (m/2) (m/2) mit ζ m = ω m = exp( 2πi/m). 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

54 Numerische Mathematik 301 Berechne jetzt y = F m x für ein x C m (m gerade). Wegen der Zerlegung von F m aus Satz 6.15 unterteilen wir dies in zwei Schritte: 1. Reduktionsschritt: Berechne [ ] Im/2 I m/2 z = x. D m/2 D m/2 Für m = 8: z 0 = x 0 + x 4, z 1 = x 1 + x 5, z 2 = x 2 + x 6, z 0 = x 3 + x 7 z 4 = (x 0 x 4 ), z 5 = (x 1 x 5 )ζ m, z 6 = (x 2 x 6 )ζ 2 m, z 7 = (x 3 x 7 )ζ 3 m (m/2 komplexe Multiplikationen und m komplexe Additionen). 2. Berechne F m/2 z (0 : m/2 1) und F m/2 z (m/2 : m 1) (zwei Fourier-Transformationen der Dimension m/2). 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

55 Numerische Mathematik 302 Ist m = 2 p eine Potenz von 2, so ist m/2 ebenfalls gerade und die beiden Fourier-Transformationen der Dimension m/2 können auf vier Fourier-Transformationen der Dimension m/4 reduziert werden. Der Aufwand zur Reduktion beträgt 2 m/4 = m/2 komplexe Multiplikationen (und 2 m/2 = m komplexe Additionen). Diese Prozess wird solange fortgesetzt bis man eine Multiplikation mit F m auf m Multiplikationen mit F 1 = [1] reduziert hat (eine Multiplikation mit F 1 erfordert offenbar keinen Aufwand). Dieses Reduktionsverfahren heißt schnelle Fourier-Transformation (FFT = Fast Fourier Transformation). Satz 6.16 Zur Durchführung einer schnellen Fourier-Transformation der Ordnung m = 2 p sind m 2 p = m 2 log 2(m) komplexe Multiplikationen und m log 2 (m) komplexe Additionen erforderlich. 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

56 Numerische Mathematik 303 Die konventionelle Berechnung einer Fourier-Transformation der Länge m = 2 p durch F m x erfordert also 2 p+1 /p-mal mehr Multiplikationen als ihre Berechnung durch FFT. Wenn z.b. für p = 20 die FFT-Version eine Sekunde benötigt, so benötigt F m x etwa 29 Stunden. Verbleibendes Problem: Bestimmt man y = F m x durch FFT, so erhält man nicht y, sondern einen permutierte Version ỹ = Qy mit einer Permutationsmatrix Q R m m. Es gilt: Besitzt für m = 2 p der Index i {0, 1,..., m 1} die Binärdarstellung i = b p 1 2 p b b b 0 =: [b p 1... b 2 b 1 b 0 ] 2, und ist r(i) := [b 0 b 1 b 2... b p 1 ] 2 = b 0 2 p 1 + b 1 2 p 2 + b 2 2 p b p 1 (bit reversal), dann gelten y i = ỹ r(i) und ỹ i = y r(i). 6.4 Schnelle Fourier-Transformation (FFT) Technische Universität Bergakademie Freiberg

57 Numerische Mathematik Anwendungen der FFT Schnelle Berechnung einer Faltung: Sei S m := {x = {..., x 0, x 1,..., x m 1,...} : x j C} der Raum der doppelseitigen m-periodischen Folgen. S m ist isomorph zum C m. Auf S m sind zwei Multiplikationen definiert: Hadamard-Produkt: [x y] k = x k y k, Faltung oder Cauchy-Produkt: [x y] k = Lemma 6.17 (Faltungssatz) Für x, y S m gelten F m (x y) = (F m x ) (F m y), m F m (x y) = (F m x ) (F m y). m 1 j=0 x j y k j. 6.5 Anwendungen der FFT Technische Universität Bergakademie Freiberg

58 Numerische Mathematik 305 Ist m = 2 p, so kann die Faltung wegen x y = F 1 m [(F m x ) (F m y)] = 1 m F m [(F m x ) (F m y)] durch drei FFT s, also mit m(1.5 log 2 (m) + 1) komplexen Multiplikationen, bestimmt werden (konventionelle Berechnung erfordert m 2 Multiplikationen). Dies wird zur Multiplikation großer ganzer Zahlen und zur Multiplikation von Polynomen eingesetzt. Eine Matrix A C m m heißt zirkulant, wenn sie die Form a 0 a 1 a m 2 a m 1 a m 1 a 0 a m 3 a m 2 A = circul(a 0,..., a m 1 ) = a 2 a 3 a 0 a 1 besitzt. a 1 a 2 a m 1 a Anwendungen der FFT Technische Universität Bergakademie Freiberg

59 Numerische Mathematik 306 Lemma 6.18 Mit Hilfe der (zirkulanten) Shiftmatrix S m := circul(0, 1, 0..., 0) C m m kann jede zirkulante Matrix A = circul(a 0, a 1,..., a m 1 ) in der Form A = p(s m ) = a o I m + a 1 S m + a 2 S 2 m + a m 1 S m 1 m, d.h. als Polynom in S m, geschrieben werden. Die Eigenwerte λ j von A sind deshalb durch gegeben. λ j = p ( ω j m) = p (exp (2πij/m)) (j = 0, 1,..., m 1) v j = ist ein zugehöriger Eigenvektor. [ ] T ωm, 0 ωm, j ωm 2j,..., ω m (m 1)j 6.5 Anwendungen der FFT Technische Universität Bergakademie Freiberg

60 Numerische Mathematik 307 Lemma 6.19 Seien a = [a 0, a 1,..., a m 1 ] T C m, A = circul(a) und x C m. Dann ist A T x = a x. Satz 6.20 Seien a, b C m und A = circul(a). Dann gelten: (a) det(a) 0 alle Komponenten von F m a sind von 0 verschieden. (b) Das LGS A T x = b ist genau dann lösbar, wenn [F m a] j = 0 stets [F m b] j = 0 impliziert (j = 0, 1,..., m 1). (c) Ist A T x = b lösbar, so gilt für jede Lösung x : [F m x ] j = [F m b] j /[F m a] j für alle j {0, 1,..., m 1} mit [F m a] j 0. Ist [F m a] j = 0 (und folglich [F m b] j = 0), so kann [F m x ] j beliebig gewählt werden. 6.5 Anwendungen der FFT Technische Universität Bergakademie Freiberg

61 Numerische Mathematik 308 Mit Hilfe der FFT kann das Produkt einer zirkulanten Matrix der Dimension m mit einem Vektor also in nur m(1.5 log 2 (m) + 1) komplexen Multiplikationen berechnet werden (vgl. Lemma 6.19). Darüberhinaus kann ein m-dimensionales lineares Gleichungssystem A T x = b mit einer zirkulanten Koeffizientenmatrix A T, A = circul(a), i.w. durch 3 FFT s (in ebenfalls m(1.5 log 2 (m) + 1) komplexen Multiplikationen) gelöst werden (vgl. Satz 6.20): Ist A invertierbar, so gilt A T b = 1 m F m ((F m b)./ (F m a)), wobei./ komponentenweise Division bezeichnet. 6.5 Anwendungen der FFT Technische Universität Bergakademie Freiberg

62 Numerische Mathematik Mustererkennung Interpretiere die m Ecken eines Polygons, (x 0, y 0 ),..., (x m 1, y m 1 ), als komplexe Zahlen: f 0 = x 0 + iy 0,..., f m 1 = x m 1 + iy m 1 (i 2 = 1). Das Ergebnis einer diskreten Fourier-Analyse dieser Zahlen [c 0, c 1,..., c m 1 ] T = 1 m F m[f 0, f 1,..., f m 1 ] T nennt man diskretes komplexes Spektrum des Polygons. Es spiegelt geometrische Eigenschaften des Polygons wider und kann daher zur Klassifikation von Formen (Mustererkennung) verwendet werden. Lage- und größeunabhängig ist das normierte Amplitudenspektrum a k = c k+2 /c 1 (k = 0,..., m 3). 6.6 Mustererkennung Technische Universität Bergakademie Freiberg

63 Numerische Mathematik a 1 < a 2, a 2 > a 3 ; a 1 > a 2, a 2 > a 3 ; a 1 > a 2, a 2 < a 3 ; 6.6 Mustererkennung Technische Universität Bergakademie Freiberg

64 Numerische Mathematik Polygon E F H Mustererkennung Technische Universität Bergakademie Freiberg

65 Numerische Mathematik Polygon E F H Mustererkennung Technische Universität Bergakademie Freiberg

66 Numerische Mathematik Polygon E F H Mustererkennung Technische Universität Bergakademie Freiberg

67 Numerische Mathematik 314 Gegeben: Signal f (Dimension m = 1024), k = 8 (16, 32). Aufgabe: Unterlege f mit Rauschen, bestimme die k groessten Fourier-Koeffizienten und rekonstruiere aus diesen das Signal. f_rausch = f +.1*randn(size(f)); c = fft(f_rausch); [ignore,j] = sort(abs(c)); ind = [m-k+1:m]; c_compr = zeros(size(c)); c_compr(j(ind)) = c(j(ind)); recon = ifft(c_compr); 6.6 Mustererkennung Technische Universität Bergakademie Freiberg

68 Numerische Mathematik Signal 10 Signal (verrauscht) Rekonstruktion mit 8 Fourier Koeffizienten 10 4 Fehler Mustererkennung Technische Universität Bergakademie Freiberg

69 Numerische Mathematik Signal 10 Signal (verrauscht) Rekonstruktion mit 16 Fourier Koeffizienten Fehler Mustererkennung Technische Universität Bergakademie Freiberg

70 Numerische Mathematik Signal 10 Signal (verrauscht) Rekonstruktion mit 32 Fourier Koeffizienten Fehler Mustererkennung Technische Universität Bergakademie Freiberg