Numerisches und Symbolisches Rechnen - Zusammenfassung

Transkript

1 Numerisches und Symbolisches Rechnen - Zusammenfassung Patrick Pletscher Oktober Function Fitting Gegeben: N Datenpunkte {x i, y i }, i = 1 N Gesucht: Funktion fx welche die Punkte approximiert Ansatz: M fx = α k φ k x 1 k=1 Dabei hat die approximierte Funktion M Parameter 11 Lagrange Polynome Falls M = N, also die Funktion gleich viele Parameter wie es Datenpunkte gibt, haben soll l k x = x 1 x x k 1 xx k+1 x x N x x 1 x k x k 1 x k x k+1 x k x N x k Für unseren Ansatz 1 setzen wir: φ k = l k α k = y k Das Polynom l k x nimmt an jeder Stützstelle x k genau den Wert y k an, bei den anderen Stützstellen ist das Polynom gleich 0 Diese Methode eignet sich nur bei Daten, von denen man weiss, dass sie polynomiell verteilt sind, und kein Rauschen enthalten Fehler der Lagrange Polynome: yx fx = yn ξ n! 1 Linear Least Squares n x x k k 1 Falls M < N verwendet man wieder den Ansatz 1 Voraussetzung: φ k ist linear in α k also zbsp nicht: e α kx φ 1 x 1 φ x 1 φ M x 1 φ 1 x φ x φ M x φ 1 x N φ x N φ M x N Ax = b α 1 α M = y 1 y y N Dieses System ist überbestimmt und nicht exakt lösbar Lösung: A T Ax = A T b Falls die Kolonnen von A linear unabhängig sind, so ist A T A invertierbar und es gilt: x = A T A 1 A T b Beispiel: Zu approximierende Funktion: y = ax + bx + c x Punkte: y A = , b = LLS und orthonormale Matrizen Da für Matrizen mit orthonormalen Kolonnen gilt: Q T Q = I = QQ T Q T = Q 1 Jede Matrix A mit linear unabhängigen Kolonnen kann faktorisiert werden in A = QR, wobei Q orthonormal ist und R eine obere Dreiecksmatrix und invertierbar ist Somit vereinfacht sich die LLS Lösung zu folgendem Problem, falls die QR-Zerlegung der Matrix A bekannt ist: x = R 1 Q T b QR-Zerlegung nach Gram-Schmidt Sei A = a 1 a m eine Matrix mit linear unabhängigen Kolonnen, so kann man sie wiefolgt in eine Matrix QR zerlegen Q: q 1 = a1 a 1 q k = a k k 1 q k = fq k fq k j=1 q j q j, a k } k =,, n 1

2 R: r 11 = a 1 r jk = q j, a k, j = 1,, k 1 r jk = 0, j = k + 1,, n r kk = q k k =,, n 13 Pseudoinverse und Singulärwertzerlegung SVD Pseudoinverse Gegeben: Ax = b Falls die Kolonnen von A linear abhängig sind, so kann man das LLS Verfahren nicht anwenden, da somit A T A 1 nicht berechnet werden kann Es gibt aber ein anderes Verfahren, das auch auf solche Matrizen anwendbar ist: Lösung: x = A + b, wobei A + die Pseudoinverse von A ist Bestimmung der Pseudoinversen 1 A hat nur Einträge in der Diagonalen σ A = 0 0 σ r /σ A + = /σ r 0 0 A + wird also bestimmt in dem man die Transponierte A T von A bestimmt und danach von allen Diagonalelementen die Inverse bestimmt, dabei wird aber 1/0 = 0 gesetzt, falls σ i = 0 A allgemeine NxM Matrix Man zerlegt die Matrix A mit der Singulärwertzerlegung in eine Matrix der Form A = UΣV T, wobei U eine MxM orthonormale Matrix ist V eine NxN orthonormale Matrix ist Σ eine NxM Matrix mit spezieller Diagonalform ist Danach ist die Pseudoinverse wie folgt zu bestimmen: A + = VΣ + U T Wobei Σ die Form von Fall 1 hat und sich demnach davon leicht die Pseudoinverse bestimmen lässt Singulärwertzerlegung Σ: Σ = Σr wobei Σ r = diag{σ 1,, σ r }, dessen Diagonalelemente positiv und alle grösser gleich geordnet sind und σ i = λ i A T A, wobei λ i A T A die Eigenwerte von A T A bezeichnet V: V = v 1,, v N wobei v i die normierten Eigenvektoren von A T A sind U: U = u 1,, u M wobei u i die normierten Eigenvektoren von AA T sind 14 Newton Iteration Newton Iteration in 1D Gesucht: Nullstellen von fx, also fx = 0 lösen Benötigt: fx, f x und Startwert x 0 Iteratives Verfahren: x k+1 = x k fx k f x k Newton für Systeme von nicht linearen Gleichungen Gegeben: fx : R n R n Gesucht: Schnittpunkte von Funktionen Benötigt: fx = f 1 x f n x, J = Dabei bezeichnet J die Jaccobi-Matrix Iteratives Verfahren: Beispiel: Jx = x k+1 = x k J 1 fx k f 1 x 1 f n x 1 f 1 x 1, x = x 1 + x 4 f 1 x n f n x n f x 1, x = x 1 x 1 f f1 x 1 f 1 x f x 1 x = x1 x x 1 x

3 und somit gilt: 15 x 0 = 15 Jx k h = fx k h = h h = 05 x k+1 = Newton Iteration in 1D für Extremalwerte Gesucht: f x = 0 Benötigt: f x, f x und Startwert x 0 Iteratives Verfahren: x k+1 = x k f x k f x k Das Gauss Prinzip sagt: Finde x so, dass Was gleichbedeutend ist mit: Qx = 1 fx = min grad Qx = 0 Diese Gleichung ausgedrückt in der Funktion fx Qx = 1 m f i x Das kann kompakt wie folgt geschrieben werden: grad Qx = J f x T fx = 0 Für das Beispiel sieht die Gleichung dann wie folgt aus: x1 x 1 x 1 x 1 x 1 + x 4 x 1 x 1 x 1 + x 3 =! 0 0 Um dieses System zu lösen gibt es nun mehrere Wege: Gauss-Newton Algorithmus Newton Iteration für Extremalwerte einer Funktion mehrerer Variablen Qx : R n R Gesucht: grad Qx = 0 Benötigt: Wir benötigen die Jaccobi-Matrix von grad Qx, welche der Hessischen-Matrix von Q entspricht hess Qx = Iteratives Verfahren: Q x 1 Q x x 1 Q x n x 1 Q x 1 x Q x 1 x n Q x Q x n x Q x n x k+1 = x k hess Qx k T grad Qx k Bemerkung: Da hess Qx symmetrisch ist nach dem Theorem von Schwarz, muss man hess Qx nur transponieren und nicht invertieren Non-Linear Least Squares Gegeben: Überbestimmtes nicht lineares System fx : R n R m, m > n das man nach der Methode der kleinsten Quadrate lösen soll Beispiel: x 1 + x 4 x 1 x 1 x 1 + x x k+1 = x k J f x k T J f x k 1 J f x k T fx k Der Term J f x k T J f x k 1 J f x k T kommt davon, dass J f nicht quadratisch ist und wir davon nicht die Inverse bestimmen können sondern nur mit LLS eine Annäherung an J 1 f Für die Iteration können wir aber in Matlab den Backslash-Operator benutzen: 1 Löse J f x k h = fx k durch h = J f x k \ fx k Iteriere x k+1 = x k + h Dieses Verfahren hat eine lineare Konvergenz Newton Methode für non-linear least squares 1 Löse m B := J T f x k J f x k + f l x k hess f l x k l=1 B h = J f x k T fx k h = B 1 J f x k T fx k Iteriere x k+1 = x k + h Dieses Verfahren konvergiert quadratisch 3

4 Steepest descent Die Ausdrücke B in Newton und J f x k T J f x k in Gauss-Newton sind ziemlich kompliziert bzw können teilweise nicht invertiert werden, so dass man stattdessen oft Steepest descent λi benutzt Dabei muss λ aber so gewählt sein, dass das Ganze konvergiert Die Iteration sieht dann wie folgt aus: Levenberg-Marquart x k+1 = x k λj f x k T fx k x k+1 = x k J T f J f + λd 1 J T f fx k wobei D diagonal ist, oftmals ist D = I Praktisch wird h wie folgt berechnet: J f λ D h fxk 0 Direkte Suchmethoden Während es bei den analytischen Methoden darum geht, das Optimum in einem Schritt zu erreichen, ohne Test, geht es bei den Direkten Methoden darum, dass die Lösung Schritt um Schritt iterativ angenähert wird, und bei jedem Schritt der Wert der betrachteten Funktion verbessert wird, wenn das nicht der Fall ist, so wird mit trial and error vorgegangen 1 Analytische Methoden Notwenige Bedingung: Minimiere den Gradienten - System von Gleichungen Hinreichende Bedingung: in 1D Wenn die zweite Ableitung positiv ist, so ist es ein Minimum, falls negativ ein Maximum, und falls Null ein Sattelpunkt in N-Dimensionen Die Determinate der Hessischen Matrix muss positiv sein; für ein Minimum muss auch die N-1 Subdeterminate positiv sein, sonst ist es ein Maximum Falls die Determinate der Hessischen Matrix negativ ist, so ist es ein Sattelpunkt Die analytischen Methoden können aber auch schief gehen Diskontinuität von der betrachteten Funktion und ihrer Ableitungen Differentiation kann unmöglich sein zbsp bei Experimenten oder Black-Box Code oder ungenau zbsp Daten mit Rauschen Optimum kann ein Extremwert oder ein Sattelpunkt sein System von Gleichungen va nicht linear kann möglicherweise nicht lösbar sein oder sehr teuer zu lösen Nicht-Gradienten basierende Methoden Direkte Suchmethoden Wir benutzen den Ausdruck Direkte Suche um die sequenzielle Untersuchung von Versuchen zu beschreiben Wobei jeder Versuch mit der besten bisherigen Lösung verglichen wird, zusammen mit einer Strategie als einer Funktion der bisherigen Resultate, welches der nächste Versuch sein wird Dabei werden im Normallfall keine analytischen Betrachtungen gemacht, ausser es gibt einen grossen Vorteil Evolutionary Operation Method EVOP Die Schlüsselfunktion davon ist, dass sie nicht numerische Funktionswerte besitzen muss: die relative Rangierung von Objekten ist hinreichend EVOP Algorithmus 1 Funktion an Stellen +d und d in jeder Dimension auswerten Am Anfang ist zbsp d = 1 Neuer Punkt = Punkt mit minimalem Funktionswert 3 Falls der gleiche Punkt selektiert wird, so wird d skaliert zbsp verkleinert 4 Iteriere bis ein ε erreicht ist, oder bis zu einer maximalen Anzahl Iterationen Parallele Methoden 1 Untersuche die Funktionswerte an verschiedenen Punkten Deklariere den Punkt mit dem kleinsten Funktionenwert zum Minimum Diese Methoden werden auch als Gitter Methoden oder tabellarische Methoden bezeichnet Unglaublich langsam - Anzahl der Versuche ist umgekehrt proportional zur Genauigkeit, aber sie sind parallel ausführbar Sequenzielle Methoden In sequenziellen Methoden: Versuche werden sequenziell gemacht Zwischenresultate werden benutzt um den nächsten Punkt zu lokalisieren Sie können klassifiziert werden in: Suchmustermethoden Simplexmethoden Methoden mit lernfähigen Mengen von Suchrichtungen Sind langsam, proportional zum Logarithmus der Genauigkeit 4

5 Hooke und Jeeves: Exploratory Method Eine Extrapolation entlang einer Linie von der ersten und letzten Bewegung, bevor die Variablen wieder individuell verändert werden Simplexmethode Ein Simplex ist eine Menge von n + 1 Punkten in R n : Im D ein Dreieck, in 3D ein Tetraeder usw Simplex Algorithmus 1 Ein initialaler Simplex wird erstellt Ermittle den Knoten mit dem schlechtesten Fit 3 Spiegle den schlechtesten Knoten an der Mitte der gegenüberliegenden Kante 4 Der Punkt mit dem besten Resultat wird der Mittelpunkt des nächsten Zyklus 5 Iteriere bis zur maximalen Genauigkeit oder Anzahl maximaler Iterationen Initial Simplex Abbildung 1: Exploratory Method nach Hooke und Jeeves Nummer Iterat index k Richtungsindex i Vergl punkt Variablenwert x1/x Schrittlänge s1/s Bemerkungen / 9 - / Startpunkt / 9 0 success 0 / 11 1 failure 3 0 / 7 1 success / 5 - / - extrapolation / 5 4,3 success, success / 3 5 failure / 7 5 failure / 3 -,5 / - extrapolation Pattern Search Methods Verändere theoretische Parameter zu einer Zeit bei Schritten der gleichen Grösse und wenn kein vergrössern oder verkleinern eines Parameters das Resultat verbessert, so halbiert man die Schrittgrösse Determine xh,xs,xl and ˆx fh, fs, fl Reflection: xr = ˆx +a ˆx xh No No fr < fl fr fs fr < fh Yes Expansion: xe = ˆx +bxr ˆx Yes fe < fr Contraction: xc = ˆx +cxh ˆx fc > fh Replace xh by xr Replace xh by xe Replace xh by xr Replace all xi Replace xh by xc converged Yes No No Yes STOP No Yes Yes No Pattern search methods sind durch eine Serie von untersuchenden Bewegungen charakterisiert, welche das Verhalten der betrachteten Funktion in einem Muster von Punkten, welche alle auf einem rationalen Gitter liegen Die Schlüsselfunktion ist, dass die Punkte auf einem Gitter bleiben Konvergenz: Theorem 1 Polak Wenn {X k } eine Sequenz ist, welche von einer pattern search Methode erstellt wurde, so befriedigt jeder Ansammlungspunkt, dass fx = 0 Die Methode kann nur eine endliche Anzahl von Zwischenpunkten erzeugen, bevor sie die Schrittgrösse halbiert, somit kann der Algorithmus nicht bei einem Punkt stecken bleiben Abbildung : Simplex Algorithmus Flowchart Für die Ersetzung aller x i benutzt man: Dabei ist: x i = x i + cx l x i x h schlechtester Punkt, dh fx h ist grösser als die Funktion ausgewertet bei allen anderen x i zweit-schlechtester Punkt x s x l P bester Punkt ˆx = 1 n n 1 x i i h Mittelwert ohne schlechtesten Punkt Konvergenz Kriterium: ε > n xi ˆx T x i ˆx n 5

6 Wobei gilt: Weitere Eigenschaften: c k = 1 a k 1 ib k k 0 c k = c k = 1 a k + 1 ib k a k = c k + c k b k = 1 i c k c k Abbildung 3: Simplex Algorithmus grafisch 3 Fouriertransformation 31 Fourierreihe Funktion f soll approximiert werden durch eine Summe von N periodischen Funktionen mit je zwei Parametern: fx N a k coskx + b k sinkx k=0 wobei die Koeffizienten folgendermassen berechnet werden: a k = 1 π b k = 1 π a 0 = 1 π π π π π π π fx coskxdx k 0 fx sinkxdx fxdx b 0 braucht man nicht zu betrachten, da immer gilt b 0 sin0 = 0 Eigenschaften der Fourierreihen Fehler: E = π π [ fx N A k coskx + B k sinkx] dx k=0 Dieser Fehler wird minimiert, wenn A k = a k, B k = b k im Komplexen e ikx = coskx + i sinkx i = 1 Somit ergibt sich für die Fourierreihe: fx = k= c k e ikx & c k = 1 π fxe ikx dx π π d dx + d dy df dx = ik c k e ikx = ikf d f dx = k f e ik1x+ky = k 1 + k e ik1x+ky Analytische Fouriertransformation Die Fouriertransformierte ˆf einer Funktion fx ist nun wie folgt definiert: ˆfk = fxe ikx dx Die Fouriertransformierte einer Funktion fx wird im Nachfolgenden mit Ff oder ˆfx 3 Diskrete Fouriertransformation DFT Gegeben ein Datenvektor x = x 0, x 1,, x N 1 der Länge n, die DFT ist definiert als: Fourier Transformation in Matrixschreibweise: y 0 1 w w w n 1 1 w w 4 w n 1 y 1 1 w 3 w 6 w 3n 1 y y 3 = C B C B 1 w n 1 w n 1 w n 1 y n 1 Fy = x Wobei das i,j-element von F wie folgt aussieht: f ij = w i 1j 1 Wobei w für jedes n definiert ist als: w = e i π n πi = e n & w = e πi n w n = e πi = 1 Die DFT eines Datenvektors x ist nun: Fx = y = 1 n Fx x 0 x 1 x x 3 x n 1 Dabei bezeichnet F die Matrix F, wobei aber überall w durch w ersetzt wird und die Rücktransformation: F 1 y = x = 1 n Fy 1 C A 6

7 33 Fast Fourier Transformation Mit diesem Algorithmus kann die DFT effizient durchgeführt werden, nämlich in On log n Gegeben ist also wieder ein Datenvektor x = x 0,, x n 1 der Länge n Dieser Algorithmus wird rekursiv angewendet, bis der Datenvektor x nur noch Länge 1 hat, von diesem ist die Fouriertransformierte y dann leicht zu bestimmen, da x = y falls die Länge von x gleich 1 ist Fast Fourier Transformations Algorithmus 1 Vektor x aufteilen in Vektoren x, x mit geraden/ungeraden Indices x = x 0, x, x 4,, x n x = x 1, x 3, x 5,, x n 1 Fouriertransformierte y = Fx und y = Fx bestimmen rekursiv mit FFT 3 Die beiden Vektoren y und y wie folgt zusammensetzen: y j = y j + wj n y j für j = 0,, n 1 y j+ n = y j w j ny j für j = 0,, n 1 Für die Rücktransformation muss w n gewählt werden und F statt F 4 Faltung an Stelle von w n Die Faltung zweier Funktionen f und g, ist definiert als: f g = fξgx ξdξ Dadurch werden die Punkte von fx nach gx gewichtet Eigenschaften: Ff g = Ff Fg f g + h = f g + f h d df f g = dx dx g = f dg dx 41 Diskrete Faltung Die Funktionen sind durch Punkte f = f 0, f 1,, f n 1 und g = g 0, g 1,, g n 1 gegeben Die diskrete Faltung berechnet sich wie folgt: f g = Bemerkungen: f 0 g 0 + f 1 g n 1 + f g n + + f n 1 g 1 f 0 g 1 + f 1 g 0 + f g n f n 1 g f 0 g n 1 + f 1 g n + f g n f n 1 g 0 Das Faltungsprodukt von zwei Vektoren der Länge n hat Länge n Jede Komponenete hat n Terme Kosten: On Erste Komponente enthält alle Produkte f j g k mit j+k = 0 oder j + k = n l-te Komponente enthalten alle Produkte mit j + k = l oder j + k = l + n Faltungsregel Die Faltung von f und g ist eine gewöhnliche Multiplikation der Fouriertransformierten Funktionen f g wird berechnet: 1 c = F 1 f d = F 1 g 3 Multipliziere c und d Komponente für Komponente 4 f g = n Fcd 4 δ Funktion Dirac Funktion Definition Wir möchten eine Erregung d a x, die über einem kleinen Intervall a ε < x < a+ε nicht-null ist, und sonst überall Null ist, beschreiben Der gesamte Impuls davon ist dann definiert als: I = d a xdx = a+ɛ a ɛ d a xdx ε > 0 Um ein mathematisches Modell der Funktion d a x zu geben, ist es bequem, anzunehmen, dass sie einen konstanten Wert über dem geschlossenen Intervall [a ε, a + ε] annimmt, auch möchten wir diesen Wert so wählen, dass der Gesamtimpuls gleich 1 ist Also schreiben wir: { 1 d a x = ε a ε x a + ε 0 sonst Nun betrachten wir eine Idealisierung der Funktion d a x, indem wir ε gegen Null gehen lassen: lim I = lim ε 0 ε 0 d a xdx = 1 Damit können wir eine idealisierte Ein-Puls Funktion δx a definieren, welche die Eigenschaft hat, dass sie einen Impuls von 1 bei der Stelle x = a hat, aber für alle anderen Werte von x Null ist Die Definitionseigenschaften sind deshalb: δx a = 0 x a δx adx = 1 7

8 oder für a = 0: δx = 0 x 0 δxdx = 1 Im weiteren wird mit a gerechnet, wobei man aber natürlich für den Fall a = 0 a weglassen kann wie in der Vorlesung Weitere Eigenschaften fxδx adx = fa fx = fyδy xdy Die δ Funktion ermöglicht es uns eine diskrete Funktion zb Datenpunkte als kontinuierliche Funktion zu schreiben Beispiel: Datenpunkte {x 1, f 1,, x n, f n } können dann als Funktion so geschrieben werden: n fx = f i δx x i 43 Wichtige Fouriertransformationen und Faltungen fx = δx ˆfk = fx = square pulse = ˆfk = L L e ikx δxdx = 1 e ikx dx = e ikl e ikl ik { 1 L x L 0 x > L { e ax x > 0 fx = 0 x < 0 ˆfk = 1 a > 0 a + ik fx = e a x a > 0 ˆfk = a a + k = sinkl k 44 Faltung und Differentialrechnung Gegeben: Differentialgleichung der Form Lux = hx Wobei L ein Differentialoperator ist, zbsp L = d dx + a oder L = d dx 1 Forme die ganze Gleichung in den Fourierraum um, dabei ersetzt man am besten die rechte Seite durch hx, bzw nach dem Transformieren durch ĥk und benutzt die Regel für das Transformieren einer Ableitung: F df = ikff dx Man hat nun einen Ausdruck der Form ûk = ˆfk ĝk Dabei ist ĝk die sogenannte Green s function 3 Berechne nun dieses Produkt im Fourierraum, somit erhält man ûk 4 Transformiere ûk zurück in den Realspace Beispiel: F d u dx + a ux = Fhx ik ûk + a ûk = ĥk k ûk + a ûk = ĥk ûk = ĥk a = ĥk ĝk + k Jetzt müsste man ûk noch zurücktransformieren 5 Principal Component Analysis fx ˆfk d dxfx ik ˆfk ikd fx d e ˆfk e ixd fx ˆfk d ˆδ = 1 ˆf = ˆf 1 = fx = fx δx = ˆf ˆδ fyδx ydy Abbildung 4: Steigung der Halbachsen beschreibt die Punkte 8

9 51 Statistische Ausdrücke Mittelwert: Varianz: Standardabweichung: Kovarianz: x = 1 n s = 1 n 1 n x i n x i x s = s n covx, Y = x i xy i ȳ n 1 Für mehrdimensionale Daten erstellen wir die Kovarianz- Matrix: covx, x covx, y covx, z Covx, y, z = covy, x covy, y covy, z covz, x covz, y covz, z Rechenregeln 1 varx + Y = varx + vary wenn X, Y unabh varn0, 1 = 1 3 covx, Y = 0 wenn X, Y unabh 4 covx, X = varx 5 covx, Y = covy, X 6 covax, Y = a covx, Y 7 covx + Y, Z = covx, Z + covy, Z 8 covx+y, Z+W = covx, Z+covX, W +covy, Z+ covy, W 5 Principal Components Analysis Ziel ist es Daten mit Verlust zu komprimieren, ohne aber wesentliche Daten zu verlieren x soll eine Menge von Messvektoren sein also eigentlich eine Matrix und y = Mx eine Transformation vom Vektor x zu einem neuen Vektor y mit gewünschten Eigenschaften welche definiert werden müssen Die Kovarianzmatrix von y ist definiert durch: C y = y y y y T Dabei ist der ensemble average, also der Mittelwert der Vektoren bzw Matrizen Durch Umformen erhält man: C y = MC x M T Nun möchten wir die Transformation M so wählen, dass C y diagonal ist und die Elemente unkorreliert sind: C x ist symmetrisch und hat eine orthonormale Menge von Eigenvektoren q 1,, q n Wir setzen die Spalten von M T gleich diese Eigenvektoren C x M T = C x q 1,, q n = λ 1 q 1,, λ n q n λ 1 0 MC x M T = = C y 0 λ n Falls es Korrelationen zwischen den Elementen von x gibt, so werden einige Eigenwerte verschwinden, diese Komponenten von y können dann für weitere Betrachtungen weggelassen werden Für reale Daten werden die korrelierten Eigenwerte nicht genau Null sein, aber man kann durch die relative Grösse die wichtigen herauslesen und die unwichtigen weglassen Solches selektieren von Variablenuntermengen ist oftmals der Schlüssel zu erfolgreichem Modellieren Algorithmus 1 Daten in Matrizen oder Vektoren konvertieren Bei Matrizen ist es bequemer, wenn man sie in Vektoren umformt und am Ende wieder zurück Mehrere solcher Messvektoren hier n Messungen der Dimension m werden in einer Matrix D hier spaltenweise angeordnet Den Mittelwertvektor avg bilden: avg i = 1 n 1 n d ij für j = 0,, m 1 j=0 3 Von jedem Messvektor den normalisierten Mittelwertvektor subtrahieren Dies ergibt uns die normalisierte Matrix D norm 4 Kovarianzmatrix von D norm bilden C = 1 n 1 D norm D T norm 5 Eigenwerte E und -vektoren V von C bestimmen 6 Bestimmte Eigenvektoren v wählen, andere nicht, zb die Eigenvektoren wo die Eigenwerte ungleich Null sind Durch die gewählten Eigenvektoren ergibt sich eine neue Matrix Q Um nun einen Datenvektor x zu komprimieren benutzt man y = Q T x Für die Rücktransformation gilt x = Qy 9

10 6 Nicht lineare Gleichungen 61 Bisektion Gegeben: fx stetig in [a, b], wobei fa < 0 und fb > 0 Daraus folgt: s : fs = 0, s [a, b] Gesucht: Eine Nullstelle von fx Bisektionsalgorithmus 1 x := a + b/ /* x = Mitte von Intervall*/ Wenn fx > 0, b := x; sonst a := x; /* Intervall neu */ 3 Wiederhole Algorithmus, falls b a > ε, also die gewünschte Genauigkeit noch nicht erreicht wurde Konvergenz Der Bisketionsalgorithmus konvergiert linear, da der Fehler in jedem Schritt maximal ε < b a 1 beträgt 6 Iterative Methoden Gegeben: Funktion fx Gesucht: Nullstelle von fx Statt für fx = 0 das passende x zu suchen, sucht man eine Funktion F und einen Wert s, so dass F s = s ist Fixpunkt Dann ist fs = 0 Fixpunktiteration Man startet mit einem Startwert x 0 und iteriert bis die vorgegebene Toleranz erreicht ist = Unterschied zwischen zwei x-werten < ε es gelten: x k+1 = F x k F s = s fs = 0 Konvergenz e k+1 F s e k e k : Fehler bei k-ter Iteration = x k s Konvergenzkriterium Konvergenzgeschwindigkeit e k+1 < e k F s < 1 ausgehend von e k+1 e k F s : e k F s k e 0 = ε e 0 : Anfangsfehler Anzahl Schritte k = log 10 ε e 0 log 10 F s Um zu Testen wieviele Schritte, bis eine Stelle: ε = 01, e 0 = 1 e k+1 = F se k + F s e k + F s e 3 k 6 + oe k Wobei oe k Terme höherer Ordnung sind Konvergenzraten linear : F s 0, F s < 1 quadratisch : F s = 0, F s < 1 kubisch : F s = F s = 0, F s < 1 Ein-Punkt Iterationsmethoden mit hoher Konvergenzrate Schlüsselidee: Ersetze fx = 0 durch hx = 0 Dabei wird hx so gewählt, dass hx = 0 einfach analytisch gelöst werden kann 1 Newton-Raphson Iteration Wähle hx = fx k +f x k x x k Taylorentwicklung von fx k+1 um fx k hx = 0 x k+1 = x k fx k f x k Konvergiert quadratisch Halley Iteration x k+1 = x k fx [ k f 1 1 x k Konvergiert kubisch 7 Zellularautomaten NxM Zellen, in einem Rechteck angeordnet: N M fx k f ] 1 x k f x k Abbildung 5: NxM Zellularautomat Zu einem endlosen Band zusammengefügt Jede Zelle hat als Wert entweder 0 oder 1 Algorithmus: Ein Algorithmus gibt Kriterien an, bei welchen eine Zelle ihren Wert ändert, abhängig von ihren acht Nachbarzellen 10

11 8 Numerische Differentiation 81 Konstruktion von Ableitungsformeln durch Taylorexpansion h bezeichnet im Folgenden x = x i 1 x i Vorwärtsdifferenzieren fx i+h = fx i+1 = fx i+hf x i+ h f x i+ h3 6 f x i+oh 4 daraus folgt: fx i+1 fx i h Rückwärtsdifferenzieren = f x i + h f x i + h 6 f x i + oh 3 } {{ } leading error / truncation error fx i h = fx i hf x i + h f x i h3 6 f x i + oh 4 daraus folgt: f x i = fx i fx i 1 h Grad der Genauigkeit + h f x i h 6 f x i + oh 3 Der Exponent von oh α ist der Grad der Genauigkeit der Methode/Formel, also der erste Term in h, welcher unnötigerweise addiert/subtrahiert wird, die obigen Methoden, haben also beide erste Ordnung Höhergradige Approximationen Erhält man durch die Kombination von mehreren Taylorexpansions f i+1 = f i + hf i + h f i f i 1 = f i hf i + h f i f i = fi+1 fi 1 h + h 3 f + h3 6 f i h3 6 f i i + oh 5 + h4 4 f + h4 4 f i + oh 5 i + oh 5 Wobei wir die beiden Taylorexpansions subtrahierten Die Approximation ist nun von zweitem Grad Im Allgemeinen werden höhere Grade erreicht indem man mehr Punkte in die Approximation miteinbezieht f i = f i 8f i 1 + 8f i+1 f i+ 1h + oh 4 Aber Schemas für höhere Grade haben Probleme an den Grenzen, zbsp: Lösungen: f 1 = f 1 8f 0 + 8f f 3 1h + oh 4 1 Benutze Approximationen von tieferem Grad bei den Grenzen Benutze einseitige Approximationen 8 Generelle Technik für die Konstruktion von Finite differences Formeln Idee Kombiniere Taylorexpansionsserien mit Gewichten a i um eine kompakte Schablone für eine maximale Ordnung zu erhalten Taylor Tabelle Ausgehend von: f i+1 = f i + hf i + h f i + f i+ = f i + hf i + h f i + f i f i f i f i a 0 f i a a 1 f i+1 a 1 a 1 h h a 1 a f i+ a a h h a Wir wollen nun f i durch f i, f i+1 und f i+ approximieren f i a k f i+k f i k=0 Es gilt nach Taylorapproximation a k f i+k = 0 3 k=0 a 0 f i + a 1 f i+1 + a f i+ = a 0 + a 1 + a f i + +a 1 h + a hf i + h + a 1 + a h f i 4 Nun setzen wir die rechte Seite von 4 in 3 ein, somit gilt die Gleichung: «f i f ia 0+a 1+a f i1+a 1h+a h f i a h 1 + h a = 0 Somit kommt man auf folgendes Gleichungssystem: Ergibt als Lösungen: Und somit gilt: a 0 + a 1 + a = 0 a 1 h + a h = 1 h a 1 + a h a 0 = 3 h a 1 = 4 h a = 1 h = 0 f i 3f i + 4f i+1 f i+ h 11

12 9 Numerische Integration Da wir die Funktion nur an diskreten Punkten x i kennen, unterteilen wir das Integral in eine Summe von Integralen: 91 Trapezregel I i = I = xi+1 x i n 1 I i i=0 fxdx I i = hfx i+1 + h [fx i fx i+1 ] = h [fx i + fx i+1 ] Für das Integral von f 0 bis f n ergibt sich: n 1 I = I i = h f n 1 f n + f i Fehler i=0 Trapezregel ist 3 Ordnung [oh 3 ] für ein Intervall Für das ganze Intervall ist die Trapezregel Ordnung Trapezregel mit Endkorrekturen Integral von dem Intervall [a, b]: I = h n 1 f i + f i+1 h 1 f b f a + oh 4 i=0 Also 4ter Ordnung 9 Simpsonregel Wir approximieren die Funktion in dem wir eine Parabel fx = Ax + Bx + C benutzen dies braucht 3 Punkte A, B, C I i = xi+ x i fxdx h 3 [fx i + 4fx i+1 + fx i+ ] I = h 3 fx 0 + fx n + 4 n 1,3,5, fx i + n i=,4, Bemerkung: Funktioniert nur, falls n+1 ungerade ist 93 Rechtecksregel Benutze Punkt y i zwischen x i und x i+1 : Dann gilt: I i = y i = 1 [x i+1 + x i ] xi+1 x i fxdx = hfy i fx i Um fy i zu erhalten benutzen wird Taylorexpansion, wobei h = y i x i : fy i = fx i + hf x i + h f x i + h3 6 f x i + oh 4 Fehler Rechtecksregel ist 3 Ordnung [oh 3 ] für ein Intervall 10 Lösen von Differentialgleichungen Probleme: Genauigkeit des numerischen Schemas Stabilität des numerischen Schemas Konsistenz zwischen numersichem & exaktem Für die Konsistenz beim Lösen von Differentialgleichungen wird Genauigkeit und Stabilität benötigt 101 Genauigkeit von finite differences Approximationen Modified wavenumber / Leapfrog Betrachte eine pure harmonische Funktion der Periode L hier wird vereinfacht mit L = 1 gearbeitet Setze fx = e ikx k: wavenumber welche nur die folgenden Werte annehmen kann: k = πn, n = 0, 1,,, N Die Ableitung dieser Funktion: df dx = f = ikf Uns interessiert nun wie ein bestimmtes finite differences Schema diese Ableitung voraussagt: df dx = ik f Wobei k ein für diese FD typische Proportionalität ist, welche wir nun mit dem exakten k vergleichen wollen k ist keine Ableitung! Beispiel: Uns interessiert die Genauigkeit folgender FD: df dx = f j+1 f j 1 j h Substituiere nun für fx = e ikx & fx j = e ikxj wobei man für x j = L N = h j, dabei ist j = 0,, N 1 benutzt Nach einigem Umformen bekommt man dann, dass für k h gilt: πn k h = sin N Dies vergleicht man nun mit der genauen Lösung kh = πn N 1

13 10 Numerische Stabilität Numerische Lösung muss begrenzt sein für Probleme wo die exakte Lösung begrenzt ist Beispiel: dy dt = c y yt = e c t Modell dy dt = λy λ kann nun aber komplex sein: λ = λ R + λ I Für λ R < 0 ist das Problem beschränkt, da dy dt = λ y yt = e λ t Uns interessiert nun für welche λ R, λ I ein bestimmtes FD begrenzt ist A Beispiel von Newton Iteration für NLLS Gegeben die Funktion ft = a 0 + a 1 e bt Wir definieren die Fehlerfunktion f k x = x 1 + x e x3t k y k für jeden der gegebenen Datenpunkte {t k, y k } Für f k können wir nun den Gradienten und die Hessische berechnen In Matlab: gradf k x = [1, e x3t k, x t x3t k k hessf k x = t k e x3t k 0 0 x t k e x3t k d = load ChemDatadat ; ti = d:,1; yi = d:,; x = [ ] ; fs = []; for :0 ee = exp-x3*ti; tee = ti*ee; J = [onessizeti ee -x*tee]; f = x1 + x*ee - yi; s1 = f *tee; s = x*f *ti*tee; H = J *J + [0 0 0; 0 0 -s1; 0 -s1 s]; h = H \ J *f; x = x - h; fs = [fs normf]; end ] T B Beispiel für Principal Component Analysis function Q = get_pcd, k % m is the number of variables, % n is the number of samples [m, n] = sized; % get the averages for each variable avgs = sumd / n; % create the normalized matrix d d = D; for :n d:,i = d:,i - avgs ; end % create the covariance matrix C C = d*d / n-1; % get the eigenvalue/eigenvector % decomposition of C [v, l] = eigc; % return the k columns with the % highest eigenvalues Q = v:,m-k+1:m ; C Hilfestellungen für Fouriertransformation Potenzen von i F und F für n = : i = 1 i = 1 i 3 = i i 3 = i i 4 = 1 i 4 = 1 F = F = i 1 i i 1 i i 1 i i 1 i 13