Algorithmen und Datenstrukturen (für ET/IT)

Transkript

1 Algorithmen und Datenstrukturen (für ET/IT) Sommersemester 2016 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München

2 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen Die LUP-Zerlegung Least Squares Probleme Fast Fourier Transformation 2

3 What is the matrix? Was ist eine Matrix? Anordnung von Zahlen (a ji ) R in einem m n Muster: a 11 a 1n..... =: A a m1 a mn Element des Vektorraumes R m n A R m n Lineare Abbildung f : R n R m mit wobei A m n Matrix. f (x) = Ax 3

4 Beispiel: Anwendung von Matrizen Adjazenzmatrix von Graphen effizienter als Adjazenzlisten für dichte Graphen (viele Kanten) erlaubt analytische Operationen wie Laplace-Operator/Eigenwerte Bilder im Computer: gespeichert als Matrix 4

5 Speicherung von Matrizen Speicherung als sequentielle Liste / Array: row-major: Zeilen werden zuerst durchlaufen a 11 a 12 a 13 a 21 a 22 a 23 [a 11, a 12, a 13, a 21, a 22, a 23, a 31, a 32, a 33 ] a 31 a 32 a 33 column-major: Spalten werden zuerst durchlaufen a 11 a 12 a 13 a 21 a 22 a 23 [a 11, a 21, a 31, a 12, a 22, a 32, a 13, a 23, a 33 ] a 31 a 32 a 33 5

6 Matrix-Operationen Seien A, B R m n mit A = (a ji ), B = (b ji ) und λ R. Addition: a 11 + b 11 a 1n + b 1n A + B =..... a m1 + b m1 a mn + b mn Komplexität: Θ(mn) arithmetische Operationen (FLOPs) Skalarmultiplikation: λa 11 λa 1n λa =..... λa m1 λa mn Komplexität: Θ(mn) arithmetische Operationen (FLOPs) 6

7 Matrix-Operationen (Fortsetzung) Seien A = (a ji ) R m n, x = (x i ) R n und B = (b ji ) R n r. Matrix-Vektor-Multiplikation: a 11 x a 1n x n A x =. a m1 x a mn x n Komplexität: Θ(mn) arithmetische Operationen (FLOPs) Matrix-Matrix-Multiplikation: a 11 b a 1n b n1 a 11 b 1r a 1n b nr A B =..... a m1 b a mn b n1 a m1 b 1r a mn b nr... 7

8 Matrix-Multiplikation n r r m = n m 8

9 Matrix-Multiplikation 2 n r r m = n m 9

10 Matrix-Multiplikation 3 n r r m = n m 10

11 Matrix-Multiplikation: Komplexität Seien A = (a ji ) R n n und B = (b ji ) R n n (quadratisch). a 11 b a 1n b n1 a 11 b 1n a 1n b nn A B =..... a n1 b a nn b n1 a n1 b 1n a nn b nn Komplexität: pro Eintrag: n Multiplikationen, n 1 Additionen insgesamt n 2 Einträge A B also n 3 Multiplikationen und n 2 (n 1) Additionen Komplexität: Θ(n 3 ) arithmetische Operationen (FLOPs) 11

12 Beispiel: Anwendung von Matrix-Multiplikation Wechsel von Koordinaten-Systemen können als Matrix-Vektor-Multiplikation dargestellt werden Matrix heisst hier auch Transformation mehrere Wechsel hintereinander können mittels Matrix-Matrix-Multiplikation zu einer Transformation zusammengefasst werden Beispiel: Augmented Reality Kamera Transformation Welt Transformation Bildschirm 12

13 Matrix-Multiplikation: Strassen-Algorithmus Seien A, B R n n mit n 2er-Potenz (n = 2 k ), n > 1. Divide & Conquer Ansatz zur Matrizen-Multiplikation A, B aufteilen in vier n/2 n/2 Matrizen: ( ) ( ) a11 a A = 12 b11 b, B = 12 a 21 a 22 b 21 b 22 Produkt A B berechnen als: ( ) a11 b A B = 11 + a 12 b 21 a 11 b 12 + a 12 b 22 a 21 b 11 + a 22 b 21 a 21 b 12 + a 22 b 22 a ik b kj ist selbst Matrix-Matrix-Produkt rekursiv aufteilen bis 1 1 Produkt Komplexität: immer noch Θ(n 3 ) 13

14 Strassen-Algorithmus Berechne: q 1 = (a 11 + a 22 ) (b 11 + b 22 ) q 2 = (a 21 + a 22 ) b 11 q 3 = a 11 (b 12 b 22 ) q 4 = a 22 (b 21 b 11 ) q 5 = (a 11 + a 12 ) b 22 q 6 = (a 21 a 11 ) (b 11 + b 12 ) q 7 = (a 12 a 22 ) (b 21 + b 22 ) Dann ist: ( ) q1 + q A B = 4 q 5 + q 7 q 3 + q 5 q 2 + q 4 q 1 + q 3 q 2 + q 6 Komplexität: Θ(n lg 7 ) = Θ(n ) 14

15 Matrix-Matrix-Multiplikation Seien A, B R n n. naiver Algorithmus: Θ(n 3 ) Strassen-Algorithmus (1969): Θ(n ) weniger numerisch stabil als naiver Algorithmus n muss 2er-Potenz sein benötigt deutlich mehr Speicher als naiver Algorithmus Coppersmith-Winograd Algorithmus (1987): O(n ) erst praktikabel für Grössen, die mit heutigen Computern nicht bearbeitet werden können es existieren verbesserte Varianten (2011) mit O(n ) 15

16 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen Die LUP-Zerlegung Least Squares Probleme Fast Fourier Transformation 16

17 Lineare Gleichungen Linear Gleichung Eine lineare Gleichung hat die Form a 1 x 1 + a 2 x a n x n = b, wobei x 1,..., x n R die Unbekannten sind, und die a 1,..., a n, b R Konstanten. Schreibweise mit Skalarprodukt: oder auch a, x = b a T x = b mit a = (a i ) R n, x = (x i ) R n, b R. 17

18 Lineares System Lineares System Ein lineares System bzw. lineares Gleichungssystem ist eine endliche Menge von linearen Gleichungen mit Unbekannten x 1,..., x n R: a 11 x a 1n x n = b 1... a m1 x a mn x n = b m mit Konstanten (a ji ) R m n, (b i ) R m. wir betrachten hier meist den quadratischen Fall mit n Gleichungen und n Unbekannten 18

19 Lineares System Matrix-Schreibweise: a 11 a 1n x 1 b =. a m1 a mn x n b m Kurz-Notation mit Matrix: Ax = b mit A = (a ji ) R m n, b = (b i ) R m und Unbekannten x = (x i ) R n. 19

20 Beispiel: Lineares System Zwei Geraden in der Ebene (R 2 ): (l 1 ) a 1 x + b 1 y = c 1 (a 1, b 1 ) (0, 0) (l 2 ) a 2 x + b 2 y = c 2 (a 2, b 2 ) (0, 0) l 1 l 2 Lösung l 1 l 2 l 1 l2 keine Lösung eine Lösung unendlich viele Lösungen 20

21 Lineares System: Eigenschaften Sei Ax = b lineares System mit A R m n, b R m und x R n. Ein lineares System hat immer entweder keine Lösung, eine Lösung oder unendlich viele Lösungen. Ist m < n, so heißt das lineare System unterbestimmt. Ist m > n, so heißt das lineare System überbestimmt. Wir betrachten im weiteren den Fall m = n (A quadratisch). 21

22 Lineare Systeme: Anwendungen Kalibrierung von Kameras z.b. für Augmented Reality Registrierung von Bilddaten Segmentierung von Bilddaten Objekt-Detektierung und -Tracking Modelle für Finanzmärkte, Populationsbiologie Tomographische Rekonstruktion 22

23 Lösen von linearen Systemen Inverse Matrix Sei A R n n quadratische Matrix. Falls ein B R n n existiert mit AB = BA = I n (wobei I n die n n Einheitsmatrix ist), dann heißt A invertierbar und wir nennen B =: A 1 das Inverse von A. Existiert A 1, so heißt A invertierbar. Ist Ax = b lineares System mit A R n n invertierbar, dann ist x = A 1 b die Lösung des linearen Systems. Diese Lösung ist eindeutig. 23

24 Invertierbarkeit von Matrizen Problem 1: wann ist eine Matrix A R n n invertierbar? man findet explizit ein Inverses A 1 für kleine Matrizen geeignet (z.b. 2 2) det(a) 0 ker(a) = {0} rank(a) = n Ax = 0 hat nur die triviale Lösung x = 0 Problem 2: falls A invertierbar, wie findet man das Inverse A 1? Berechnung mit Gauss-Jordan Elimination Umweg über Zerlegungen von A (z.b. LU-Zerlegung) generell: Berechnung der Inversen meist numerisch nicht stabil 24

25 Ansätze zum Lösen linearer Systeme Gegeben sei lineares System Ax = b mit A R n n, b R n und x R n. direktes Lösen über Inverse A 1 numerisch oft nicht stabil sehr effizient (besonders falls für mehrere b gelöst wird) Lösen über Zerlegung von A (z.b. A = LU) numerisch stabil sehr effizient (besonders falls für mehrere b gelöst wird) iterative Algorithmen, schrittweise Annäherung an Lösung besonders geeignet für sehr grosse n auch geeignet falls keine Lösung existiert, berechnet dann z.b. Approximation min Ax b

26 Gauss Elimination Sei Ax = b lineares System mit A R n n, b R n und x R n. Gauss-Elimination: Überführung der Matrix A in Dreiecksform durch elementare Zeilenumformungen Komplexität: Θ(n 3 ) Gauss-Jordan-Elimination: Überführung der Matrix A in Diagonalform durch elementare Zeilenumformungen Komplexität: Θ(n 3 ) Elementare Zeilenumformungen: Vielfaches einer Zeile zu einer anderen Zeile addieren zwei Zeilen vertauschen Vielfaches einer Zeile berechnen für lineare Systeme: Gauss-Elimination auf erweiterter Matrix a 11 a 1n b 1 (A b) =... a n1 a nn b n 26

27 Gauss Elimination: Beispiel G 3 +=G = 1 2x + y z = 8 (G 1 ) 3x y + 2z = 11 (G 2 ) 2x + y + 2z = 3 (G 3 ) G 2+= 3 2 G 1 = G 3+= 4G = G 1 /2, G 2 2, G 3 ( 1) = Lösung nun durch Rücksubstitution: z = 1, y = 3 und x = 2 27

28 Berechnung der Inversen mit Gauss-Jordan Elimination Sei A R n n. Bilde erweiterte Matrix a 11 a n1 1 0 (A I n ) = a n1 a nn 0 1 wobei I n die n n Identitätsmatrix ist. Führe Gauss-Jordan Elimination für A aus (linker Teil) bis auf I n reduziert, repliziere elementare Zeilenumformungen für I n (rechter Teil). Am Ende entspricht rechter Teil A 1. 28

29 Günstige Matrix-Formen Sei Ax = b lineares System mit A R n n, x, b R n. A diagonal: Lösung kann abgelesen werden a x = b 0 a nn A obere Dreiecksmatrix: Lösung durch Rückwärts-Substitution a 11 a 1n.... x = b 0 a nn A untere Dreiecksmatrix: Lösung durch Vorwärts-Substitution a x = b a n1 a nn 29

30 Rückwärts-Substitution Lineares System in oberer Dreiecksform: a 11 x 1 + a 21 x a 1,n 1 x n 1 + a 1n x n = b 1 a 22 x a 2,n 1 x n 1 + a 2n x n = b 2 a n 1,n 1 x n 1 + a n 1,n x n = b n 1. a n,n x n = b n Rückwärts nacheinander nach x n, x n 1,..., x 1 auflösen: x i = b i n a ij x j /a ii j=i+1 Aufwand: n 2 arithmetische Operationen (FLOPs) 30

31 Vorwärts-Substitution Lineares System in unterer Dreiecksform: a 11 x 1 = b 1 a 21 x 1 + a 22 x 2 = b 2. a n 1,1 x 1 + a n 1,2 x a n 1,n 1 x n 1 = b n 1 a n1 x 1 + a n2 x a n,n 1 x n 1 + a nn x n = b n Vorwärts nacheinander nach x 1, x 2,..., x n auflösen: i 1 x i = b i a ij x j /a ii Aufwand: n 2 FLOPs j=1 31

32 Zerlegungen von Matrizen: Cholesky Cholesky Zerlegung: Sei A R n n symmetrisch (A T = A) und positiv definit ( x, Ax > 0 für alle x R n, x 0). Dann gibt es eine untere Dreiecksmatrix L R n n mit strikt positiven Diagonalelementen, so daß Aufwand: n3 3 FLOPs A = LL T. Lösung von Ax = b: betrachte LL T x = b und löse Lz = b mit Vorwärts-Substitution nach z auf löse L T x = z mit Rückwärts-Substitution nach x auf 32

33 Zerlegungen von Matrizen: QR QR Zerlegung: Sei A R n n invertierbar. Dann gibt es eine orthogonale Matrix Q R n n (Q 1 = Q T ) und eine obere Dreiecksmatrix R R n n mit positiven Diagonaleinträgen, so daß Aufwand: 2n3 3 FLOPs A = QR. Lösung von Ax = b: löse Rx = Q T b mit Rückwärts-Substitution nach x auf 33

34 Zerlegungen von Matrizen: LUP LUP Zerlegung: Sei A R n n invertierbar. Dann gibt es eine untere Einheitsdreiecksmatrix L R n n, eine obere Dreiecksmatrix U R n n sowie eine Permutationsmatrix P R n n, so daß PA = LU. Aufwand: 2n3 3 FLOPs Lösung von Ax = b: betrachte PAx = Pb LUx = Pb, löse Lz = Pb mit Vorwärts-Substitution nach z auf löse Ux = z mit Rückwärts-Substitution nach x auf 34

35 Zerlegungen von Matrizen: SVD Singular Value Decomposition (SVD): Sei A R m n. Dann existiert eine Matrix U R m n mit U T U = I n, eine orthogonale Matrix V R n n (V 1 = V T ) sowie eine diagonale Matrix Σ = diag(σ 1,..., σ n ) R n n mit nicht-negativen Diagonalelementen in monoton fallender Reihenfolge σ 1 σ 2... σ n 0, so daß A = UΣV T. Die σ i heißen Singulärwerte von A. Aufwand: 2mn 2 + 2n 3 FLOPs (kann je nach Implementation höher sein) Lösen von Ax = b: (funktioniert nur falls alle σ i 0!) x = A 1 b = (UΣV T ) 1 b = V Σ 1 U T b 35

36 Anwendungs-Beispiel: Tomographie Original Messungen Gauss- Elimination QR Zerlegung LUP Zerlegung SVD 36

37 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen Die LUP-Zerlegung Least Squares Probleme Fast Fourier Transformation 37

38 Wiederholung: LUP Zerlegung LUP Zerlegung: Sei A R n n invertierbar. Dann gibt es eine untere Einheitsdreiecksmatrix L R n n, eine obere Dreiecksmatrix U R n n sowie eine Permutationsmatrix P R n n, so daß PA = LU. Aufwand: 2n3 3 FLOPs Lösung von Ax = b: betrachte PAx = Pb LUx = Pb, löse Lz = Pb mit Vorwärts-Substitution nach z auf löse Ux = z mit Rückwärts-Substitution nach x auf 38

39 LUP-Zerlegung: Beispiel Lineares Gleichungssystem: mit LUP Zerlegung: Ax = b, A = 3 4 4, b = PA = LU mit L = 0, 2 1 0, U = 0 0, 8 0, 6, P = , 6 0, ,

40 LUP-Zerlegung: Beispiel (Forts.) statt Ax = b löse LUx = Pb Schritt 1: löse Lz = Pb (Vorwärts-Substitution): z , z 2 = 3 = z = 1, 4 0, 6 0, 5 1 z 3 7 1, 5 Schritt 2: löse Ux = z (Rückwärts-Substitution): x 1 8 1, 4 0 0, 8 0, 6 x 2 = 1, 4 = x = 2, , 5 x 3 1, 5 0, 6 40

41 Die LU und LUP Zerlegung LU Zerlegung: Sei A R n n invertierbar und sei A diagonal dominant (d.h. a ii i j a ij für alle i = 1,..., n). Dann gibt es eine untere Einheitsdreiecksmatrix L R n n und eine obere Dreiecksmatrix U R n n mit LUP Zerlegung: Sei A R n n invertierbar. A = LU. Dann gibt es eine untere Einheitsdreiecksmatrix L R n n, eine obere Dreiecksmatrix U R n n sowie eine Permutationsmatrix P R n n mit PA = LU. 41

42 Berechnung der LU Zerlegung 1 Berechnung der LU Zerlegung mit Gauss Elimination Rekursive Strategie: Fall n = 1: L = (1), U = A. Fall n > 1: a 11 a 21 a 1n a 21 a 22 a 2n A = a n1 a n2 a nn ( ) a11 w = T v A mit v, w R n 1 und A R n 1 n 1. 42

43 Berechnung der LU Zerlegung 2 Faktorisierung von A: ( a11 w A = T ) v A ( 1 0 = v/a 11 I n 1 ) ( a11 w T 0 A vw T /a 11 wobei I n 1 die n 1 n 1 Einheitsmatrix ist. ), A vw T /a 11 heißt Schur-Komplement von A bezüglich a 11 Falls A eine LU Zerlegung hat, hat auch das Schur-Komplement eine LU Zerlegung Annahme: A vw T /a 11 = L U mit L R n 1 n 1 untere Einheitsdreiecksmatrix, U R n 1 n 1 obere Dreiecksmatrix. 43

44 Berechnung der LU Zerlegung 3 Faktorisierung von A zusammen mit Annahme ergibt: ( ) ( 1 0 a11 w A = T ) v/a 11 I n 1 0 A vw T /a 11 ( ) ( 1 0 a11 w = T ) v/a 11 I n 1 0 L U ( ) ( 1 0 a11 w = T ) v/a 11 L 0 U = LU dann Rekursion für A vw T /a 11 = L U Vorsicht: a 11 0 ist notwendig, ebenso für Rekursionsschritte ok, da A diagonal dominant 44

45 Algorithmus LU Zerlegung Input: Matrix A R n n Output: Matrizen L, U R n n LU-Zerlegung(A): U = 0; L = I n ; for k = 1 to n { u kk = a kk ; for i=k + 1 to n { l ik = a ik /u kk ; // entspricht v k } u ki = a ki ; // entspricht w T i } for i = k + 1 to n { for j = k + 1 to n { a ij = a ij l ik u kj ; } } Rekursion wurde durch Iteration ersetzt Aufwand: Θ(n 3 ) Optimierung: falls A nicht weiter benötigt wird, können L, U direkt in A abgespeichert werden (in place) L hat nur 1 auf der Diagonalen, wird nicht explizit gespeichert Diagonale von U in Diagonale von A Modifikation: ersetze l, u durch a 45

46 Beispiel-Ablauf: LU Zerlegung LU-Zerlegung(A) mit in place Optimierung: A k=1 k=2 k=3 Ergebnis:

47 LU vs. LUP Zerlegung Problem bei LU Zerlegung: Division durch a ii a ii kann 0 sein (vermieden durch A diagonal dominant) a ii kann sehr klein sein, verursacht numerische Instabilitäten Lösung: vertauschen von Zeilen, so daß a ii 0 und gross ist elementare Zeilenumformung, ändert also Lösung von Gleichungssystem nicht dargestellt als Permutationsmatrix P R n n so daß PA = LU also LUP Zerlegung oder LU Zerlegung mit partiellem Pivoting 47

48 Permutationsmatrizen Permutationsmatrix P R n n heißt Permutationsmatrix, falls sie in jeder Zeile und jeder Spalte jeweils eine 1 enthält und sonst nur 0. Beispiel: Anwendung: P = x 1 x 2 Px = x 2 = x x 3 x 1 48

49 Permutationsmatrizen Ist A R n n und P R n n Permutationsmatrix, dann PA ist A mit vertauschten Zeilen AP ist A mit vertauschten Spalten Beispiel: A = 4 5 6, P = PA = 7 8 9, AP = Implementation: oft einfacher als Feld π statt als Matrix P π[i] = j bedeutet P hat 1 in Zeile i, Spalte j 49

50 Berechnung der LUP Zerlegung 1 LUP Zerlegung ist LU Zerlegung mit Pivoting-Strategie Pivoting-Strategie: vertausche Zeilen, so daß Element mit höchstem Absolutwert an Stelle von a ii steht keine Bedingung A diagonal dominant mehr nötig A invertierbar sichert, daß keine 0 Spalten existieren Rekursiver Ansatz für n > 1: Q Permutationsmatrix, so daß a k1 Pivot-Element ( ) ( ) ( ) ak1 w QA = T 1 0 ak1 w v A = T v/a k1 I n 1 0 A vw T /a k1 mit v, w R n 1, A R n 1 n 1 und v = (a 21, a 31,..., a k 1,1, a 11, a k+1,1,..., a n1 ) T w T = (a k2, a k3,..., a kn ) 50

51 Berechnung der LUP Zerlegung 2 Annahme: mit P Permutationsmatrix Mit Permutationsmatrix P (A vw T /a k1 ) = L U P = ( ) P Q folgt PA = = = ( ) P QA ( ) ( ) ( ak1 w T ) 0 P v/a k1 I n 1 0 A vw T /a k1 ( ) ( 1 0 ak1 w T ) P v/a k1 P 0 A vw T /a k1 51

52 Berechnung der LUP Zerlegung 3 ( ) ( 1 0 ak1 w PA = T ) P v/a k1 P 0 A vw T /a k1 ( ) ( 1 0 ak1 w = T ) P v/a k1 I n 1 0 P (A vw T /a k1 ) ( ) ( 1 0 ak1 w = T ) P v/a k1 I n 1 0 L U ( ) ( 1 0 ak1 w = T ) P v/a k1 L 0 U = LU 52

53 Algorithmus LUP Zerlegung Input: Matrix A R n n Output: Matrizen L, U direkt in A, Feld π LUP-Zerlegung(A): π = Feld Länge n; for i = 1 to n { π[i] = i; } for k = 1 to n { p = 0; // Pivot-Element for i = k to n { if ( a ik > p) p = a ik ; k = i; } if (p == 0) error( Matrix singulär ); vertausche π[k] mit π[k ]; for i = 1 to n vertausche a ki mit a k i; for i = k + 1 to n { a ik = a ik /a kk ; for j = k + 1 to n a ij = a ij a ik a kj ; } } Rekursion wurde durch Iteration ersetzt Variante mit in place Optimierung Aufwand: Θ(n 3 ) extra Aufwand Pivoting nur quadratisch 53

54 Beispiel-Ablauf: LUP Zerlegung π A π π , ,6 0 1,6-3, ,6 1 0,4-2 0,4-0,2 k= , , ,2-1 4,2-0, ,6 0 1,6-3,2 1 0,4-2 0,4-0,2 1 0,4-2 0,4-0,2 1 0,4-2 0,4-0,2 2 0,6 0 1,6-3,2 2 0,6 0 1,6-3,2 k=2 4-0,2-1 4,2-0,6 4-0,2-1 4,2-0,6 4-0,2 0,5 4-0, ,4-2 0,4-0,2 1 0,4-2 0,4-0,2 1 0,4-2 0,4-0,2 2 0,6 0 1,6-3,2 4-0,2 0,5 4-0,5 4-0,2 0,5 4-0,5 k=3 4-0,2 0,5 4-0,5 2 0,6 0 1,6-3,2 2 0,6 0 0,4-3 54

55 Beispiel-Ablauf: LUP Zerlegung 2 Ergebnis von LUP-Zerlegung: ,4-2 0,4-0,2-0,2 0,5 4-0,5 0,6 0 0,4-3 bzw. PA = LU mit , = , , , 4 0, 2 0, 2 0, , 5 0, 6 0 0,

56 Anwendung der LU(P) Zerlegung Lösen von linearen System Ax = b mittels: PAx = Pb LUx = Pb löse Lz = Pb mit Vorwärts-Substitution nach z auf löse Ux = z mit Rückwärts-Substitution nach x auf Berechen von Inverser von A R n n Matrix-Gleichung AX = I n mit X = (X 1,..., X n ) R n n berechne PA = LU löse AX i = e i nach X i mit LUP-Zerlegung für i = 1,..., n (e i i-ter Einheitsvektor) am Ende: X = A 1 Aufwand: Θ(n 3 ) 56

57 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen Die LUP-Zerlegung Least Squares Probleme Fast Fourier Transformation 57

58 Beispiel-Problem: Geschwindigkeit vs. Fahrstrecke y (Fahrstrecke in km) x (Durchschnitts Geschwindigkeit in km/h) 58

59 Beispiel-Problem: Geschwindigkeit vs. Bremsweg y (Bremsweg in m) x (Geschwindigkeit in km/h) 59

60 Problemstellung Least Squares Gegeben: Datenreihe mit m Datenpunkten (x 1, y 1 ), (x 2, y 2 ),..., (x m, y m ) mit x j, y j R für j = 1,..., m Erwartung: y j enthalten Meßfehler (j = 1,..., m) Gesucht: Funktion F : R R so daß Approximationsfehler η j = F (x j ) y j für alle j = 1,..., m möglichst gering Annahme: F lässt sich darstellen als Summe von Basisfunktionen f i, F (x) = n c i f i (x) i=1 60

61 Wahl der Basisfunktionen Wahl der Basisfunktionen f i für F : typische Wahl: f i (x) = x i 1, dann F (x) = c 1 + c 2 x + c 3 x c n x n 1 (Polynom in x vom Grad n 1) auch oft mit n = 2, dann F (x) = c 1 + c 2 x (Gerade) auch genannt lineare Regression im Fall von Tomographie: Pixel- oder Voxel-Basisfunktionen 61

62 Matrix-Notation für die verschiedenen Datenpunkte x j, j = 1,..., m, kann F geschrieben werden als: F (x 1 ) f 1 (x 1 ) f n (x 1 ) c 1. =... F (x m ) f 1 (x m ) } {{ f n (x m ) c n }}{{} =:A =:c mit A R m n, c R n. untersucht wird dann der Approximationsfehler η η = Ac y mit η = (η 1,..., η m ) R m, y = (y 1,..., y m ) R m. 62

63 Daten mit Meßfehler ist m = n und A invertierbar, so kann direkt gelöst werden Ac y = 0 Problem: selbst wenn A invertierbar ist, y enthält Meßfehler Lösung F ist dann meist nicht die gewünschte Lösung passt sich zu sehr an Ausreisser an besser: mehr Datenpunkte, m >> n 63

64 Minimierung des Approximationsfehlers zur Minimierung des Approximationsfehlers kann z.b. die Norm η betrachtet werden m η = j=1 zur Vereinfachung betrachtet man üblicherweise η 2 j 1 2 η 2 = Ac y 2 = ( m n ) 2 a ji c i y j j=1 i=1 daher der Name: Methode der kleinsten Quadrate oder Least squares 64

65 Least-squares Lösung Least-squares Lösung Sei A R m n, y R m mit m n. Eine Lösung c R n des Minimierungs-Problems min c Ac y or min c Ac y 2 heißt Least-squares Lösung. Anwendungs-Beispiele: Tracking von Objekten mit Kameras Kalibrierung von Kameras, Robotern, etc. Iterative Rekonstruktion für Tomographie 65

66 Normalengleichung Berechnung der Least-squares Lösung mit Standard-Technik Ableitung gleich null setzen hier: partielle Ableitungen für k = 1,..., n ( η 2 m n ) = 2 a ji c i y j a jk = 0 c k daraus folgt umgeformt ergibt sich j=1 i=1 (Ac y) T A = 0 A T (Ac y) = 0 A T Ac = A T y auch genannt die Normalengleichung. 66

67 Normalengleichung Normalengleichung Sei A R m n, y R m mit m n. c R n ist eine Least-squares Lösung von min c Ac y genau dann, wenn die Normalengleichung gilt, A T Ac = A T y. Insbesondere ist die Normalengleichung lösbar, falls rank(a) = n. die Matrix A T A ist immer symmetrisch falls rank(a) = n ist A T A auch positiv definit und damit invertierbar die Lösung der Normalengleichung ist dann c = ( (A T A) 1 A T ) y 67

68 Pseudoinverse Pseudoinverse Sei A R m n mit m n und rank(a) = n. Die Matrix A + := (A T A) 1 A T heißt Pseudoinverse von A (auch Moore-Penrose Inverse genannt). die Pseudoinverse verallgemeinert das Konzept der Inversen für nicht-quadratische Matrizen ist A invertierbar, dann gilt A + = A 1 68

69 Algorithmen zur Berechnung der Pseudoinversen 1 A + := (A T A) 1 A T Option 1: QR Methode berechne QR-Zerlegung A = QR, dann A T A = (QR) T (QR) = R T Q T QR = R T R löse die Matrix-Gleichung nach A + A + = (A T A) 1 A T (A T A)A + = A T (R T R)A + = A T mittels Vorwärts- und Rückwärts-Substitution. 69

70 Algorithmen zur Berechnung der Pseudoinversen 2 A + := (A T A) 1 A T Option 2: SVD Methode berechne SVD-Zerlegung A = UΣV T, dann berechne (A T A) 1 A T A = V ΣU T UΣV T = V Σ 2 V T (A T A) 1 = V Σ 2 + V T, wobei Σ 2 + = diag(1/σ1 2,..., 1/σ2 k, 0,..., 0) mit k größter Index so daß σ k > 0 berechne A + A + = (A T A) 1 A T = V Σ 2 + V T V ΣU T = V Σ 1 + U T 70

71 Beispiel: Least squares Problem 1 Gegeben: 5 Datenpunkte (x 1, y 1 ) = ( 1, 2), (x 2, y 2 ) = (1, 1), (x 3, y 3 ) = (2, 1) (x 4, y 4 ) = (3, 0), (x 5, y 5 ) = (5, 3) Gesucht: quadratisches Polynom F (x) = c 1 + c 2 x + c 3 x 2 71

72 Beispiel: Least squares Problem 2 Aufstellen der Matrix A: 1 x 1 x x 2 x2 2 A = 1 x 3 x3 2 1 x 4 x4 2 = x 5 x Berechnen der Pseudoinversen A + : 0, 500 0, 300 0, 200 0, 100 0, 100 A + = 0, 388 0, 093 0, 190 0, 193 0, 088 0, 060 0, 036 0, 048 0, 036 0, 060 Lösen nach c: 1, 200 c = 0, 757 0,

73 Beispiel: Least squares Problem 3 Lösung: F (x) = 1, 200 0, 757x + 0, 214x

74 Anwendungsbeispiel Tomographie raw sinogram smoothed sinogram fitted line samples corrected sinogram

75 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen Die LUP-Zerlegung Least Squares Probleme Fast Fourier Transformation 75

76 Fourier Transformation Signale f : R R sind im Zeitbereich jedem Zeitpunkt wird ein Wert (z.b. Amplitude) zugeordnet Beispiele: Audio, Video, Bilder Fourier-Transformation führt Signal in Frequenzbereich über betrachte Signal als Überlagerung von Sinuskurven Anwendungen: Filterung von bestimmten Frequenzen Datenkompression, z.b. Audio: MP3 Video: MPEG Bilder: JPEG Bild- und Signalverarbeitung überaus nützlich, und effizient dank FFT (Fast Fourier Transformation) 76

77 Polynome Polynome Sei n N. Eine Funktion A : R R der Form A(x) = a 0 + a 1 x a n 1 x n 1 heißt Polynom in x vom Grad n 1. Hierbei heißen die a i R, i = 0,..., n 1, Koeffizienten von A, a n 1 0. A hat Gradschranke n, falls der Grad von A zwischen 0 und n 1 liegt. Summen-Notation für A: n 1 A(x) = a j x j j=0 Die Koeffizientendarstellung von A ist der Vektor a = (a 0, a 1,..., a n 1 ) T R n 77

78 Operationen auf Polynomen Seien A, B Polynome. Auswertung von Polynom: berechne für x 0 R A(x 0 ) Summe von Polynomen: berechne Polynom C für x R mit C(x) = A(x) + B(x) Multiplikation von Polynomen: berechne Polynom C für x R mit C(x) = A(x)B(x) 78

79 Auswertung von Polynomen Sei A Polynom mit Koeffizientendarstellung a = (a 0,..., a n 1 ). Auswertung von A an x 0 R mit Horner-Schema: A(x 0 ) = a 0 + x 0 (a 1 + x 0 (a x 0 (a n 2 + x 0 (a n 1 )) )) Aufwand: Θ(n) Beispiel: A(x) = 5x 2 3x + 4 an Stelle x 0 = 2: A(x 0 ) = 4 + x 0 ( 3 + x 0 (5)) = 4 + 2( 3 + 2(5)) = 18 79

80 Addition von Polynomen Seien A, B Polynome mit Gradschranke n N. Koeffizientendarstellungen a = (a 0,..., a n 1 ), b = (b 0,..., b n 1 ) Summe A(x) + B(x) ist Polynom C mit Gradschranke n, n 1 C(x) = c j x j j=0 mit c j = a j + b j für j = 0,..., n 1. Aufwand: Θ(n) Beispiel: A(x) = 5x 2 3x + 4, B(x) = 4x 2, dann ist C(x) = 5x 2 + x

81 Multiplikation von Polynomen Seien A, B Polynome mit Gradschranke n N. Koeffizientendarstellungen a = (a 0,..., a n 1 ), b = (b 0,..., b n 1 ) Produkt A(x)B(x) ist Polynom C mit Gradschranke 2n 1, mit c j = Aufwand: Θ(n 2 ) C(x) = 2n 2 j=0 c j x j j a k b j k für j = 0,..., 2n 2 k=0 Beispiel: A(x) = 5x 2 3x + 4, B(x) = 4x 2, dann sind c 0 = 8, c 1 = 22, c 2 = 22, c 3 = 20, c 4 = 0 81

82 Faltung Seien A, B Polynome mit Gradschranke n N. Koeffizientendarstellung a = (a 0,..., a n 1 ), b = (b 0,..., b n 1 ) Sei c = (c 0,..., c 2n 2 ) die Koeffizientendarstellung des Produktpolynoms C(x) = A(x)B(x) mit c j = j a k b j k k=0 c wird auch Faltung der Vektoren a, b genannt, c = a b Faltung ist sehr häufige Operation auf Signalen (z.b. Anwendung von Filtern) 82

83 Stützstellendarstellung Stützstellendarstellung von Polynom Sei A Polynom mit Gradschranke n N. Die Stützstellendarstellung von A ist ein Menge von n Stützstellenpaaren { (x0, y 0 ), (x 1, y 1 ),..., (x n 1, y n 1 ) } mit x k paarweise verschieden für k = 0,..., n 1 sowie y k = A(x k ). Die Stützstellendarstellung ist nicht eindeutig jede Menge von verschiedenen Punkten x 0,..., x n 1 kann verwendet werden 83

84 Auswertung Sei A Polynom mit Gradschranke n N mit Koeffizienten a = (a 0,..., a n 1 ). Konversion von Koeffizientendarstellung in Stützstellendarstellung erfolgt mittels Auswertung: wähle Stützstellen x 0,..., x n 1 werte A(x k ) aus für k = 0,..., n 1 Auswertung von n Stützstellen mit Horner-Schema: Θ(n 2 ) später: Auswertung mittels FFT: Θ(n log n) 84

85 Interpolation Eindeutigkeit interpolierendes Polynom Für jede Menge von n Stützstellenpaaren { (x0, y 0 ),..., (x n 1, y n 1 ) } mit paarweise verschiedenen x k existiert genau ein Polynom A(x) mit Gradschranke n, so daß gilt y k = A(x k ) für k = 0,..., n 1. Konversion von Stützstellendarstellung in Koeffizientendarstellung heißt Interpolation. 85

86 Interpolation: Beweisidee Ähnlich zu Least Squares Problemen kann Matrix-Gleichung aufgestellt werden: 1 x 0 x0 2 x n 1 0 a 0 y =. 1 x n 1 xn 1 2 xn 1 n 1 a n 1 y n 1 }{{}}{{}}{{} =:V (x 0,...,x n 1 ) =:a =:y V (x 0,..., x n 1 ) heißt Vandermonde-Matrix da x k paarweise verschieden ist det V (x 0,..., x n 1 ) = (x k x j ) 0 0 j<k n 1 also ist V (x 0,..., x n 1 ) invertierbar und a = V (x 0,..., x n 1 ) 1 y ist die Koeffizientendarstellung von A. 86

87 Interpolation: Algorithmen Sei A Polynom mit n Stützstellenpaaren{(x 0, y 0 ),..., (x n 1, y n 1 )} Berechnung mit LUP-Zerlegung: a = V (x 0,..., x n 1 ) 1 y Aufwand: Θ(n 3 ) Berechnung mit Lagrange-Interpolationsformel: Aufwand: Θ(n 2 ) n 1 j k A(x) = y (x x j) k j k (x k x j ) k=0 später: Berechnung mit IFFT: Θ(n log n) 87

88 Addition von Polynomen Seien A, B Polynome mit Gradschranke n N. Stützstellendarstellung für A: {(x 0, y 0 ),..., (x n 1, y n 1 )} Stützstellendarstellung für B mit selben x k : {(x 0, y 0),..., (x n 1, y n 1)} Stützstellendarstellung für C(x) = A(x) + B(x): {(x 0, y 0 + y 0),..., (x n 1, y n 1 + y n 1)} Aufwand: Θ(n) 88

89 Multiplikation von Polynomen Seien A, B Polynome mit Gradschranke n N. Produkt C(x) = A(x)B(x) hat Gradschranke 2n benötigt 2n Stützstellen erweitere Darstellung von A, B auf 2n Stützstellen vor Multiplikation Stützstellendarstellungen für A, B: {(x 0, y 0 ),..., (x 2n 1, y 2n 1 )} {(x 0, y 0),..., (x 2n 1, y 2n 1)} Stützstellendarstellung für C(x)=A(x)B(x): Aufwand: Θ(n) {(x 0, y 0 y 0),..., (x 2n 1, y 2n 1 y 2n 1)} 89

90 Effiziente Multiplikation von Polynomen Koeffizientendarstellung A, B Multiplikation Zeit: Θ(n 2 ) Koeffizientendarstellung C = AB Auswertung Zeit: Θ(n log n) Interpolation Zeit: Θ(n log n) Stützstellendarstellung A, B Multiplikation Zeit: Θ(n) Stützstellendarstellung C = AB Multiplikation von Polynomen in Koeffizientendarstellung via Stützstellendarstellung: Θ(n log n) Auswertung und Interpolation mit FFT/IFFT 90

91 Komplexe Einheitswurzeln Komplexe Einheitswurzeln Sei n N. Die komplexe n-te Einheitswurzel ist eine Zahl ω C mit ω n = 1. Es gibt n komplexe n-te Einheitswurzeln: e 2πik/n für k = 0,..., n 1. n-te Haupteinheitswurzel Die Zahl ω n C mit heißt n-te Haupteinheitswurzel. ω n = e 2πi/n Die anderen komplexen n-ten Einheitswurzeln sind Potenzen von ω n. 91

92 Beispiel: die komplexen 8-ten Einheitswurzeln ω 8 2 i ω 8 3 ω 8 1 ω ω 8 0 = ω ω 8 5 ω 8 7 ω 8 6 -i ω 8 = e 2πi/8 92

93 Diskrete Fourier Transformation Diskrete Fourier Transform Sei A Polynom mit Gradschranke n mit Koeffizienten a = (a 0,..., a n 1 ), n 1 A(x) = a j x j. Die Auswertung von A an den Stellen ωn, 0 ωn, 1..., ωn n 1, d.h. j=0 n 1 y k = A(ωn) k = a j ωn kj für k = 0,..., n 1, heißt Diskrete Fourier Transformation des Koeffizientenvektors a. Kurz notiert auch als j=0 y = DFT n (a) mit y = (y 0,..., y n 1 ). 93

94 Diskrete Fourier Transformation Aufwand der DFT: Θ(n 2 ) zur Multiplikation von Polynomen benötigen wir tatsächlich 2n Koeffizienten statt n Zur effizienten Berechnung der DFT verwenden wir einen Divide & Conquer Ansatz FFT 94

95 Eigenschaften komplexer Einheitswurzeln Halbierungslemma Sei n N gerade Zahl. Dann gilt für k = 0,..., n 1 (ωn) k 2 = ωn/2 k = ( ωn k+n/2 ) 2. Beweis-Idee: Es ist Ausserdem: (ω k n) 2 = ( e 2πik/n) 2 = ( e 2πi 2/n ) k = ω k n/2 ( k+n/2) 2 ω n = ω 2k+n n = ωn 2k ωn n = ωn 2k = (ωn) k 2 95

96 DFT mit Divide and Conquer 1 Sei A Polynom mit Koeffizienten a = (a 0,..., a n 1 ), n N. Annahme: n sei eine Zweier-Potenz (n = 2 m ) Divide-Schritt: teile A auf entlang Koeffizienten mit geradem und ungeradem Index in A [0] und A [1] : A [0] (x) = a 0 + a 2 x + a 4 x a n 2 x n/2 1 A [1] (x) = a 1 + a 3 x + a 5 x a n 1 x n/2 1 A [0] und A [1] haben Gradschranke n/2 Conquer-Schritt: es gilt A(x) = A [0] (x 2 ) + xa [1] (x 2 ) 96

97 DFT mit Divide and Conquer 2 Auswertung von A(x) für x = ωn, 0 ωn, 1..., ωn n 1 also berechnet als: Divide: werte A [0] und A [1] mit Gradschranke n/2 aus an (ω 0 n) 2, (ω 1 n) 2,..., (ω n 1 n ) 2 Laut Halbierungslemma sind das nur n/2 verschiedene Einheitswurzeln! Rekursion: weitere Aufteilung der Polynome in kleinere Probleme Conquer: führe Ergebnisse zusammen A(x) = A [0] (x 2 ) + xa [1] (x 2 ) Der Divide Schritt halbiert also (gemäß Halbierungslemma) die Problemgrösse, und eine DFT n wird mittels 2 DFT n/2 berechnet. 97

98 Algorithmus: FFT (rekursiv) Input: Vektor a = (a 0,..., a n 1 ) T R n, n N Zweier-Potenz Output: DFT n (a) FFTrekursiv(a): 1 if (n == 1) return a; 2 ω n = e 2πi/n ; 3 ω = 1; 4 a [0] = (a 0, a 2, a 4,..., a n 2 ); 5 a [1] = (a 1, a 3, a 5,..., a n 1 ); 6 y [0] = FFTrekursiv(a [0] ); // divide 7 y [1] = FFTrekursiv(a [1] ); 8 for k = 0 to n/2 1 { // conquer 9 y k = y [0] k + ωy [1] k ; 10 y k+n/2 = y [0] k ωy [1] k ; 11 ω = ωω n ; // ω = ω k n 12 } 13 return y; 98

99 FFT (rekursiv): Korrektheit und Laufzeit 1 Zeile 1: DFT von einem Element ist das Element selbst, y 0 = a 0 ω 0 1 = a 0 1 = a 0 Zeilen 6/7: wegen Halbierungslemma ist y [0] k y [1] k = A [0] (ω k n/2 ) = A[0] (ω 2k n ) = A [1] (ω k n/2 ) = A[1] (ω 2k n ) Zeile 9: berechnet y 0, y 1,..., y n/2 1 da y k = y [0] k + ωny k [1] k = A [0] (ωn 2k ) + ωna k [1] (ωn 2k ) = A(ωn) k 99

100 FFT (rekursiv): Korrektheit und Laufzeit 2 Zeile 10: berechnet y n/2, y n/2+1,..., y n 1 da da ω n/2 n y k+n/2 = y [0] k ωny k [1] k = y [0] k + ωn k+n/2 y [1] k = 1 und damit ω k+n/2 n y k+n/2 = A [0] (ωn 2k ) + ωn k+n/2 A [1] (ω 2k da ω 2k+n n = A [0] (ω 2k+n n = ω 2k n. also tatsächlich y = DFT n (a) ) + ω k+n/2 n = ω k n, und somit weiter n ) A [1] (ω 2k+n Laufzeit: ohne Rekursion Θ(n), Rekursionsgleichung: T (n) = 2T (n/2) + Θ(n) = Θ(n log n) n ) = A(ω k+n/2 n ) 100

101 Interpolation mit komplexen Einheitswurzeln Sei A Polynom mit Koeffizienten a = (a 0,..., a n 1 ). DFT lässt sich auch als Matrix-Gleichung mit Vandermonde-Matrix V n mit ω n -Potenzen als Einträge: y 0 y 1. y n 1 } {{ } =y ω n ωn 2 ω n 1 n =.... } 1 ωn n 1 ωn 2(n 1) {{ ω n (n 1)(n 1) } =:V n a 0 a 1. a n 1 } {{ } =a Inverse Operation a = Vn 1 y entspricht Interpolation, auch geschrieben als a = IDFT n (y) 101

102 Inverse Diskrete Fourier Transformation Es ist also IDFT n (y) = Vn 1 y V 1 n hat Einträge ωn kj /n an Stelle (j, k) für j, k = 0,..., n 1 IDFT n (y) ist also für j = 0,..., n 1 a j = 1 n n 1 y k ωn kj k=0 IFFT lässt sich aus FFT gewinnen durch vertauschen von a und y ersetzen von ω n durch ωn 1 jedes Element mit 1 n multiplizieren IFFT Laufzeit also auch Θ(n log n) 102

103 Faltungstheorem Faltungstheorem Seien a, b R n mit n N und n = 2 m. Dann ist a b = IDFT 2n ( DFT2n (a) DFT 2n (b) ) a, b müssen mit Nullen zur Länge 2n aufgefüllt werden ist das komponentenweise Produkt zweier Vektoren Gesamtlaufzeit: Θ(n log n) 103

104 Algorithmus: FFT (rekursiv) Input: Vektor a = (a 0,..., a n 1 ) T R n, n N Zweier-Potenz Output: DFT n (a) FFTrekursiv(a): 1 if (n == 1) return a; 2 ω n = e 2πi/n ; 3 ω = 1; 4 a [0] = (a 0, a 2, a 4,..., a n 2 ); 5 a [1] = (a 1, a 3, a 5,..., a n 1 ); 6 y [0] = FFTrekursiv(a [0] ); // divide 7 y [1] = FFTrekursiv(a [1] ); 8 for k = 0 to n/2 1 { // conquer 9 y k = y [0] k + ωy [1] k ; 10 y k+n/2 = y [0] k ωy [1] k ; 11 ω = ωω n ; // ω = ω k n 12 } 13 return y; 104

105 FFT effizienter FFTrekursiv berechnet in Zeile 9,10 zweimal ωy [1] k effizienter mit Hilfsvariable t: for k = 0 to n/2 1 { t = ωy [1] k ; y k = y [0] k + t; y k+n/2 = y [0] k t; ω = ωω n ; } dieses Schema ist bekannt als Butterfly-Operation: y k [0] + y k [0] + ω n k y k [1] ω n k y k [1] - y k [0] - ω n k y k [1] 105

106 FFT: weitere Optimierungen Zusätzlich zu Butterfly-Operationen: Entrekursivierung möglich mittels Bitreversierung Komplexität immer noch Θ(n log n), aber kleinere Konstanten Implementierung als parallele Schaltkreise möglich 106

107 FFT: Ausblick bisher behandelt: eindimensionale DFT auch möglich: mehrdimensionale DFT 107

108 FFT: Beispiel 1 Original DFT Filter Filter DFT IDFT(Filter DFT) 108

109 FFT: Beispiel 2 Original DFT Filter Filter DFT IDFT(Filter DFT) 109

110 Zusammenfassung 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen Die LUP-Zerlegung Least Squares Probleme Fast Fourier Transformation 110