Algorithmen und Datenstrukturen (für ET/IT)

Transkript

1 Algorithmen und Datenstrukturen (für ET/IT) Sommersemester 2015 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München

2 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen 2

3 What is the matrix? Was ist eine Matrix? Anordnung von Zahlen (a ji ) R in einem m n Muster: a 11 a 1n..... =: A a m1 a mn Element des Vektorraumes R m n A R m n Lineare Abbildung f : R n R m mit wobei A m n Matrix. f (x) = Ax 3

4 Beispiel: Anwendung von Matrizen Adjazenzmatrix von Graphen effizienter als Adjazenzlisten für dichte Graphen (viele Kanten) erlaubt analytische Operationen wie Laplace-Operator/Eigenwerte Bilder im Computer: gespeichert als Matrix 4

5 Speicherung von Matrizen Speicherung als sequentielle Liste / Array: row-major: Zeilen werden zuerst durchlaufen a 11 a 12 a 13 a 21 a 22 a 23 [a 11, a 12, a 13, a 21, a 22, a 23, a 31, a 32, a 33 ] a 31 a 32 a 33 column-major: Spalten werden zuerst durchlaufen a 11 a 12 a 13 a 21 a 22 a 23 [a 11, a 21, a 31, a 12, a 22, a 32, a 13, a 23, a 33 ] a 31 a 32 a 33 5

6 Matrix-Operationen Seien A, B R m n mit A = (a ji ), B = (b ji ) und λ R. Addition: a 11 + b 11 a 1n + b 1n A + B =..... a m1 + b m1 a mn + b mn Komplexität: Θ(mn) arithmetische Operationen (FLOPs) Skalarmultiplikation: λa 11 λa 1n λa =..... λa m1 λa mn Komplexität: Θ(mn) arithmetische Operationen (FLOPs) 6

7 Matrix-Operationen (Fortsetzung) Seien A = (a ji ) R m n, x = (x i ) R n und B = (b ji ) R n r. Matrix-Vektor-Multiplikation: a 11 x a 1n x n A x =. a m1 x a mn x n Komplexität: Θ(mn) arithmetische Operationen (FLOPs) Matrix-Matrix-Multiplikation: a 11 b a 1n b n1 a 11 b 1r a 1n b nr A B =..... a m1 b a mn b n1 a m1 b 1r a mn b nr... 7

8 Matrix-Multiplikation n r r m = n m 8

9 Matrix-Multiplikation 2 n r r m = n m 9

10 Matrix-Multiplikation 3 n r r m = n m 10

11 Matrix-Multiplikation: Komplexität Seien A = (a ji ) R n n und B = (b ji ) R n n (quadratisch). a 11 b a 1n b n1 a 11 b 1n a 1n b nn A B =..... a n1 b a nn b n1 a n1 b 1n a nn b nn Komplexität: pro Eintrag: n Multiplikationen, n 1 Additionen insgesamt n 2 Einträge A B also n 3 Multiplikationen und n 2 (n 1) Additionen Komplexität: Θ(n 3 ) arithmetische Operationen (FLOPs) 11

12 Beispiel: Anwendung von Matrix-Multiplikation Wechsel von Koordinaten-Systemen können als Matrix-Vektor-Multiplikation dargestellt werden Matrix heisst hier auch Transformation mehrere Wechsel hintereinander können mittels Matrix-Matrix-Multiplikation zu einer Transformation zusammengefasst werden Beispiel: Augmented Reality Kamera Transformation Welt Transformation Bildschirm 12

13 Demo: Augmented Reality Augmented Reality Demo 13

14 Matrix-Multiplikation: Strassen-Algorithmus Seien A, B R n n mit n 2er-Potenz (n = 2 k ), n > 1. Divide & Conquer Ansatz zur Matrizen-Multiplikation A, B aufteilen in vier n/2 n/2 Matrizen: ( ) ( ) a11 a A = 12 b11 b, B = 12 a 21 a 22 b 21 b 22 Produkt A B berechnen als: ( ) a11 b A B = 11 + a 12 b 21 a 11 b 12 + a 12 b 22 a 21 b 11 + a 22 b 21 a 21 b 12 + a 22 b 22 a ik b kj ist selbst Matrix-Matrix-Produkt rekursiv aufteilen bis 1 1 Produkt Komplexität: immer noch Θ(n 3 ) 14

15 Strassen-Algorithmus Berechne: q 1 = (a 11 + a 22 ) (b 11 + b 22 ) q 2 = (a 21 + a 22 ) b 11 q 3 = a 11 (b 12 b 22 ) q 4 = a 22 (b 21 b 11 ) q 5 = (a 11 + a 12 ) b 22 q 6 = (a 21 a 11 ) (b 11 + b 12 ) q 7 = (a 12 a 22 ) (b 21 + b 22 ) Dann ist: ( ) q1 + q A B = 4 q 5 + q 7 q 3 + q 5 q 2 + q 4 q 1 + q 3 q 2 + q 6 Komplexität: Θ(n lg 7 ) = Θ(n ) 15

16 Matrix-Matrix-Multiplikation Seien A, B R n n. naiver Algorithmus: Θ(n 3 ) Strassen-Algorithmus (1969): Θ(n ) weniger numerisch stabil als naiver Algorithmus n muss 2er-Potenz sein benötigt deutlich mehr Speicher als naiver Algorithmus Coppersmith-Winograd Algorithmus (1987): O(n ) erst praktikabel für Grössen, die mit heutigen Computern nicht bearbeitet werden können es existieren verbesserte Varianten (2011) mit O(n ) 16

17 Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen 17

18 Lineare Gleichungen Linear Gleichung Eine lineare Gleichung hat die Form a 1 x 1 + a 2 x a n x n = b, wobei x 1,..., x n R die Unbekannten sind, und die a 1,..., a n, b R Konstanten. Schreibweise mit Skalarprodukt: oder auch a, x = b a T x = b mit a = (a i ) R n, x = (x i ) R n, b R. 18

19 Lineares System Lineares System Ein lineares System bzw. lineares Gleichungssystem ist eine endliche Menge von linearen Gleichungen mit Unbekannten x 1,..., x n R: a 11 x a 1n x n = b 1... a m1 x a mn x n = b m mit Konstanten (a ji ) R m n, (b i ) R m. wir betrachten hier meist den quadratischen Fall mit n Gleichungen und n Unbekannten 19

20 Lineares System Matrix-Schreibweise: a 11 a 1n x 1 b =. a m1 a mn x n b m Kurz-Notation mit Matrix: Ax = b mit A = (a ji ) R m n, b = (b i ) R m und Unbekannten x = (x i ) R n. 20

21 Beispiel: Lineares System Zwei Geraden in der Ebene (R 2 ): (l 1 ) a 1 x + b 1 y = c 1 (a 1, b 1 ) (0, 0) (l 2 ) a 2 x + b 2 y = c 2 (a 2, b 2 ) (0, 0) l 1 l 2 Lösung l 1 l 2 l 1 l2 keine Lösung eine Lösung unendlich viele Lösungen 21

22 Lineares System: Eigenschaften Sei Ax = b lineares System mit A R m n, b R m und x R n. Ein lineares System hat immer entweder keine Lösung, eine Lösung oder unendlich viele Lösungen. Ist m < n, so heißt das lineare System unterbestimmt. Ist m > n, so heißt das lineare System überbestimmt. Wir betrachten im weiteren den Fall m = n (A quadratisch). 22

23 Lineare Systeme: Anwendungen Kalibrierung von Kameras z.b. für Augmented Reality Registrierung von Bilddaten Segmentierung von Bilddaten Objekt-Detektierung und -Tracking Modelle für Finanzmärkte, Populationsbiologie Tomographische Rekonstruktion 23

24 Lösen von linearen Systemen Inverse Matrix Sei A R n n quadratische Matrix. Falls ein B R n n existiert mit AB = BA = I n (wobei I n die n n Einheitsmatrix ist), dann heißt A invertierbar und wir nennen B =: A 1 das Inverse von A. Existiert A 1, so heißt A invertierbar. Ist Ax = b lineares System mit A R n n invertierbar, dann ist x = A 1 b die Lösung des linearen Systems. Diese Lösung ist eindeutig. 24

25 Invertierbarkeit von Matrizen Problem 1: wann ist eine Matrix A R n n invertierbar? man findet explizit ein Inverses A 1 für kleine Matrizen geeignet (z.b. 2 2) det(a) 0 ker(a) = {0} rank(a) = n Ax = 0 hat nur die triviale Lösung x = 0 Problem 2: falls A invertierbar, wie findet man das Inverse A 1? Berechnung mit Gauss-Jordan Elimination Umweg über Zerlegungen von A (z.b. LU-Zerlegung) generell: Berechnung der Inversen meist numerisch nicht stabil 25

26 Ansätze zum Lösen linearer Systeme Gegeben sei lineares System Ax = b mit A R n n, b R n und x R n. direktes Lösen über Inverse A 1 numerisch oft nicht stabil sehr effizient (besonders falls für mehrere b gelöst wird) Lösen über Zerlegung von A (z.b. A = LU) numerisch stabil sehr effizient (besonders falls für mehrere b gelöst wird) iterative Algorithmen, schrittweise Annäherung an Lösung besonders geeignet für sehr grosse n auch geeignet falls keine Lösung existiert, berechnet dann z.b. Approximation min Ax b

27 Gauss Elimination Sei Ax = b lineares System mit A R n n, b R n und x R n. Gauss-Elimination: Überführung der Matrix A in Dreiecksform durch elementare Zeilenumformungen Komplexität: Θ(n 3 ) Gauss-Jordan-Elimination: Überführung der Matrix A in Diagonalform durch elementare Zeilenumformungen Komplexität: Θ(n 3 ) Elementare Zeilenumformungen: Vielfaches einer Zeile zu einer anderen Zeile addieren zwei Zeilen vertauschen Vielfaches einer Zeile berechnen für lineare Systeme: Gauss-Elimination auf erweiterter Matrix a 11 a 1n b 1 (A b) =... a n1 a nn b n 27

28 Gauss Elimination: Beispiel G 3 +=G = 1 2x + y z = 8 (G 1 ) 3x y + 2z = 11 (G 2 ) 2x + y + 2z = 3 (G 3 ) G 2+= 3 2 G 1 = G 3+= 4G = G 1 /2, G 2 2, G 3 ( 1) = Lösung nun durch Rücksubstitution: z = 1, y = 3 und x = 2 28

29 Berechnung der Inversen mit Gauss-Jordan Elimination Sei A R n n. Bilde erweiterte Matrix a 11 a n1 1 0 (A I n ) = a n1 a nn 0 1 wobei I n die n n Identitätsmatrix ist. Führe Gauss-Jordan Elimination für A aus (linker Teil) bis auf I n reduziert, repliziere elementare Zeilenumformungen für I n (rechter Teil). Am Ende entspricht rechter Teil A 1. 29

30 Günstige Matrix-Formen Sei Ax = b lineares System mit A R n n, x, b R n. A diagonal: Lösung kann abgelesen werden a x = b 0 a nn A obere Dreiecksmatrix: Lösung durch Rückwärts-Substitution a 11 a 1n.... x = b 0 a nn A untere Dreiecksmatrix: Lösung durch Vorwärts-Substitution a x = b a n1 a nn 30

31 Rückwärts-Substitution Lineares System in oberer Dreiecksform: a 11 x 1 + a 21 x a 1,n 1 x n 1 + a 1n x n = b 1 a 22 x a 2,n 1 x n 1 + a 2n x n = b 2 a n 1,n 1 x n 1 + a n 1,n x n = b n 1. a n,n x n = b n Rückwärts nacheinander nach x n, x n 1,..., x 1 auflösen: x i = b i n a ij x j /a ii j=i+1 Aufwand: n 2 arithmetische Operationen (FLOPs) 31

32 Vorwärts-Substitution Lineares System in unterer Dreiecksform: a 11 x 1 = b 1 a 21 x 1 + a 22 x 2 = b 2. a n 1,1 x 1 + a n 1,2 x a n 1,n 1 x n 1 = b n 1 a n1 x 1 + a n2 x a n,n 1 x n 1 + a nn x n = b n Vorwärts nacheinander nach x 1, x 2,..., x n auflösen: i 1 x i = b i a ij x j /a ii Aufwand: n 2 FLOPs j=1 32

33 Zerlegungen von Matrizen: Cholesky Cholesky Zerlegung: Sei A R n n symmetrisch (A T = A) und positiv definit ( x, Ax > 0 für alle x R n, x 0). Dann gibt es eine untere Dreiecksmatrix L R n n mit strikt positiven Diagonalelementen, so daß Aufwand: n3 3 FLOPs A = LL T. Lösung von Ax = b: betrachte LL T x = b und löse Lz = b mit Vorwärts-Substitution nach z auf löse L T x = z mit Rückwärts-Substitution nach x auf 33

34 Zerlegungen von Matrizen: QR QR Zerlegung: Sei A R n n invertierbar. Dann gibt es eine orthogonale Matrix Q R n n (Q 1 = Q T ) und eine obere Dreiecksmatrix R R n n mit positiven Diagonaleinträgen, so daß Aufwand: 2n3 3 FLOPs A = QR. Lösung von Ax = b: löse Rx = Q T b mit Rückwärts-Substitution nach x auf 34

35 Zerlegungen von Matrizen: LUP LUP Zerlegung: Sei A R n n invertierbar. Dann gibt es eine untere Einheitsdreiecksmatrix L R n n, eine obere Dreiecksmatrix U R n n sowie eine Permutationsmatrix P R n n, so daß PA = LU. Aufwand: 2n3 3 FLOPs Lösung von Ax = b: betrachte PAx = Pb LUx = Pb, löse Lz = Pb mit Vorwärts-Substitution nach z auf löse Ux = z mit Rückwärts-Substitution nach x auf 35

36 Zerlegungen von Matrizen: SVD Singular Value Decomposition (SVD): Sei A R m n. Dann existiert eine Matrix U R m n mit U T U = I n, eine orthogonale Matrix V R n n (V 1 = V T ) sowie eine diagonale Matrix Σ = diag(σ 1,..., σ n ) R n n mit nicht-negativen Diagonalelementen in monoton fallender Reihenfolge σ 1 σ 2... σ n 0, so daß A = UΣV T. Die σ i heißen Singulärwerte von A. Aufwand: 2mn 2 + 2n 3 FLOPs (kann je nach Implementation höher sein) Lösen von Ax = b: (funktioniert nur falls alle σ i 0!) x = A 1 b = (UΣV T ) 1 b = V Σ 1 U T b 36

37 Anwendungs-Beispiel: Tomographie Original Messungen Gauss- Elimination QR Zerlegung LUP Zerlegung SVD 37

38 Zusammenfassung 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen 9 Graph-Algorithmen 10 Numerische Algorithmen Matrizen Lineare Gleichungen 38