Algorithmen und Datenstrukturen (für ET/IT)

Transkript

1 Algorithmen und Datenstrukturen (für ET/IT) Wintersemester / Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München

2 Programm heute 7 Fortgeschrittene Datenstrukturen Such-Algorithmen 9 Graph-Algorithmen Tiefensuche Breitensuche Kürzeste Pfade Minimaler Spannbaum Numerische Algorithmen Matrizen

3 Algorithmus: Dijkstra Input: Graph G = (V, E), w : E R +, Startknoten s V Output: Vorgänger-Liste pred, Distanz-Markierung d Dijkstra(G, w, s): for each (Knoten v V ) { // Initialisierung pred[v] = NULL; d[v] = ; } d[s] = ; Q = Priority Queue mit Elementen V, Schlüsseln d; while (!Q.isEmpty() ) { // Hauptschleife u = Q.extractMin(); for each (v adj[u] mit v Q) { if (d[u] + w(u, v) < d[v]) { pred[v] = u; d[v] = d[u] + w(u, v); Q.decreaseKey(v, d[v]); } } }

4 Dijkstra-Algorithmus Nach Ausführung von Dijkstra(G, w, s) gilt für v V : d[v] = Gewicht w min (v, s) des kürzesten Pfades von v zu s pred[v] = Vorgängerknoten Kürzester Pfad von v zu s: pred[v], pred[pred[v]],..., s Beispiel: s u v x 7 y 6

5 Dijkstra: Laufzeit Laufzeit: Annahme: Q implementiert als binärer Min-Heap Zeile -: O( V ) Zeile : entspricht buildminheap, also O( V ) Zeile 6-: Ausführung V mal Zeile 7: O(log V ) Zeile -: Ausführung inkl. äusserer while-schleife: insgesamt E mal (siehe DFS/BFS) Zeile : O(log V ) Gesamt: O ( ( V + E ) log V ) einfacher: O( E log V ) Dijkstra(G, w, s): for each (Knoten v V ) { pred[v] = NULL; d[v] = ; } d[s] = ; Q = Priority Queue(V, d); 6 while (!Q.isEmpty() ) { 7 u = Q.extractMin(); for each (v adj[u] mit v Q) { 9 if (d[u] + w(u, v) < d[v]) { pred[v] = u; d[v] = d[u] + w(u, v); Q.decreaseKey(v, d[v]); } } } 7

6 Dijkstra: Komplexität Komplexität des Dijkstra Algorithmus hängt entscheidend von der Implementierung der Priority Queue ab! Varianten: als verkettete Liste: O( V ) als binärer Heap: O( E log V ) als Fibonacci Heap: O( E + V log V )

7 Dijkstra: Korrektheit (nur Beweisidee, dies ist kein formaler Beweis!) Annahme: bisherige Iterationen waren korrekt, bisher bearbeitete Knoten: X V nächster Iterationsschritt nimmt kürzeste direkte Verbindung von Knoten x X zu noch nicht bearbeitetem Knoten y V \ X hinzu d[y] ist nun d[x] + w(x, y) jeder andere Pfad zu y hat entweder eine Kante, die aus X heraus geht und ist damit nicht kürzer als (x, y) mehrere Kanten, und ist damit nicht kürzer als d[y], da die Kanten positives Gewicht haben Entscheidende Annahme: Kanten haben positives Gewicht! 9

8 Dijkstra: Anwendungen Dijkstra ist einer der am häufigsten verwendete Graph-Algorithmen Beispiele: Routenplanung in GIS (Geographic Information System) Navigationssystem im Auto Maps Applikation (Google, Bing, Apple etc.) Routen mit Flugzeugen, Bahn usw. Routing Protokolle für IP Netzwerke z.b. Open Shortest Path First Pfadplanung von Robotern, UAV/Dronen, etc. Segmentierung von medizinischen Bilddaten

9 Programm heute 7 Fortgeschrittene Datenstrukturen Such-Algorithmen 9 Graph-Algorithmen Tiefensuche Breitensuche Kürzeste Pfade Minimaler Spannbaum Numerische Algorithmen Matrizen

10 Minimaler Spannbaum Sei G = (V, E) zusammenhängender Graph mit Gewichtsfunktion w : E R. Spannbaum: Teilgraph G = (V, E ), der ein Baum ist und alle Knoten von G enthält. minimaler Spannbaum: Spannbaum G mit minimalem Gewicht w G = w(x, y) (x,y) E

11 Minimaler Spannbaum: Beispiel Beispiel: 6 (virtuelle) Städte und Kosten für Strassenbau dazwischen (in Million Euro): Awl Dresh Rennis 6 6 Brous Sadon Gedry Problem: Strassenbau mit minimalen Kosten, so daß alle Städte verbunden sind (direkt oder über andere Städte) Lösung: minimaler Spannbaum

12 Minimaler Spannbaum: Beispiel Mögliche Lösungen: Awl Dresh Awl Dresh Rennis Brous Rennis Brous 6 Sadon Gedry Sadon Gedry Gewicht: Gewicht:

13 Minimaler Spannbaum: Algorithmen Sei G = (V, E) zusammenhängender Graph mit Gewichtsfunktion w : E R. Minimaler Spannbaum von G: Algorithmus von Kruskal: Greedy-Algorithmus Komplexität: O( E log V ) Algorithmus von Prim: Greedy-Algorithmus Komplexität: O( E log V ) viele Varianten davon als parallele Algorithmen

14 Beispiel-Ablauf: Prim Algorithmus

15 Beispiel-Ablauf: Prim Algorithmus

16 Beispiel-Ablauf: Prim Algorithmus Beobachtungen: Zwischenlösungen von Prim Algorithmus sind Bäume es werden öfters mehrere Kanten zum selben Knoten betrachtet (s. oben) Vereinfachung: betrachte nur Kante mit minimalem Gewicht

17 Prim Algorithmus Sei G = (V, E) zusammenhängender Graph mit Gewichtsfunktion w : E R. Startknoten s V für minimalen Spannbaum Graph repräsentiert als Adjazenzliste adj jeder Knoten (ausser s) hat Vorgänger im Spannbaum pred jeder Knoten hat Markierung g kleinstes Gewicht um Knoten mit aktuellem Spannbaum zu verbinden Hilfsmittel: Priority Queue Q 9

18 Algorithmus: Prim Input: Graph G = (V, E), w : E R, Startknoten s V Output: Vorgänger-Liste pred Prim(G, w, s): for each (Knoten v V ) { // Initialisierung pred[v] = NULL; g[v] = ; } g[s] = ; Q = Priority Queue mit Elementen V, Schlüsseln g; while (!Q.isEmpty() ) { // Hauptschleife u = Q.extractMin(); for each (v adj[u] mit v Q) { if (w(u, v) < g[v]) { pred[v] = u; g[v] = w(u, v); Q.decreaseKey(v, g[v]); } } }

19 Beispiel: Ablauf Prim Algorithmus s u v r 7 6 x y z s u v r 7 6 x y z Q: (s,) (u, ) (v, ) (r, ) (x, ) (y, ) (z, ) Q: (u, ) (x, ) (r, ) (v, ) (y, ) (z, ) s u v r 7 6 x y z s u v r 7 6 x y z Q: (v, ) (x, ) (r, ) (y, ) (z, ) Q: (r, ) (z, ) (x, ) (y, )

20 Beispiel: Ablauf Prim Algorithmus s u v r 7 6 x y z s u v r x y z Q: (r, ) (z, ) (x, ) (y, ) Q: (z, ) (y, 6) (x, 7) s u v r x y z s u v r 7 6 x y z Q: (y, ) (x, 7) Q: (x, )

21 Beispiel: Ablauf Prim Algorithmus s u v r 7 6 x y z s u v r 7 6 x y z Q: (x, ) Q: Nach Ausführung von Prim(G, w, s) gilt für v V : pred[v] = Vorgängerknoten im Spannbaum Pfad in Spannbaum von v zu Wurzel s: pred[v], pred[pred[v]],..., s

22 Prim: Laufzeit Laufzeit: Annahme: Q implementiert als binärer Min-Heap Zeile -: O( V ) Zeile : entspricht buildminheap, also O( V ) Zeile 6-: Ausführung V mal Zeile 7: O(log V ) Zeile -: Ausführung inkl. äusserer while-schleife: insgesamt E mal (siehe DFS/BFS) Zeile : O(log V ) Gesamt: O ( ( V + E ) log V ) einfacher: O( E log V ) Prim(G, w, s): for each (Knoten v V ) { pred[v] = NULL; g[v] = ; } g[s] = ; Q = Priority Queue(V, g); 6 while (!Q.isEmpty() ) { 7 u = Q.extractMin(); for each (v adj[u] mit v Q) { 9 if (w(u, v) < g[v]) { pred[v] = u; g[v] = w(u, v); Q.decreaseKey(v, g[v]); } } }

23 Prim: Komplexität Komplexitätsanalyse von Prim fast identisch mit Dijkstra! Komplexität des Algorithmus von Prim hängt entscheidend von der Implementierung der Priority Queue ab! Varianten: als verkettete Liste: O( V ) als binärer Heap: O( E log V ) als Fibonacci Heap: O( E + V log V )

24 Prim: Anwendungen Planung von Netzwerken Strassennetz Kommunikations-Netzwerk elektronische Schaltungen Clustering von Daten Daten als Knoten, Nähe als Kanten, entferne lange Kanten aus minimalem Spannbaum Clustering Extrahieren/Tracking von Objekten aus Bildern in Computer Vision 6

25 Ausblick: Graphen-Algorithmen Fluss in Graphen: statt Kantengewichten gibt es Kapazitäten, betrachtet wird Fluss von Quelle zu Senke Problem: finde maximalen Fluss Anwendung: z.b. Fluss in Kommunikations-Netzwerken Einfärben von Graphen: Färbe Knoten von Graph so ein, dass keine benachbarten Knoten diesselbe Farbe haben Anwendungen: z.b. Scheduling, Sudoku Planare Graphen: lässt sich Graph ohne Kanten-Überschneidung zeichnen? Anwendung: z.b. Chip- bzw. Platinen-Design Klassifikation von medizinischen Daten: über analytische Operationen auf Adjazenzmatrix, z.b. Laplace-Operator Anwendungen: z.b. Identifikation von Melanomen, Tracking von Endoskopen 7

26 Programm heute 7 Fortgeschrittene Datenstrukturen Such-Algorithmen 9 Graph-Algorithmen Tiefensuche Breitensuche Kürzeste Pfade Minimaler Spannbaum Numerische Algorithmen Matrizen

27 What is the matrix? Was ist eine Matrix? Anordnung von Zahlen (a ji ) R in einem m n Muster: a a n..... =: A a m a mn Element des Vektorraumes R m n A R m n Lineare Abbildung f : R n R m mit wobei A m n Matrix. f (x) = Ax 9

28 Beispiel: Anwendung von Matrizen Adjazenzmatrix von Graphen effizienter als Adjazenzlisten für dichte Graphen (viele Kanten) erlaubt analytische Operationen wie Laplace-Operator/Eigenwerte Bilder im Computer: gespeichert als Matrix

29 Speicherung von Matrizen Speicherung als sequentielle Liste / Array: row-major: Zeilen werden zuerst durchlaufen a a a a a a [a, a, a, a, a, a, a, a, a ] a a a column-major: Spalten werden zuerst durchlaufen a a a a a a [a, a, a, a, a, a, a, a, a ] a a a

30 Matrix-Operationen Seien A, B R m n mit A = (a ji ), B = (b ji ) und λ R. Addition: a + b a n + b n A + B =..... a m + b m a mn + b mn Skalarmultiplikation: λa λa n λa =..... λa m λa mn

31 Matrix-Operationen (Fortsetzung) Seien A = (a ji ) R m n, x = (x i ) R n und B = (b ji ) R n r. Matrix-Vektor-Multiplikation: a x a n x n A x =. a m x a mn x n Matrix-Matrix-Multiplikation: a b a n b n a b r a n b nr A B =..... a m b a mn b n a m b r a mn b nr

32 Matrix-Multiplikation n r r m = n m

33 Matrix-Multiplikation n r r m = n m

34 Matrix-Multiplikation n r r m = n m 6

35 Matrix-Multiplikation: Komplexität Seien A = (a ji ) R n n und B = (b ji ) R n n (quadratisch). a b a n b n a b n a n b nn A B =..... a n b a nn b n a n b n a nn b nn Komplexität: pro Eintrag: n Additionen, n Multiplikationen insgesamt n Einträge A B also n Additionen und n Multiplikationen Komplexität: Θ(n ) arithmetische Operationen 7

36 Beispiel: Anwendung von Matrix-Multiplikation Wechsel von Koordinaten-Systemen können als Matrix-Vektor-Multiplikation dargestellt werden Matrix heisst hier auch Transformation mehrere Wechsel hintereinander können mittels Matrix-Matrix-Multiplikation zu einer Transformation zusammengefasst werden Beispiel: Augmented Reality Kamera Transformation Welt Transformation Bildschirm

37 Demo: Augmented Reality Augmented Reality Demo 9

38 Matrix-Multiplikation: Strassen-Algorithmus Seien A, B R n n mit n er-potenz (n = k ), n >. Divide & Conquer Ansatz zur Matrizen-Multiplikation A, B aufteilen in vier n/ n/ Matrizen: ( ) ( ) a a A = b b, B = a a b b Produkt A B berechnen als: ( ) a b A B = + a b a b + a b a b + a b a b + a b a ik b kj ist selbst Matrix-Matrix-Produkt rekursiv aufteilen bis Produkt Komplexität: immer noch Θ(n )

39 Strassen-Algorithmus Berechne: q = (a + a ) (b + b ) q = (a + a ) b q = a (b b ) q = a (b b ) q = (a + a ) b q 6 = (a a ) (b + b ) q 7 = (a a ) (b + b ) Dann ist: ( ) q + q A B = q + q 7 q + q q + q q + q q + q 6 Komplexität: Θ(n lg 7 ) = Θ(n.7 )

40 Matrix-Matrix-Multiplikation Seien A, B R n n. naiver Algorithmus: Θ(n ) Strassen-Algorithmus (969): Θ(n.7 ) weniger numerisch stabil als naiver Algorithmus n muss er-potenz sein benötigt deutlich mehr Speicher als naiver Algorithmus Coppersmith-Winograd Algorithmus (97): O(n.76 ) erst praktikabel für Grössen, die mit heutigen Computern nicht bearbeitet werden können es existieren verbesserte Varianten () mit O(n.77 )

41 Zusammenfassung 7 Fortgeschrittene Datenstrukturen Such-Algorithmen 9 Graph-Algorithmen Tiefensuche Breitensuche Kürzeste Pfade Minimaler Spannbaum Numerische Algorithmen Matrizen