Vorlesung 4: DATENSTRUKTUREN UND ALGORITHMEN

Transkript

1 Vorlesung 4: DATENSTRUKTUREN UND ALGORITHMEN 107

2 Wiederholung zur Speicherhierarchie! EM- bzw. I/O-Modell: Übergang der Ebenen universell! Blockweise Abarbeitung unter Ausnutzung von Lokalität Chip On-/off-Chip, geteilt/privat Register CPU L1 Cache ~ 64 KB L2 Cache ~ 4 MB Main Memory (RAM) ~ 8 GB L1 cache hit: 1-3 Zyklen L2 cache hit: Zyklen RAM (cache) hit: Zyklen 108

3 Externes Sortieren, alternatives Beispiel! 512 GB Daten sortieren, interner Speicher der Größe 4 GB! Annahme: 8-faches Verschmelzen besonders effizient! Frage: Wie läuft der Algorithmus nun ab?! 128 Iterationen der ersten Phase => 128 Blöcke, in sich sortiert (iss)! 1. Mischiteration: 8-faches Mischen => 128/8 = 16 Blöcke, iss! 2. Mischiteration: 8-faches Mischen => 16/8 = 2 Blöcke, iss! 3. Mischiteration: 2-faches Mischen => 2/2 = 1 Block, vollständig sortiert! Zeitkomplexität: O(N/L * log Z/L (N/L)) I/Os = O(sort(N)) 109

4 Externer MST-Algorithmus! Wesentliche Änderungen gegenüber internem Algorithmus:! Prioritätswarteschlange PQ für EM-Modell! PQ speichert nun Kanten anstatt Knoten: Keine Aktualisierungen nötig! Test auf Zyklenschluss nicht knotenbasiert! Laufzeit des einfachen Algorithmus: O((n + m/l) + m * log Z/L (m/l) / L) = O(n + sort(m)) 110

5 Modell-Annahmen! Annahme: Für eine dünn besetzte Matrix der Dimensionen M x N gilt nnz = Ω(N, M).! Annahme: Der schnelle Speicher ist nicht groß genug, um eine Datenstruktur vollständig zu halten.! Frage: Wie viele Nichtnull-Einträge lassen sich pro GB RAM speichern? (Annahme: 16 Byte pro Eintrag)! Antwort: 2 30 / 16 = 2 26! Annahme: Acht Einträge pro Zeile => N 2 23! Folgerung: L2 Cache kann einen entsprechend großen dicht besetzten Vektor nicht halten. 111

6 Wichtige Basisoperationen Matrixoperationen und ihre Entsprechungen bei Graphen:! Sparse matrix indexing and assignment (SpRef/SpAsgn):! Auswahl eines Teilgraphen! Sparse matrix-dense vector multiplication (SpMV):! Breitensuche! Tiefensuche! Sparse matrix addition, andere punktweise Ops (SpAdd):! Vereinigung von Graphen! Sparse matrix-sparse matrix multiplication (SpGEMM):! BFS, DFS von mehreren Startknoten gleichzeitig, APSP 112

7 SpRef / SpAssgn Auswahl eines Teilgraphen! SpRef: B = A(p, q)! Speichern einer Teilmatrix von A in B A(p,q)! SpAssgn: B(p, q) = A! Zuweisung einer Matrix A an eine Teilmatrix von B A B B(p,q)! Beispiele fürs Indizieren:! Zeilenwahl: A(i, :)! Spaltenwahl: A(:, i) A B 113

8 SpMV Breiten- und Tiefensuche! y = Ax (oder auch y = x A)! Vermutlich gängigste Operation, eingesetzt u. a. in:! Gleichungssystemlösern! Eigenlösern! Weitere (Anwendungs)Beispiele:! PageRank! BFS! Bellman-Ford! MST-Algorithmus von Jarnik und Prim A x y 114

9 SpAdd Vereinigung von Graphen! C = A + B! Addition hier Repräsentant für andere punktweisen Ops:! MIN! MAX! AND! OR!... A B C! Vereinigung von Graphen 115

10 SpGEMM APSP! C = AB! Anwendungen:! Kontraktion! PPC! BFS von mehreren Startpunkten! APSP A B C! Addition von Skalarprodukten (inner products)! Addition von dyadischen Produkten (outer products)! Zeilenweise! Spaltenweise 116

11 Tripel-Format! Jeder Nichtnull-Eintrag wird durch ein Tripel repräsentiert! Zeilenindex! Spaltenindex! Wert des Eintrags! Drei Arrays pro Matrix A:! A.I! A.J! A.V! Repräsentation in Strukturen meist besser als 3 separate Arrays (Cache-Performance, Programmierbarkeit)! Speicherverbrauch pro Eintrag: = 24 Bytes 117

12 (Un)Geordnete Tripel! Ungeordnet:! Keine irgendwie geartete Sortierung! Zeilenordnung:! Einträge sind gemäß Zeilenindex sortiert! Einträge derselben Zeile erscheinen in beliebiger Reihenfolge! Zeilendominante Reihenfolge:! Einträge sind gemäß Zeilenindex sortiert! Einträge in derselben Zeile gemäß Spaltenindex sortiert! Möglich: Sortierungsreihenfolge tauschen (Zeile Spalte)! In der Theorie (und ggf. bei Dynamik) gut: Hashing 118

13 Beispiel ungeordneter Tripel A = A.I A.J A.V ! SpMV mit ungeordneten Tripeln: Siehe Tafel!! I/O-Komplexität von SpMV: nnz(a)/l + 2 nnz(a) = O(nnz(A)) 119

14 Geordnete Tripel: Zeilenordnung! Indizierung immer noch schwierig! Schneller Zeilenzugriff ohne Index nicht möglich! Binäre Suche zum Finden des Startpunkts! Cache-Performance immer noch problematisch! Frage: Warum? A.I A.J A.V A =

15 Zeilendominante geordnete Tripel! Zeilendominante Reihenfolge, Zugriff auf A(i, j):! Finde mit binärer Suche ein Tripel (i, j, A(i, j )) derselben Zeile i! Von diesem Tripel in beide Richtungen jeweils eine unbegrenzte binäre Suche starten; stoppen, wenn Zeile i verlassen wird! Innerhalb dieser beiden Stoppgrenzen mit binärer Suche A(i, j) suchen A.I A.J A.V A =

16 Beispiel [KG, S. 304] 122

17 Komplexität für Referenzierung! RAM-Modell:! Kosten für Referenzierung: log nnz(a) + log nnz(a(i, :))! EM-Modell:! Unbegrenzte binäre Suche mglw. schlechter als lineare Scans! Kosten für Suche in einem sortierten Array: min{log nnz(a(i, :)), scan(a(i, :))}! Für Spaltenzugriff sowie SpAssgn ergibt sich durch Sortierung innerhalb der Zeilen keine Verbesserung 123

18 Zusammenfassung! Projektvergabe: Wer noch ein Projekt haben möchte, wende sich bitte an H. Meyerhenke! Datenstrukturen und Algorithmen:! Typische Matrixalgorithmen haben unterschiedliche Anforderungen! Ungeordnete Tripel! Zeilengeordnete Tripel! Zeilendominante Tripel! Fazit: Je mehr Struktur, desto stärker lässt sich der Cache nutzen 124