Das EM-Modell. Vorlesung 3: Lubys Algorithmus. Graphenalgorithmen und lineare Algebra Hand in Hand

Größe: px

Ab Seite anzeigen:

Download "Das EM-Modell. Vorlesung 3: Lubys Algorithmus. Graphenalgorithmen und lineare Algebra Hand in Hand"

Victoria Lorenz
vor 6 Jahren
Abrufe

1 Vorlesung 3: Lubys Algorithmus Das EM-Modell 85

2 Nachsatz: Halbringnotation! Auch Bücher enthalten Fehler...! A op 1.op 2 v: Abkürzung für Matrix-Vektor-Multiplikation! Vereinbarung für Reihenfolge: A +.* v! op 1 gibt n-stelligen Operator an! op 2 gibt binären Operator an 86

3 Lubys Algorithmus Eingabe: Graph G = (V, E) Ausgabe: Nicht erweiterbare unabhängige Menge I 1. I =!, G = G 2. while (G ist nicht der leere Graph) do a) Wähle eine zufällige Menge von Knoten S in V(G ), indem jeder Knoten v unabhängig mit Wkt. 1/(2d(v)) gewählt wird b) Für jede Kante (u, v) in E(G ): Falls beide Endpunkte in S sind, dann entferne den Knoten mit kleinerem Grad aus S (Konflikte beliebig auflösen). Diese neue Menge wird S genannt. c) Setze und. 3. return I I = I S' G' = G'\ (S' N(S'))! Die Nachbarschaft einer Knotenmenge ist die Vereinigung der einzelnen Nachbarschaften 87

4 Korrektheit! In jedem Schritt wird die Menge S hinzugefügt! S ist eine unabhängige Menge! S ist unabhängig zu I wegen der Löschung von S' N(S')! => I ist immer eine unabhängige Menge! I ist nicht erweiterbar (maximal)! Alle aus G entfernten Knoten sind entweder aus I oder aus N(I) 88

5 Laufzeit! Theorem: Die erwartete Anzahl von Runden ist O(log m).! Sei G j = (V j, E j ) der Graph nach Runde j.! Hauptlemma: Für ein c < 1 gilt: Ex( E j / E j-1 ) < c E j-1! Kategorisierung der Knoten v:! Gut: Mindestens 1/3 der Nachbarn haben niedrigeren Grad als v! Schlecht: Sonst! Intuitiv: Ein guter Knoten hat gute Chancen für Aufnahme in I! Kategorisierung der Kanten e:! Schlecht: Beide Endpunkte von e sind schlecht! Gut: Sonst 89

6 Viele gute Kanten! Definition: Die Nachbarschaft kleineren Grades eines Knotens u in V ist definiert als: X L(u) := {v: v in N(u) d(v) d(u)}! Fakt: Ein Knoten u ist P gut, falls L(u) d(u) / 3. 1! Lemma: Für jeden Knoten u in V gilt: Pr(u 2 I u 2 S) 2.! Lemma: 1 8u 2 V,Pr(u 2 I) 4d(u). Gegenereignis 2! Lemma: Falls v gut ist, dann Pr(v in N(I)) 1/ ! Beweise: siehe Tafel 90

7 Anteil der guten Kanten! Lemma: Mindestens die Hälfte der Kanten sind gut.! Beweis:! Richte jede Kante zu ihrem Endpunkt mit höherem Knotengrad.! Konflikte so auflösen wie im Algorithmus.! Jeder schlechte Knoten hat dabei mindestens doppelt so viele Kanten, die ihn verlassen, wie Kanten, die in ihn hineinführen.! Wäre dies nicht der Fall, hätte mindestens ein Drittel der zu v adjazenten Knoten Grad d(v) oder niedriger => v wäre gut.! Wir weisen jede schlechte Kante e, die in einen schlechten Knoten v hineinführt, an ein Paar von Kanten (gut oder schlecht) zu, die aus v hinausführen. => Jede schlechte Kante hat eindeutiges Paar.! => Es gibt mindestens doppelt so viele Kanten insgesamt wie schlechte Kanten.! Anders gesagt: Mindestens die Hälfte aller Kanten ist gut. 91

8 Hauptlemma! Hauptlemma (anders ausgedrückt): In jeder Runde wird mindestens jede 72. Kante (im Erwartungswert) entfernt.! Beweis: siehe Tafel 92

9 Zusammenfassung! Unabhängige Mengen sind in Konfliktgraphen sehr nützlich! Der triviale Algorithmus ist inhärent sequentiell! Lubys Algorithmus bietet Vorteile:! Parallelität: Auswahl der Knoten in jeder Phase ist voneinander unabhängig! Laufzeitschranke: O(log n) Phasen (im Erwartungswert)! Algebraische Implementierung passt (mit Kommentaren) auf zwei Folien! Bessere Analysen sind bekannt:! In jeder Iteration werden mehr Kanten gelöscht! Die Laufzeit gilt mit hoher Wahrscheinlichkeit 93

10 DATENSTRUKTUREN UND ALGORITHMEN 94

11 Ist die Datenstruktur so wichtig???! Wahl der Datenstruktur wichtiger Schritt beim Entwurf und der Implementierung von Algorithmen! Dünn besetzte Graphen und Matrizen bilden keine Ausnahme! Bei dünn besetzten Matrizen gegenseitiger Einfluss:! Algorithmen bestimmen Wahl der Datenstruktur! Wahl der Datenstruktur bestimmt Algorithmen! Analyse der Algorithmen im RAM-Modell und im I/O-Modell 95

12 Motivation für das EM-Modell! Ein Rechner, insbesondere der Speicher, ist hierarchisch aufgebaut! Register!...! Grund:???! Wichtig: Blockbasierter Zugriff günstiger als zufälliger! Konzept lässt sich auf andere Bereiche übertragen:! Parallele Kommunikation! Stapelweise Abarbeitung 96

13 I/O-Modell = EM-Modell! Speicher ist hierarchisch organisiert:! Register! Caches (L1, L2, L3)! RAM! SSD, HDD Cache! External Memory-Modell:! 2 Ebenen: Schnell und langsam! Schnell: Cache oder (Haupt)Speicher! Langsam: (Haupt)Speicher oder Platte! Benennung nur Termini, Prinzipien gelten für jeden Ebenenübergang RAM 97

Modell-Parameter! Speicher partitioniert in Blöcke der Größe L (Größe einer Cachezeile)! Größe des schnellen Speichers ist Z! Langsamer Speicher ist nicht limitiert in der Größe!

14 Modell-Parameter! Speicher partitioniert in Blöcke der Größe L (Größe einer Cachezeile)! Größe des schnellen Speichers ist Z! Langsamer Speicher ist nicht limitiert in der Größe! Referenziertes Datum nicht im Cache:! Cache-Fehlzugriff! Blocktransfer vom RAM in den Cache! Komplexitätsmaß: Zahl der Cache-Fehlzugriffe (I/Os)! Frage: Welche Komplexität (Anzahl I/O-Operationen) hat das Scannen eines Arrays der Länge N? 98

15 Externes Sortieren Ausnahmsweise kein Graphen- oder Matrixalgorithmus!! Eingabe: Zahlenfolge A der Länge N >> Z! Ausgabe: A sortiert abgelegt im langsamen Speicher! Externes Merge-Sort am Beispiel (s. Wikipedia):! Sortiere 400 MB Daten mit 100 MB schnellem Speicher 1. Lese 100 MB Daten in schnellen Speicher und sortiere diese mit einem internen Algorithmus, bspw. Quicksort 2. Schreibe die sortierten Daten in den langsamen Speicher 3. Wiederhole 1) und 2), bis alle 100 MB-Blöcke sortiert sind. 4. Lies die ersten 20 MB (= 100 MB / (4 Blöcke + 1)) jedes sortierten Blocks in den schnellen Speicher, Rest: Ausgabepuffer 5. Führe 4-fach-Merge-Sort durch und speichere Ergebnis im Ausgabepuffer. Wenn Ausgabepuffer voll, dann in langsamen Speicher schreiben. Wenn Eingabepuffer leer, dann nächsten Block lesen 99

16 Skizze und Zeitkomplexität! Sortierphase: O(N/L)! Merge-Phase: k-faches Mischen mit k = Z/2L! Zeitkomplexität: O(N/L * log Z/L (N/L)) I/Os = O(sort(N)) 100

17 Minimum Spanning Forest Algorithmus für RAM-Modell von Jarnik und Prim! Eingabe: Ungerichteter gewichteter Graph G = (V, E)! Ausgabe: Wald von Spannbäumen minimalen Gewichts! Algorithmus (Skizze):! Starte mit beliebigem Knoten! Iteriere: Verbinde unbesuchten Knoten mit Baum, der über die leichteste Kante verbunden ist! Wiederhole für weitere ZHK! Prioritätswarteschlange speichert Knoten! Laufzeit:! O(m log n) mit binären Heaps! O(m + n log n) mit Fibonacci-Heaps 101

18 Beispiel! Siehe Tafel! 102

19 Minimum Spanning Forest Algorithmus für EM-Modell von [Arge et al., SWAT 00]! Eingabe und Ausgabe wie eben! Änderung des Algorithmus:! Prioritätswarteschlange PQ für EM-Modell! PQ speichert nun Kanten anstatt Knoten: Keine Aktualisierungen nötig! PQ enthält (mindestens) alle Kanten, die Knoten des Baums mit Knoten außerhalb verbinden! Es können darin auch Kanten sein, die zwei Baumknoten miteinander verbinden! Iteration des Algorithmus (sei u der aktuelle Knoten):! Extract-min aus PQ für Kante (u, v)! Nur falls v noch nicht im Baum: Füge v zum Baum hinzu, füge seine inzidenten Kanten außer (u, v) in PQ ein 103

20 Analyse des Algorithmus Korrektheit! Jeder Knoten im Baum fügt seine inzidenten Kanten hinzu! PQ kann daher zwei Kopien derselben Kante beinhalten! Annahme: Alle Kantengewichte sind verschieden! Wenn Kante e aus PQ entfernt wird, ist ihre Kopie nächstes Minimum => zweites extract-min zum Test, ob v im Baum! Bei gleichem Startknoten (pro ZHK) und eindeutigen Kantengewichten: Reihenfolge der bearbeiteten Knoten wie bei RAM- Algorithmus => gleiches Endergebnis 104

21 Analyse des Algorithmus Laufzeit! Die Adjazenzliste jedes Knotens wird einmal gelesen: O(n + m/l) I/Os! O(m) Einfüge- und extract-min-operationen! PQ: Einfügen und extract-min in O(1/L log Z/L (n/l)) amortisierter Zeit! Laufzeit: O((n + m/l) + m * log Z/L (m/l) / L) = O(n + sort(m))! Schnellere EM-Verfahren existieren 105

22 Zwischenfazit EM-Modell! Speicherhierarchie wichtiger Aspekt eines Rechners! Übergang der Ebenen universell! Blockweise Abarbeitung wichtig! Dazu Lokalität ausnutzen!! Möglichst wenig im Speicher springen! 106

Ähnliche Dokumente

DATENSTRUKTUREN UND ALGORITHMEN

DATENSTRUKTUREN UND ALGORITHMEN 2 Ist die Datenstruktur so wichtig??? Wahl der Datenstruktur wichtiger Schritt beim Entwurf und der Implementierung von Algorithmen Dünn besetzte Graphen und Matrizen bilden