Graphenalgorithmen und lineare Algebra Hand in Hand Vorlesung für den Bereich Master Informatik

Transkript

1 Vorlesung für den Bereich Master Informatik Dozent: Juniorprof. Dr. Henning Meyerhenke PARALLELES RECHNEN INSTITUT FÜR THEORETISCHE INFORMATIK, FAKULTÄT FÜR INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 15. April 2014 VORLESUNG 1 Einführung 2

3 Motivation! Graphen wichtige abstrakte Datenstrukturen! Mächtiges Werkzeug zur Modellierung komplexer Probleme! Allgegenwärtig in täglichen Anwendungen! Straßennetzwerke in Navigationsgeräten! Soziale Netzwerke! Kommunikationsnetze! UML-Diagramme! Bildverarbeitung 3

4 Beispielalgorithmen und -anwendungen! APSP: Vorverarbeitung bei der Routenplanung! Partitionierung und Lastbalancierung: Effizientes paralleles Rechnen! Netzwerkanalyse: Hauptakteure in einem (sozialen) Netzwerk! Visualisierung von Graphen: Technische Zeichnungen, Geschäftsdatenanalyse 4

5 Netzwerkanalyse! Empirische Untersuchung von Daten, die als Netzwerk (Graph) modelliert werden können!!!! Modelle Struktur Maßzahlen Algorithmen! Anwendungsgebiete (Auswahl):!!!! 5 [ eec89088ee408b b jpg] [ research_projects/images/fig11-3.gif] Technik: Internet und Telefon, Strom, Transport und Logistik,... Information: WWW, Zitierungen,... Biologie: Protein-Protein-Interaktionen,... Soziales: Soziale Online-Netzwerke, Politik,... H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

6 Skalierbare Verarbeitung! Große Datenmengen! Skalierbare Verarbeitung! Herausforderung: Implementierung von Graphenalgorithmen mit guter (paralleler) Performanz! Analyse mit Methoden der Matrixalgebra häufig sehr nützlich! Implementierung mit Matrixalgebra oft deutlich kürzer 6

7 Lernziele! Verständnis für Zusammenhang zwischen Graphen und Matrizen! Auftretende Fragestellungen aus der Graphentheorie auf ihren algorithmischen Kern reduzieren! Analyse und/oder Lösung mit Techniken der linearen Algebra! Effiziente praktische Lösung der behandelten Probleme ist wichtiger Bestandteil der Übungen! Geht (teilweise) auch auf Aspekte der Parallelverarbeitung ein! Vorgestellte Methoden selbstständig auf verwandte Fragestellungen anwenden 7

8 Vorlesungsübersicht! Dualität von Graphen und Matrizen! Grundlegende Graphenalgorithmen in Matrixalgebra! Netzwerkanalyse! Optimierung von Matrixstrukturen für Graphenalgorithmen! Spektrale Methoden! Lastbalancierung mit Diffusion! Spektrale Partitionierung! Ausdünnung von Graphen! Gleichungssystemlöser! Layouten von Graphen 8

9 ORGANISATORISCHES 14

10 Bachelor-/Masterarbeiten! Gerne!! Insbesondere in den vorher genannten Themengebieten! Beschreibungen liegen aus und sind auf Gruppenwebseite zu Studium und Lehre:! [ Bei Interesse einfach ansprechen! [ 15 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

11 Stellenangebote! HiWi-Stellen! Doktorandenstellen! Zur Zeit eine HiWi-Stelle ausgeschrieben! Unterstützung in Forschung und Lehre! Themenbereich parallele Algorithmentechnik! Analyse von (sozialen) Netzwerken! Beschleunigung wissenschaftlicher Simulationen [ images_content/berufswahl_180px.jpg]! Studiengänge? 16 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

12 Organisatorisches zur Veranstaltung! Vorlesung und Übung kombiniert! Termine:! Dienstags 11:30-13:00 Uhr im SR 236! Donnerstags 15:45-17:15 Uhr im SR 236! Übersicht auf Vorlesungswebseite! SWS: 2+1 [ Sprechstunde: Nach Vereinbarung ( )! Webseite zur Vorlesung (bzw. Link auf weitere Details): 17 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

13 Methodik des Übungsbetriebs! Aufgaben sowohl theoretisch (z. B. vglw. einfache Beweise) als auch praktisch (z. B. Implementierung)! Übungen: Teilnehmer präsentieren ihre Lösungen zu Übungsaufgaben [ Bonuspunkte für erfolgreiches Programmierprojekt! Projektvorstellung am Ende der Vorlesungszeit! Mündliche Prüfung voraussichtlich in KW 32 und Sep/Okt 2014 [ neuen%20ideen%20%28clipart%29/7598-gl%c3%bchbirne%20aha.jpg] 18 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

14 Projekthilfsmittel NetworKit! Software zur interaktiven Netzwerkanalyse! Schnell durch C++ und OpenMP! Anwendungsarbeit im Browser (ipython notebook)! Paralleles Backend kann auf Server laufen! Begleitende Programmierübung! Projektthemen erscheinen in ca. zwei Wochen! Bedarf? 19

15 Literatur! Weitere Literatur: Angabe bei Bedarf auf Folien 20

16 Abschnitt 1: EINLEITUNG UND MOTIVATION 21

17 Was ist ein Algorithmus?! Definition: Ein Algorithmus ist eine eindeutige Beschreibung eines Verfahrens zur Lösung einer bestimmten Klasse von Problemen. Schlüsselworte: Genauer: Ein Algorithmus ist eine Menge von Regeln für ein! Verfahren, Eindeutige um Beschreibung aus gewissen Eingabegrößen bestimme! Ausgabegrößen eines Verfahrens herzuleiten. Dabei muss! zur 1. Lösung Das Verfahren in einem endlichen Text beschreibbar sein. 2. Jeder Schritt des Verfahrens auch tatsächlich ausführbar sein. 3. Der Ablauf des Verfahrens zu jedem Zeitpunkt eindeutig definiert sein.! einer Klasse von Problemen 22

18 Kriterien für Algorithmen " Algorithmen müssen korrekt sein. Benötigen Korrektheitsbeweise. " Algorithmen sollen zeit- und speichereffizient sein. Benötigen Analysemethoden für Zeit- und Speicherbedarf. " Analyse basiert in der klassischen Algorithmik nicht auf empirischen Untersuchungen, sondern auf mathematischen Analysen. Man nutzt hierfür Pseudocode und Basisoperationen. " Algorithmentechnik: Zyklus von Entwurf, Analyse, Implementierung und Experiment 23

19 Definition: Multimenge! Eine Menge E mit einer Vielfachheit # E : E 0 ihrer Elemente heißt Multimenge.! Die Kardinalität von E ist E = # E e E (e).! Kurzschreibweise:! # e für # E (e) e k E e E!, falls und # e = k 24

20 Definition: Graph, Multigraph! Ein mglw. gerichteter Graph (bzw. Multigraph) ist ein! Paar G = (V, E)! aus einer endlichen Menge V von Knoten und! einer Menge (bzw. Multimenge) E µ V V von Kanten.! Kanten e 2 {(v, v) v 2 V} nennen wir Schleifen.! Kanten e 2 E in einem Multigraphen mit k > 1 (Mehrfachauftreten) heißen Multikanten.! Ein Graph ist schlicht (simple), wenn er weder Schleifen noch Multikanten hat. 25

21 Beispiel! mit und für! ist eine Multikante! (3,3) ist eine Schleife! 1 ist Vorgänger von 2! 2 ist Nachfolger von 1! 1 ist adjazent zu 2! (1, 2) ist inzident zu 1 (bzw. 2) 26

22 Jetzt sind Sie dran:! Frage: Welche Matrizen kennen Sie, um einen Graphen zu repräsentieren? 27

23 Beispiel für Dualität [KG, S. 4f.]! BFS und Matrix-Vektor-Produkt! BFS(G, s) # A T v, v(s) = 1! Graphenalgorithmen in Halbringnotation! Halbring: Algebraische Struktur mit! einer (nichtleeren) Menge und mit! zwei zweistelligen Verknüpfungen (Addition, Multiplikation).! Addition ist eine kommutative Halbgruppe,! Multiplikation ist eine Halbgruppe,! es gelten die Distributivgesetze.! A op 1.op 2 v: Abkürzung für Matrix-Multiplikation 28

24 Historie! Dualität zwischen einem schlichten Graphen (ohne weitere Information) und einer Adjazenzmatrix lange bekannt! Matrixalgebra etabliertes Werkzeug in der Graphentheorie! Allerdings: In algorithmischer Software wurden meist andere Repräsentationen gewählt! Frage: Mögliche Gründe? 29

25 Vorteile der Nutzung der Dualität! Reduktion der syntaktischen Komplexität:! Manche Graphenalgorithmen sind kompakter und einfacher verständlich, wenn sie Array-basiert aufgeschrieben werden! Personenkreise mit Kenntnissen in linearer Algebra haben leichteren Zugang zur Graphentheorie (Ingenieure, Physiker,...)! Einfache Implementierung:! Nutzung der existierenden Software-Infrastruktur für parallele Berechnungen auf dünn besetzten Matrizen! Weniger Fehler durch Wiederverwendung! Bessere Optimierung durch Spezialisten! Geschwindigkeit:! Array-basierte Algorithmen heben stärker das Muster des Datenzugriffs hervor! Dadurch bessere Optimierung möglich 30

26 Nachteile der Nutzung der Dualität! Frage: Was fällt Ihnen ein? 31

27 Ansatz der Vorlesung! Zunächst anhand grundlegender Algorithmen Dualität erklären! Implementierungsaspekte beleuchten! Anwendung der Dualität:! Algorithmisch! Analytisch 32

28 ZUSAMMENHANG 33

29 Zusammenhangskomponenten! Anwendung: Aufteilung eines Web-Graphen in kleinere Teile! Mögliche Aufteilung: Starke Zusammenhangskomponenten! Mögliche Gründe:! Analyse des Graphen mit Algorithmus, der Zusammenhang erfordert! Der gesamte Graph ist zu groß für die Analyse!... [ content/image/1-s2.0-s gr4.jpg] 34

30 Zusammenhang Definition (Zusammenhang):! Ein Multigraph G=(V, E) heißt stark zusammenhängend, falls er für jedes Paar (u, v) in V V sowohl einen (u,v)-weg als auch einen (v,u)-weg enthält.! G heißt (schwach) zusammenhängend, wenn der symmetrische Multigraph (Kanten doppelt gerichtet) zu G stark zusammenhängend ist. 35

31 Mehrfacher Zusammenhang! Ein ungerichteter Multigraph G heißt k-fach knotenzusammenhängend, falls jeder durch Entfernen von höchstens k-1 beliebigen Knoten (und aller inzidenten Kanten) entstehende Teilgraph von G zusammenhängend ist.! G heißt k-fach kantenzusammenhängend, falls jeder durch Entfernen von höchstens k-1 beliebigen Kanten entstehende Teilgraph von G zusammenhängend ist. 36

32 Komponenten Definition (Komponenten): Zu einem schlichten Multigraphen G heißt ein maximaler! stark! schwach! k-fach knotenzushgd.! k-fach kantenzushgd. zusammenhängender Teilgraph! starke! schwache! k-fache knotenzusammenhängende! k-fach kantenzusammenhängende Zusammenhangskomponente. 37

33 Beispiel Starke ZHK Quelle: 38

34 Algorithmus zum Finden der starken ZHK! Wollen nun starke ZHK in einem gerichteten Graphen finden! Beispiel: s. Tafel! Frage: Gibt es Vorschläge? 39

35 Die wesentliche Idee! Theorem: A k (i, j) ist die Zahl der Wege der Länge k zwischen i und j! Beweis: s. Tafel! Definition ZHK: Es gibt einen Weg...! Frage (MG): Wie könnte ein Ansatz aussehen? 40

36 Auf dem Weg zum Algorithmus! C = I A A 2 A 3 A 4...! Nach Vorüberlegung: C(i,j) > 0 gdw. ein Weg zwischen i und j existiert! Beispiel: s. Tafel! Jetzt sind wir noch nicht ganz am Ziel! Frage: Was fehlt noch?! Wie verhält sich das bei ungerichteten Graphen? 41

37 Schnelle Berechnung von C! Statt der Oder-Operation verwenden wir die Addition: D = I + A + A 2 + A 3 + A ! Beide Matrizen C und D haben dasselbe Muster von Nichtnulleinträgen! Sei F := (I - A) D, dann gilt: F = D - AD = I + A + A 2 + A 3 + A A - A 2 - A 3 - A = I = (I A) D! Also: D = (I A) -1! Problem: Reihe konvergiert häufig nicht! Frage (MG): Lösungsvorschläge? 42

38 Konvergenz! Idee: Skalar 0 < α < 1 wird mit der Matrix A multipliziert: D = I + αa + (αa) 2 + (αa) 3 + (αa) ! Effekte:! Das Muster der Nichtnulleinträge verändert sich nicht.! Sei nun F := (I - A) D.! F = I + αa + (αa) 2 + (αa) 3 + (αa) αa - (αa) 2 - (αa) 3 - (αa) = I = (I αa) D! Also: D = (I αa) -1! Wenn α klein genug gewählt wird, dann konvergiert unsere unendliche Folge! Übung: Welches Kriterium für unsere Zwecke? 43

39 Zusammenfassung! Starke ZHK ist maximaler stark zusammenhängender Teilgraph (jeder Knoten erreicht jeden anderen in der ZHK)! Mit einer potenzierten Adjazenzmatrix lassen sich Wege zählen! Reihe von potenzierten Matrizen liefert uns (fast) die Lösung! Konvergenz wird durch zusätzliches Skalar erzwungen! Unterschied zwischen gerichteten und ungerichteten Graphen 44