Graphenalgorithmen und lineare Algebra Hand in Hand Vorlesung für den Bereich Diplom/Master Informatik

Transkript

1 Vorlesung für den Bereich Diplom/Master Informatik Dozent: Juniorprof. Dr. Henning Meyerhenke PARALLELES RECHNEN INSTITUT FÜR THEORETISCHE INFORMATIK, FAKULTÄT FÜR INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 17. April 2012 VORLESUNG 1 Einführung 2

3 Motivation! Graphen wichtige abstrakte Datenstrukturen! Mächtiges Werkzeug zur Modellierung komplexer Probleme! Allgegenwärtig in täglichen Anwendungen! Routenplanung! Suchmaschine! Matching: Partnersuche! Netzwerkauslastung und -analyse! Energieversorgung! Zunehmende Komplexität è Parallele Verarbeitung! Herausforderung: Implementierung von Graphenalgorithmen mit guter paralleler Performanz! Analyse mit Methoden der Matrixalgebra häufig sehr nützlich 3

4 Lernziele! Verständnis für Zusammenhang zwischen Graphen und Matrizen! Auftretende Fragestellungen aus der Graphentheorie auf ihren algorithmischen Kern reduzieren! Analyse und/oder Lösung mit Techniken der linearen Algebra! Effiziente praktische Lösung der behandelten Probleme ist wichtiger Bestandteil der Übungen! Geht auch auf Aspekte der Parallelverarbeitung ein! Vorgestellte Methoden selbstständig auf verwandte Fragestellungen anwenden 4

5 Vorlesungsübersicht! Dualität von Graphen und Matrizen! Zusammenhangskomponenten, kürzeste Wege! Zentralitäten, Clusteranalyse! Tensoren! Teilgrapherkennung! Optimierung von Matrixstrukturen für Graphenalgorithmen! Spektrale Graphentheorie! Lastbalancierung mit Diffusion! Visualisierung von Graphen 5

6 Organisatorisches! Vorlesung und Übung kombiniert, dienstags ab 14:45 Uhr! Sprechstunde: Nach Vereinbarung ( )! Betreuung von Studien-/Bachelor- sowie Diplom- und Masterarbeiten! Webseite zur Vorlesung: Literatur: 10

7 Abschnitt 1: EINLEITUNG UND MOTIVATION 11

8 Was ist ein Algorithmus?! Definition: Ein Algorithmus ist eine eindeutige Beschreibung eines Verfahrens zur Lösung einer bestimmten Klasse von Problemen. Schlüsselworte: Genauer: Ein Algorithmus ist eine Menge von Regeln für ein! Verfahren, Eindeutige um Beschreibung aus gewissen Eingabegrößen bestimme! Ausgabegrößen eines Verfahrens herzuleiten. Dabei muss! zur 1. Lösung Das Verfahren in einem endlichen Text beschreibbar sein. 2. Jeder Schritt des Verfahrens auch tatsächlich ausführbar sein. 3. Der Ablauf des Verfahrens zu jedem Zeitpunkt eindeutig definiert sein.! einer Klasse von Problemen 12

9 Kriterien für Algorithmen Ø Algorithmen müssen korrekt sein. Benötigen Korrektheitsbeweise. Ø Algorithmen sollen zeit- und speichereffizient sein. Benötigen Analysemethoden für Zeit- und Speicherbedarf. Ø Analyse basiert in der klassischen Algorithmik nicht auf empirischen Untersuchungen, sondern auf mathematischen Analysen. Man nutzt hierfür Pseudocode und Basisoperationen. Ø Algorithmentechnik: Zyklus von Entwurf, Analyse, Implementierung und Experiment 13

10 Definition: Multimenge! Eine Menge E mit einer Vielfachheit # E : E 0 ihrer Elemente heißt Multimenge.! Die Kardinalität von E ist E = # E e E (e).! Kurzschreibweise:! # e für # E (e) e k E e E!, falls und # e = k 14

11 Definition: Graph, Multigraph! Ein mglw. gerichteter Graph (bzw. Multigraph) ist ein Paar G = (V, E) aus einer endlichen Menge V von Knoten und einer Menge (bzw. Multimenge) E V V von Kanten.! Kanten e {(v, v) v V} nennen wir Schleifen.! Kanten e E in einem Multigraphen mit k > 1 (Mehrfachauftreten) heißen Multikanten.! Ein Graph ist schlicht (simple), wenn er weder Schleifen noch Multikanten hat. 15

12 Beispiel! V={1, 2, 3,4}! E={(1,2), (1,4),(2,3), (3,3),(4,1)}mit #(2,3)=2 und #e=1 für e E \ {(2,3)}! (2,3) ist eine Multikante! (3,3) ist eine Schleife! 1 ist Vorgänger von 2! 2 ist Nachfolger von 1! 1 ist adjazent zu 2! (1, 2) ist inzident zu 1 (bzw. 2) 16

13 Jetzt sind Sie dran:! Frage: Welche Matrizen kennen Sie, um einen Graphen zu repräsentieren?! Adjazenzmatrix! Laplacematrix! (Knoten-Kanten-Inzidenzmatrix) 17

14 Historie! Dualität zwischen einem schlichten Graphen (ohne weitere Information) und einer Adjazenzmatrix lange bekannt! Matrixalgebra etabliertes Werkzeug in der Graphentheorie! Allerdings: In algorithmischer Software wurden meist andere Repräsentationen gewählt! Frage: Mögliche Gründe?! Speichereffizienz! Semantische Informationen! Anschaulichkeit 18

15 Vorteile der Nutzung der Dualität! Reduktion der syntaktischen Komplexität:! Manche Graphenalgorithmen sind kompakter und einfacher verständlich, wenn sie Array-basiert aufgeschrieben werden! Personenkreise mit Kenntnissen in linearer Algebra haben leichteren Zugang zur Graphentheorie (Ingenieure, Physiker,...)! Einfache Implementierung:! Nutzung der existierenden Software-Infrastruktur für parallele Berechnungen auf dünn besetzten Matrizen! Weniger Fehler durch Wiederverwendung! Bessere Optimierung durch Spezialisten! Geschwindigkeit:! Array-basierte Algorithmen heben stärker das Muster des Datenzugriffs hervor! Dadurch bessere Optimierung möglich 19

16 Nachteile der Nutzung der Dualität! Frage: Was fällt Ihnen ein?! Mangelnde Anschaulichkeit bei manchen Problemen! Bibliotheken ggf. nicht kostenlos erhältlich 20

17 Beispielalgorithmen und -anwendungen! APSP: Vorverarbeitung bei der Routenplanung! Partitionierung und Lastbalancierung: Effizientes paralleles Rechnen! Netzwerkanalyse: Hauptakteure in einem (sozialen) Netzwerk! Tensorzerlegungen: Dokumente klassifizieren! Visualisierung von Graphen: Technische Zeichnungen, Geschäftsdatenanalyse 21

18 ZUSAMMENHANG 22

19 Zusammenhangskomponenten! Anwendung: Aufteilung eines Web-Graphen in kleinere Teile! Mögliche Aufteilung: Starke Zusammenhangskomponenten! Mögliche Gründe:! Analyse des Graphen mit Algorithmus, der Zusammenhang erfordert! Der gesamte Graph ist zu groß für die Analyse!... [ content/image/1-s2.0-s gr4.jpg] 23

20 Zusammenhang Definition (Zusammenhang):! Ein Multigraph G=(V,E) heißt stark zusammenhängend, falls er für jedes Paar u,v V sowohl einen (u,v)-weg als auch einen (v,u)-weg enthält.! G heißt (schwach) zusammenhängend, wenn der symmetrische Multigraph (Kanten doppelt gerichtet) zu G stark zusammenhängend ist. 24

21 Mehrfacher Zusammenhang! Ein ungerichteter Multigraph G heißt k-fach knotenzusammenhängend, falls jeder durch Entfernen von höchstens k-1 beliebigen Knoten (und aller inzidenten Kanten) entstehende Teilgraph von G zusammenhängend ist.! G heißt k-fach kantenzusammenhängend, falls jeder durch Entfernen von höchstens k-1 beliebigen Kanten entstehende Teilgraph von G zusammenhängend ist. 25

22 Komponenten Definition (Komponenten): Zu einem schlichten Multigraphen G heißt ein maximaler! stark! schwach! k-fach knotenzushgd.! k-fach kantenzushgd. zusammenhängender Teilgraph! starke! schwache! k-fache knotenzusammenhängende! k-fach kantenzusammenhängende Zusammenhangskomponente. 26

23 Beispiel Starke ZHK Quelle: 27

24 Algorithmus zum Finden der starken ZHK! Wollen nun starke ZHK in einem gerichteten Graphen finden! Beispiel: s. Tafel! Frage: Gibt es Vorschläge? 28

25 Die wesentliche Idee! Theorem: A k (i, j) ist die Zahl der Wege der Länge k zwischen i und j! Beweis: s. Tafel! Definition ZHK: Es gibt einen Weg...! Frage (MG): Wie könnte ein Ansatz aussehen? 29

26 Auf dem Weg zum Algorithmus! C = I A A 2 A 3 A 4...! Nach Vorüberlegung: C(i,j) > 0 gdw. ein Weg zwischen i und j existiert! Beispiel: s. Tafel! Jetzt sind wir noch nicht ganz am Ziel! Frage: Was fehlt noch?! Wie verhält sich das bei ungerichteten Graphen? 30

27 Schnelle Berechnung von C! Statt der Oder-Operation verwenden wir die Addition: D = I + A + A 2 + A 3 + A ! Beide Matrizen C und D haben dasselbe Muster von Nichtnulleinträgen! Sei F := (I - A) D, dann gilt: F = D - AD = I + A + A 2 + A 3 + A A - A 2 - A 3 - A = I = (I A) D! Also: D = (I A) -1! Problem: Reihe konvergiert häufig nicht! Frage (MG): Lösungsvorschläge? 31

28 Konvergenz! Idee: Skalar 0 < α < 1 wird mit der Matrix A multipliziert: D = I + αa + (αa) 2 + (αa) 3 + (αa) ! Effekte:! Das Muster der Nichtnulleinträge verändert sich nicht.! Sei nun F := (I - A) D.! F = I + αa + (αa) 2 + (αa) 3 + (αa) αa - (αa) 2 - (αa) 3 - (αa) = I = (I αa) D! Also: D = (I αa) -1! Wenn α klein genug gewählt wird, dann konvergiert unsere unendliche Folge! Übung: Codebeispiel in Matlab! Übung: Welches Kriterium für unsere Zwecke? 32

29 Zusammenfassung! Starke ZHK ist maximaler stark zusammenhängender Teilgraph (jeder Knoten erreicht jeden anderen in der ZHK)! Mit einer potenzierten Adjazenzmatrix lassen sich Wege zählen! Reihe von potenzierten Matrizen liefert uns (fast) die Lösung! Konvergenz wird durch zusätzliches Skalar erzwungen! Unterschied zwischen gerichteten und ungerichteten Graphen 33