Graphenalgorithmen und lineare Algebra Hand in Hand Vorlesung für den Bereich Master Informatik

Transkript

1 Vorlesung für den Bereich Master Informatik Dozent: Prof. Dr. Henning Meyerhenke PARALLELES RECHNEN INSTITUT FÜR THEORETISCHE INFORMATIK, FAKULTÄT FÜR INFORMATIK 0. April 06 VORLESUNG Einführung

2 Motivation Graphen wichtige abstrakte Datenstrukturen Mächtiges Werkzeug zur Modellierung komplexer Probleme Allgegenwärtig in täglichen Anwendungen Straßennetzwerke in Navigationsgeräten Soziale Netzwerke Kommunikationsnetze UML-Diagramme Bildverarbeitung Beispielalgorithmen und -anwendungen APSP: Vorverarbeitung bei der Routenplanung Partitionierung und Lastbalancierung: Effizientes paralleles Rechnen Netzwerkanalyse: Hauptakteure in einem (sozialen) Netzwerk Visualisierung von Graphen: Technische Zeichnungen, Geschäftsdatenanalyse

3 Prof. Dr. Henning Meyerhenke Fakultät für Informatik Netzwerkanalyse Empirische Untersuchung von Daten, die als Netzwerk (Graph) modelliert werden können Modelle Struktur Maßzahlen Algorithmen Anwendungsgebiete (Auswahl): [ eec89088ee08b80855b56.jpg] [ research_projects/images/fig-.gif] Technik: Internet und Telefon, Strom, Transport und Logistik,... Information: WWW, Zitierungen,... Biologie: Protein-Protein-Interaktionen,... Soziales: Soziale Online-Netzwerke, Politik,... 5 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse Skalierbare Verarbeitung Große Datenmengen è Skalierbare Verarbeitung Herausforderung: Implementierung von Graphenalgorithmen mit guter (paralleler) Performanz Analyse mit Methoden der Matrixalgebra häufig sehr nützlich Implementierung mit Matrixalgebra oft deutlich kürzer Produktivität des Programmierers vs Effizienz des Programms 6

4 Lernziele Verständnis für Zusammenhang zwischen Graphen und Matrizen Auftretende Fragestellungen aus der Graphentheorie auf ihren algorithmischen Kern reduzieren Analyse und/oder Lösung mit Techniken der linearen Algebra Vorgestellte Methoden selbstständig auf verwandte Fragestellungen anwenden Inhalte: Effiziente praktische Lösung der behandelten Probleme ist wichtiger Bestandteil der Übungen Geht (teilweise) auch auf Aspekte der Parallelverarbeitung ein Vorlesungsübersicht Dualität von Graphen und Matrizen Grundlegende Graphenalgorithmen in Matrixalgebra Datenstrukturen für Graphen und dünn besetzte Matrizen Anwendungsbereiche: Netzwerkanalyse Layouten von Graphen Lastbalancierung mit Diffusion Partitionierung Ausdünnung von Graphen Gleichungssystemlöser 8

5 ORGANISATORISCHES Bachelor-/Masterarbeiten Insbesondere in den vorher genannten Themengebieten Beschreibungen liegen aus und sind auf Gruppenwebseite zu Studium und Lehre: [ Bei Interesse einfach ansprechen! [ 5 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

6 Stellenangebote HiWi-Stelle Doktorandenstelle Unterstützung in Forschung und Lehre Themenbereich parallele Algorithmentechnik Analyse von (sozialen) Netzwerken Kombinatorisches wissenschaftliches Rechnen Angewandte kombinatorische Optimierung Studiengänge? [ images_content/berufswahl_80px.jpg] 6 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse Organisatorisches zur Veranstaltung Vorlesung und Übung kombiniert Termine: Mittwochs :00-5:0 Uhr im SR -9 Donnerstags :00-5:0 Uhr im SR -9 Übersicht auf Vorlesungswebseite SWS: + [ Sprechstunde: Nach Vereinbarung ( ) Webseite zur Vorlesung (bzw. Link auf weitere Details): H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse

7 Methodik des Übungsbetriebs Aufgaben sowohl theoretisch (z. B. vglw. einfache Beweise) als auch praktisch (z. B. Implementierung) Übungen: Teilnehmer präsentieren ihre Lösungen zu Übungsaufgaben [ Bonuspunkte für erfolgreiches Programmierprojekt Projektvorstellung am Ende der Vorlesungszeit Mündliche Prüfung voraussichtlich in KW 0 und Sep/Okt 06 [ neuen%0ideen%0%8clipart%9/598-gl%c%bchbirne%0aha.jpg] 8 H. Meyerhenke: Algorithmische Methoden zur Netzwerkanalyse Projekthilfsmittel NetworKit Software zur interaktiven Netzwerkanalyse Schnell durch C++ und OpenMP Anwendungsarbeit im Browser (Jupyter notebook) Paralleles Backend kann auf Server laufen Begleitende Programmierübung Projektthemen erscheinen in ca. zwei Wochen Bedarf? 9

8 Literatur Weitere Literatur: Angabe bei Bedarf auf Folien 0 Abschnitt (mit einigen Folien von Aydin Buluc, Berkeley Lab): EINLEITUNG UND MOTIVATION

9 Motivation for graphs A graph is an important abstract data structure Powerful tool for modelling complex problems Models discrete structures Ubiquituous in daily-life applications: Road networks Social networks Communication networks UML diagrams Image processing Motivation for linear algebra A matrix is an important abstract data structure Powerful tool for modeling complex problems Models discretized physical processes (often) Ubiquitous in scientific applications: Physical process: PDE Discretized PDE -> matrix Numerical simulations FFT (your camera!)

10 Middleware Continuous physical modeling Discrete structure analysis Linear algebra Graph theory Computers Computers Why both together? Design: Few basic operations Analysis: As above Implementation: As above Experiments: Both types have acted as inputs for benchmarks 5

11 Layered system approach (with examples) Fluid flow simulation Applications Statistical network analysis Linear solver Algorithms Betweenness Centrality MatVec Primitives BFS step 6 BLAS vs GraphBLAS BLAS (Basic Linear Algebra Subroutines): Highly successful Used in many other libraries Dense LA GraphBLAS New effort Standardization in progress Sparse graphs/matrices

12 ALGORITHMISCHE GRUNDLAGEN 8 Was ist ein Algorithmus? Definition: Ein Algorithmus ist eine eindeutige Beschreibung eines Verfahrens zur Lösung einer bestimmten Klasse von Problemen. Schlüsselworte: Genauer: Ein Algorithmus ist eine Menge von Regeln für ein Verfahren, Eindeutige um Beschreibung aus gewissen Eingabegrößen bestimme Ausgabegrößen eines Verfahrens herzuleiten. Dabei muss zur. Lösung Das Verfahren in einem endlichen Text beschreibbar sein.. Jeder Schritt des Verfahrens auch tatsächlich ausführbar sein. einer Klasse von Problemen. Der Ablauf des Verfahrens zu jedem Zeitpunkt eindeutig definiert sein. 9

13 Kriterien für Algorithmen Ø Algorithmen müssen korrekt sein. Benötigen Korrektheitsbeweise. Ø Algorithmen sollen zeit- und speichereffizient sein. Benötigen Analysemethoden für Zeit- und Speicherbedarf. Ø Analyse basiert in der klassischen Algorithmik nicht auf empirischen Untersuchungen, sondern auf mathematischen Analysen. Man nutzt hierfür Pseudocode und Basisoperationen. Ø Algorithmentechnik: Zyklus von Entwurf, Analyse, Implementierung und Experiment 0 Definition: Multimenge Eine Menge E mit einer Vielfachheit Elemente heißt Multimenge. # E : E 0 ihrer Die Kardinalität von E ist E = # E (e). e E Kurzschreibweise: # e für # E (e) e k E, falls e E und # e = k

14 Definition: Graph, Multigraph Ein mglw. gerichteter Graph (bzw. Multigraph) ist ein Paar G = (V, E) aus einer endlichen Menge V von Knoten und einer Menge (bzw. Multimenge) E µ V V von Kanten. Kanten e {(v, v) v V} nennen wir Schleifen. Kanten e E in einem Multigraphen mit k > (Mehrfachauftreten) heißen Multikanten. Ein Graph ist schlicht (simple), wenn er weder Schleifen noch Multikanten hat. Beispiel mit und für ist eine Multikante (,) ist eine Schleife ist Vorgänger von ist Nachfolger von ist adjazent zu (, ) ist inzident zu (bzw. )

15 Jetzt sind Sie dran: Frage: Welche Matrizen kennen Sie, um einen Graphen zu repräsentieren? Beispiel für Dualität [KG, S., S. f.] BFS und Matrix-Vektor-Produkt BFS(G, s) ó A T x (wiederholt), x(s) = Graphenalgorithmen in Halbringnotation Halbring: Algebraische Struktur mit einer (nichtleeren) Menge und mit zwei zweistelligen Verknüpfungen (Addition, Multiplikation). Addition ist eine kommutative Halbgruppe, Multiplikation ist eine Halbgruppe, es gelten die Distributivgesetze. A op.op v: Abkürzung für Matrix-Vektor-Multiplikation 5

16 Breadth-first search (BFS) Basic graph traversal algorithm BFS in the language of linear algebra Graph as adjacency matrix A (or A T, stored as sparse matrix) A uv : Edge from u to v from 5 to 6 A T

17 How do we express one BFS step? Source: Entry in vector x What happens in matrix-vector product? Interpretation: Result: Non-zeros at neighbors of source(s) Another matvec: -step neighbors,... x Trick: Interpret these matvec operations as general semiring operations! 8 Semiring A semiring is a set R equipped with two binary operations + and, called addition and multiplication, such that: (R, +) is commutative semigroup with identity 0 (a + b) + c = a + (b + c) 0 + a = a + 0 = a a + b = b + a (R, ) is semigroup with identity (a b) c = a (b c) a = a = a Distributive multiplication a (b + c) = (a b) + (a c) (a + b) c = (a c) + (b c) 0 a = a 0 = 0 9

18 Other semiring Exchange (+, ) by two other operations... Actually we do not have to sum 0 5 Par,cular semiring opera,ons: Mul$ply: select Add: minimum from 6 to à parents: A T x A T x

19 5 Mul$ply traverses outgoing edges Add chooses among incoming edges (minimum) from 6 parents: to A T x à A T x 5 Select vertex with minimum label as parent from 6 parents: to A T 5 5 x à A T x

20 Result: Determinis,c breadth-first search 6 5 from to à A T 6 x A T x Fazit BFS(G, s) und Matrix-Vektor-Produkt Vektor x: x(s) =, alle anderen Einträge 0 Matrix: A T, geeignete Datenstruktur Theorem: (A k ) ij = Anzahl Wege der Länge k von i nach j Beweis: Übung!. Schritt: BFS(G, s) ó x () := A T x (0). Schritt: BFS(G, s) ó x () := A T x () = (A T ) x (0)... Anpassen der Operationen gemäß Halbring! 5

21 Historie Dualität zwischen einem schlichten Graphen (ohne weitere Information) und einer Adjazenzmatrix lange bekannt Matrixalgebra etabliertes Werkzeug in der Graphentheorie Allerdings: In algorithmischer Software wurden meist andere Repräsentationen gewählt Frage: Mögliche Gründe? 6 Vorteile der Nutzung der Dualität Reduktion der syntaktischen Komplexität: Manche Graphenalgorithmen sind kompakter und einfacher verständlich, wenn sie Array-basiert aufgeschrieben werden Personenkreise mit Kenntnissen in linearer Algebra haben leichteren Zugang zur Graphentheorie (Ingenieure, Physiker,...) Einfache Implementierung: Nutzung der existierenden Software-Infrastruktur für parallele Berechnungen auf dünn besetzten Matrizen Weniger Fehler durch Wiederverwendung Bessere Optimierung durch Spezialisten Geschwindigkeit: Array-basierte Algorithmen heben stärker das Muster des Datenzugriffs hervor Dadurch bessere Optimierung möglich

22 The case for sparse matrices Many irregular applications: Coarse-grained parallelism Exploit by abstractions at proper level. Traditional graph computations Data driven, unpredictable communication Irregular and unstructured, poor locality of reference Fine grained data accesses, dominated by latency Graphs in the language of linear algebra Fixed communication patterns Operations on matrix blocks exploit memory hierarchy Coarse grained parallelism, bandwidth limited 8 Nachteile der Nutzung der Dualität Frage: Was fällt Ihnen ein? 9

23 Ansatz der Vorlesung Zunächst anhand grundlegender Algorithmen Dualität erklären Implementierungsaspekte beleuchten Anwendung der Dualität: Algorithmisch Analytisch 50