On Optimal Algorithms for List Ranking in the Parallel External Memory Model with Applications to Treewidth and other Elementary Graph Problems

Transkript

1 Diss. ETH No On Optimal Algorithms for List Ranking in the Parallel External Memory Model with Applications to Treewidth and other Elementary Graph Problems A thesis submitted to attain the degree of Doctor of Sciences of ETH Zurich (Dr. sc. ETH Zurich) presented by Tobias Lieber M.Sc., Technische Universität München born citizen of Germany accepted on the recommendation of Prof. Dr. Peter Widmayer, examiner Riko Jacob, PhD, co-examiner Prof. Dr. Norbert Zeh, co-examiner 2014

2 Abstract The performance of many algorithms on large input instances substantially depends on the number of triggered cache misses instead of the number of executed operations. This behavior is captured by the external memory model in a natural way. It models a computer by a fast cache of bounded size and a conceptually infinite (external) memory. In contrast to the classical RAM model, the complexity measure is the number of cache lines transferred between the cache and the memory. Computations on elements in the cache are not counted. Recent trends in processor design and advances in big data computing require massively parallel algorithms. The parallel external memory (PEM) model extends the external memory model so that it also captures parallelism. It consists of multiple processors which each have a private cache and share the (external) memory. This thesis considers three computational problems in the context of (parallel) external memory algorithms. For the fundamental problem of list ranking, previously, an algorithm was known that has sorting complexity for many settings of the PEM model. In the first part of this thesis, this algorithm is complemented by matching lower bounds for most practical settings. Interestingly, a stronger lower bound for parameter ranges which previously have not been considered is shown. By modeling how list ranking algorithms retrieve information on the structure of the list in the memory, we give a lower bound that is quadratic in sorting complexity for certain parameter settings. It is noteworthy that this result implies the first non-trivial lower bounds for list ranking for the bulk synchronous parallel and the MapReduce model. These lower bounds are complemented by a list ranking algorithm which is, in contrast to previous algorithms, analyzed for all parameter settings of the PEM model. In the second part, an efficient algorithm for the PEM model to compute a tree decomposition of bounded width for a graph is presented. The main challenge is to implement a load balancing strategy such that the running iii

3 time of the algorithm scales linearly with the number of processors as long as possible. A fundamental building block to achieve this with an asymptotically small number of cache misses is the above-mentioned list ranking algorithm. Therefore, the complexity of this algorithm is similar to sorting for many parameter settings. On the other hand, it also inherits the runtime behavior of list ranking which leads to a complexity that is worse than sorting for certain parameter settings. Subsequently, an easy application of the treewidth algorithm is presented in the field of kernelization. In the last part, the complexity of modifying a graph so that it has bounded pathwidth is considered. Here, the modification operation is the splitting of vertices and the partitioning of their edges. Previous research exhibited that the number of vertex splits is tightly connected to the number of cache misses of a program for sparse matrix multiplication. This line of research is continued and the NP-completeness of this problem is shown. Furthermore, the subproblem of splitting vertices of a graph into a graph of pathwidth 1 is investigated. It is shown to admit a 2-approximation. iv

4 Zusammenfassung Die Laufzeit vieler Algorithmen auf großen Eingaben hängt maßgeblich von der Anzahl der ausgelösten Cache Misses, und nicht von der Anzahl der ausgeführten Rechenoperationen ab. Das External Memory (EM) Modell bildet dieses Laufzeitverhalten durch eine naheliegende Modellierung ab. Es modelliert einen Computer durch einen schnellen Cache mit beschränkter Größe und einem konzeptionell unendlich großen (externen) Speicher. Im Gegensatz zum bewährten RAM-Modell ist das Komplexitätsmaß im EM-Modell die Anzahl der Cache-Lines, die zwischen dem Cache und dem Speicher ausgetauscht werden. Berechnungen auf Elementen die sich im Cache befinden tragen nichts zum Kostenmaß bei. Aufgrund von Trends im Prozessorendesign und Fortschritten im Big-Data-Computing werden massiv-parallele Algorithmen benötigt. Das Parallel External Memory (PEM) Modell ist eine Erweiterung des EM-Modells, die Parallelismus modelliert. Es besteht aus mehreren Prozessoren, die jeweils einen eigenen Cache besitzen, aber den (externen) Speicher gemeinsam nutzen. Diese Arbeit untersucht drei Probleme aus dem Gebiet der (Parallelen) External Memory Algorithmen. Für das elementare Problem List Ranking ist bereits ein Algorithmus bekannt, der für viele Parameterbereiche des PEM-Modells Sortier-Komplexität besitzt. Im ersten Teil dieser Arbeit werden für die meisten praktikablen Parameterbereiche komplementäre untere Schranken bewiesen. Interessanterweise zeigen wir für Parameterbereiche die zuvor nicht betrachtet worden sind eine noch stärkere untere Schranke. Diese untere Schranke zeigt für bestimmte Parameterbereiche, dass quadratischer Sortieraufwand benötigt wird, indem wir die Art und Weise, wie Algorithmen die Struktur der Liste im Speicher erfassen, nachbilden. Diese untere Schranke liefert die erste nichttriviale untere Schranke für List Ranking im Bulk-Synchronous-Parallel Modell und im Map-Reduce Modell. Abschließend stellen wir einen List Ranking Algorithmus vor, der im Gegensatz zu früheren Algorithmen, im gesamten Parameterbereich des PEM-Modells analysiert wird. v

5 Im zweiten Teil wird ein effizienter Algorithmus für das PEM-Modell vorgestellt, der für einen Graphen eine Baumdekomposition mit beschränkter Weite berechnet. Die größte Schwierigkeit ist, alle Prozessoren gleich auszulasten und so dafür zu sorgen, dass die Laufzeit des Algorithmus möglichst lange mit der Anzahl der Prozessoren skaliert. Ein wichtiger Baustein, der dies asymptotisch mit wenigen Cache Misses erreicht, ist der eben erwähnte List Ranking Algorithmus. Daher ist die Laufzeit des Algorithmus für viele Parameterbereiche des PEM-Modells ähnlich der eines Sortier-Algorithmus. Andererseits erbt der Agorithmus dadurch auch das Laufzeitverhalten von List Ranking, welches in bestimmten Bereichen zu einer Laufzeit führt, die schlechter ist als die Laufzeit für Sortieren. Anschließend wird der Algorithmus zur Baumweitenberechnung im Gebiet der Kernelisierung angewendet. Im letzten Teil der Arbeit wird die Komplexität eines Graphmodifizierungsproblems untersucht. Die untersuchte Frage ist, wieviele Knotenaufspaltungen benötigt werden bis ein Graph beschränkte Pfadweite hat. Frühere Forschungsergebnisse zeigen, dass die Anzahl der benötigten Knotenaufspaltungen eng mit der Anzahl der Cache Misses von einem Programm für Matrixmultiplikation dünnbesetzter Matrizen verknüpft ist. Diese Forschungen werden fortgeführt und die NP-Vollständigkeit dieses Problems wird bewiesen. Desweitern wird das Teilproblem einen Graphen durch Knotenaufspaltungen in einen Graphen mit Pfadweite 1 zu überführen untersucht. Für dieses Problem wird ein 2-Approximationsalgorithmus vorgestellt. vi