In-Memory Parallel Join Processing on Multi-Core Processors

Transkript

1 DISS. ETH NO In-Memory Parallel Join Processing on Multi-Core Processors A thesis submitted to attain the degree of DOCTOR OF SCIENCES of ETH ZURICH (Dr. sc. ETH Zurich) presented by ÇAĞRI BALKESEN Master of Science ETH in Computer Science, ETH Zurich born on citizen of Turkey accepted on the recommendation of Prof. Dr. Gustavo Alonso, examiner Prof. Dr. Donald Kossmann, co-examiner Prof. Dr. M. Tamer Özsu, co-examiner Dr. Stefan Manegold, co-examiner 2014

2 Abstract During the last few years, there have been radical changes in the hardware landscape. Intel s co-founder Gordon E. Moore s famous conjecture that the number of transistors on integrated circuits doubles roughly every two years still holds today. However, multi-core processors caused a paradigm shift in hardware where increasing number of transistors are invested in parallelism and advanced features on chip designs. The game-changing technological trends constitute the driving force behind how new data processing systems and algorithms should be designed and tailored today. The architectural changes introduced with multi-core processors have triggered a redesign of main-memory join algorithms for relational database systems. Join processing in database systems is a complex and a demanding operation. Traditionally, there have been sorting and hashing based approaches for implementing joins. However, in the last few years several diverging views have appeared regarding how to design and implement main-memory joins on multi-core processors. On the one hand, there are two camps on how to implement main-memory hash joins on multi-core. Hardware-oblivious hash join variants do not depend on hardware-specific parameters. Rather, they consider qualitative characteristics of modern hardware and are expected to achieve good performance on any technologically similar platform. The assumption that these algorithms make is that hardware has now become good enough at hiding its own limitations through automatic hardware prefetching, out-of-order execution or simultaneous multithreading (SMT) to make hardware-oblivious algorithms competitive without the overhead of carefully tuning to the underlying hardware. Hardware-conscious implementations, such as (parallel) radix join, aim to maximally exploit a given architecture by tuning the algorithm parameters (e.g., hash table sizes) to the particular features of that architecture. The assumption here is that explicit parameter tuning yields enough performance advantages to warrant the effort required. The thesis compares the two approaches for hash joins under a wide range of workloads (relative table sizes, tuple sizes, effects of sorted data, etc.) and configuration parameters (VM page sizes, number of threads, number of cores, SMT, iii

3 iv SIMD, prefetching, etc.). The results show that hardware-conscious algorithms generally outperform hardware-oblivious ones. However, on specific workloads and special architectures with aggressive simultaneous multi-threading, hardwareoblivious algorithms become competitive. As an answer to the controversy on how to implement hash joins on existing multi-core architectures, the thesis shows that it is still important to carefully tailor algorithms to the underlying hardware to get the necessary performance. On the other hand, with the advent of modern multi-core architectures, it has been argued that sort-merge join is now a better choice than radix-hash join. This claim is justified based on the width of SIMD instructions (sort-merge outperforms radix-hash join once SIMD is sufficiently wide), and NUMA awareness (sort-merge is superior to hash join in NUMA architectures). Through extensive experiments on the original and optimized versions of these algorithms, we show that, contrary to these claims, radix-hash join is still clearly superior, and sort-merge approaches to performance of radix only when very large amounts of data are involved. Thus, the thesis resolves another controversy in the literature regarding the relative performance of sort and hash based join algorithms. The thesis provides the fastest implementations of these algorithms, and covers many aspects of modern hardware architectures relevant not only for joins but for any parallel data processing operator.

4 Kurzfassung In den letzten Jahren ist es zu drastischen Veränderungen betreffend Hardware in Computersystemen gekommen. Die berühmte Feststellung von Gordon E. Moore (Mitgründer der Firma Intel), dass sich die Anzahl Transistoren in elektronischen Schaltungen etwa alle zwei Jahre verdoppelt, gilt auch heute noch. Mehrkern- Prozessoren haben aber zu einen Paradigmawechsel bei der Hardware geführt, da immer mehr Transistoren für Parallelität und fortgeschrittene Funktionen eingesetzt werden. Diese wegweisenden technologischen Trends begründen die treibende Kraft für neue Datenverarbeitungssysteme und entsprechende Algorithmen. Veränderungen in der Hardware-Architektur, die mit Mehrkern-Prozessoren eingeführt wurden, haben zu neuen Ansätzen für Hauptspeicher-basierte Join- Algorithmen in relationalen Datenbanken geführt. Die Berechnung eines Joins ist einen komplexe und aufwendige Operation. Es gibt zwei klassische Vorgehensweisen, um eine Join Operation effizient zu implementieren: Die erste basiert auf der Sortierung von Relationen, die andere auf Hashwert-Berechnung. Welche Methode sich besser für Joins im Hauptspeicher eignet wurde in den letzten Jahren oft diskutiert, ebenso wie geeignete Implementationsstrategien. Bezüglich Hash-Join gibt es grundsätzlich zwei unterschiedliche Meinungen, wie man im Hauptspeicher-Joins am besten implementiert. Ein Variante von Hash- Joins kümmert sich nicht um Hardware-spezifische Parameter. Vielmehr werden quantitative Eigenschaften moderner Hardware berücksichtigt, in der Hoffnung, dass gute Performanz auf vielen ähnlichen Plattformen erzielt werden kann. Die zugrundeliegende Annahme ist, dass Hardware heutzutage ausgereift genug ist und allfällige Einschränkungen meist gut umgangen werden können, zum Beispiel durch automatisches Prefetching, Out-of-order Execution, oder Simultaneous Multi-threading (SMT), so dass es nicht nötig ist die Algorithmen sorgfältig für jede Plattform zu optimieren, und trotzdem gute Leistung erzielt werden kann. Die andere Variante von Hash-Joins (zum Beispiel der sogenannte Radix Join ), versucht maximale Performanz auf einer gegebenen Plattform zu erzielen, indem gewisse Parameter (zum Beispiel die Grösse der Hash-Tabelle) auf die jeweilige Hardware-Eigenschaften abgestimmt werden. Hier ist die Annahme, dass sich v

5 vi das gezielte Optimieren des Algorithmus auf eine Hardware-Plattform ausreichend lohnt, damit der damit verbundene Aufwand gerechtfertigt ist. Diese Dissertation untersucht die zwei Ansätze für Hash-Joins für viele verschiedene Szenarien (relative Grösse der Relationen, Tupel Grösse, Effekte verursacht durch sortierte Daten, etc.) und Konfigurationsparameter (VM Page Grösse, Anzahl Threads, Anzahl Prozessorkerne, SMT, SIMD, prefetching, etc.). Die Experimente zeigen, dass Algorithmen, welche gezielt Eigenschaften der Hardware- Plattform ausnützen bessere Leistung aufweisen als andere Algorithmen. Dennoch, erzielen manchmal unter gewissen Voraussetzungen auch die Algorithmen, die die Hardware Eigenschaften nicht berücksichtigen, vergleichbare Leistung. Als Antwort auf die Frage, wie Hash-Joins am besten auf moderner Hardware implementiert werden sollen, zeigt diese Dissertation auf, dass es immer noch wichtig ist Algorithmen für die entsprechende Hardware zu optimieren. Mit dem Aufkommen von moderner Mehrkern-Architekturen wurde manchmal argumentieret, dass Sort-Merge Join langfristig eine besser Implementationsstrategie, als Radix-Hash Join ist. Begründet wird dieses Argument einerseits mit der Breite von SIMD Instruktionen (Sort-Merge Join wird eine bessere Leistung als Radix-Hash Join erbringen, sobald die SIMD Register breit genug sind). Andererseits wird argumentiert, dass Sort-Merge Join sich besser für NUMA-Architekturen eignet. Durch umfangreiche Experimente mit den originalen wie auch den optimierten Versionen dieser Algorithmen wird in dieser Dissertation gezeigt, dass im Gegensatz zu den oben erwähnten Behauptungen, der Radix-Hash Join alle Sort-Merge Ansätze immer noch übertrifft. Nur wenn die Datensätze sehr gross sind, erreicht der Sort-Merge Join eine mit dem Radix-Join vergleichbare Leistung. Somit gibt die Dissertation auch eine Antwort auf die Debatte, welche Join Technik, basierend auf Sortierung oder Hashwert-Berechnung, die bessere ist für moderne Hardware. In der Dissertation werden die schnellsten Implementationen dieser Algorithmen vorgestellt. Dabei werden viele Aspekte modernern Prozessoren diskutiert die nicht nur für Joins relevant sind, sondern für jegliche parallele Datenverarbeitungsoperatoren.