Multicore architectures as platform to extend database engine functionality

Größe: px

Ab Seite anzeigen:

Download "Multicore architectures as platform to extend database engine functionality"

Fritzi Schräder
vor 7 Jahren
Abrufe

1 Diss. ETH No Multicore architectures as platform to extend database engine functionality A dissertation submitted to the ETH Zurich for the degree of Doctor of Sciences presented by IONUT-EMANUEL SUBASU Dipl. Ing. in Computer Science - Technical University of Cluj-Napoca born 16 May 1982 citizen of Romania accepted on the recommendation of: Prof. Dr. Gustavo Alonso, examiner Prof. Dr. Donald Kossman, co-examiner Prof. Dr. Moira Norrie, co-examiner Prof. Dr. Michael Böhlen, co-examiner 2012

2 Abstract This thesis is centered around the topic of database engines running on multicores. For the last years, the increasing processor frequencies inherently improved the performance of existing software. As the current trend in processor technology moves towards an increased number of cores in future multicore CPUs, software used in infrastructure systems such as operating systems and databases face a substantial challenge. Further improvement in performance stands in the ability to exploit the new resources available in modern multicore processors. Such software typically evolves slower than the underlying hardware, and with multicore it faces structural limitations that can be solved only with radical architectural changes. Research in operating systems suggests that multicore architectures should be treated as distributed systems rather than trying to hide the parallel nature of the hardware. This thesis proposes to use a similar approach in the case of database engines and take advantage of existing work on cluster-based replication systems. We start with an overview of current challenges introduced by modern multicore processors to software used in infrastructure systems. We discuss how recent research from operating systems and databases, has shown that the main performance deterrents are locking, memory locality, load interaction, and the extensive use of shared data structures. We analyze the limitations of database engines when running on multicores using MySQL and PostgreSQL as examples. Based on the related work and results of our analysis, we notice that the effects from sharing and locking can be reduced by using multiple database replicas. For this reason, we have developed a system, Multimed, used to deploy a cluster-based database replication system on a single multicore machine. We, show how to deploy several replicated engines within a single multicore machine to achieve better scalability and stability than a single database engine operating on all cores. The proposed system can be extended to manage different kind of situations and specializations that lead to increased stability and performance of the system. We I

3 further extend the system to support extensions to the existing database engine, such as new operators or specialized indexes. These extensions are deployed as specialized replicas that increase the initial engine s robustness and flexibility. This thesis proposes to use the multicore architecture as a platform to deploy a set of specialized replicas to improve the performance of the initial database engine and extend its functionality with specialized functionality that was not supported by the initial database engine. The resulting system avoids a complete redesign of the database engine while providing a low overhead alternative with significant performance gains for an important class of workloads. The evaluation of the system shows that by using Multimed we are able to improve the performance of existing database engines when running on multicores. Deploying a set of replicas inside a single multicore machine replicates the shared data structures and synchronization primitives while distributing the load reduces the contention over the system. Extending the system with optimized operators and specializing satellites to improve performance of long running queries increases memory locality and removes interaction with concurrent queries in the system. II

4 Zusammenfassung In dieser Arbeit geht es um Datenbanksysteme, die auf Mehrkernprozessoren arbeiten. In den letzten Jahren haben die sich stetig erhöhenden Prozessortaktfrequenzen die Leistungsfähigkeit moderner Software deutlich verbessert. Weil es derzeitig in der Prozessortechnologie aber auch den Trend zu einer höheren Anzahl von Prozessoren in Mehrkern-CPUs gibt, steht in Infrastruktursystemen genutzte Software, wie Betriebssysteme und Datenbanksysteme, nun vor grossen Herausforderungen. Die Nutzung von neuen Ressourcen, die die Mehrkernprozessoren zur Verfügung stellen, stellt eine weitere Leistungsverbesserung dar. Typischerweise entwickelt sich Software dieser Art aber langsamer als die zugrundeliegende Hardware. Hinzu kommt, dass Multikernprozessoren strukturelle Einschränkungen mit sich bringen, die nur durch grundlegende Veränderungen in der Architektur aufgelöst werden können. Forschungsarbeiten im Bereich Betriebssysteme schlagen vor, Multikernprozessoren eher als verteilte Systeme zu behandeln statt zu versuchen, die parallele Struktur der Hardware zu überdecken. Diese Arbeit schlägt einen ähnlichen Ansatz in Bezug auf Datenbanksysteme vor, wobei die Ergebnisse von bereits vorhandenen Arbeiten zu clusterbasierten Replikationssystemen genutzt werden. Die Arbeit beginnt mit einem Überblick über derzeitigen Herausforderungen und Lösungen für die Arbeit mit modernen Mehrkernprozessoren. Untersuchungen zu Betriebssystemen und Datenbanken haben gezeigt, dass die Hauptprobleme für die Perfomance Sperren, die Speicherlokalität, Workload Interaction und der intensive Gebrauch von geteilten Datenstrukturen sind. Daran anschliessend analysieren wir die Einschränkungen von Datenbankmanagementsystemen, die auf Mehrkernprozessoren laufen. Dabei verwenden wir beispielhaft MySQL and PostgreSQL. Basierend auf den Ergebnissen bereits vorhandener Arbeiten und eigenen Analysen stellen wir fest, dass die Effekte von geteilten Datenstrukturen und Sperren verringert werden können, indem mehrere Datenbankreplikate genutzt werden. Zu diesem Zweck entwickelten wir ein System, Multimed, das ein clusterbasiertes Datenbankreplikation- III

5 ssystem auf einem Mehrkernprozessorsystem einsetzen kann. Schliesslich zeigen wir, wie man einzelne replizierte Datenbankmanagementsysteme auf einem Mehrkernprozessorsystem einsetzen kann, um bessere Skalierbarkeits- und Stabilitätswerte zu erhalten als mit nur einem einzelnen Datenbankmanagementsystem das auf allen Kernen arbeitet. Das vorgeschlagene System kann erweitert und seine Stabilität und Performance erhöht werden, um verschiedenen Situationen und Spezialisierungen gerecht zu werden. Weiterhin bauen wir das System so aus, dass Erweiterungen am vorhandenen Datenbankmanagementsystem, wie neue Operatoren, spezialisierte Indizes und spezialisierte Replikate unterstützt werden, die schliesslich die Robustheit und die Flexibilität des ursprünglichen Systems erhöhen. Diese Arbeit schlägt vor, die Architektur von Mehrkernprozessoren als Plattform für den Einsatz von spezialisierten Replikaten zu nutzen, um die Leistung des ursprünglichen Datenbankmanagementsystems zu verbessern und seine Funktionalität um spezialisierte Anwendungsmöglichkeiten zu erweitern. Mit dem resultierenden System lässt sich eine völlige Neugestaltung des Datenbankmanagementsystems verhindern und zudem bietet es eine Alternative mit geringem Overhead und signifikantem Performancegewinn für verschiedene Anforderungen. Die Evaluation unseres Systems zeigt, dass wir mit dem Einsatz von Multimed die Performance bestehender Datenbankmanagementsysteme auf Mehrkernprozessoren steigern konnten. Der Einsatz verschiedener Replikate auf einem Mehrkernprozessorsystem repliziert die geteilten Datenstrukturen und Synchronisationsprimitive während die Verteilung des Workloads die Konflikte um das System reduziert. Eine Erweiterung des Systems durch optimierte Operatoren und spezialisierte Replikate für die Verbesserung lange laufender Anfragen vermindert Speicherlokalität und verhindert die Interaktion zwischen gleichzeitigen Anfragen an das System. IV

Ähnliche Dokumente

DISS. ETH NO. 21753. Cloud-ready scalable and elastic data processing using o -the-shelf databases, replication and virtualization

DISS. ETH NO. 21753. Cloud-ready scalable and elastic data processing using o -the-shelf databases, replication and virtualization DISS. ETH NO. 21753 Cloud-ready scalable and elastic data processing using o -the-shelf databases, replication and virtualization Athesissubmittedtoattainthedegreeof DOCTOR OF SCIENCES of ETH ZURICH (Dr.