Resource management in a multicore operating system

Transkript

1 Research Collection Doctoral Thesis Resource management in a multicore operating system Author(s): Peter, Simon Publication Date: 2012 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 DISS.ETH NO Resource Management in a Multicore Operating System A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by SIMON PETER Diplom-Informatiker, Carl-von-Ossietzky Universität Oldenburg born October 13, 1981 citizen of Federal Republic of Germany accepted on the recommendation of Prof. Timothy Roscoe, examiner Prof. Steven Hand, co-examiner Prof. Gustavo Alonso, co-examiner Prof. Markus Püschel, co-examiner 2012

3 Abstract Trends in hardware design have led to processors with many cores on a single die, which present the opportunity for commodity computing to become increasingly parallel. These multicore architectures bring with them complex memory and cache hierarchies and processor interconnects. While the execution of batch parallel applications has been researched in the context of high-performance computing (HPC), commodity hardware is evolving at a faster pace than specialized supercomputers and applications are interactive, requiring fast system response times and the ability to react to ad-hoc workload changes. Leveraging and managing the existing potential for parallelization thus presents a difficult challenge for the development of both commodity operating systems and application programs, which have to keep up with hardware developments and present nimble solutions. This dissertation presents the design and implementation of operating system mechanisms to support the execution of a dynamic mix of interactive and parallel applications on commodity multicore computers. The main goals are to provide a system that is scalable with an increasing number of processor cores, is agile with a changing hardware architecture, and provides interactive response time to the user when running a mix of parallel, interactive applications. I describe a new operating system architecture, the Multikernel, and report about a concrete implementation of it, called Barrelfish. The Multikernel takes a novel view on the underlying hardware architecture: as a network of autonomous, heterogeneous processors. The Barrelfish operating system is structured as a distributed system of servers to facilitate easy restructuring of OS services according to the hardware architecture. Applying techniques from the field of distributed systems, Barrelfish demonstrates that the operating system can scale and perform equally well as manually tuned operating systems, like Linux, and in some cases better, while remaining agile with a range of different multicore systems. I present the design and implementation of the inter-process communication system and process scheduler within Barrelfish and show how it can be made scalable and agile by applying the Multikernel design principles. Finally, I apply the gang scheduling technique from HPC and show how it can be made nimble to support interactive response times via a novel technique called phase-locked scheduling to support scheduling a dynamic mix of parallel, interactive applications.

4 Zusammenfassung Hardwaredesign Trends haben zu Prozessoren mit vielen Kernen auf einem einzelnen Chip geführt, welches der elektronischen Datenverarbeitung ermöglicht, paralleler zu werden. Diese multicore Architekturen ziehen komplexe Speicher und Cache Hierarchien, sowie Prozessorverbindungen mit sich. Während die Ausführung von parallelen Stapelverarbeitungsanwendungen im Kontext von Hochleistungsrechnern gut erforscht ist, entwickelt sich Massenhardware schneller als spezialisierte Supercomputer und die Anwendungen sind interaktiv, was schnelle Systemantwortzeiten und die Fähigkeit, schnell auf ad-hoc Änderungen der Arbeitslast zu reagieren, voraussetzt. Die Ausnutzung und Verwaltung des existierenden Parallelisierungspotenzials stellt daher ein schwieriges Problem für die Entwicklung sowohl von Massenbetriebssystemen, als auch Anwendungsprogrammen dar, die mit der Hardwareentwicklung mithalten und flinke Lösungen anbieten müssen. Diese Dissertation stellt das Design und die Implementierung von Betriebssystemmechanismen vor, welche die Ausführung einer dynamischen Mischung von interaktiven und parallelen Anwendungen auf multicore Massencomputern unterstützt. Die Hauptziele sind ein System bereit zu stellen, welches mit einer steigenden Anzahl an Prozessorkernen skaliert, Agilität gegenüber einer sich verändernden Hardwarearchitektur bietet und dem Anwender interaktive Antwortzeiten bereitstellt, während es eine Mischung aus parallelen und interaktiven Anwendungen ausführt. Ich beschreibe eine neue Betriebssystemarchitektur, den Multikernel, und berichte über eine konkrete Implementierung derselben, genannt Barrelfish. Der Multikernel nimmt eine neue Sicht auf die darunterliegende Hardwarearchitektur: Als Netzwerk autonomer, heterogener Prozessoren. Das Barrelfish Betriebssystem ist strukturiert als verteiltes System von Servern, welches ein leichtes Restrukturieren von Betriebssystemservices anhand der Hardwarearchitektur ermöglicht. Dabei wendet Barrelfish Techniken aus dem Bereich der verteilten Systeme an und demonstriert, daß das Betriebssytem ebenso gut skalieren und funktionieren kann, wie manuell auf die Hardware abgestimmte Betriebssysteme, wie zum Beispiel Linux, und in einigen Fällen sogar besser, während es agil gegenüeber einer Anzahl verschiedener Multicoresysteme bleibt. Ich stelle das Design und die Implementierung des Interprozesskommunikationssystems und des Prozess-Schedulers vor und zeige wie

5 beide Systeme skalierbar und agil gemacht werden können, indem die Designprinzipien des Multikernels angewandt werden. Schließlich wende ich die Gang-Scheduling Technik aus dem Feld des Hochleistungsrechnens an und zeige, wie es durch eine neue Technik, genannt phase-locked scheduling, flink gemacht werden kann, so dass es interaktive Antwortzeiten beim Scheduling einer dynamischen Mischung aus parallelen und interaktiven Anwendungen unterstützt.