DECLARATIVE RESOURCE MANAGEMENT FOR VIRTUAL NETWORK SYSTEMS

Transkript

1 DISS. ETH NO DECLARATIVE RESOURCE MANAGEMENT FOR VIRTUAL NETWORK SYSTEMS A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by QIN YIN Master of Science ETH in Computer Science, ETH Zurich July 1, 1981 citizen of China accepted on the recommendation of Prof. Dr. Timothy Roscoe, examiner Prof. Dr. Gustavo Alonso, co-examiner Prof. Dr. Jeffrey S. Chase, co-examiner 2013

2 Abstract This dissertation addresses how to apply declarative techniques to resource management over virtual network systems on the client and the provider side. More and more distributed applications and services run on physical or virtual compute, storage and network resources that have been rented or otherwise dynamically acquired from resource providers. Example resource providers are cloud computing platforms, grid systems, as well as research testbeds. However, applications deployed to date over these new virtual infrastructures have generally not been written specifically for such platforms. To deal with the resource management challenges, traditional approaches are applied: an external management system or human administration performs management functions. This solution has obvious deficiencies: increased complexity, poor response to resource availability and slow adaptation to application goals and pricing policies. The first part of this thesis explores a new approach to building and managing distributed applications over virtual infrastructures: the application handles resource management issues itself as a continuous process of optimization. Two key design features of this approach are fate-sharing between application and resource management and declarative resource management. This approach has been implemented in the Rhizoma decentralized management runtime. With Rhizoma running alongside the application on the same nodes, the application can handle resource management issues itself by acquiring and releasing processing resources autonomously as both external conditions and the needs of the application itself change. This approach is validated and extended in the Anzere personal data storage and replication system. Anzere provides a declarative way to partially replicate data items at scale according to expressive policy specifications. The second part of the thesis is motivated by the rise of virtual infrastructures which allow users to reserve or use combinations of (virtual) nodes, switches, and network links from underlying shared physical virtual infrastructures ranging from network testbeds to grid computing facilities. This trend has renewed research interest in the design and implementation of resource allocators. Virtual infrastructure resource allocation becomes more challenging as dependencies between resources become more constrained, resources become more diverse and infrastructures scale to large numbers of clients, sites, and network elements. v

3 vi ABSTRACT The basic problem addressed in the second part is how a client of a virtual infrastructure provider requests resources, how the provider allocates such resources, and how the allocation of such resources is returned to the client. Since this area is still relatively new, research work on resource allocation for virtual infrastructures still lacks benchmarks. The thesis suggests a general framework to generate realistic benchmarks for virtual infrastructure resource allocators, and presents as an example a workload generator which is based on a 5-year trace of experiments submitted to the popular Emulab testbed. To addresses the virtual network mapping problem, we propose the VF2x mapping algorithm. Several novel algorithmic improvements and careful implementation enable VF2x to allocate resources to virtual networks on a large testbed in a matter of seconds using commodity hardware. VF2x is integrated as the resource allocation solver in Arosa, our resource allocator for network testbeds. Arosa explores a late-binding resource allocation strategy which is enabled by expressing both the resource requests and the resource commitments as constraints. Latebinding resources to requests enables the providers to optimize resource allocation for various metrics such as utilization, and can help to mask failures of physical resources from users as illustrated by the experiments.

4 Kurzfassung Diese Dissertation beschäftigt sich mit der Anwendung von deklarativen Techniken zur Ressourcenverwaltung virtueller Netze sowohl für den Client als auch den Provider. Eine steigende Anzahl von verteilten Anwendungen und Services werden unter Einsatz von gemieteten oder anderweitig dynamisch erworbenen physischen oder virtuellen Rechen-, Speicher-, und Netzwerk-Ressourcen betrieben. Beispiele für solche Infrastrukturen sind Cloud-Computing Plattformen, Grid-Computing und Testumgebungen für die Forschung. Anwendungen, die in solchen Umgebungen ausgeführt werden, sind jedoch üblicherweise nicht speziell für diese Plattformen entwickelt worden. Um das Problem der Ressourcenverwaltung in diesem Kontext zu lösen, verwendet man momentan entweder externe Managementsysteme oder man verwaltet die Ressourcen manuell. Erhöhte Komplexität, lange Reaktionszeiten auf geänderte Verfügbarkeiten sowie die langsame Anpassung an die Ziele der Anwendung und Preisgestaltung sind jedoch offensichtliche Nachteile dieser Ansätze. Der erste Teil dieser Dissertation befasst sich mit einem neuen Ansatz für den Entwurf und die Verwaltung von verteilten Anwendungen in virtuellen Infrastrukturen. Hierbei löst der entwickelte Ansatz alle Facetten der Ressourcenverwaltung in einem kontinuierlichen Optimierungsprozess. Zwei wichtige Eigenschaften dieses Ansatzes sind Fate-Sharing zwischen Applikation und Ressourcemanagement als auch die deklarative Ressourcenverwaltung, welche in dem dezentralen Laufzeitsystem Rhizoma implementiert wurden. Durch die Verwendung von Rhizoma können Anwendungen ihre Ressourcen selber verwalten indem sie diese selbstständig erwerben und freigeben als Reaktion auf Veränderungen der äußeren Infrastruktur oder geänderter Anforderungen der Anwendung selbst. Die Zweckmäßigkeit dieses Ansatzes bestätigt sich in Anzere, einem System zur Speicherung und Replikation von persönlichen Daten. Anzere bietet durch die von Rhizoma erhaltenen Funktionalitäten einen deklarativen Weg um skalierbare Datenbestände auf Basis von ausdrucksstarken Richtlinien partiell zu replizieren. Der zweite Teil dieser Dissertation ist begründet durch den zunehmenden Einsatz von virtuellen Infrastrukturen, welche es dem Benutzer erlauben (virtuelle) Knoten, Switches und Netzwerkverbindungen von physisch gemeinsam genutzten vii

5 viii KURZFASSUNG Testumgebungen und Grid-Computing Systemen zu reservieren oder beliebig zu kombinieren. Diese führen zu gestärktem Forschungsinteresse an Entwurf und Umsetzung von Programmen, die Ressourcen automatisch allokieren. Strikte Abhängigkeit zwischen Ressourcen, eine zunehmende Vielfalt an Ressourcen sowie die steigende Anzahl von Clients, Standorten, sowie Netzwerkteilnehmern erschweren die Zuweisung von Ressourcen in diesem Zusammenhang. Das unterliegende Problem adressiert im zweiten Teil dieser Arbeit kann formuliert werden als die Frage wie Kunden des Betreibers virtueller Infrastrukturen Anfragen nach Ressourcen stellen können, wie der Betreiber diese Anfrage erfüllen kann und wie die Ressourcenbelegung an den Kunden übermittelt werden kann. Da dieses Forschungsgebiet noch relativ neu ist, fehlt es hier zudem an Benchmarks, die die Bewertung solcher Einteilungen ermöglichen. Diese Dissertation formuliert ein Framework zur Erstellung realistischer Nutzlasten für Programme zur Ressourcenzuteilung für virtuelle Infrastrukturen und stellt als Beispiel einen Nutzlast-Generator auf Grundlage einer fünfjährigen Aufzeichnung von eingesendeten Ressourcenanfragen des bekannten Emulab Testbeds vor. Um Abbildungen virtueller Netzwerke auf physische Netzwerke zu ermöglichen, wird außerdem in dieser Ausarbeitung der VF2x Mapping Algorithmus vorgestellt. Durch algorithmische Erneuerungen und eine sorgfältige Implementierung ermöglicht VF2x selbst für große Netzwerke und bei Verwendung herkömmlicher Computer eine sekundenschnelle Ressourcenzuteilung. Dieser Algorithmus ist integriert in Arosa, einem Ressourcenverteiler für Testumgebungen von Netzwerken. Arosa erforscht die späte Bindung von Ressourcen, wobei Anfragen und Zuweisungen als Richtlinien im System beschrieben werden. Die späte Bindung von Ressourcen ermöglicht es den Providern eine optimierte Zuteilung der entsprechenden Ressourcen für verschiedene Metriken, wie zum Beispiel die Netzwerkauslastung, zu erstellen. Die in diesem Zusammenhang durchgeführten Experimente zeigen außerdem, dass Fehlfunktionen der physischen Ressourcen mit diesem Ansatz dem Nutzer verborgen werden können.