Virtualisierung. Markus Gerstel. Hauptseminar: Databases in the Cloud, SS 2009 Betreuer: Dipl. Inf. Alexander Stage Technische Universität München

Transkript

1 Virtualisierung Markus Gerstel Hauptseminar: Databases in the Cloud, SS 2009 Betreuer: Dipl. Inf. Alexander Stage Technische Universität München 5. Mai 2009

2 Vortragsinhalt 1 Einleitung: Virtualisierung Virtuelle Maschinen Virtualisierung - Möglichkeit, Notwendigkeit, Chance Grenzen der Virtualisierung: Hardwareabhängigkeit 2 Grundproblem: Verschieben einer laufenden VM Verschieben virtueller Hardware Hauptspeicher Hintergrundspeicher Netzwerk Zusammenfassung 3 Ausblick

3 Virtuelle Maschinen Virtuelle Maschinen seit Mitte der 60er: IBM 7044 (M44) simuliert virtuelle Maschinen des Typs IBM 7044 (44X) Virtuelle Maschinen auf Großrechnern gang und gäbe x86 galt allerdings bis 1999 als ineffizient bzw gar nicht virtualisierbar Hauptursache: Nicht alle Befehle sind abfangbar.

4 Virtualisierung - Möglichkeit VMWare virtualisiert kompletten x86 Rechner mit (in Grenzen) frei wählbarer Hardware und sinnvoller Geschwindigkeit. Xen für kooperative Gastsysteme dann: x86-erweiterungen Pacifica/Vanderpool für unkooperative Gastsysteme Konkurrenz unter Virtualisierungslösungen (Virtual PC) führte z.b. zu kostenlosem VMWare Server eventuell Windows XP VM in Windows 7

5 Virtualisierung - Möglichkeit VMWare virtualisiert kompletten x86 Rechner mit (in Grenzen) frei wählbarer Hardware und sinnvoller Geschwindigkeit. Xen für kooperative Gastsysteme dann: x86-erweiterungen Pacifica/Vanderpool für unkooperative Gastsysteme Konkurrenz unter Virtualisierungslösungen (Virtual PC) führte z.b. zu kostenlosem VMWare Server eventuell Windows XP VM in Windows 7

6 Virtualisierung - Notwendigkeit Prozessortechnologie: Einzelkerne werden nur langsam schneller, dafür aber mehr Kerne pro Computer. Anwendungssoftware nutzt oftmals nur einen Kern. Die Folge sind ungenutzte Resourcenvorräte. Gleichzeitig wirkt Kostendruck: Energie, Hardware, Administration und Leistungsdruck: Uptime, SLAs. Verträgliche Lastprofile könnten auf einer physikalischen Maschine kombiniert werden.

7 Virtualisierung - Notwendigkeit Prozessortechnologie: Einzelkerne werden nur langsam schneller, dafür aber mehr Kerne pro Computer. Anwendungssoftware nutzt oftmals nur einen Kern. Die Folge sind ungenutzte Resourcenvorräte. Gleichzeitig wirkt Kostendruck: Energie, Hardware, Administration und Leistungsdruck: Uptime, SLAs. Verträgliche Lastprofile könnten auf einer physikalischen Maschine kombiniert werden.

8 Virtualisierung - Chance Nicht zuletzt ermöglichen Virtuelle Maschinen neue Produkte: Vom einzelnen Virtual Root Server bis zu Amazon EC2.

9 Abhängigkeit von Hardware Virtuelle Maschinen hervorragend geeignet für Serverdienste Statische Zuordnung VM physikalische Maschine begrenzt Ausfallsicherheit Hardware kann ausfallsicherer gestaltet werden: RAID, Redundante Netzteile, ECC-RAM,... Aber: Hardwareprobleme führen zu Absturz der VM Bei Amazon EC2 sogar zum Totalverlust der VM!

13 Lösung von Hardware Eine der Grundideen der Virtualisierung ist Abstraktion Trennung der Bindung VM physikalische Maschine Idee: Nehme den vollständigen Kontext einer VM und mache diesen verschiebbar. Probleme: Virtuelle Hardwareabhängigkeiten (CPU, Speicher, Peripherie,..) Reale Hardwareabhängigkeiten (Netzwerk, USB-Geräte, SCSI-Geräte,..) Overhead

16 Beispiel: Xen-Architektur Kontroll-System Dom0 Gast-System DomU Gast-System DomU App Xen Verwaltungssoftware App App App App Betriebssystem Betriebssystem Treiber Betriebssystem Control Interface Safe Hardware Interface Event Channel Xen Virtual Machine Monitor Hardware Host-System CPU, Festplatten, Netzwerk,... Architektur eines Xen-Systems: Hypervisor/VMM stellt x86/xen-architektur zur Verfügung, auf die das Kontroll-Betriebssystem sowie die Gast-Systeme portiert wurden. aus: M. Gerstel. Virtualisierungsansätze mit Schwerpunkt Xen. Seminar Ansätze für Betriebssysteme der Zukunft, TU München, 2005.

17 Migration I: CPU, Virtuelle Peripherie CPU = Sammlung von Registern (u.a. Instruktionspointer) Virtuelle Geräte = einfache Datenstrukturen Maschine anhalten, Set kopieren, Maschine fortfahren = Fertig.

18 Migration I: CPU, Virtuelle Peripherie CPU = Sammlung von Registern (u.a. Instruktionspointer) Virtuelle Geräte = einfache Datenstrukturen Maschine anhalten, Set kopieren, Maschine fortfahren = Fertig.

19 Migration II: Hauptspeicher Hauptspeicher = Datenfeld Maschine anhalten, Feld kopieren, Maschine fortfahren = Fertig. Aber: 4 GB über 1000 Mbps ohne Overhead im Bestfall: 34 Sekunden. Problem: Externe Beobachter, z.b. offene TCP-Verbindungen

20 Migration II: Hauptspeicher Hauptspeicher = Datenfeld Maschine anhalten, Feld kopieren, Maschine fortfahren = Fertig. Aber: 4 GB über 1000 Mbps ohne Overhead im Bestfall: 34 Sekunden. Problem: Externe Beobachter, z.b. offene TCP-Verbindungen

21 Migration III: Hintergrundspeicher Optimistische Annahme dass von beiden Maschinen aus erreichbarer Hintergrundspeicher vorliegt (z.b. SAN oder multi-homed SCSI-RAID-Array) Erlaubt nur Verschiebung innerhalb des LAN. Alternativ: Verteilte Speicherstruktur (z.b. Amazon S3, Google), Replikation (Deutsche Bank)

24 Migration IV: Netzwerk Optimistische Annahme dass gemeinsamer Netzwerkbus vorliegt (also Anschluss in gleicher Broadcastdomäne) Dann lediglich ein ARP-Paket (oder VSRP) zum Umleiten des Netzwerktraffics notwendig Nur LAN-Verschiebung ist eine starke Einschränkung: Köln, Kalifornien, New Orleans, Nordirland, Schweden, USA,... Naturkatastrophen, Versorgungsprobleme, politische Instabilität betreffen ganze Rechenzentren

34 Hauptspeichermigration 1 Push phase 2 Stop-and-copy phase Downtime 3 Pull phase (Offensichtliche) Idee: Minimiere Downtime

35 Hauptspeichermigration 1 Push phase 2 Stop-and-copy phase Downtime 3 Pull phase (Offensichtliche) Idee: Minimiere Downtime

36 Hauptspeicher: Einfaches Pre-Copy Verfahren 1 Migrationsvorbereitung: Reservieren von Resourcen auf Zielrechner 2 Iterative Pre-Copy: Hauptspeicher wird nach und nach kopiert 3 Stop-and-Copy: Anhalten der VM auf Quellrechner, Transfer des verbleibenden Status 4 Commitment und Activation: Empfangsbestätigung des Zielrechners, Fortfahren der VM

37 Hauptspeicher: Einfaches Pre-Copy Verfahren 1 Migrationsvorbereitung: Reservieren von Resourcen auf Zielrechner 2 Iterative Pre-Copy: Hauptspeicher wird nach und nach kopiert 3 Stop-and-Copy: Anhalten der VM auf Quellrechner, Transfer des verbleibenden Status 4 Commitment und Activation: Empfangsbestätigung des Zielrechners, Fortfahren der VM

38 Hauptspeicher: Iterative Pre-Copy I Problem: Speicher wird während des Kopierens verändert Lösung: Nur kleiner Teil des Speichers wird laufend geändert: Writable Working Set (WWS) Kopiere also bevorzugt stabile Bereiche Problem: Wo sind diese? Abbruchbedingung?

41 Hauptspeicher: Iterative Pre-Copy II vmdirtypages = bool[ M ]; InitialiseShadowPTE(); foreach p M copy p; copiedpages = previousround = M ; rounds = 1; vmdirtypages = GetShadowPTE(); remainingmem = {p p M vmdirtypages[p]} ; while (previousround remainingmem - 0 rounds++< 29 remainingmem 50 copiedpages 3 M ) do vmdirtypages = GetAndFlushShadowPTE(); foreach p M if vmdirtypages[p] copy p; copiedpages++; fi previousround = remainingmem; vmdirtypages = GetShadowPTE(); remainingmem = {p p M vmdirtypages[p]} ; od

44 Hauptspeicher: Iterative Pre-Copy III (Xen) Shadow Page-Tables: Übersetzungstabellen für Speicherseiten Zugriffe über Shadow PTEs können abgefangen werden um Schreibzugriffe zu registrieren Während des Kopierens modifizierte Seiten werden im folgenden Durchlauf kopiert Ende der iterativen Kopierstrategie wenn kein Fortschritt mehr möglich, Ziel fast erreicht, zuviele Iterationen, oder Speicherinhalt zu oft kopiert

45 Hauptspeicher: Iterative Pre-Copy III (Xen) Shadow Page-Tables: Übersetzungstabellen für Speicherseiten Zugriffe über Shadow PTEs können abgefangen werden um Schreibzugriffe zu registrieren Während des Kopierens modifizierte Seiten werden im folgenden Durchlauf kopiert Ende der iterativen Kopierstrategie wenn kein Fortschritt mehr möglich, Ziel fast erreicht, zuviele Iterationen, oder Speicherinhalt zu oft kopiert

46 Hauptspeicher: Iterative Pre-Copy IIII SuspendVM(); vmdirtypages = GetAndFlushShadowPTE(); foreach p M if vmdirtypages[p] copy p; copy vmcontext; // CPU-State etc. Stop-and-Copy: VM anhalten, restlichen Speicher und CPU-Register kopieren und auf Zielrechner fortfahren

47 Hauptspeicher: Iterative Pre-Copy Beispiel

48 Hauptspeicher: Iterative Pre-Copy Runde 1 Speicherinhalt wird kopiert

49 Hauptspeicher: Iterative Pre-Copy Runde 1 Während des Kopiervorgangs werden Speicherseiten neu beschrieben. Entsprechende Seiten am Zielrechner sind nun veraltet.

50 Hauptspeicher: Iterative Pre-Copy Runde 1 Während des Kopiervorgangs werden Speicherseiten neu beschrieben. Entsprechende Seiten am Zielrechner sind nun veraltet.

51 Hauptspeicher: Iterative Pre-Copy Runde 1 Da Zielrechner hält nach der ersten Runde keine aktuelle Kopie des Hauptspeichers.

52 Hauptspeicher: Iterative Pre-Copy Runde 2 In einer zweiten Runde werden modifizierte Seiten kopiert.

53 Hauptspeicher: Iterative Pre-Copy Runde 2 In einer zweiten Runde werden modifizierte Seiten kopiert. Wieder kann Speicherinhalt während des Kopiervorgangs verändert werden.

54 Hauptspeicher: Iterative Pre-Copy Runde 2 In einer zweiten Runde werden modifizierte Seiten kopiert. Wieder kann Speicherinhalt während des Kopiervorgangs verändert werden.

55 Hauptspeicher: Iterative Pre-Copy Runde 2 Zahl der geänderten Seiten unterschreitet Grenzwert = Stop-and-Copy

56 Hauptspeicher: Iterative Pre-Copy Runde 3 Zahl der geänderten Seiten unterschreitet Grenzwert = Stop-and-Copy

57 Hauptspeicher: Iterative Pre-Copy Runde 3 Hauptspeichermigration abgeschlossen.

58 Hauptspeicher: Pre-Copy Erweiterungen Rapid Page Dirtying: Kopiere nur Seiten die in der vorletzten Runde, nicht aber in der letzten Runde modifiziert wurden. Dynamic Rate-Limiting: Erste Runden werden langsamer kopiert als Folgerunden um Netzwerklast zu reduzieren. (Wird nicht mehr verwendet) Ballooning bei Paravirtualisierung: Prozess in VM reserviert kontinuierlich freien Speicher, dieser muss nun nicht mehr kopiert werden.

59 Hauptspeichermigration 1 Push phase 2 Stop-and-copy phase Downtime 3 Pull phase

60 Hauptspeicher: Einfaches Post-Copy Verfahren 1 Migrationsvorbereitung: Reservieren von Resourcen auf Zielrechner 2 Stop-and-Copy: Anhalten der VM auf Quellrechner, Transfer des minimalen Ausführungskontexts 3 Commitment und Activation: Empfangsbestätigung des Zielrechners, Fortfahren der VM 4 Post-Copy: Hauptspeicher wird nach und nach kopiert

61 Hauptspeicher: Einfaches Post-Copy Verfahren 1 Migrationsvorbereitung: Reservieren von Resourcen auf Zielrechner 2 Stop-and-Copy: Anhalten der VM auf Quellrechner, Transfer des minimalen Ausführungskontexts 3 Commitment und Activation: Empfangsbestätigung des Zielrechners, Fortfahren der VM 4 Post-Copy: Hauptspeicher wird nach und nach kopiert

62 Hauptspeicher: Post-Copy Problem: Zugriff auf unkopierten Speicher auf der Zielmaschine Demand Paging: Active Pushing: Pre-paging: Abfangen des Seitenfehlers, Nachladen der angefragten Speicherseite über das Netzwerk Zusätzlich im Hintergrund verbleibenden Speicher kopieren Kopieren in zukünftiger Zugriffsreihenfolge (Typischerweise unbekannt Heuristiken) Vorteile gegenüber Pre-Copy: Jede Speicherseite wird höchstens einmal kopiert Schnellere Migration Aber teure Seitenfehler: wesentlich (3-10x) höhere Downtime

66 Hintergrundspeichermigration 1 Push phase Hintergrundspeicher 2 Stop-and-copy phase 3 Pull phase Hintergrundspeicher

67 Hintergrundspeichermigration 1 Push phase Hintergrundspeicher 2 Stop-and-copy phase 3 Pull phase Hintergrundspeicher

68 Hintergrundspeichermigration 1 Push phase Hintergrundspeicher 2 Hauptspeichermigration 3 Pull phase Hintergrundspeicher

69 Einfache Hintergrundspeichermigration 1 Migrationsvorbereitung: Reservieren von Resourcen auf Zielrechner 2 Intercept und Pre-Copy: Schreibzugriffe der VM werden aufgezeichnet, Hintergrundspeicher wird kopiert. 3 Hauptspeichermigration: Schreibzugriffe der VM werden weiter aufgezeichnet, und an Zielrechner übermittelt, dort angewendet. 4 Commitment und Activation: Empfangsbestätigung des Zielrechners, Fortfahren der VM

70 Erweiterungen Hintergrundspeichermigration Per Dateisystem belegte Blöcke identifizieren, unbelegte Bereiche nicht kopieren Gemeinsame Templates zwischen beiden Hosts erlauben reine Differenzkopie (z.b. Copy-on-Write) Ausbremsen von Schreibzugriffen auf Quellrechner um Migration zu beschleunigen (Write throttling) Aufgezeichnete Schreibzugriffe reordern, zusammenfassen,... Post-Copy (und beliebige Zwischenstufen) natürlich ebenfalls möglich

71 Migration Netzwerk IP-Adressen sind Einstellung des Gastbetriebssystems, Teil der Migration TCP kann sich um verlorene Pakete während der Stop-and-Copy-Phase kümmern Bei gleichbleibender IP-Adresse: Umleitung per ARP, VSRP, Routingprotokolle Bei Änderung der IP-Adresse: Rerouting/NAT, DynDNS Zusätzlich: Möglichkeit am Quellrechner eingehende Pakete an den Zielrechner weiterzureichen (z.b. VPN), solange bis alle TCP-Verbindungen geschlossen

76 Zusammenfassung: Durchsatz Webserver Throughput (Mbit/sec) Mbit/sec 512Kb files 100 concurrent clients Effect of Migration on Web Server Transmission Rate 1st precopy, 62 secs further iterations 9.8 secs 765 Mbit/sec 694 Mbit/sec 165ms total downtime Sample over 100ms Sample over 500ms Elapsed time (secs) ec) aus: C. Clark, K. Fraser, Figure 8: S. Results Hand, of migrating J. G. Hansen, a running web E. Jul, serverc. VM. Limpach, I. Pratt Iterative Progress and A. of Warfield. Live Migration: LiveSPECweb99 Migration of Virtual Machines. NSDI, Clients (90% of max load), 800MB VM Total Data Transmitted: 960MB (x1.20) Area of Bars: VM memory transfered Memory dirtied during this iteration In the final iteration, the domain is suspended. The remaining 18.2 MB of dirty pages are sent and the VM resumes execution on the remote machine. In addition to the 201ms required to 18.2 MB copy the last round of data, an additional 9ms elapse while the 15.3 MB VM starts up. The total downtime for this experiment is 210ms MB 16.7 MB

77 Zusammenfassung: Antwortzeit Quake 3 Server Packet flight time (secs) Packet interarrival time during Quake 3 migration Migration 1 downtime: 50ms Elapsed time (secs) Migration 2 downtime: 48ms Figure 10: Effect on packet response time of migrating a running Quake 3 server VM. aus: C. Clark, K. Fraser, S. Hand, J. G. Hansen, E. Jul, C. Limpach, I. Pratt and A. Warfield. Live Migration of Virtual Machines. NSDI, Iterative Progress of Live Migration: Quake 3 Server 6 Clients, 64MB VM Total Data Transmitted: 88MB (x1.37) The final iteration in this case leaves only 148KB of data to 0.8 MB transmit. In addition to the 20ms required to copy this last Area of Bars: round, an additional 40ms are spent on start-up overhead. The VM memory transfered total downtime experienced is 60ms. Memory dirtied during this iteration 0.2 MB 0.1 MB it/sec) MB

78 Zusammenfassung Migration ist (prinzipbedingt) ressourcenintensiv CPU-Overhead: Shadowing, Trapping, Datendurchsatz (allein 30% für letzteres nach Nelson 2005) Netzwerk: Kopiervorgang, Umleitung Migration trennt VM physikalische Maschine damit wichtiges Werkzeug, essentiell für VM-Scheduling

82 Ausblick: Problem: CPUs Verschiedene CPUs = verschiedene Featuresets Teilweise sogar innerhalb einer Generation (Steppings) Betriebssysteme können eventuell nicht mit plötzlich wechselnder Plattform umgehen März 2009: AMD demonstriert Live Migration über drei CPU-Generationen (VMWare ESX)

85 Ausblick: Vorratsvirtualisierung als (Offsite-)Backup mit Differenz-Snapshots Virtual machine time travel using continuous data protection and checkpointing, P. Ta-Shma et. al. (2008) als Nahezu-Lockstep-Hot-Standby für HA-Systeme: High-speed Checkpointing for High-Availability, B. Cully (2007)

88 Fragen? Thank you. 謝謝 Spasibo. Dziekuje. Danke.

89 Quellennachweise R. Bradford, E. Kotsovinos, A. Feldmann, H. Schiög. Live wide-area migration of virtual machines including local persistent state. VEE 2007: Proc. International Conference on Virtual Execution Environments. C. Clark, K. Fraser, S. Hand, J. G. Hansen, E. Jul, C. Limpach, I. Pratt and A. Warfield. Live Migration of Virtual Machines. NSDI, M. R. Hines, K. Gopalan. Post-Copy Based Live Virtual Machine Migration Using Adaptive Pre-Paging and Dynamic Self-Ballooning. VEE 2009: Proc. International Conference on Virtual Execution Environments. M. Nelson, B.-H. Lim, G. Hutchins. Fast Transparent Migration for Virtual Machines. Proceedings of USENIX K. K. Ramakrishnan, P. Shenoy, J. Van der Merwe. Live data center migration across WANs: a robust cooperative context aware approach. Proc SIGCOMM workshop on Internet network management

90 Multi Tenancy und Software-as-a-Service Alfred Ostermeier Hauptseminar: Databases in the Cloud, SS 2009 Technische Universität München nächste Woche