Fehlertoleranz auf Basis des Hypervisors

Transkript

1 Fehlertoleranz auf Basis des Hypervisors Hendrik Borghorst 6. März 2013 Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 1/45

2 1 Einleitung Fehlertoleranz durch Replikation 2 Replikation durch Hypervisor Beschreibung des Protokolls Auswertung 3 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Auswertung 4 Zusammenfassung und Ausblick Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 2/45

3 Einleitung Fehlertoleranz durch Replikation Fehlertoleranz durch Replikation Fehlertoleranz durch redundante Ausführung Zwei oder mehrere Systeme im gleichem Zustand Synchronisation erforderlich Fehlertoleranz durch Übernahme des Hauptsystems Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 3/45

4 Einleitung Fehlertoleranz durch Replikation Replikation durch Hardware Anwendung Anwendung Betriebssystem Betriebssystem Hardware Primäre-Maschine Replikation Hardware Backup-Maschine Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 4/45

5 Einleitung Fehlertoleranz durch Replikation Replikation auf Hardware-Ebene Replikation wird durch spezielle Hardware verwaltet Hardware muss an System-Architektur angepasst werden Wechsel der Architektur mit hohem Aufwand verbunden Teuer und komplexe Systeme Replikations-Hardware auch anfällig gegen Ausfall Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 5/45

6 Einleitung Fehlertoleranz durch Replikation Replikation durch Betriebssystem Anwendung Anwendung Betriebssystem Betriebssystem Hardware Primäre-Maschine Replikation Hardware Backup-Maschine Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 6/45

7 Einleitung Fehlertoleranz durch Replikation Replikation auf Betriebssystem-Ebene Betriebssystem übernimmt Replikations-Kontrolle Schwer den Zustand eines gesamten Betriebssystems zu erfassen Replikations-Zustand wird sehr komplex Änderung an Betriebssystem Änderung an Replikationsmechanismus Zu hoher Wartungsaufwand Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 7/45

8 Einleitung Fehlertoleranz durch Replikation Replikation durch Anwendung Anwendung Anwendung Betriebssystem Betriebssystem Hardware Primäre-Maschine Replikation Hardware Backup-Maschine Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 8/45

9 Einleitung Fehlertoleranz durch Replikation Replikation auf Anwendungs-Ebene Anwendung übernimmt Replikation Viel Aufwand für Anwendungsentwickler Netzwerkkommunikation, Zustandsreplikation in Anwendung implementiert, zusätzliche Kosten Ebenfalls hoher Wartungsaufwand Viel Overhead bei mehreren Anwendungen Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 9/45

10 Einleitung Fehlertoleranz durch Replikation Replikation durch einen Hypervisor Anwendung Anwendung Betriebssystem Betriebssystem Primär-Hypervisor Backup-Hypervisor Hardware Primäre-Maschine Replikation Hardware Backup-Maschine Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 10/45

11 Einleitung Fehlertoleranz durch Replikation Replikation durch Hypervisor Hypervisor startet statt Betriebssystem Hypervisor startet Betriebssystem Hypervisor übernimmt Replikations-Kontrolle Replikation von verschiedenen Betriebssystemen möglich (z.b. Linux oder Windows) Replikationsmechanismus muss nur einmal entworfen werden Änderung an Betriebssystem keine Änderung an Replikation Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 11/45

12 Replikation durch Hypervisor Beschreibung des Protokolls 1 Einleitung 2 Replikation durch Hypervisor Beschreibung des Protokolls Auswertung 3 Fehlertoleranz durch Proaktive Wiederherstellung 4 Zusammenfassung und Ausblick Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 12/45

13 Replikation durch Hypervisor Beschreibung des Protokolls Protokoll-Beschreibung I Abstraktes Protokoll vorgestellt von T.Bressoud und F.Schneider Aufteilung in Primäre-Maschine und Backup-Maschine Führen gleiche Befehlssequenz aus Bei Fehler übernimmt Backup-Maschine Unterscheidung zwischen Befehlstypen: gewöhnliche Befehle: Komplett deterministisch. Können vom Hypervisor direkt verarbeitet werden. Bsp.: arithmetische Befehle Umgebungs-Befehle: Hängen von Außenwelt ab. Müssen vom Hypervisor simuliert werden und an Backup-Maschinen verteilt werden. Bsp.: Abfrage der Uhrzeit Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 13/45

14 Replikation durch Hypervisor Beschreibung des Protokolls I/O-Operationen Fällt Primäre-Maschine aus, muss Backup-Maschine die I/O-Operationen übernehmen können. Vorhandensein eines gemeinsamen I/O-Systems notwendig I/O-Annahme: Alle I/O-Operationen die für die Primäre-Maschine möglich sind, können auch durch Backup-Maschine ausgeführt werden. Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 14/45

15 Replikation durch Hypervisor Beschreibung des Protokolls Umgebungs-Befehle Führt virtuelle Maschine Umgebungs-Befehl aus, muss Hypervisor aufgerufen werden. Realisierung z.b. durch Trap Ergebnis des Befehls muss an Backup-Maschinen verteilt werden Umgebungs-Befehl-Annahme: Wird ein Umgebungs-Befehl ausgeführt, muss der Hypervisor aufgerufen werden, damit der Befehl simuliert werden kann und verteilt werden kann. Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 15/45

16 Replikation durch Hypervisor Beschreibung des Protokolls Befehlssynchronisation Befehlssequenzen müssen zwischen Primärer-Maschine und Backup-Maschine synchronisiert ablaufen Befehlssequenz wird in Epochen gegliedert Am Ende jeder Epoche wird Hypervisor aufgerufen Befehlssequenz-Unterbrechung: Es gibt einen Mechanismus, der sicherstellt, dass alle Maschinen an der gleichen Stelle im Programmcode unterbrochen werden und der Hypervisor aufgerufen wird. Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 16/45

17 Replikation durch Hypervisor Beschreibung des Protokolls Protokoll-Beschreibung I Umgebungs-Befehl bei Primärer-Maschine: Simulation durch Primär-Hypervisor Verteilen der Daten an Backup-Hypervisor Unterbrechung bei Primär-Hypervisor: Unterbrechung bis zum Ende der Epoche zurückhalten. Epochenende bei Primär-Maschine: Gesammelte Unterbrechungen an Backup-Hypervisor senden Unterbrechungen an Primäre-Maschine ausliefern nächste Epoche beginnen Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 17/45

18 Replikation durch Hypervisor Beschreibung des Protokolls Protokoll-Beschreibung II Umgebungs-Befehl bei Backup-Maschine: Warten auf Daten des Primär-Hypervisors Ausliefern der Befehlsdaten an Backup-Maschine Unterbrechung bei Backup-Hypervisor: Unterbrechung verwerfen. Epochenende bei Backup-Maschine: Warten auf Empfang der Unterbrechungen von Primär-Hypervisor Ausliefern der Unterbrechungen an Backup-Maschine nächste Epoche beginnen Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 18/45

19 Replikation durch Hypervisor Beschreibung des Protokolls Übernahme im Fehlerfall Umgebungs-Befehle und Unterbrechungen müssen durch Backup-Maschine behandelt werden Backup-Hypervisor erhält Fehlerbenachrichtigung: Backup-Hypervisor simuliert fortan Umgebungs-Befehle Unterbrechungen werden durch Backup-Hypervisor verarbeitet Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 19/45

20 Replikation durch Hypervisor Beschreibung des Protokolls Umgang mit Ein-/Ausgaben Eingaben und Ausgaben müssen durch Hypervisor speziell behandelt werden Ausgabe-Operationen werden durch Primär-Hypervisor an Umgebung weitergeleitet Backup-Hypervisor absorbiert alle Ausgaben seiner virtuellen Maschine Eingabe-Operationen benötigen komplexeres Vorgehen Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 20/45

21 Replikation durch Hypervisor Beschreibung des Protokolls Verschiedene Eingabe-Operationen Uhren-Befehle: Tageszeit muss mit jeder Abfrage steigen Muss konsistent zwischen Primär- und Backup-Hypervisor sein Synchronisation am Ende jeder Epoche einfach realisierbar I/O-Befehle: Protokoll stellt keine Garantie gegenüber Verlust von Unterbrechungen bereit Fertigstellung einer I/O-Operation kann eventuell nicht erkannt werden Zusätzliche Absicherung von I/O-Operationen notwendig Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 21/45

22 Replikation durch Hypervisor Beschreibung des Protokolls Sicherung von I/O-Operationen I/O-Modell Annahme: I/O-Operation abgeschlossen: Prozessor sendet Unterbrechung zur Signalisierung Ungewissheit über Abschluss: I/O-Geräte können Ungewissheit über Abschluss einer I/O-Operation signalisieren. Gerätetreiber müssen mit Bedingungen umgehen können Backup-Hypervisor übernimmt Ausführung: Für alle I/O-Operationen wird Ungewissheit signalisiert I/O-Geräte wiederholen I/O-Operation Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 22/45

23 Replikation durch Hypervisor Auswertung Schematischer Aufbau primäre Maschine gemeinsame HDD Netzwerk sekundäre Maschine Abbildung : Frei nach [BS95] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 23/45

24 Replikation durch Hypervisor Auswertung Verwendeter Aufbau Zwei HP-9000/720 Systeme Gemeinsamer SCSI-Bus zur Verbindung der gemeinsamen Festplatte Geteilte Ethernet-Verbindung HP-UX UNIX-System Epochen-Größe von Instruktionen getestet CPU-lastiger Test Bestimmung der CPU-Geschwindigkeit I/O-lastiger Test Bestimmung der I/O-Geschwindigkeit Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 24/45

25 Replikation durch Hypervisor Auswertung Ergebnisse I relative Performanz CPU Epochen-Größe Abbildung : CPU-lastiger Test, nach [BS95] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 25/45

26 Replikation durch Hypervisor Auswertung Ergebnisse II 2,5 2 relative Performanz 1,5 1 0,5 Lesen Schreiben Epochen-Größe Abbildung : I/O-lastiger Test, nach [BS95] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 26/45

27 Fehlertoleranz durch Proaktive Wiederherstellung 1 Einleitung 2 Replikation durch Hypervisor 3 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Auswertung 4 Zusammenfassung und Ausblick Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 27/45

28 Fehlertoleranz durch Proaktive Wiederherstellung Proaktive Wiederherstellung System wird periodisch neugestartet Sicherer Zustand wiederhergestellt, fehlerhafte Systeme funktionieren wieder Fehlerhaft im Sinne von Software-Fehler Nichtverfügbarkeit während Neustart ein Problem Lösung: Paralleles Neustarten und Weiterarbeiten der alten Maschine Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 28/45

29 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Einleitung VM-Fit Ziel: Schutz gegen bösartige Angriffe und Manipulation Virtualisierung ermöglicht paralleles Neustarten eines Systems Verwendung von möglichst viel gewöhnlicher Software Aus Basis des XEN-Hypervisor Schwerpunkt auf netzwerkbasierte Diensten Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 29/45

30 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Funktionsweise von VM-Fit Mehrere Instanzen einer virtuellen Maschine auf einem Host Vertrauenswürdige VM Dom0 für Treiber und HW-Zugriff Gefahr gegen Wiederholtes Angreifen einer bestimmten Sicherheitslücke Lösung: Service-Instanzen variieren z.b. durch n-version Programming Verifikation des Netzwerkverkehrs möglich (NV-Domain) Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 30/45

31 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Aufbau eines RESH-System I/O Network Physical Host Trusted Domain Replica Domain Replica Domain Hypervisor Hardware Replica Domain Abbildung : RESH-System, nach [RK07] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 31/45

32 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Aufbau eines REMH-System I/O Network group communication Physical Host Physical Host Physical Host Trusted Domain Replica Domain Hypervisor Hardware Trusted Domain Replica Domain Hypervisor Hardware Trusted Domain Replica Domain Hypervisor Hardware Abbildung : REMH-System, nach [RK07] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 32/45

33 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Fehlertoleranz-Eigenschaften 2n + 1 Service-Instanzen können n fehlerhafte Instanzen ausmaskieren Vertrauenswürdige VM wird als fehlerfrei und sicher angenommen Für Linux-System nicht zu garantieren Lösung: Entwicklung einer minimalen Network and Voting virtuellen Maschine Verifikation dieser NV-VM möglich Keine Sicherheit gegenüber Systemausfall bei RESH (Replication on Single Host) Abhilfe durch REMH (Replication on Multiple Hosts): mehrfach Ausführung der NV-VM Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 33/45

34 Fehlertoleranz durch Proaktive Wiederherstellung Vorstellung der VM-Fit Architektur Ablauf der Wiederherstellung Trennung von Anwendungs- und Systemzustand Verifikation von Abbildern/Zuständen durch Checksumme Anwendungszustand durch Anwendung exportiert Parallel zur Ausführung bestehender Instanzen Anwendungszustand übertragen & verifizieren Umschalten auf wiederhergestellte Instanz Möglichkeit zur parallelen Wiederherstellung aller Service-Instanzen vorhanden Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 34/45

35 Fehlertoleranz durch Proaktive Wiederherstellung Auswertung Testaufbau Multicore-SMP System (2x2 AMD-Prozessor) RESH-System Test mit drei Service-Instanzen Einfach Netzwerk-Server: einfache Anfragen werden mit einfachen Antworten abgefertigt Ausfall bedeutet: keine Antworten aber erhöhte CPU-Last Erster Fehler nach 600 s dann alle 400 s Wiederherstellung alle 100 s Testfälle: keine Wiederherstellung Proaktive Wiederherstellung ohne Virtualisierung VM-Fit mit parallelem Wiederherstellen einer VM VM-Fit mit parallelem Wiederherstellen aller VMs Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 35/45

36 Fehlertoleranz durch Proaktive Wiederherstellung Auswertung Keine Wiederherstellung 6000 Anfragen pro Sekunde Zeit in (s) Abbildung : keine Wiederherstellung, nach [RK07] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 36/45

37 Fehlertoleranz durch Proaktive Wiederherstellung Auswertung Proaktive Wiederherstellung 6000 Anfragen pro Sekunde Zeit in (s) Abbildung : Proaktive Wiederherstellung ohne Virtualisierung, nach [RK07] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 37/45

38 Fehlertoleranz durch Proaktive Wiederherstellung Auswertung Proaktive Wiederherstellung mit VM-Fit I 6000 Anfragen pro Sekunde Zeit in (s) Abbildung : Proaktive Wiederherstellung mit VM-Fit (eine VM), nach [RK07] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 38/45

39 Fehlertoleranz durch Proaktive Wiederherstellung Auswertung Proaktive Wiederherstellung mit VM-Fit II 6000 Anfragen pro Sekunde Zeit in (s) Abbildung : Proaktive Wiederherstellung mit VM-Fit (alle VMs), nach [RK07] Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 39/45

40 Zusammenfassung und Ausblick 1 Einleitung 2 Replikation durch Hypervisor 3 Fehlertoleranz durch Proaktive Wiederherstellung 4 Zusammenfassung und Ausblick Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 40/45

41 Zusammenfassung und Ausblick Zusammenfassung Replikation nach T.Bressoud als abstraktes Protokoll zu verstehen Geschwindkeitseinbußen nicht zeitgemäß Fehlertoleranz gegenüber Systemausfall VM-Fit stellt Fehlertoleranz gegenüber Manipulation dar Reduziert Nichtverfügbarkeit auf ein absolutes Minimum Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 41/45

42 Zusammenfassung und Ausblick Ausblick VM-Fit auf REMH-System implementieren für erhöhte Ausfallsicherheit Replikation auf Basis von XEN durch Remus Komplett transparente Replikation für BS inkl. Lan-Verbindungen Performanz heutiger Hypervisor ist nahe nativer Ausführungsgeschwindkeit [YWGK06] Zustandstransfer lässt sich effizienter gestalten [LC09] Virtualisierung in vielen Bereichen der Informatik aktuelles Thema Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 42/45

43 Vielen Dank für die Aufmerksamkeit Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 43/45

44 Literatur I BRESSOUD, T. C. ; SCHNEIDER, F. B.: Hypervisor-based fault tolerance. In: SIGOPS Oper. Syst. Rev. 29 (1995), Dezember, Nr. 5, DOI / ISSN LU, Maohua ; CHIUEH, Tzi cker: Fast memory state synchronization for virtualization-based fault tolerance. In: Dependable Systems Networks, DSN 09. IEEE/IFIP International Conference on, 2009, S Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 44/45

45 Literatur II REISER, Hans P. ; KAPITZA, Rudiger: Hypervisor-Based Efficient Proactive Recovery. In: Proceedings of the 26th IEEE International Symposium on Reliable Distributed Systems. Washington, DC, USA : IEEE Computer Society, 2007 (SRDS 07). ISBN X, YOUSEFF, Lamia ; WOLSKI, Rich ; GORDA, Brent ; KRINTZ, Chandra: Evaluating the Performance Impact of Xen on MPI and Process Execution For HPC Systems. In: Proceedings of the 2nd International Workshop on Virtualization Technology in Distributed Computing. Washington, DC, USA : IEEE Computer Society, 2006 (VTDC 06). ISBN , 1 Hendrik Borghorst Fehlertoleranz auf Basis des Hypervisors 45/45