Algorithmen für Verteilte Systeme

Transkript

1 Überblick Zeit in verteilten Systemen. Überblick. Uhrensynchronisation..4 Synchr. von physikal. Uhren Zeit Überblick Algorithmen für Verteilte Systeme Uhrensynchronisation Zeit im Verteilten System Teil B: Koordinierung Synchronisation von physikalischen Uhren Konvergenz-Algorithmus - CNV Network Time Protocol - NTP B: Zeit in verteilten Systemen, Uhrensynchronisation B: Wahlalgorithmen B: Gegenseitiger Ausschluss Zeit.fm: 8.. 4:4 Algorithmen für Verteilte Systeme (AVS), WS / (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm c Kapitza VS (SS ) Zeit in verteilten Systemen Uhrensynchronisation Notwendigkeit von Uhrensynchronisation Zeit als Mittel der Reihenfolgebestimmung Probleme der Uhrensynchronisation c Kapitza VS (SS ) Zeit in verteilten Systemen. Überblick Zeit Zeit als als Mittel Mittel der der Reihenfolgebestimmung Beispiel: make make lokale Uhrzeit Knoten xyz.o erzeugt Lamport-Uhren Vektoruhren Knoten xyz.c korrigiert lokale Uhrzeit Synchronisation von physikalischen Uhren Grundlagen Konvergenzalgorithmus CNV Network Time Protocol NTP Modifikation von xyz.c durch Knoten wird nicht erkannt Die Modifikation Datei wird von nichtxyz.c neu übersetzt! wird nicht erkannt, Datei wird nicht neu übersetzt! c Kapitza VS (SS ) Zeit in verteilten Systemen. Uhrensynchronisation eit.fm: 8.. 4:4 Algorithmen für Verteilte Systeme (AVS), WS / c Kapitza VS (SS ) Zeit in verteilten Systemen. Uhrensynchronisation 4

2 l: Verteilte Zustandssicherung Zeit als Mittel der Reihenfolgebestimmung egeben: Verteiltes System aus interagierenden Knoten Beispiel: Verteilte Zustandssicherung ür eine konsistente Zustandsicherung soll bei allen Knoten Gegeben: Verteiltes System aus interagierenden Knoten festgelegter Uhrzeit der Zustand gesichert werden Für eine konsistente Zustandsicherung soll bei allen Knoten zu festgelegter Uhrzeit der Zustand gesichert werden roblem: Inkonsistenz möglich, falls die lokalen Uhren Problem: Inkonsistente Sicherungspunkte möglich, falls die lokalen neinander abweichen: Uhren voneinander abweichen: S Knoten Knoten t =:h m t =:h irkung von m in S enthalten, aber nicht in S! Auswirkung der Nachricht m in S enthalten, aber nicht in S! S Probleme der Uhrensynchronisation Es gibt keine völlig identischen physikalische Uhren Abweichende Initialisierung (konstantes Offset) Abweichende Ganggeschwindigkeit (Frequenzfehler) Umgebungseinflüsse (z.b. Bauteilalterung, Temperaturabhängigkeit) Ohne Synchronisierung kann Fehler immer größer werden! Gemeinsame Uhr für alle Knoten eines verteilten Systems (meist) nicht realisierbar Zentrale Referenzuhren (Funk, z.b. Langwellensender DCF77 in Mainflingen, amerikanischer Kurzwellensender WWV in Fort Collins, GPS) nur mit technisch beschränkter Genauigkeit für Verteilte Systeme (AVS), WS / 4. Reiser, Franz J. Hauck, c Abteilung Kapitza Verteilte VS (SS Systeme, ) Universität Zeit Ulmin verteilten Systemen. Uhrensynchronisation Grundidee ( nach Lamport): Aussagen zur Reihenfolge unterschiedlicher Ereignisse Nur benötigt, wenn eine Interaktion zwischen einzelnen Komponenten des verteilten Systems erfolgt ist! Eine Aktion b, die logisch durch die Interaktion bedingt nach einer Aktion a stattfindet, soll stets den größeren Zeitstempel tragen Synchronisation bei Kommunikation Anmerkung: Die im Folgenden beschriebenen Verfahren setzen voraus, dass die Kommunikation nur durch Nachrichtenaustausch über ein Kommunikationsnetz erfolgt c Kapitza VS (SS ) Zeit in verteilten Systemen. Uhrensynchronisation Beschreibung des Algorithmus: Jeder Prozess i verfügt über einen Zähler C i ( Uhr ), der auf folgende Weise zählt: Bei Ausführung einer lokalen Aktion und bei Ausführung einer Sende-Aktion durch Prozess i wird seine Uhr C i um erhöht; die Aktion bekommt den Wert nach dem Erhöhen als Zeitstempel Jede Nachricht m trägt als Zeitstempel t m den Zeitstempel der Sendeaktion Bei Empfang einer Nachricht durch Prozess i bei lokalem Uhrenstand C i und empfangenem Zeitstempel t m wird die lokale Uhr auf max(c i, t m ) + gestellt und dieser Wert als Zeitstempel des Empfangsereignis verwendet c Kapitza VS (SS ) Zeit in verteilten Systemen. 7 c Kapitza VS (SS ) Zeit in verteilten Systemen. 8

3 ) () (7) (8) (9) () Beispiel Beispiel für zwei Prozesse P und P P () () (9) P (8) () (4) () () (7) (8) (9) (4) () () () () () (9) ), WS / 9 g Verteilte Systeme, Universität Ulm : () c Kapitza VS (SS ) Zeit in verteilten Systemen. 9 () itzt nun eine lokale Uhr, die aus einem nzahl der vorhandenen Knoten) besteht. Jeder Knoten besitzt nun eine lokale Uhr, die aus einem C i [i] + + Vektor aus N (= Anzahl der vorhandenen Knoten) besteht. Implementierung: Initialisierung jedes Zeitvektors mit dem Nullvektor. () (8) () Zeit.fm: 8.. 4:4 Die Umkehrung: t(e Eigenschaften ) < t(e ) E E Eigenschaften gilt nicht! Die Zeitstempel Potentielleerzeugen kausale Abhängigkeit eine partielle eines Ereignisse Ordnung E auf von einem der Ereignis E [Kurznotation: E E ]: Menge aller Ereignisse E E t(e ) < t(e ) Ergänzung zu Dievollständiger Umkehrung Ordnung t(e ) < t(e ) E E Vektoruhren Beispiel des Zeitvektors. Initialisierung mit dem Nullvektor. jedes Zeitvektors mit dem Nullvektor. en Ereignis Logische. eines Bei jedem Prozesses Uhren lokalenpereignis i wird dessen eines Prozesses P i wird dessen Komponente in seinem Zeitvektor inkrementiert: C i [i] + + seinem Zeitvektor inkrementiert: C i [i]++. Ein Prozess P i, der eine Nachricht empfängt, inkrementiert seine der Vektoruhren: eine Nachricht Komponente empfängt, im Zeitvektor inkrementiert und kombiniert diesen danach nte im Zeitvektor komponentenweise und kombiniert mit diesen dem empfangenen danach Zeitvektor t: eise mit dem empfangenen Zeitvektor t: : C i [k] := max(c i [k]; t[k]) für k =... N : Zeit.fm: 8.. 4:4 C i [k] := max(c i [k]; t[k]) : 8.. 4:4 Ereignis E (Kurznotation: E E ): t(e ) < t(e ). Potentielle kausale Ab Ereignis E (Kurznotat Die Umkehrung: t(e ) Zeitstempel bestehend aus Prozessornummer i und lokaler gilt nicht! Zeit C i. Die Zeitstempel erzeu Menge aller Ereignisse Die Zeitstempel erzeugen eine partielle Ordnung auf der Menge aller Anordnung: Ereignisse. (C i,(es i) < gibt (C k Ereignisse,k) C i < die C gleichzeitig k oder (C i = auftreten C k und i und < k). somit nicht geordnet werden können.) Ergänzung zu vollständiger Ordnung Jeder Prozess erhält eindeutige Identifikation Zeitstempel bestehend aus Prozess i und lokaler Zeit C i. Anordnung: Ergänzung zu vollständige Algorithmen für Verteilte Systeme (AVS), WS / (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm Jeder Knoten besitzt nun eine lokale Uhr, die aus einem Vektor der Algorithmen für Verteilte Systeme (AVS), WS / 9 Länge N (= Anzahl der vorhandenen Knoten) besteht (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm P Implementierung: P P (C i, i) < (C k, k) C i < C k oder (C i = C k und i < k) Zeitstempel bestehend Zeit C i. Anordnung: (C i, i) < ( c Kapitza VS (SS ) Zeit in verteilten Systemen. 8 Algorithmen für Verteilte Systeme (AVS), WS (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Beispiel ), WS / c Kapitza VS (SS ) Zeit in verteilten Systemen. Algorithmen für Verteilte c Kapitza Systeme (AVS), (SS ) WS / Zeit in verteilten Systemen. P e Markierung der kausalen Vergangenheit des Ereignisses e 9 P

4 Synchronisation von physikalischen Uhren Eigenschaften Erzeugt eine kausale Ordnung: t(e ) < t(e ) E E Definition von < mit t(e ) := (a,..., a n ) und t(e ) := (b,..., b n ): t(e ) < t(e ) ( i : a i b i ) ( i : a i < b i ) Vorteil Exakte Aussage zum kausalen Zusammenhang von Ereignissen mit Hilfe des Zeitstempels möglich Nachteil Hoher Kommunikationsaufwand (Vektor aus N Elementen in jeder Nachricht; skaliert schlecht für großes N!) Physikalische Zeit basierend auf Atom-Sekunde: TAI Die Sekunde ist das fache der Periodendauer der dem Übergang zwischen den beiden Hyperfeinstrukturniveaus des Grundzustandes von Atomen des Nuklids Cs entsprechenden Strahlung [Gültige Definition seit 97, davor über Erdrotation (bis 9) bzw. über Erdumlaufzeit um die Sonne festgelegt.] Genauigkeit von Cs-Uhren: bis ca. 4 (entspricht ca..8ns/tag!) Verbreitung der amtlichen Zeit: Normalfrequenz/Zeitzeichensender Langwelle: z.b. DCF77 (Mainflingen, D); WWVB (Boulder, US); maximale Genauigkeit bis ca. µs Kurzwelle: z.b. WWV (Colorado), WWVH (Hawaii); maximale Genauigkeit bis ca. ms GPS-Satelliten: maximale Genauigkeit ca..µs c Kapitza VS (SS ) Zeit in verteilten Systemen. Synchronisation von physikalischen Uhren Softwarebasierte Synchronisation Master-/Slave mit Verteilung einer Referenzzeit (broadcast oder poll) Einigungsverfahren Charakterisierungsmöglichkeiten von Algorithmen Monotonie (Zeitsprünge bei Korrekturen?) Synchronisation mit der amtlichen Zeit Robustheit gegen Netzpartitionierung Fehlertoleranz gegen falsch gehende Referenzuhren Referenztreue Erzeugte Netzlast Fehleraussage c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 4 Konvergenz-Algorithmus CNV Aufgabe des Algorithmus Vermeidung einer Akkumulation einer immer größer werdenden Abweichung zwischen mehreren Uhren Ablauf Jeder Prozess liest die Uhr jedes anderen Prozesses Er stellt seine eigene Uhr auf den Mittelwert, wobei für Uhren, die mehr als eine festgelegte Schranke δ von der eigenen abweichen, der Wert der eigenen Uhr genommen wird Die gewünschten Eigenschaften (Konvergenz gegen eine gemeinsame Uhrzeit, Tolerierung von fehlerhaften Uhren) werden erfüllt, wenn weniger als ein Drittel der Uhren fehlerhaft ist c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren

5 Konvergenz-Algorithmus CNV Konvergenz-Algorithmus CNV Annahmen Benötigt n > m Prozesse, um m fehlerhafte Prozesse zu tolerieren Initial sind alle Prozesse auf in etwa die gleiche Uhrzeit synchronisiert (Fehler kleiner als δ) Die Uhren aller korrekten Prozesse laufen mit in etwa der korrekten Rate Ein korrekter Prozess kann die Uhr eines anderen korrekten Prozess mit (vernachlässigbar) kleinem maximalen Fehler ɛ lesen Ziel Zu jeder Zeit sollen alle korrekten Prozesse in etwa die gleiche Uhrzeit haben (Fehler kleiner als δ) Plausibilitätsbetrachtung Definitionen p, q seien fehlerfreie Prozesse, r irgendein Prozess C p,q sei die Uhrzeit von q, so wie sie p bekannt ist Es gilt: r fehlerfrei C p,r C q,r r fehlerhaft C p,r C q,r < δ Alle Prozesse p stellen ihre Uhr auf i (C p,i)/n c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 7 Konvergenz-Algorithmus CNV Plausibilitätsbetrachtung Schlechtester Fall: (n-m)-mal (C p,i C q,i ) m-mal (C p,i C q,i ) < δ Also: neue Differenz zwischen p und q ist (m/n) δ Mit n > m folgt: neue Differenz < δ Vernachlässigt sind dabei die Zeit für die Ausführung des Algorithmus sowie Fehler durch nicht gleichzeitiges Ablesen der Uhren c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 8 Ausführliche Informationen zu NTP (Offizielle NTP-Homepage) (Homepage David Mills) Geschichte Entwickelt seit 98 (NTPv, RFC 9) unter Leitung von D. Mills Seit 99 NTPv (teilweise immer noch in Verwendung) Aktuelle Version NTPv4, seit 994 Eigenschaften von NTP Zweck: Synchronisierung von Rechneruhren im bestehenden Internet Derzeit weit über. NTP-Knoten weltweit aktive öffentliche Stratum - Knoten (Stand Okt. ) 8 aktive öffentliche Stratum - Knoten Erreichbare Genauigkeiten von ca. ms in WANs; < ms in LANs NTP-Dämon auf fast allen Rechnerplattformen verfügbar, von PCs bis Crays; Unix, Windows, OS X, eingebettete Systeme Fehlertolerant c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 9 c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren

6 s Network Das Time Network Protocol Time- NTP Protocol NTP Das Network Das Network Time Time Protocol Protocol - NTP NTP ndlegender Grundlegender Überblick Überblick Stratum: Stratum: Primäre Server (Stratum ), über Funk oder Standleitungen an amtliche : primärer Zeitgeber Primäre Server (Stratum ), über Funk oder Standleitungen : primärer Zeitgeber an amtliche Zeitstandards Zeitstandards angebunden angebunden i > : synchronisiert mit Zeitgeber des Stratums i Synchronisation weiterer Knoten nach primären Servern über ein i >: synchronisiert mit Zeitgeber des Stratums i- Synchronisation selbstorganisierendes, weiterer Knoten nach hierarchisches primären Servern Netz über ein selbstorganisierendes, hierarchisches Netz Stratum Stratum kann dynamisch kann dynamisch wechseln: wechseln: Verschiedene Betriebsarten (Master/Slave, symmetrische Verschiedene Synchronisation, Betriebsarten (Master/Slave, Multicast, jeweils symmetrische mit/ohne Authentisierung) Synchronisation, Zuverlässigkeit Multicast, durch jeweils redundante mit/ohne Authentisierung) Server und Netzpfade Zuverlässigkeit Optimierte durch redundante Algorithmen, Server um Fehler und Netzpfade durch Jitter, wechselnde Referenzuhren und fehlerhafte Server zu reduzieren Optimierte Algorithmen, um Fehler durch Jitter, wechselnde Lokale Uhren werden in Zeit und Frequenz durch einen adaptiven Referenzuhren und fehlerhafte Server zu reduzieren Algorithmus geregelt Lokale Uhren werden in Zeit und Frequenz durch einen adaptiven Algorithmus geregelt. ithmen für Verteilte Systeme (AVS), WS / Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm Zeit.fm:.. 8:4 Algorithmen für Verteilte Systeme (AVS), WS / (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm Ausfall der Verbindung zwischen P und P Stratum geändert! c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren Das Network Time Protocol - NTP Architektur-Überblick Architektur-Überblick Peer Filter Peer Peer Peer 4 Loop- Filter NTP- Nachrichten Filter Filter Filter 4 Auswahl- Algorithmen Kombinierungs- Algorithmus Zeitstempel Steuerung der lokalen Uhr VFO c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren. 8:4 Das Network Time Protocol - N Architektur-Überblick (Fortsetzung...) Mehrere Referenzserver ( Peer ) für Redundanz und Fehlerstreuung Mehrere Referenzserver ( Peer ) für Redun Peer-Filter wählen pro Referenzserver den jeweils besten Wert aus den acht letzten Offset-Messwerten aus Fehlerstreuung Peer-Filter wählen pro Referenzserver den Die Auswahlalgorithmen versuchen zunächst richtig gehende Uhren aus den acht letzten Offset-Messwerten aus ( truechimers ) zu erkennen und falsche Uhren ( falsetickers ) herauszufiltern, und wählen dann Die möglichst Auswahlalgorithmen genaue Referenzuhren versuchen aus zunäch Uhren ( truechimers ) zu erkennen und fals Der Kombinationsalgorithmus berechnet einen gewichteten Mittelwert ( falsetickers ) auszufiltern, und wählen dan der Offset-Werte (frühere NTP-Versionen wählen einfach den am vertrauenswürdigsten erscheinenden Referenzuhren Referenzknotenaus aus) Der Kombinationsalgorithmus berechnet ein Loop Filter und VFO (Variable Frequency Oscillator) bilden zusammen Mittelwert der Offset-Werte (frühere NTP-Ve die geregelte lokale Uhr. Die Regelung ist so entworfen, dass Jitter und Drift bei der Regelung minimiert werden den am vertrauenswürdigsten erscheinende Loop Filter und VFO bilden zusammen die ge Regelung ist so entworfen, dass Jitter und D minimiert werden c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 4

7 Offset-Messung us: Es werden die letzten 8 Messungen gespeichert; Offset-Messung Es werden die letzten 8 Messungen gespeichert; Index i=: neueste Index i = : neueste Messung T T 4 P P T θ T Reine Nachrichtenlaufzeit: δ = (T 4 T ) (T T ) Geschätztes Offset: θ = (T + T )/ (T + T 4 )/ Exakter Wert, falls Laufzeiten in beide Richtungen gleich sind Reine Nachrichtenlaufzeit: δ = (T 4 -T )-(T -T ) Geschätztes Offset: θ = (T +T )/ - (T +T 4 )/ Maximaler Fehler bei unsymmetrischen Laufzeiten: δ/ Exakter Wert, falls Laufzeiten in beide Richtungen gleich sind Maximaler Fehler bei unsymmetrischen Laufzeiten: δ/ c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren Das Network Time Protocol - NTP Peer-Filter-Algorithmus Getrennte Ausführung pro Peer Bei jeder Messung ermittelte Werte: Offset θ, Laufzeit δ Abschätzung des Messfehlers: ɛ = Lesegenauigkeit + MAXDRIFT (T 4 T ) Eingetragene Messwerte werden in einen Puffer eingetragen Speicherung der letzten 8 Messwerte Aktualisierung der Fehlerabschätzung ɛ bei jeder neuen Messung um den möglichen Fehler durch Alterung (Uhrendrift) i = 7... : (δ i, θ i, ɛ i ) = (δ i, θ i, ɛ i + MAXDRIFT verstrichene Zeit) i = : (δ, θ, ɛ ) = neuer Messwert Weitere Verarbeitung der Messwerte und Ermittlung eines Korrektheitsintervalls für den Peer c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren Algorithmen für Verteilte Systeme (AVS), WS / A Weiteres Aussortieren vergleichsweise schlechter Referenzen, C (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm bevorzugte Selektion von Referenzen mit kleinem Stratum D Zusammenstellung einer nach Qualität sortierten Liste von Referenzen (beste Referenz steht vorne) 4 Auswahl-Algorithmus Zeit.fm:.. 8:4 Auswahl-Algorithmus Trennung von truechimers und falsetickers Trennung von truechimers und falsetickers DTS (Digital Time Service, Vorgänger-Algorithmus, einfach): DTS (Digital Time Ermittle Service, Durchschnitt Vorgänger-Algorithmus, mit den meisten einfacher): überlappenden Ermittle Durchschnitt Korrektheitsintervallen mit den meisten überlappenden Korrektheitsintervallen. Mittelpunkt Mittelpunkt des Intervalls des Intervalls wird als Offset wird als zur Offset Uhrenkorrektur zur Uhrenkorrektur verwendet. Ziel bei NTP: Auswahl des Intervalls so, dass die Mittelpunkte der Ziel bei NTP: Auswahl des Intervalls so, dass die Mittelpunkte der Intervalle der als korrekt betrachteten Knoten im Intervall liegen Intervalle der als korrekt betrachteten Knoten im Intervall liegen Algorithmen für Verteilte Systeme (AVS), WS / 4 (C) Hans P. Reiser, Franz J. Hauck, Abteilung Verteilte Systeme, Universität Ulm B Kombinierungsalgorithmus Die übrig bleibenden Knoten werden zur Synchronisation verwendet Einfache Variante: Falls der bisherige Referenzknoten sich in der Liste befindet, wird dieser weiterhin zur Synchronisation verwendet; ansonsten wird der Knoten am Anfang der Liste zum neuen Synchronisationsknoten Komplexe Variante (NTPv4): Berechnung eines gewichteten Mittelwerts der Offsets aus allen Knoten Das so ermittelte Offset wird an die Uhrenregelung (Clock disciplin algorithm) weitergegeben Das Network Time Protocol - NTP c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 7 c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 8

8 Zusammenfassung Zeit in verteilten Systemen ist ein zentrale Herausforderung Wenn Aussagen zur kausalen Ordnung von Ereignissen benötigt werden, bietet sich der Einsatz von logischen Uhren an nach Lamport, erweiterbar zu einer totalen Ordnung auf alle Ereignisse, die kausale Beziehungen respektiert Vektoruhren zur exakten Erfassung von kausalen Beziehungen Das Network Time Protocol (NTP) bietet die Möglichkeit, lokale Uhren mit für viele Zwecke ausreichender Genauigkeit an die offizielle Zeit zu synchronisieren Hierarchisches Synchronisationsnetz Selbstorganisierend und fehlertolerant c Kapitza VS (SS ) Zeit in verteilten Systemen.4 Synchr. von physikal. Uhren 9