Transaktionsverwaltung und Recovery

Transkript

1 Transaktionsverwaltung und Recovery Transaktionsverwaltung Transaktionsbegriff Synchronisation und Sperren Isolation Level in SQL MVCC Hierarchische Sperren Isolation Level und Sperren in relationalen DBMS Recovery Fehlerklassen Recovery-Strategien h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 44

2 Fehlerklassifikation 1. Transaktionsfehler 2. Systemfehler 3. Externspeicherfehler Fehlerklassifikation unterschiedliche Recovery-Maßnahmen je nach Fehlerart h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 45

3 Transaction-Recovery: Beispiel Szenario: T 1 A A B B commit T 2 C C abort Zeitachse Transaction-Recovery C muss wieder auf C zurückgesetzt werden (UNDO). h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 46

4 Transaktionsfehler ( Transaction-Recovery) Typische Transaktionsfehler Fehler im Anwendungsprogramm Transaktionsabbruch explizit durch den Benutzer Transaktionsabbruch durch das System Charakteristika Abbruch einer einzelnen(!) Transaktion kein Einfluss auf den Rest des Systems auch: lokaler Fehler Behandlung (Transaction-Recovery) Isoliertes Zurücksetzen aller Änderungen der abgebrochenen Transaktionen = lokales UNDO bzw. R1-Recovery Wichtig: von dieser Transaktion veränderte Blöcke können sich sowohl im Datenbank-Puffer als auch bereits in der materialisierten Datenbank (also auf dem Externspeicher) befinden! h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 47

5 Protokollierung von Änderungsinformation Durchgeführte Änderungen werden von den meisten DBMS in einem Log bzw. Log-Dateien protokolliert. Ein Log besteht aus Einträgen der Form: { LSN, TA, PageID, Undo, Redo PrevLSN } LSN: Log-Sequence Number = eindeutige und aufsteigende Nummerierung der Log-Einträge TA: Transaktionskennung (Nummer) PageID: Seitennummer Undo: UNDO-Information Redo: REDO-Information PrevLSN: LSN des letzten Eintrags der selben Transaktion Außerdem wird Beginn und Ende einer Transaktion vermerkt (BOT, commit, abort) h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 48

6 Log-Einträge: Beispiel LSN TA PageID Undo Redo PrevLSN #1 T 1 BOT 0 #2 T 1 27 [. A.] [. A.] #1 #3 T 2 BOT 0 #4 T 2 40 [. C.] [. C.] #3 #5 T 1 70 [. B.] [. B.] #2 #6 T 1 commit #5 Physische vs. logische Protokollierung h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 49

7 Transaction-Recovery: Beispiel (Forts.) Transaction-Recovery alle Log-Einträge von T 2 werden in umgekehrter Reihenfolge ihrer ursprünglichen Ausführung gelesen und rückgängig gemacht, d.h. die Undo- Information (alter Zustand der Seite) in die Datenbank eingebracht. LSN TA PageID Undo Redo PrevLSN #1 T 1 BOT 0 #2 T 1 27 [. A.] [. A.] #1 #3 T 2 BOT 0 #4 T 2 40 [. C.] [. C.] #3 #5 T 1 70 [. B.] [. B.] #2 #6 T 1 commit #5 #7 T 2 abort #4 h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 50

8 Systemfehler ( Crash Recovery) Typische Systemfehler DBMS-Fehler Betriebssystemfehler Hardware-Fehler Charakteristika die im DB-Puffer befindlichen Daten sind zerstört die auf dem Externspeicher befindlichen Daten (also die materialisierte Datenbank) ist jedoch unversehrt! Behandlung (Crash Recovery) Nachvollziehen der von abgeschlossenen Transaktionen nicht in die DB eingebrachten Änderungen = partielles REDO bzw. R2-Recovery Zurücksetzen der von nicht beendeten Transaktionen in die DB eingebrachten Änderungen = globales UNDO bzw. R3-Recovery h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 51

9 Crash-Recovery: Beispiel 1(2) Szenario: Systemfehler T 1 A A B B commit T 2 C C D D T 3 E E commit Zeitachse h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 52

10 Crash-Recovery: Beispiel 2(2) Situation im Puffer bzw. der Datenbank T 1 (committed) : A wurde bereits zurück geschrieben; B nicht(!) T 2 (offen) : C wurde bereits zurück geschrieben(!), D noch nicht T 3 (committed) : E wurde bereits zurück geschrieben Datenbank DB-Puffer A C D B E... h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 53

11 Crash-Recovery 3 Phasen 1. Analyse Das Log wird von Anfang bis zum Ende gelesen und ermittelt, welche Transaktionen erfolgreich beendet (committed) wurden und welche zum Fehlerzeitpunkt offen waren. 2. Wiederholung der Historie (REDO) Es werden alle(!) protokollierten Änderungen in der Reihenfolge ihrer Ausführung in die Datenbank eingebracht. 3. UNDO Die Änderungsoperationen der zum Fehlerzeitpunkt offenen Transaktionen werden rückgängig gemacht. h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 54

12 Crash-Recovery: Phase 1 Ermittlung aller abgeschlossenen Transaktionen (T 1 und T 3 ) und offenen Transaktionen (T 2 ) LSN TA PageID Undo Redo PrevLSN #1 T 1 BOT 0 #2 T 1 27 [. A.] [. A.] #1 #3 T 2 BOT 0 Analyse #4 T 2 40 [. C.] [. C.] #3 #5 T 3 44 [. E.] [. E.] 0 #6 T 3 commit #5 #7 T 1 70 [. B.] [. B.] #2 #8 T 1 commit #7 h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 55

13 Crash-Recovery: Phase 2 und 3 Phase 2 Wiederholung der Historie (REDO) Phase 3 UNDO der offenen Transaktionen A C A C A C D D D B E B E B E Datenbankzustand nach dem Systemfehler h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 56

14 Write-Ahead-Log-Prinzip (WAL) Wir haben in den Beispielen vorausgesetzt, dass die für die Recovery benötigte Information im Log steht (trotz Verlust der Hauptspeicherinformation) ist das gewährleistet? Bevor eine Transaktion festgeschrieben (committed) wird, müssen alle zu ihr gehörenden Log-Einträge ausgeschrieben werden (für das REDO im Fehlerfall). Bevor eine veränderte Seite in die Datenbank eingebracht wird, müssen alle diese Seite betreffenden Log-Einträge ausgeschrieben werden (für das UNDO im Fehlerfall). Diese beiden Forderungen werden als Write-Ahead-Log-Prinzip (WAL) bezeichnet. Anmerkung: Natürlich werden dabei nicht einzelne Log-Einträge, sondern alle Log-Einträg bis zum betroffenen sequentiell ausgeschrieben. h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 57

15 Checkpoints Problem: wenn auf der Datenbank viele Operationen ausgeführt wurden, ist das im Fehlerfall zu verarbeitende Log sehr umfangreich Optimierung: Schreiben von Checkpoints (Sicherungspunkte): Bei einem Checkpoint alle veränderten Datenbankseiten aus dem Puffer in die Datenbank schreiben und dies im Log vermerkt: { #5, CKPT } Log muss im Fehlerfall nur ab dem letzten Checkpoint analysiert werden. Checkpoint-Häufigkeit kann konfiguriert werden und ist kritisch für die Performance des Systems Häufiges Schreiben von Checkpoints: reduziert die Zeit für eine Crash-Recovery, aber kann Performance im laufenden Betrieb beeinträchtigen! h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 58

16 Checkpoints in Oracle 1(2) Parameter zur Beeinflussung der REDO-Dauer: FAST_START_MTTR_TARGET spezifiziert Erwartungswert für mittlere Recovery-Zeit (mean time to recover) früher andere Parameter (inzwischen deprecated): FAST_START_IO_TARGET spezifiziert maximale Anzahl DB-Seiten (Obergrenze) die im Recovery-Fall angewendet werden müssen oder LOG_CHECKPOINT_TIMEOUT Zeitabstand in s zwischen aktuellem Log-Ende und letztem Checkpoint oder LOG_CHECKPOINT_INTERVAL max. Anzahl von Log-Einträgen seit letztem Checkpoint h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 59

17 Checkpoints in Oracle 2(2) Messergebnisse OLTP (Online Transaction Processing), d.h. viele parallele, relativ kurze Transaktionen Puffer-Seiten a 4 Kb FAST_START_IO_TARGET Durchsatz (Transaktionen pro Minute) Crash-Recovery-Zeit disabled min 34 s min 20 s min 10 s s s Einstellung der Parameter muss anwendungsspezifisch (abhängig von Transaktionsprofil und Anforderungen an Recovery) gewählt werden. Quelle: T. Lahiri et al.: Fast-Start: Quick Fault Recovery in Oracle. Proc. ACM SIGMOD Conf., May 2001 h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 60

18 Externspeicherfehler ( Media-Recovery) Typische Externspeicherfehler Hardware-Fehler: Head-Crashes, Controller-Fehler etc. Naturgewalten wie Feuer oder Erdbeben Viren Charakteristika Die Daten der materialisierten Datenbank sind zerstört oder unbrauchbar Behandlung (Media-Recovery) Die Datenbank muss mit Hilfe einer Sicherungskopie (Backup) wiederhergestellt werden. Danach muss der letzte transaktionskonsistente Zustand wiederhergestellt werden, d.h. es alle seit der Erstellung des Backup erfolgreich beendeten Transaktionen nachvollzogen werden. Konsequenz: Die Log-Dateien müssen auf einem anderen Medium gesichert werden (z.b. anderer Rechner, Magnetband o.ä.)! h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 61

19 Media-Recovery Wichtige Unterscheidung: In welchem Zustand ist die Datenbank bei der Sicherung? Variante 1: Es sind keine Transaktionen auf der Datenbank während der Sicherung aktiv = Offline-Backup (consistent backup) Vorteil: Datenbankkopie ist in transaktionskonsistentem Zustand! Nachteil: Während der Sicherung darf keine (Schreib-)Transaktion auf der Datenbank aktiv sein! (vielfach nicht akzeptabel, z.b. 24h Betrieb im Internet bzw. bei weltweit agierenden Unternehmen) Variante 2: Es können Transaktionen auf der Datenbank während der Sicherung aktiv sein = Online-Backup (inconsistent backup) Vorteil: Datenbankbetrieb wird nicht (oder kaum) beeinträchtigt Nachteil: Datenbankkopie ist nicht in transaktionskonsistentem Zustand Wiederherstellung (Recovery) aufwändiger Kommerzielle DBMS unterstützen heute meist(!) beide Varianten. h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 62

20 Media-Recovery: Grundprinzip 1(2) Gesicherte Daten (Offline-Backup): Offline- Log-Datei n-4 Log-Datei n-3 Backup x Log-Datei n-2 Log-Datei n-1 Log-Datei n Offline- Backup x-1 Media-Recovery Letzte Sicherungskopie der Datenbank wird eingespielt Nach der letzten Sicherung erstellte Log-Dateien werden analysiert und die Änderungen erfolgreich beendeter Transaktionen nachvollzogen (REDO) (Bemerkung: aus Performance-Gründen kann auch eine Vorgehensweise analog zur Crash-Recovery gewählt werden: komplette Historie wiederholen und danach Undo der Änderungen offener Transaktionen.) Zeit Offline- Backup x Log-Datei n-2 Log-Datei n-1 Log-Datei n h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 63 Zeit

21 Media-Recovery: Grundprinzip 2(2) Gesicherte Daten (Online-Backup): Online- Log-Datei n-4 Log-Datei n-3 Backup x Log-Datei n-2 Log-Datei n-1 Log-Datei n Online- Backup x-1 Media-Recovery Letzte Sicherungskopie der Datenbank wird eingespielt Es müssen auch Log-Dateien vor dem letzten Backup betrachtet werden, da die Sicherungskopie u.u. Änderungen von später nicht erfolgreich beendeten Transaktionen enthält. Die Undo-Information dieser Transaktionen wird benötigt. Recovery zeitaufwändiger und Administration (Aufbewahren der Log- Dateien) aufwändiger Zeit Log-Datei n-4 Log-Datei n-3 Online- Backup x Log-Datei n-2 Log-Datei n-1 Log-Datei n h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 64 Zeit

22 Inkrementelles Backup Bei großen Datenbanken ist eine Komplettsicherung sehr(!) zeitaufwändig Sicherung der veränderten Datenbankseiten = inkrementelles Backup Bei der Wiederherstellung wird das letzte Full Backup und alle danach erstellten inkrementellen Backups eingespielt und danach nur die Log-Dateien (Annahme: offline Backup) nach dem letzten inkrementellen Backup angewandt: h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 65

23 Weitere Backup-Varianten Die bereits aufgeführten Backup-Varianten Online vs. Offline Backup Komplettes Backup vs. inkrementelles Backup können orthogonal mit weiteren Backup-Varianten kombiniert werden: Partielles Backup (Backup von Teilen der Datenbank z.b. Tablespaces) Paralleles Backup h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 66

24 Point-In-Time-Recovery Szenario: Bestimmte Datensätze wurden versehentlich durch einen Anwender oder Administrator gelöscht (und die Transaktion committed!). Wie kann dieses Löschen (oder falsches Verändern o.ä.) rückgängig gemacht werden? Ansatz 1: Undo-Information der entsprechenden Transaktion anwenden. Probleme? Ansatz 2: Wiederherstellung der Datenbank bis zu einem definierten Zeitpunkt vor dem Fehler ( Simulation eines Systemfehlers zu diesem Zeitpunkt) = Point-In-Time-Recovery Probleme? h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 67

25 Backup und Recovery Backup- und Recovery-Kommandos in Datenbanksystemen sind nicht standardisiert. Es gibt eine Vielzahl von Parameter (Ausgabekanäle, Parameter für Größe von Log-Dateien und Häufigkeit der Sicherung, Checkpoint- Parameter etc.) Die Wahl dieser Parameter und der Sicherungsstrategie hat erhebliche(!) Auswirkungen sowohl auf die Performance im laufenden Betrieb als auch auf die Wiederherstellungszeit im Fehlerfall. Wichtig: Spiegelung bzw. RAID-Systeme sind kein ausreichender Ersatz für regelmäßige Backups! Warum? h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 68

26 Backup und Recovery in Oracle Log-Dateien (Oracle: Redo-Log-Dateien) mehrere Redo-Log-Gruppen die zirkular beschrieben werden Parameter MAXLOGFILES (Anzahl Gruppen) und MAXLOGMEMBERS (Anzahl Log-Dateien pro Gruppe) Archivierung möglich (notwendig für Media Recovery) Wiederverwendung (überschreiben), sobald die Inhalte nicht mehr für Crash Recovery gebraucht werden und sobald Log-Datei archiviert Backup komplett und inkrementell (full vs. incremental) offline und online (consistent vs. inconsistent) partielles Backup (einzelner Tablespace oder einzelne Datei) Recovery komplette oder partielle Recovery (analog zum Backup) Point-In-Time-Recovery (incomplete recovery) für ganze Datenbank oder einzelnen Tablespace h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 69

27 Log-Dateien Backup und Recovery in IBM DB2 Log-Dateien werden entweder zirkular überschrieben oder sequentiell erzeugt und gefüllt: logarchmeth1 = off [logretain] Parameter zum Archivieren der Log-Dateien: userexit, disk, tsm, vendor Backup komplett und inkrementell offline und online partielles Backup (Tablespace) Recovery Wiedereinspielen eines Backup (restore) Anwenden der Log-Dateien (rollforward) bis zu einem bestimmten Zeitpunkt ( Point-In-Time-Recovery) oder bis zum Ende h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 70

28 Fehlerklassen Zusammenfassung Recovery Recovery-Strategien Protokollierung und Sicherungspunkte (Checkpoints) Backup-Varianten h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 71

29 Architektur von Datenbanksystemen Architektur von Datenbanksystemen Verwaltung des Hintergrundspeichers Dateiorganisation und Zugriffsstrukturen Basisalgorithmen für Datenbank-Operationen Anfrageoptimierung Transaktionsverwaltung und Recovery Verteilte Datenbankarchitekturen Aktuelle Entwicklungen h_da Prof. Dr. Uta Störl Architektur von DBMS SoSe 2014 Kapitel 6: Transaktionsverwaltung und Recovery 72