Verteilte Datenbanken. Kapitel / 520

Transkript

1 Kapitel 11 Verteilte Datenbanken 455 / 520

2 Überblick Terminologie Eine verteilte Datenbank (VDBMS) ist eine Sammlung von Informationseinheiten die auf verschiedene Rechner verteilt ist, die durch Kommunikationsnetze verbunden sind Jede Station kann autonom mit lokalen Daten arbeiten global mit anderen Rechnern des Netzes zusammenarbeiten 456 / 520

3 Überblick Kommunikationsnetz Bei dem Kommunikationsnetz kann es sich handeln um LAN: local area network (Ethernet, Token-Ring, FDDI-Netz) WAN: wide area network (Internet) Telefonverbindungen: ISDN, Modem Kommunikationsnetz ist transparent für Datenbankanwendung 457 / 520

4 Überblick Abgrenzung VDBMS ist keine Client-Server-Architektur Client C 1 Client C 2 Server 458 / 520

5 Überblick Abgrenzung(2) Jede Station hält eigene Daten Station S 2 Station S 1 Station S / 520

6 Überblick Aufbau eines VDBMS globales Schema Fragmentierungsschema Zuordnungsschema lokales Schema lokales DBMS lokales Schema lokales DBMS lokale DB Station S lokale DB Station S n 460 / 520

7 Fragmentierung Fragmentierung/Allokation Fragmentierung Fragmente enthalten Daten mit gleichem Zugriffsverhalten Allokation Fragmente werden den Stationen zugeordnet Mit Replikation Ohne Replikation 461 / 520

8 Fragmentierung Fragmentierung/Allokation(2) Fragmentierung Allokation R R 1 R 1 1 R 1 2 R 2 R 2 1 R 3 R 2 3 R / 520

9 Fragmentierung Fragmentierung Es existieren verschiedene Methoden der Fragmentierung: Horizontal: Zerlegung einer Relation in disjunkte Tupelmengen, Zerlegung durch Selektionen Vertikal: Zusammenfassen von Attributen mit gleichen Zugriffsmustern, Zerlegung durch Projektionen Kombiniert: horizontale und vertikale Fragmentierung auf der gleichen Relation 463 / 520

10 Fragmentierung Korrektheit Es gibt drei grundlegende Korrektheitsanforderungen an Fragmentierungen: Rekonstruierbarkeit: die Ursprungsrelation läßt sich aus den Fragmenten wiederherstellen Vollständigkeit: jedes Datum ist einem Fragment zugeordnet Disjunktheit: Fragmente überlappen sich nicht, d.h. ein Datum ist nicht mehreren Fragmenten zugeordnet 464 / 520

11 Fragmentierung Horizontale Fragmentierung R R 1 R 2 R / 520

12 Fragmentierung Horizontale Fragmentierung(2) Bei n Zerlegungsprädikaten gibt es insgesamt 2 n mögliche Fragmente Ein Prädikat p 1 : R 1 R 2 := σ p1 (R) := σ p1 (R) Zwei Prädikate p 1,p 2 : R 1 R 2 R 3 R 4 := σ p1 p 2 (R) := σ p1 p 2 (R) := σ p1 p 2 (R) := σ p1 p 2 (R) 466 / 520

13 Fragmentierung Beispiel Professoren PersNr Name Rang Raum Fakultät Gehalt Steuerklasse 2125 Sokrates C4 226 Philosophie Russel C4 232 Philosophie Kopernikus C3 310 Physik Popper C3 52 Philosophie Augustinus C3 309 Theologie Curie C4 36 Physik Kant C4 7 Philosophie / 520

14 Fragmentierung Beispiel(2) p 1 Fakultät = Theologie p 2 Fakultät = Physik p 3 Fakultät = Philosophie TheolProfs := σ p1 p 2 p 3 (Professoren) = σ p1 (Professoren) PhysikProfs := σ p1 p 2 p 3 (Professoren) = σ p2 (Professoren) PhiloProfs := σ p1 p 2 p 3 (Professoren) = σ p3 (Professoren) AndereProfs := σ p1 p 2 p 3 (Professoren) 468 / 520

15 Fragmentierung Abgeleitete h. Fragmentierung Manchmal ist es sinnvoll eine Relation abhängig von einer anderen horizontalen Fragmentierung zu zerlegen Beispiel: völlig unabhängige Zerlegung von Vorlesungen nach SWS: 2SWSVorls := σ SWS=2 (Vorlesungen) 3SWSVorls := σ SWS=3 (Vorlesungen) 4SWSVorls := σ SWS=4 (Vorlesungen) 469 / 520

16 Fragmentierung Abgeleitete Fragmentierung(2) Bei Beantwortung folgender Anfrage müssen 9 Joins von Fragmenten durchgeführt werden: select Title, Name from Vorlesungen, Professoren where gelesenvon=persnr TheolProfs 2SWSVorls PhysikProfs 3SWSVorls PhiloProfs 4SWSVorls 470 / 520

17 Fragmentierung Abgeleitete Fragmentierung(3) Sinnvoller ist folgende (abgeleitete) Fragmentierung: TheolVorls := VorlesungenG gelesenvon=persnr TheolProfs PhysikVorls := VorlesungenG gelesenvon=persnr PhysikProfs PhiloVorls := VorlesungenG gelesenvon=persnr PhiloProfs TheolProfs TheolVorls PhysikProfs PhysikVorls PhiloProfs PhiloVorls 471 / 520

18 Fragmentierung Vertikale Fragmentierung R R 1 κ R / 520

19 Fragmentierung Vertikale Fragmentierung(2) Bei Zerlegung ohne Überlappung gibt es bei vertikaler Fragmentierung ein Problem: Verstoß gegen die Rekonstruierbarkeit Man lässt leichten Verstoß gegen Disjunktheit zu: Jedes Fragment enthält Primärschlüssel Jedem Tupel der Originalrelation wird künstlicher Surrogatschlüssel zugewiesen, der in Fragment übernommen wird 473 / 520

20 Fragmentierung Beispiel Ein Fragment für die Univerwaltung: ProfVerw Ein Fragment für Lehre und Forschung: Profs ProfVerw := Π PersNr, Name, Gehalt, Steuerklasse (Professoren) Profs := Π PersNr, Name, Rang, Raum, Fakultät (Professoren) Professoren = ProfVerwB ProfVerw.PersNr=Profs.PersNr Profs 474 / 520

21 Fragmentierung Kombinierte Fragmentierung Erst vertikal, dann horizontal: R R 21 R 22 R 23 R 1 R / 520

22 Fragmentierung Kombin. Fragmentierung(2) Erst horizontal, dann vertikal: R R 1 R 2 R 3 R 31 R / 520

23 Fragmentierung Beispielanwendung Professoren v Profs ProfVerw Vorlesungen h h PhysikProfs TheolProfs PhiloProfs PhysikVorls TheolVorls PhiloVorls 477 / 520

24 Fragmentierung Beispielanwendung(2) Bei der Allokation werden nun die Fragmente Stationen zugeteilt (hier ohne Replikation) Station Bemerkung zugeordnete Fragmente S Verw Verwaltungsrechner {ProfVerw} S Physik Dekanat Physik {PhysikVorls,PhysikProfs} S Philo Dekanat Philosophie {PhiloVorls,PhiloProfs} S Theol Dekanat Theologie {TheolVorls,TheolProfs} 478 / 520

25 Transparenz Transparenz Unter Transparenz versteht man den Grad an Unabhängigkeit, den ein VDBMS dem Benutzer vermittelt Es werden verschiedene Stufen unterschieden: Fragmentierungstransparenz Allokationstransparenz Lokale Schema-Transparenz 479 / 520

26 Transparenz Fragmentierungstransparenz Höchste Stufe der Transparenz (Idealzustand) Benutzer arbeitet auf globalem Schema und VDBMS übersetzt Anfragen in Operationen auf Fragmenten Beispiel: select Titel, Name from Vorlesungen, Professoren where gelesenvon = PersNr 480 / 520

27 Transparenz Allokationstransparenz Nächst niedrigere Stufe Benutzer muß zwar Fragmente kennen, aber nicht deren Aufenthaltsort Beispiel: select Gehalt from ProfVerw where Name = Sokrates 481 / 520

28 Transparenz Lokale Schema-Transparenz Bei dieser Stufe muß Benutzer sowohl Fragment also auch Aufenthaltsort kennen Es stellt sich die Frage, inwieweit überhaupt noch Transparenz vorliegt (alle Rechner benutzen dasselbe Datenmodell) Beispiel: select Name from TheolProfs at S Theol where Rang = C3 482 / 520

29 Transparenz Aspekte verteilter DBS Durch die Verteilung der Daten müssen folgende Bereiche angepaßt werden: Anfragebearbeitung/-optimierung Transaktionskontrolle Mehrbenutzersynchronisation 483 / 520

30 Anfrageoptimierung Anfragebeoptimierung Wir unterscheiden zwischen Horizontaler Fragmentierung Vertikaler Fragmentierung 484 / 520

31 Anfrageoptimierung Horizontale Fragmentierung select Titel from Vorlesungen, Profs where gelesenvon = PersNr and Rang = C3 Rekonstruiere alle in der Anfrage vorkommenden globalen Relationen aus den Fragmenten Kombiniere den Rekonstruktionsausdruck mit dem Ausdruck aus der Übersetzung der SQL-Anfrage 485 / 520

32 Anfrageoptimierung Kanonische Form Π Titel σ Rang= C4 gelesenv on=persnr TheolVorls PhysikVorls PhiloVorls TheolProfs PhysikProfs PhiloProfs 486 / 520

33 Anfrageoptimierung Optimierung Kanonische Form ist zwar korrekt, aber ineffizient Eine zentrale Eigenschaft der relationalen Algebra ist: (R 1 R 2 )Bp(S 1 S 2 ) = (R 1 BpS 1 ) (R 1 BpS 2 ) (R 2 BpS 1 ) (R 2 BpS 2 ) Damit ist aber nicht viel erreicht (für das Zusammensetzen von R 1,...,R n und S 1,...,S m sind n m Joinoperationen nötig) 487 / 520

34 Anfrageoptimierung Optimierung(2) Wenn aber jedes S i eine abgeleitete horizontale Fragmentierung ist, d.h. S i = S GpR i mit S = S 1 S n dann gilt R i BpS j = für i j und somit (R 1 R n )Bp(S 1 S n ) = (R 1 BpS 1 ) (R 2 BpS 2 ) (R n BpS n ) 488 / 520

35 Anfrageoptimierung Optimierung(3) Damit können die Joins aus unserem Beispiel lokal ausgeführt werden Außerdem gibt es Regeln, um Selektionen und Projektionen nach unten zu schieben: σ p (R 1 R 2 ) = σ p (R 1 ) σ p (R 2 ) Π L (R 1 R 2 ) = Π L (R 1 ) Π L (R 2 ) 489 / 520

36 Anfrageoptimierung Optimierter Plan Π Titel Π Titel Π Titel gelesenv on=persnr gelesenv on=persnr gelesenv on=persnr σ Rang= C4 σ Rang= C4 σ Rang= C4 TheolVorls TheolProfs PhiloVorls PhiloProfs PhysikVorls PhysikProfs 490 / 520

37 Anfrageoptimierung Vertikale Fragmentierung select Name, Gehalt from Professoren where Gehalt>80000 Naiver Ansatz: globale Relation rekonstruieren, dann Anfrage auswerten Sinnvoller: nur relevante Fragmente holen 491 / 520

38 Anfrageoptimierung Optimierung Π Name,Gehalt σ Gehalt>80000 Optimierung Π Name,Gehalt σ Gehalt>80000 ProfVerw ProfVerw TheolProfs PhysikProfs PhiloProfs 492 / 520

39 Anfrageoptimierung Joinauswertung Problem: zu joinende Relationen können auf verschiedenen Stationen liegen Betrachtung des allgemeinsten Falls: Äußere Relation R ist auf Station St R Innere Relation S ist auf Station StS Ergebnis wird auf Station StResult benötigt 493 / 520

40 Anfrageoptimierung Auswertung ohne Filterung Nested Loop: iteriere durch Tupel von R, schicke jedes Tupel zu St S, suche passende Tupel, joine und schicke Ergebnis nach St Result Transfer einer Relation: schicke komplette Relation zum anderen Knoten und führe dort Join aus, schicke Ergebnis nach St Result Transfer beider Relationen: schicke beide Relationen zu St Result und führe dort den Join aus 494 / 520

41 Anfrageoptimierung Auswertung mit Filterung Ohne Filterung müssen große Datenmengen über das Netz, obwohl Ergebnis eventuell sehr klein Idee: verschicke nur Tupel, die auch Joinpartner finden Folgende Eigenschaften werden dabei genutzt (C ist Joinattribut): R BS = R B(R ES) R ES = Π C (R)ES 495 / 520

42 Anfrageoptimierung Beispiel 15 Attributwerte... StResult A a1 a3 a4 R (ΠC(R) S) B C D E b1 c1 d1 e1 b3 c1 d1 e1 b5 c3 d2 e2 6 Attributwerte C c1 4 Attributwerte c2 c3 c6 ΠC(R) S C D E c1 d1 e1 c3 d2 e1 Πc R A B C a1 a2 a3 a4 a5 a6 a7 b1 b2 b3 b4 b5 b6 b7 c1 c2 c1 c2 c3 c2 c6 StR StS S C D E c1 c3 c4 c5 c7 c8 c5 d1 d2 d3 d4 d5 d6 d7 e1 e2 e3 e4 e5 e6 e7 496 / 520

43 Transaktionskontrolle Transaktionskontrolle Transaktionen können sich über mehrere Rechnerknoten erstrecken Alle Stationen schreiben lokale Protokolleinträge über ausgeführte Operationen Wird beim Wiederanlauf benötigt, um Daten einer abgestürzten Station zu rekonstruieren 497 / 520

44 Transaktionskontrolle Transaktionskontrolle(2) Abort: bei einem Abbruch einer globalen Transaktion müssen alle lokalen Teile zurückgesetzt werden Commit: prinzipielle Schwierigkeit beim Beenden: Atomare Beendigung der Transaktion muß gewährleistet sein 498 / 520

45 Transaktionskontrolle Two-Phase Commit (2PC) A 1 A 1 K A 2 K A 2 K A 3 A 3 A 4 A 4 prepare failed/ready commit/abort ack K=Koordinator, A=Agent 499 / 520

46 Transaktionskontrolle Lineare Form 2PC failed/ready failed/ready failed/ready A 1 A 2 A 3 A 4 commit/abort commit/abort commit/abort 500 / 520

47 Transaktionskontrolle Fehlerbehandlung Während des verteilten Commits kann es zu folgenden Fehlerfällen kommen: Absturz des Koordinators Absturz eines Agenten Verlorene Nachricht Im schlimmsten Fall blockieren Knoten 501 / 520

48 Mehrbenutzersynchronisation Mehrbenutzersynchronisation Lokale Serialisierbarkeit garantiert noch keine globale Serialisierbarkeit Beispiel: S 1 Schritt T 1 T 2 1. r(a) 2. w(a) S 2 Schritt T 1 T 2 3. w(b) 4. r(b) 502 / 520

49 Mehrbenutzersynchronisation 2PL Reguläres 2PL reicht im verteilten Fall nicht aus Erst strenges 2PL garantiert Serialisierbarkeit Verwaltung der Sperren: zentral lokal 503 / 520

50 Mehrbenutzersynchronisation Zentrale Verwaltung Alle Transaktionen fordern Sperren auf einer dedizierten Station an Diese Station kann leicht zum Bottleneck werden Außerdem verstöß dieses Verfahren gegen lokale Autonomie der Stationen Deswegen wird dieses Verfahren nicht angewendet 504 / 520

51 Mehrbenutzersynchronisation Lokale Verwaltung Globale Transaktionen (TAs die auf mehr als einer Station laufen) müssen sich vor Modifikation eines Datenelements die Sperre vom lokalen Sperrverwalter holen Lokale Transaktionen müssen nur mit ihrem eigenen Verwalter kommunizieren Erkennung von Deadlocks ist allerdings schwieriger als bei der zentralen Verwaltung 505 / 520

52 Mehrbenutzersynchronisation Deadlocks Eine lokale Deadlockerkennung reicht nicht: S 1 Schritt T 1 T 2 0. BOT 1. locks(a) 2. r(a) 6. lockx(a) S 2 Schritt T 1 T 2 3. BOT 4. lockx(b) 5. w(b) 7. locks(b) 506 / 520

53 Mehrbenutzersynchronisation Erkennung von Deadlocks Timeouts: nach Verstreichen eines Zeitintervalls wird TA zurückgesetzt (Wahl des Intervalls kritisch) Zentralisierte Deadlockerkennung: ein Knoten baut einen zentralen Wartegraphen (hoher Aufwand, Phantomdeadlocks) Dezentrale Deadlockerkennung: Lokale Wartegraphen + spezieller Knoten External 507 / 520

54 Mehrbenutzersynchronisation Dezentrale Erkennung Jeder TA wird ein Heimatknoten zugeordnet (i.a. dort wo TA begonnen wurde) Eine TA kann externe Subtransaktionen auf anderen Stationen starten In Deadlockbeispiel ist S 1 Heimat von T 1 und S 2 Heimat von T / 520

55 Mehrbenutzersynchronisation Dezentrale Erkennung(2) Für eine externe Subtransaktion T i wird folgende Kante eingeführt: External T i Auf einer anderen Station wird auf Fertigstellung von T i gewartet (nämlich von der TA, die die externe Subtransaktion initiiert hat) Für eine TA T j die eine Subtransaktion initiiert die Kante T j External T j wartet auf Fertigstellung der auf einer anderen Station angestoßenen Subtransaktion 509 / 520

56 Mehrbenutzersynchronisation Dezentrale Erkennung(3) Für unser Beispiel bedeutet dies S 1 : External T 2 T 1 External S 2 : External T 1 T 2 External Ein Zyklus der External enthält ist nicht notwendigerweise ein Deadlock Zur Feststellung eines Deadlocks müssen Stationen Informationen austauschen 510 / 520

57 Mehrbenutzersynchronisation Dezentrale Erkennung(4) Station mit lokalem Wartegraph External T 1 T 2... T n External schickt ihren lokalen Graphen an die Station, wo T n eine Subtransaktion angestoßen hat Für unser Beispiel: S 2 : External T 1 T 2 External T 1 T 2 T 1 T 2 T 1 T / 520

58 Mehrbenutzersynchronisation Dezentrale Erkennung(5) Um redundante Nachrichten zu vermeiden (im obigen Beispiel schickt S 1 Informationen an S 2 und umgekehrt), wird nicht immer Graph verschickt Bei (lokalem) Wartegraph External T 1 T 2... T n External wird Information nur verschickt, wenn TA-Identifikator von T n größer ist als TA-Identifikator von T / 520

59 Mehrbenutzersynchronisation Deadlockvermeidung Es gibt Verfahren, die Zeitstempel einsetzen, um Deadlocks zu vermeiden Zeitstempelbasierte Synchronisation Deadlockvermeidung bei sperrbasierten Verfahren: wound/wait, wait/die Setzt voraus, daß global eindeutige Zeitstempel generiert werden können 513 / 520

60 Mehrbenutzersynchronisation Zeitstempelgenerierung Gängigste Methode: Stations-ID lokale Zeit Die Stations-ID muß in den niedristwertigsten Bits stehen Ansonsten würden immer TAs bestimmter Stationen bevorzugt Außerdem sollten Uhren nicht zu weit voneinander abweichen 514 / 520

61 Mehrbenutzersynchronisation Synchronisation bei Replikation Was ist, wenn es mehrere Kopien eines Datenelements gibt? Wenn immer nur gelesen wird, ist dies unproblematisch Es reicht irgendeine Kopie zu lesen Problematisch wird es bei Änderungen 515 / 520

62 Mehrbenutzersynchronisation Write All/Read Any Bei einer Änderungsoperation müssen alle Kopien angepaßt werden Favorisiert Leseoperationen, hier muß nur eine Kopie gelesen werden Bei Ausfall einer Kopie können Änderungsoperationen nicht mehr ausgeführt werden bzw. werden verzögert 516 / 520

63 Mehrbenutzersynchronisation Quorum-Concensus Idee: Kopien bekommen Gewichte (je nach Robustheit und Leistung der Station) Es reicht, Kopien mit einem bestimmten Gesamtgewicht einzusammeln Station (S i ) Kopie (A i ) Gewicht (w i ) S 1 A 1 3 S 2 A 2 1 S 3 A 3 2 S 4 A / 520

64 Mehrbenutzersynchronisation Quorum-Concensus(2) W(A) = 4 w i (A) = 8. i=1 Lesequorum Q r (A) Schreibquorum Q w (A) Q w (A) + Q w (A) > W(A) und Q r (A) + Q w (A) > W(A). Beispiel: Q r (A) = 4 Q w (A) = / 520

65 Mehrbenutzersynchronisation Änderungsoperation Vor dem Schreiben: Station Kopie Gewicht Wert Versions# S 1 A S 2 A S 3 A S 4 A Nach dem Schreiben: Station Kopie Gewicht Wert Versions# S 1 A S 2 A S 3 A S 4 A / 520

66 Zusammenfassung Zusammenfassung In verteilten Datenbanksystemen werden die Daten auf räumlich (weit) getrennte Rechner verteilt Durch die Verteilung der Daten werden einige der üblich verwendeten Mechanismen in DBMS wesentlich komplizierter 520 / 520