Zentralisiertes Datenmanagement. 1. Grundlagen. Datenmanagement im Netzwerk. Verteiltes Datenmanagement

Transkript

1 1. Grundlagen Zentralisiertes Datenmanagement Motivation Wiederholung Datenbanksysteme Klassifikation von Mehrrechner-DBS Anwendung Anwendung Anwendung DBMS Datenmanipulation Datenderfinition Transaktionsverwaltung... heutige Anforderungen Unterstützung dezentraler Organisationsstrukturen hohe Verfügbarkeit hohe Leistungsfähigkeit Skalierbarkeit VL Verteilte/Fderierte DBS 1 1 VL Verteilte/Fderierte DBS 1 2 Datenmanagement im Netzwerk Verteiltes Datenmanagement Netzwerk Netzwerk VL Verteilte/Fderierte DBS 1 3 VL Verteilte/Fderierte DBS 1 4

2 Verteiltes Datenmanagement: Beispiel Potenziale verteilter DBS Produkte Magdeburg, San Francisco Kunden Magdeburg Magdeburg Netzwerk Produkte San Francisco, Sydney Kunden San Francisco, Sydney San Francisco transparente Verwaltung verteilter/replizierter Daten Ausfallsicherheit erhöhte Leistungsfähigkeit Erweiterbarkeit/Ausbaufähigkeit München Produkte München, Magdeburg, Sydney Kunden München Sydney Produkte Sydney Kunden Sydney VL Verteilte/Fderierte DBS 1 5 VL Verteilte/Fderierte DBS 1 6 Transparente Verwaltung Transparente Verwaltung /2 Transparenz: Verbergen von Implementierungsdetails hier: Datenunabhängigkeit (physisch, logisch) Verbergen der physischen Datenorganisation (Relationen, Indexe) Unabhängigkeit der Anwendungen von Schemaänderungen Netzwerktransparenz Verbergen der Existenz des Netzwerkes Anwendungen sehen verteiltes DBS wie zentralisiertes DBS Verbergen der Lokation der Daten (Lokationsstransparenz) weiter: Replikationstransparenz Replikation: Verwaltung von Kopien entfernter Daten (Performance, Ausfallsicherheit) Verbergen der Existenz von Kopien (z.b. bei Updates) Fragmentierungstransparenz Fragmentierung: Zerlegung von Relationen und Verteilung der Fragmente Verbergen der Zerlegung bei Anfragen auf globalen Relationen VL Verteilte/Fderierte DBS 1 7 VL Verteilte/Fderierte DBS 1 8

3 Wer sichert Transparenz? Anwendung verschiedene Anwendungen/Anwendungsmodule verteilt realisiert Kommunikation / Datenaustausch über Standardprotokolle (RPC, CORBA, HTTP,... ) Datenbanksystem transparenter SQL-Zugriff auf Daten aus entfernten DB-Instanzen erfordert Anfragezerlegung, Transaktionskontrolle, Replikation Betriebssystem Betriebssystem realisiert Netzwerktransparenz, z.b. auf Dateisystemebene (NFS) oder Protokollebene Ausfallsicherheit Ausfall eines s kann kompensiert werden erfordert Kopien der Daten (Replikate) auf anderen verteilte Transaktionen VL Verteilte/Fderierte DBS 1 9 VL Verteilte/Fderierte DBS 1 10 Erhöhte Leistungsfähigkeit Daten können dort gespeichert werden, wo sie genutzt werden Reduzierung der Transferkosten inhärenter Parallelismus verteilter Systeme Inter-Query-Parallelismus: gleichzeitige Ausführung mehrerer Anfragen Intra-Query-Parallelismus: parallele Ausführung von Teilanfragen an verschiedenen Erweiterbarkeit/Ausbaufähigkeit Forderung nach größeren Datenbanken und/oder schnellerer Verarbeitung Hinzufügen weiterer / Prozessoren oft billiger als ein einzelnes neues System VL Verteilte/Fderierte DBS 1 11 VL Verteilte/Fderierte DBS 1 12

4 Abgrenzung Verteiltes Informationssystem Anwendungen kommunizieren zum Datenaustausch (Verteilung durch Anwendungen) Verteiltes DBS Verteilung vollständig im DBS realisiert Abgrenzung /2 DBMS auf verteiltem Dateisystem Ausführung einer Anfrage erfordert Lesen aller Blöcke der Relation (Annahme: kein Index verfügbar) Auswertung erfolgt ausschließlich im DBMS- VL Verteilte/Fderierte DBS 1 13 VL Verteilte/Fderierte DBS 1 14 Spezialfall: Parallele DBS Datenverarbeitung auf Parallelrechnern (Multiprozessor, Spezial-Hardware) Nutzung der Verarbeitungskaspazität zur Leistungssteigerung Beispiel 100 GB Relation, sequentielles Lesen bei 10 MB/s 17 min paralleles Lesen auf 10 (idealisiert) 1:40 min Spezialfall: Heterogene DBS Aufgabe: Zusammenführung vorhandener Datenbestände (Legacy-Systeme) integrierter Zugriff: globale Anfragen, Beziehungen zwischen Objekten aus verschiedenen Datenbanken, globale Integritätssicherung Probleme Heterogenität auf verschiedenen Ebenen: System, Datenmodell, Schema, Instanzebene speziell auch im Web von großer Bedeutung: Integration von Web-Quellen Mediator VL Verteilte/Fderierte DBS 1 15 VL Verteilte/Fderierte DBS 1 16

5 Spezialfall: Peer-to-Peer-Systeme Peer-to-Peer (P2P): Netzwerk ohne spezielle Server alle / viele (Peers) speichern Daten jeder kennt nur einige seiner direkten Nachbarn keine globale Sicht keine zentrale Koordination Beispiele: Napster, Gnutella, Freenet,... verteiltes Speichern /Verwalten von Daten (z.b. MP3-Files) Suche über zentrale Server (Napster) oder verteilt (Gnutella) Wiederholung: Grundlagen Begriff & Prinzipien Relationenmodell Relationenalgebra SQL Transaktionen Normalformen VL Verteilte/Fderierte DBS 1 17 VL Verteilte/Fderierte DBS 1 18 Prinzipien von DBS DBMS: Datenbank-Management-System DBS: Datenbanksystem (DBMS + Datenbank) Anwendung 1... Anwendung n DBMS Datenbank Prinzipien /2 Grundmerkmale verwalten persistente (langfristig zu haltende) Daten verwalten große Datenmengen effizient Datenbankmodell, mit dessen Konzepten alle Daten einheitlich beschrieben werden (Integration) Operationen und Sprachen (DDL, IQL, DML,... ) deskriptiv, getrennt von einer Programmiersprache Transaktionskonzept, Concurrency Control: logisch zusammenhängende Operationen atomar (unteilbar), Auswirkungen langlebig, können parallel durchgeführt werden Datenschutz, Datenintegrität (Konsistenz), Datensicherheit VL Verteilte/Fderierte DBS 1 19 VL Verteilte/Fderierte DBS 1 20

6 Prinzipien /3 Grundprinzip moderner Datenbanksysteme 3-Ebenen-Architektur (physische Datenunabhängigkeit, logische Datenunabhängigkeit) Trennung zwischen Schema (etwa Tabellenstruktur) und Instanz (etwa Tabelleninhalt) angelehnt an 9 Codd sche Regeln: Die neun Codd schen Regeln 1. Integration: einheitliche, nichtredundante Datenverwaltung 2. Operationen: Speichern, Suchen, Ändern 3. Katalog: Zugriffe auf Datenbankbeschreibungen im Data Dictionary 4. Benutzersichten 5. Integritätssicherung: Korrektheit des Datenbankinhalts 6. Datenschutz: Ausschluss unauthorisierter Zugriffe 7. Transaktionen: mehrere DB-Operationen als Funktionseinheit 8. Synchronisation: parallele Transaktionen koordinieren 9. Datensicherung: Wiederherstellung von Daten nach Systemfehlern VL Verteilte/Fderierte DBS 1 21 VL Verteilte/Fderierte DBS 1 22 Relationenmodell Konzeptuell ist die Datenbank eine Menge von Tabellen AUSLEIH INV.NR NAME 4711 Meyer 1201 Schulz 0007 Müller 4712 Meyer BUCH INV.NR TITEL ISBN AUTOR 0007 Dr. No James Bond 1201 Objektbanken Heuer 4711 Datenbanken Vossen 4712 Datenbanken Ullman 4717 PASCAL Wirth Tabellen = Relationen Relationenmodell /2 Fett geschriebene Zeilen: Relationenschema Weitere Einträge in der Tabelle: Relation Eine Zeile der Tabelle: Tupel Eine Spaltenüberschrift: Attribut Relationenname A R 1 n A Attribute } Relationenschema Tupel Relation VL Verteilte/Fderierte DBS 1 23 VL Verteilte/Fderierte DBS 1 24

7 Integritätsbedingungen Relationenschema + lokale Integritätsbedingungen INVENTARNR ist Schlüssel für BUCH d.h. INVENTARNR darf nicht doppelt vergeben werden Datenbankschema ist Menge von Relationenschemata + globale Integritätsbedingungen INVENTARNR in AUSLEIH ist Fremdschlüssel bezüglich BUCH d.h.: INVENTARNR taucht in einem anderen Relationenschema als Schlüssel auf Anfrageoperationen SELEKTION: Zeilen (Tupel) auswählen σ NAME= Meyer (AUSLEIH) INVENTARNR NAME 4711 Meyer 4712 Meyer PROJEKTION: Spalten (Attribute) auswählen π INVENTARNR, TITEL (BUCH) Achtung: doppelte Tupel werden entfernt! INVENTARNR TITEL 0007 Dr. No 1201 Objektbanken 4711 Datenbanken 4712 Datenbanken 4717 PASCAL VL Verteilte/Fderierte DBS 1 25 VL Verteilte/Fderierte DBS 1 26 Anfrageoperationen /2 VERBUND (JOIN): Tabellen verknüpfen über gleichbenannte Spalten und gleiche Werte π INVENTARNR,TITEL (BUCH) σ NAME= Meyer (AUSLEIH) Anfrageoperationen /3 SEMI-VERBUND: Verbund der nur Attribute einer der beiden Tabellen liefert R S = π R.* (R S) ergibt: INVENTARNR TITEL NAME 4711 Datenbanken Meyer 4712 Datenbanken Meyer Weitere Operationen: Vereinigung, Differenz, Durchschnitt, Umbenennung Alle Operationen beliebig kombinierbar ( Algebra ) VL Verteilte/Fderierte DBS 1 27 VL Verteilte/Fderierte DBS 1 28

8 Sprachen und Sichten Anfragesprache Interaktive Möglichkeit, Datenbankabfragen zu formulieren und zu starten Relationenalgebra + Funktionen (SUM, MAX, MIN, COUNT,... ) + arithmetische Operationen eventuell graphisch verpackt SQL als Standard select BUCH.INVENTARNR, TITEL, NAME from BUCH, AUSLEIH where NAME = Meyer and BUCH.INVENTARNR = AUSLEIH.INVENTARNR Sprachen und Sichten /2 Änderungskomponente: interaktive Möglichkeit für Eingabe von Tupeln Löschen von Tupeln Ändern von Tupeln Lokale und globale Integritätsbedingungen werden geprüft! Definition von Benutzersichten Häufig vorkommende Datenbankabfragen können unter Sichtnamen als virtuelle Tabelle gespeichert werden VL Verteilte/Fderierte DBS 1 29 VL Verteilte/Fderierte DBS 1 30 Sprachen und Sichten: SQL select Buch.InventarNr, Titel, Name from Buch, Ausleih where Name = Meyer and Buch.InventarNr = Ausleih.InventarNr update Angestellte set Gehalt = Gehalt where Gehalt < 5000 Sichten in SQL create view Meyers as select Buch.InventarNr, Titel, Name from Buch, Ausleih where Name = Meyer and Buch.InventarNr = Ausleih.InventarNr insert into Buch values (4867, Wissensbanken, 3-876, Karajan ) insert into Kunde ( select LName, LAdr, 0 from Lieferant ) VL Verteilte/Fderierte DBS 1 31 VL Verteilte/Fderierte DBS 1 32

9 Transaktionen Atomicity (Atomarität oder Ununterbrechbarkeit) Transaktion wird ganz oder gar nicht ausgeführt Consistency (Konsistenz oder Integritätserhaltung) der von einer Transaktion hinterlassene neue Zustand genügt den Integritätsbedingungen Isolation Ergebnis einer Transaktion muss einem isolierten Ablauf dieser Transaktion entsprechen, auch bei mehreren nebenläufigen Transaktionen Durability (Dauerhaftigkeit oder Persistenz) nach Ende einer Transaktion stehen Ergebnisse dauerhaft in der Datenbank Transaktionen /2 Das Ergebnis einer Transaktion soll so aussehen, als sei sie nach dem ACID-Prinzip abgelaufen. VL Verteilte/Fderierte DBS 1 33 VL Verteilte/Fderierte DBS 1 34 Funktionale Abhängigkeiten Funktionale Abhängigkeit einer Relation zwischen Attributmengen X und Y, wenn in jedem Tupel der Relation der Attributwert unter den X-Komponenten den Attributwert unter den Y -Komponenten festlegt Funktionale Abhängigkeit (kurz: FD, von functional dependency), Schreibweise: X Y für Relation r zu Relationenschema R mit X, Y R: t 1, t 2 r : t 1 (X) = t 2 (X) t 1 (Y ) = t 2 (Y ) Ableitungsregeln R 1 Reflexivität Wenn X Y = X Y R 2 Akkumulation {X Y } = XZ Y Z R 3 Transitivität {X Y, Y Z} = X Z R 4 Dekomposition {X Y Z} = X Y R 5 Vereinigung {X Y, X Z} = X Y Z R 6 Pseudotransitivität {X Y, W Y Z} = W X Z R 1 -R 3 bekannt als Armstrong-Axiome (sound, complete) VL Verteilte/Fderierte DBS 1 35 VL Verteilte/Fderierte DBS 1 36

10 Normalformen erste Normalform (1NF) erlaubt nur atomare Attribute in den Relationenschemata d.h. als Attributwerte sind Elemente von Standard- Datentypen wie integer oder string erlaubt, aber keine Konstruktoren wie array oder set zweite Normalform (2NF) verbietet partielle Abhängigkeiten liegt vor, wenn ein Attribut funktional schon von einem Teil des Schlüssels abhängt Normalformen /2 dritte Normalform (3NF) verbietet transitive Abhängigkeiten betrachtet nur Nicht-Schlüsselattribute als Endpunkt transitiver Abhängigkeiten Boyce-Codd-Normalform (BCNF) verbietet transitive Abhängigkeiten auch über Primattribute VL Verteilte/Fderierte DBS 1 37 VL Verteilte/Fderierte DBS 1 38 Mehrrechner-Datenbanksysteme allgemein: Datenbanksysteme, bei denen mehrere Prozessoren oder DBMS-Instanzen an der Verarbeitung von Datenbankoperationen beteiligt sind [Rahm 94] Klassifikation von Realisierungsvarianten bzgl. funktionaler Gleichstellung bzw. Spezialisierung Externspeicheranbindung räumlicher Verteilung Rechnerkopplung integrierter vs. föderierte Architektur homogener vs. heterogener Architektur Funktionale Gleichstellung Charakteristika: jeder Prozessor besitzt gleiche Funktionalität Klassifikation (nach [Rahm94]) Mehrrechner DBS Externspeicher zuordnung räumliche Verteilung Rechner kopplung Shared Everything gemeinsam partitioniert lokal lokal ortsverteilt eng nahe lose (nahe) lose lose Shared Disk Shared Nothing VL Verteilte/Fderierte DBS 1 39 VL Verteilte/Fderierte DBS 1 40

11 Externspeicheranbindung Partitionierter Zugriff Aufteilung des Externspeichers unter (Prozessor, Rechner) nur Zugriff auf eigene Partition Zugriff auf andere Partition erfordert Kommunikation mit Besitzer Gemeinsamer Zugriff jeder Prozessor hat Zugriff auf jede Partition (gesamte Datenbank) erfordert aufwendige Synchronisation Räumliche Anordnung lokal verteilt: DB-Cluster leistungsfähige Interprozessor-Kommunikation Fehlerrobustheit dynamische Verteilung/Lastbalancierung möglich geringer Administrationsaufwand Anwendung: parallele DB-Verarbeitung, Hoch-Verfügbarkeitslösung ortsverteilt: verteilte DBS im WAN Unterstützung verteilter Organisationsstrukturen Fehlerrobustheit gegenüber Katastrophen Anwendung: verteilte DBS VL Verteilte/Fderierte DBS 1 41 VL Verteilte/Fderierte DBS 1 42 Rechnerkopplung enge Kopplung Prozessoren teilen sich gemeinsamen Hauptspeicher effiziente Kooperation Lastbalancierung meist durch Betriebssystem Probleme: Ausfallsicherheit, Kohärenzkontrolle (-), Beschränkung auf geringe Anzahl an Prozessoren ( 20) Multiprozessor-DBMS Rechnerkopplung /2 lose Kopplung unabhängige mit eigenem Hauptspeicher und eigenen DBMS-Prozessen Vorteile: Fehlerisolation, Skalierbarkeit Probleme: aufwändige Kommunikation über Verbindungsnetzwerk, aufwändige DB-Operationen, Lastbalancierung nahe Kopplung Mischform zusätzlich zu eigenem Hauptspeicher existiert gemeinsamer Hauptspeicher Verwaltung durch Betriebssystem VL Verteilte/Fderierte DBS 1 43 VL Verteilte/Fderierte DBS 1 44

12 Klassen: Shared-Everything einfache Realisierung des DBMS Verteilungstransparenz durch Betriebssystem aufwändige Synchronisation Erweiterung der Anfrageverarbeitung Klassen: Shared-Nothing Aufteilen der Datenbank auf mehrere (DBS) verteilte/parallele Ausführungspläne knotenübergreifende Transaktionsprotokolle Verwaltung von Katalog und Replikaten gemeinsamer Hauptspeicher DBMS Puffer Hauptspeicher Hauptspeicher Hauptspeicher DBMS Puffer DBMS Puffer DBMS Puffer gemeinsame Festplatten VL Verteilte/Fderierte DBS 1 45 VL Verteilte/Fderierte DBS 1 46 Klassen: Shared-Disk vermeidet physische Datenaufteilung keine verteilte Transaktionsverwaltung und Ausführungspläne notwendig Behandlung von Pufferinvalidierungen Hauptspeicher Puffer Hauptspeicher Puffer Hauptspeicher Puffer Integrierte vs. föderierte DBS integriert: gemeinsame Datenbank für alle ein konzeptionelles Schema hohe Verteilungstransparenz: Zugriff über lokales DBMS auf gesamte DB erfordert Kooperation der DBMS; Einschränkung der Autonomie föderiert (oder auch föderativ): mit eigener DB und lokalem Schema globales integriertes Schema (Schemaintegration) höhere autonomie gemeinsame Festplatten VL Verteilte/Fderierte DBS 1 47 VL Verteilte/Fderierte DBS 1 48

13 Integrierte vs. föderierte DBS /2 integriert homogen Mehrrechner DBS integriert homogen homogen föderiert heterogen Funktionale Spezialisierung DBMS-Funktionen werden unterschiedlichen zugeordnet teilweise auch Zuordnung zu mehreren Varianten Workstation/Server-DBS Server-DBS: globale Dienste (Externspeicherverwaltung, Synchronisation, Logging) Workstation-DBS: Anfrageverarbeitung, Objekt-Pufferung Anfrage-, Objekt-, Seitenserver Anwendung: DBMS für Nicht-Standard-Anwendungen, ODBMS VL Verteilte/Fderierte DBS 1 49 VL Verteilte/Fderierte DBS 1 50 Funktionale Spezialisierung /2 Varianten (fortg.) Datenbankmaschinen Spezialprozessoren für bestimmte Operationen (Verbund, Sortierung) weitgehend gescheitert (Kosten, Entwicklungszeit) Zentrale vs. dezentrale Koordination zentral jeder hat globale Sicht (direkt oder über Master) zentraler Koordinator: Initiator von Anfragen / Transaktionen kennt alle beteiligten weitgehende Garantie von DB-Eigenschaften (ACID, Vollständigkeit des Ergebnisses etc.) typ. Anwendung: verteilte und parallele DBS DBS-Eigenschaften, Hochverfügbarkeit, begrenzte Skalierbarkeit VL Verteilte/Fderierte DBS 1 51 VL Verteilte/Fderierte DBS 1 52

14 Zentrale vs. dezentrale Koordination /2 dezentral keine globale Sicht auf System Peer kennt nur einige Nachbarn relativ autonome Peers; globales Verhalten ist Ergebnis lokaler Interaktion keine Garantie für Verfügbarkeit und Existenz von kein globales Wissen (Schema, Datenverteilung etc.) typ. Anwendung: P2P hohe Skalierbarkeit, Robustheit gegenüber Angriffen / Ausfällen, geringe Anforderungen bzgl. DBS-Eigenschaften Bewertung Parallele Verteilte Föderierte Works./ DBS DBS DBS Server-DBS Hohe Transaktionsraten Intra-TA-Parallelität Erweiterbarkeit Verfügbarkeit Verteilungstransparenz geogr. Verteilung Kontenautonomie DBS-Heterogenität Administration VL Verteilte/Fderierte DBS 1 53 VL Verteilte/Fderierte DBS 1 54 Aufgabengebiete Entwurf verteilter Datenbanken Verteilte/Parallele Anfrageverarbeitung Verwaltung des DB-Katalogs Transaktionsverwaltung Synchronisation in verteilten DB Deadlock-Erkennung Verfügbarkeit/Ausfallsicherheit Umgang mit Heterogenität VL Verteilte/Fderierte DBS 1 55