Teil I Architektur von DBMS

Transkript

1 Teil I Architektur von DBMS

2 Überblick 1 Anwendersicht auf DBMS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

3 Überblick 1 Anwendersicht auf DBMS 2 Überblick über behandelte Komponenten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

4 Überblick 1 Anwendersicht auf DBMS 2 Überblick über behandelte Komponenten 3 Schichtenmodell eines relationalen DBMS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

5 Überblick 1 Anwendersicht auf DBMS 2 Überblick über behandelte Komponenten 3 Schichtenmodell eines relationalen DBMS 4 Architekturvarianten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

6 Überblick 1 Anwendersicht auf DBMS 2 Überblick über behandelte Komponenten 3 Schichtenmodell eines relationalen DBMS 4 Architekturvarianten 5 Architekturen konkreter DBMS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

7 Anwendersicht auf DBMS Datenbankgrundbegriffe: Komponenten Externe Ebene Konzeptuelle Ebene Interne Ebene Anfragen Updates Optimierer Auswertung Plattenzugriff P 1... DB- Operationen Einbettung Data Dictionary P n Masken Sichtdefinition Datendefinition Dateiorganisation c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

8 Anwendersicht auf DBMS Neun Funktionen nach Codd 1 Integration 2 Operationen 3 Katalog 4 Benutzersichten 5 Konsistenzüberwachung 6 Datenschutz 7 Transaktionen 8 Synchronisation 9 Datensicherung c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

9 Anwendersicht auf DBMS Datenbankmodelle & -sprachen Datenbankmodelle: wichtigstes Datenmodell in kommerziellen Systemen: relationales Datenbankmodell Daten in Tabellenform teilweise erweitert um objektorientierte Konzepte: objektrelationale Modelle weiterhin: semistrukturiert (XML), objektorientiert, hierarchisch, Netzwerk Datenbanksprachen: Standardsprache SQL Anfragesprache: Selektion, Projektion, Verbunde, Gruppierung & Aggregation DML: Einfügen, Löschen, Ändern von Tupeln DDL: Definition von Tabellen, Indexen,... c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

10 Überblick über behandelte Komponenten Überblick über behandelte Komponenten Optimierer Dateiorganisationen und Zugriffspfade Organisation des Sekundärspeichers Transaktionsverwaltung Recovery-Komponente c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

11 Überblick über behandelte Komponenten Optimierer Äquivalenz von Algebra-Termen 1 σ A=Konst ( REL1 REL2 ) und A aus REL1 2 σ A=Konst (REL1) REL2 allgemeine Strategie: Selektionen möglichst früh, da sie Tupelanzahlen in Relationen verkleinern Beispiel: REL1 100 Tupel, REL2 50 Tupel intern: Tupel sequenziell abgelegt ( ) (σ) = Operationen (σ) ( ) = 600 Operationen falls 10 Tupel in REL1 die Bedingung A = Konst erfüllen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

12 Überblick über behandelte Komponenten Dateiorganisation und Zugriffspfade Dateiorganisation: Abbildung Konzeptionelle Ebene Interne Ebene Platte Relationen Dateien (Files) Tupel Sätze (Records) Blöcke Attributwerte Felder Zugriffspfade Primär- versus Sekundär-Index eindimensional versus mehrdimensional c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

13 Überblick über behandelte Komponenten Transaktionen Eine Transaktion ist eine Folge von Operationen (Aktionen), die die Datenbank von einem konsistenten Zustand in einen konsistenten, eventuell veränderten, Zustand überführt, wobei das ACID-Prinzip eingehalten werden muss. Aspekte: Semantische Integrität: Korrekter (konsistenter) DB-Zustand nach Ende der Transaktion Ablaufintegrität: Fehler durch gleichzeitigen Zugriff mehrerer Benutzer auf dieselben Daten vermeiden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

14 Überblick über behandelte Komponenten ACID-Eigenschaften Atomicity (Atomarität): Transaktion wird entweder ganz oder gar nicht ausgeführt Consistency (Konsistenz oder auch Integritätserhaltung): Datenbank ist vor Beginn und nach Beendigung einer Transaktion jeweils in einem konsistenten Zustand Isolation (Isolation): Nutzer, der mit einer Datenbank arbeitet, sollte den Eindruck haben, dass er mit dieser Datenbank alleine arbeitet Durability (Dauerhaftigkeit / Persistenz): nach erfolgreichem Abschluss einer Transaktion muss das Ergebnis dieser Transaktion dauerhaft in der Datenbank gespeichert werden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

15 Schichtenmodell eines relationalen DBMS Betrachtete Fragestellungen Externe Ebene Konzeptuelle Ebene Interne Ebene Anfragen Updates Optimierer Auswertung Plattenzugriff P 1... DB- Operationen Einbettung Data Dictionary P n Masken Sichtdefinition Datendefinition Dateiorganisation c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

16 Schichtenmodell eines relationalen DBMS Fünf-Schichten-Architektur basierend auf Idee von Senko 1973 Weiterentwicklung von Härder 1987 Umsetzung im Rahmen des IBM-Prototyps System R genauere Beschreibung der Transformationskomponenten schrittweise Transformation von Anfragen/Änderungen bis hin zu Zugriffen auf Speichermedien Definition der Schnittstellen zwischen Komponenten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

17 Schichtenmodell eines relationalen DBMS 5-Schichten-Architektur: Schnittstellen mengenorientierte Schnittstelle deklarative DML auf Tabellen, Sichten, Zeilen satzorientierte Schnittstelle Sätze, logische Dateien, logische Zugriffspfade navigierender Zugriff interne Satzschnittstelle Sätze, Zugriffspfade Manipulation von Sätzen und Zugriffspfaden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

18 Schichtenmodell eines relationalen DBMS 5-Schichten-Architektur: Schnittstellen /2 Pufferschnittstelle Seiten, Seitenadressen Freigeben und Bereitstellen Datei- oder Seitenschnittstelle Hole Seite, Schreibe Seite Geräteschnittstelle Spuren, Zylinder Armbewegungen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

19 Schichtenmodell eines relationalen DBMS 5-Schichten-Architektur: Funktionen MOS SOS ISS SPS DS GS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Systempufferschnittstelle Dateischnittstelle Geräteschnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem Externspeicher Übersetzung, Zugriffspfadwahl, Zugriffskontrolle, Integritätskontrolle Data Dictionary, Currency Pointer, Sortierung, Transaktionsverwaltung Record Manager, Zugriffspfadverwaltung, Sperrverwaltung, Logging, Recovery Systempufferverwaltung, Seitenersetzung, Seitenzuordnung Externspeicherverwaltung, Speicherzuordnung c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

20 Schichtenmodell eines relationalen DBMS 5-Schichten-Architektur: Objekte Relationen Sichten Externe Sätze Indexstrukturen Scans Interne Sätze Bäume Hashtabellen Segmente Seiten Dateien Blöcke Zylinder Spuren MOS SOS ISS SPS DS GS Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem SELECT... FROM... WHERE... FIND NEXT satz STORE satz LOOKUP im B-Baum INSERT in B-Baum Bereitstellen Seite j Freigeben Seite j Lies Block k Schreibe Block k c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

21 Schichtenmodell eines relationalen DBMS Erläuterungen mengenorientierte Schnittstelle MOS: deklarative Datenmanipulationssprache auf Tabellen und Sichten (etwa SQL) durch Datensystem auf satzorientierte Schnittstelle SOS umgesetzt: navigierender Zugriff auf interner Darstellung der Relationen manipulierte Objekte: typisierte Datensätze und interne Relationen sowie logische Zugriffspfade (Indexe) Aufgaben des Datensystems: Übersetzung und Optimierung von SQL-Anfragen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

22 Schichtenmodell eines relationalen DBMS Erläuterungen /2 durch Zugriffssystem auf interne Satzschnittstelle ISS umgesetzt: interne Tupel einheitlich verwalten, ohne Typisierung Speicherstrukturen der Zugriffspfade (konkrete Operationen auf B - Bäumen und Hashtabellen), Mehrbenutzerbetrieb mit Transaktionen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

23 Schichtenmodell eines relationalen DBMS Erläuterungen /3 durch Speichersystem Datenstrukturen und Operationen der ISS auf interne Seiten eines virtuellen linearen Adressraums umsetzen Manipulation des Adressraums durch Operationen der Systempufferschnittstelle SPS Typische Objekte: interne Seiten, Seitenadressen Typische Operationen: Freigeben und Bereitstellen von Seiten, Seitenwechselstrategien, Sperrverwaltung, Schreiben des Log- Buchs durch Pufferverwaltung interne Seiten auf Blöcke der Dateischnittstelle DS abbilden Umsetzung der DS-Operationen auf Geräteschnittstelle erfolgt durch BS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

24 Schichtenmodell eines relationalen DBMS Speicherhierarchie Cache Primärspeicher Hauptspeicher Festplatten, Solid-State-Disk Sekundärspeicher Optische Platten Tertiärspeicher Magnetbänder c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

25 Schichtenmodell eines relationalen DBMS Eigenschaften von Speichermedien Primär Sekundär Tertiär Geschwindigkeit schnell langsam sehr langsam Preis teuer preiswert billig Stabilität flüchtig stabil stabil Größe klein groß sehr groß Granulate fein grob grob c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

26 Schichtenmodell eines relationalen DBMS Speichermedien Primärspeicher Primärspeicher: Cache und Hauptspeicher sehr schnell, Zugriff auf Daten fein granular: jedes Byte adressierbar Sekundärspeicher Sekundärspeicher oder Online-Speicher meist Plattenspeicher, nicht-flüchtig Granularität des Zugriffs gröber: Blöcke, oft 512 Bytes Zugriffslücke: Faktor 10 5 langsamerer Zugriff Tertiärspeicher Zur langfristigen Datensicherung (Archivierung) oder kurzfristigen Protokollierung (Journale) üblich: optische Platten, Magnetbänder Offline-Speicher meist Wechselmedium Nachteil: Zugriffslücke extrem groß c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

27 Schichtenmodell eines relationalen DBMS Angebotene Dienste Treiberprogramme zum Holen und Schreiben von Blöcken Zuordnung von Blöcken zu Seiten Ergänzen der Block-Informationen um Kontrollsummen, um Schreib- oder Lesefehler zu ermitteln Caching-Mechanismen, die bereits gelesene Daten im Hauptspeicher halten und verwalten Operationen des Dateisystems von Betriebssystemen (oft: Datenbanksysteme nutzen nur eine einzige Datei) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

28 Schichtenmodell eines relationalen DBMS Pufferverwaltung benötigte Blöcke des Sekundärspeichers im Hauptspeicher verwalten Speicherplatz für begrenzte Menge von Seiten im Hauptspeicher: Puffer Aufgabe der Pufferverwaltung: Verdrängung nicht mehr im Puffer benötigter Seiten (Seitenwechselstrategien) Unterschied: unter Verantwortung des Datenbanksystems verwalteter Puffer Cache auf der Betriebssystemebene Aufgaben: Zuteilung von Speicherplatz für Seiten Suchen und Ersetzen von Seiten im Puffer Optimierung der Lastverteilung zwischen parallelen Transaktionen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

29 Schichtenmodell eines relationalen DBMS Speichersystem Puffer: Seiten (Byte-Container) Speichersystem: interne Datensätze Zugriffssystem: logische Datensätze, interne Tupel Struktur Tupel internes Tupel oder logischer Datensatz interner Datensatz Seite Systemkomponente Datensystem Zugriffssystem Speichersystem Pufferverwaltung Anwendungsobjekte im Speichersystem als interne Sätze Hilfsdaten wie Indexeinträge als interne Sätze Problem der Adressierung von Sätzen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

30 Schichtenmodell eines relationalen DBMS Adressierung von Sätzen Adressierung logisch direkt physisch Seitennr. + Offset TID c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

31 Schichtenmodell eines relationalen DBMS Zugriffssystem Zugriffssystem abstrahiert von interner Darstellung der Datensätze auf Seiten logische Datensätze, interne Tupel interne Tupel können Elemente einer Dateidarstellung der konzeptuellen Relation oder Elemente eines Zugriffspfads sein interne Tupel bestehen aus Feldern (entsprechen Attributen bei konzeptuellen Tupeln) Operationen im Zugriffssystem sind typischerweise Scans (interne Cursor auf Dateien oder Zugriffspfaden) Zugriffspfad oder -struktur: Datenstruktur für zusätzlichen, schlüsselbasierten Zugriff auf Tupel ( Schlüsselattributwert, Tupeladresse ) meist als Indexdatei realisiert: Zugriffspfad auf eine Datei ist selbst wieder Datei Primär- vs. Sekundärindex c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

32 Schichtenmodell eines relationalen DBMS Dateioperationen Einfügen eines Datensatzes (insert) Löschen eines Datensatzes (remove oder delete) Modifizieren eines Datensatzes (modify) Suchen und Finden eines Satzes (lookup oder fetch) Attributwert für ein Feld single-match query Werte für alle Felder einer Indexdatei exact-match query Werte für Teilmenge der Felder partial-match query Wertintervall range query c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

33 Schichtenmodell eines relationalen DBMS Zugriff auf Datensätze Datensätze in Abhängigkeit vom Primärschlüsselwert in einer Datei geordnet oder gehasht (gestreut) gespeichert schneller Zugriff über Primärschlüssel schneller Zugriff über andere Attributmengen (Sekundärschlüssel) standardmäßig über Indexdateien realisiert c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

34 Schichtenmodell eines relationalen DBMS Beispiele B + -Baum dynamischer, eindimensionaler Zugriffspfad in den meisten Datenbanksystemen über mehrere Attribute einer Datei definierbar aber nur ein exact-match auf dieser Feldkombination möglich klassisches Hashverfahren statische, eindimensionale Dateiorganisationsform bei wachsenden Tupelmengen immer mehr Kollisionen zu erwarten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

35 Schichtenmodell eines relationalen DBMS Datensystem Optimierung: mengenorientierte Anfrage (SQL) muss durch System optimiert werden Umformung des Anfrageausdrucks in einen effizienter zu bearbeitenden Ausdruck (Query Rewriting, Konzeptuelle oder Logische Optimierung) Auswahl der zur Anfragebearbeitung sinnvollen Zugriffspfade und Auswertungsalgorithmen für jeden relationenalgebraischen Operator (physische Optimierung) Auswahl des effizientesten Anfrageausdrucks nach Kostenschätzungen (Kostenbasierte Auswahl) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

36 Architekturvarianten Client-Server-Systeme Aufteilung der Schichten auf Client- bzw. Serverprozesse Client sendet Anforderungen an Server zur Bearbeitung Client (Dienstnehmer) Server (Diensterbringer) 1. Anforderung 2. Bearbeitung 3. Antwort c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

37 Architekturvarianten Architekturen Anwendung Anwendung Anwendung Deklarative Anfrage Anfrage-Client Anfrage- Server Tupel Objekt- Anforderung Objekt-Client Objekt- Server Objekte Seiten- Anforderung Seiten-Client Seiten- Server Seiten DB DB DB c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

38 Architekturvarianten Architekturen /2 Seiten-Server Sekundärspeicher- und Pufferverwaltung Seitensperren Ausnutzung von Zugriffspfaden und Auswertung von Anfragen nicht möglich niedrige Last, hoher Kommunikationsaufwand Objekt-Server Verwaltung von Datei- und Zugriffsstrukturen Bereitstellung von Objektstrukturen höhere Last als beim Seiten-Server; Cache-Kohärenz Anfrage-Server Anforderung von Objektmengen (Tupeln) über Anfragen Anfrageverarbeitung komplett im Server Flaschenhals, speziell bei navigierenden Operationen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

39 Architekturvarianten Weitere Architekturen Verteilte Datenbanksysteme Server-Prozesse auf mehreren Rechnern Zuordnung der Daten Replikation: redundante Speicherung an mehreren Knoten Fragmentierung: bestimmte Teile der Daten auf bestimmten Knoten Parallele Datenbanksysteme Verteilung der Last (Anfragen, Transaktionen) parallele Auswertung durch mehrere Prozessoren siehe Vorlesung Verteiltes Datenmanagement c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

40 Architekturen konkreter DBMS IBM DB2: Systemarchitektur Client- Prozess Listener- Prozess DB2-Instanz DB2- Agent Subagenten Log- Reader Log- Writer Redo-Log-Puffer Datenbank-Puffer I/O- Prefetcher Page- Cleaner Redo-Log- File c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

41 Architekturen konkreter DBMS DB2: Datenbankprozesse Listener-Prozess: Verteilung eingehender Verbindungsanforderungen Koordinationsagenten: Verarbeitung der Datenbankanfragen I/O-Prefetcher: Vorablesen von Seiten in den Puffer Page-Cleaner-Prozess: Zurückschreiben von modifizierten Seiten aus dem Puffer auf Festplatte Log-Reader-Prozess: Behandlung von Logeinträgen für Transaktionsverwaltung und Recovery im Falle des Abbruchs einer Transaktion Log-Writer-Prozess: Schreiben der Log-Einträge in das Logbuch weitere Prozesse: Erkennung der Verklemmung von Transaktionen durch gegenseitiges Sperren, Archivierung von Logdateien, Überwachung der laufenden Prozesse auf abnormale Beendigung, zur parallelen und verteilten Verarbeitung,... Kommunikation der serverseitigen Prozesse über gemeinsamen Speicherbereich: Database Global Memory c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

42 Architekturen konkreter DBMS Oracle: Prozessarchitektur Oracle-Instanz System Global Area LCKn Datenbank-Puffer Redo-Log-Puffer RECO PMON SMON CKPT Client- Prozess Server- Prozess DBWR LGWR ARCH Redo-Log- File Control-File c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

43 Architekturen konkreter DBMS Oracle: SGA System Global Area: globale Hauptspeicherstruktur (Shared Memory) Bereiche: Puffer Redo-Log-Puffer für die temporäre Verwaltung von Redo-Einträgen, die für das Recovery benötigt werden Shared Pool als Cache für Anfragen, Prozeduren etc. Java Pool für serverseitig ausgeführten Java-Code Data-Dictionary-Cache c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

44 Architekturen konkreter DBMS Oracle: Spezielle Prozesse Database Writer dbwn_dbname: schreibt verdrängte und modifizierte Seiten aus dem Puffer auf Externspeicher Log Writer lgwr :überträgt spätestens bei Transaktionsende die Redo-Log-Einträge in das Logbuch Checkpoint-Prozess ckpt: Realisierung von Sicherungspunkten System Monitor smon: übernimmt beim Start einer Instanz das Recovery Process Monitor pmon: überwacht die laufenden Server- und Hintergrundprozesse Archiver-Prozess arcn: Archivierung der Redo-Logdateien auf einem dafür vorgesehenen Speichermedium c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

45 Architekturen konkreter DBMS SQL Server: Architektur Client- Prozess SQL Server-Instanz Listener Redo-Log-Puffer Datenbank-Puffer Worker- Threads logwriter checkpoint lazywriter Redo-Log- File c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

46 Architekturen konkreter DBMS SQL Server: Threads Worker-Thread: verarbeitet komplette Anforderung (Realisierung der Transformationskomponente) Lazywriter-Thread: durchsucht periodisch den Puffer und verdrängt nicht mehr genutzte Seiten Checkpoint-Thread: implementiert Sicherungspunkte, indem periodisch modifizierte Log-Einträge und Seiten auf die Festplatte geschrieben werden Logwriter-Thread: periodisches Schreiben der Log-Einträge aus dem Puffer in das Logbuch c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

47 Architekturen konkreter DBMS Aktuelle Entwicklungen In-Memory-Datenbanksysteme Server-Systeme mit Hauptspeicher im TB-Bereich: Daten können komplett im Hauptspeicher gehalten werden hauptspeicher-optimierte Datenstrukturen und Algorithmen Kompressionstechniken Memory Wall : RAM-Zugriff 60 ns, L1-Cache: 4 CPU-Zyklen Cache-optimierte Strukturen Datenbank-Accelerators Hardware-unterstütztes Datenmanagement: FPGA, GPU als Coprozessoren, Highspeed-Netzwerk, SSDs als zusätzliche Cache-Ebene,... c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April

48 Architekturen konkreter DBMS Zusammenfassung Aufgaben von DBMS Fünf-Schichten-Architektur: Beschreibung der Transformationskomponenten Prozessarchitekturen konkreter DBMS Literatur: Datenbanken: Implementierungstechniken, Kapitel 1 und 2 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 13. April