Teil II Architektur von DBMS

Transkript

1 Teil II Architektur von DBMS

2 Überblick 1 2 Architekturvarianten 3 Architekturen konkreter DBMS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

3 Betrachtete Fragestellungen Externe Ebene Konzeptuelle Ebene Interne Ebene Anfragen Updates Optimierer Auswertung Plattenzugriff P 1... DB- Operationen Einbettung Data Dictionary P n Masken Sichtdefinition Datendefinition Dateiorganisation c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

4 Fünf-Schichten-Architektur basierend auf Idee von Senko 1973 Weiterentwicklung von Härder 1987 Umsetzung im Rahmen des IBM-Prototyps System R genauere Beschreibung der Transformationskomponenten schrittweise Transformation von Anfragen/Änderungen bis hin zu Zugriffen auf Speichermedien Definition der Schnittstellen zwischen Komponenten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

5 5-Schichten-Architektur: Schnittstellen mengenorientierte Schnittstelle deklarative DML auf Tabellen, Sichten, Zeilen satzorientierte Schnittstelle Sätze, logische Dateien, logische Zugriffspfade navigierender Zugriff interne Satzschnittstelle Sätze, Zugriffspfade Manipulation von Sätzen und Zugriffspfaden c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

6 5-Schichten-Architektur: Schnittstellen /2 Pufferschnittstelle Seiten, Seitenadressen Freigeben und Bereitstellen Datei- oder Seitenschnittstelle Hole Seite, Schreibe Seite Geräteschnittstelle Spuren, Zylinder Armbewegungen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

7 5-Schichten-Architektur: Funktionen MOS SOS ISS SPS DS GS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Systempufferschnittstelle Dateischnittstelle Geräteschnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem Externspeicher Übersetzung, Zugriffspfadwahl, Zugriffskontrolle, Integritätskontrolle Data Dictionary, Currency Pointer, Sortierung, Transaktionsverwaltung Record Manager, Zugriffspfadverwaltung, Sperrverwaltung, Logging, Recovery Systempufferverwaltung, Seitenersetzung, Seitenzuordnung Externspeicherverwaltung, Speicherzuordnung c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

8 5-Schichten-Architektur: Objekte Relationen Sichten Externe Sätze Indexstrukturen Scans Interne Sätze Bäume Hashtabellen Segmente Seiten Dateien Blöcke Zylinder Spuren MOS SOS ISS SPS DS GS Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem SELECT... FROM... WHERE... FIND NEXT satz STORE satz LOOKUP im B-Baum INSERT in B-Baum Bereitstellen Seite j Freigeben Seite j Lies Block k Schreibe Block k c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

9 Erläuterungen mengenorientierte Schnittstelle MOS: deklarative Datenmanipulationssprache auf Tabellen und Sichten (etwa SQL) durch Datensystem auf satzorientierte Schnittstelle SOS umgesetzt: navigierender Zugriff auf interner Darstellung der Relationen manipulierte Objekte: typisierte Datensätze und interne Relationen sowie logische Zugriffspfade (Indexe) Aufgaben des Datensystems: Übersetzung und Optimierung von SQL-Anfragen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

10 Erläuterungen /2 durch Zugriffssystem auf interne Satzschnittstelle ISS umgesetzt: interne Tupel einheitlich verwalten, ohne Typisierung Speicherstrukturen der Zugriffspfade (konkrete Operationen auf B - Bäumen und Hash-Tabellen), Mehrbenutzerbetrieb mit Transaktionen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

11 Erläuterungen /3 durch Speichersystem Datenstrukturen und Operationen der ISS auf interne Seiten eines virtuellen linearen Adressraums umsetzen Manipulation des Adressraums durch Operationen der Systempufferschnittstelle SPS Typische Objekte: interne Seiten, Seitenadressen Typische Operationen: Freigeben und Bereitstellen von Seiten, Seitenwechselstrategien, Sperrverwaltung, Schreiben des Log- Buchs durch Pufferverwaltung interne Seiten auf Blöcke der Dateischnittstelle DS abbilden Umsetzung der DS-Operationen auf Geräteschnittstelle erfolgt durch BS c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

12 Speicherhierarchie Cache Primärspeicher Hauptspeicher Festplatten, Solid-State-Disk Sekundärspeicher Optische Platten Tertiärspeicher Magnetbänder c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

13 Eigenschaften von Speichermedien Primär Sekundär Tertiär Geschwindigkeit schnell langsam sehr langsam Preis teuer preiswert billig Stabilität flüchtig stabil stabil Größe klein groß sehr groß Granulate fein grob grob c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

14 Speichermedien Primärspeicher Primärspeicher: Cache und Hauptspeicher sehr schnell, Zugriff auf Daten fein granular: jedes Byte adressierbar Sekundärspeicher Sekundärspeicher oder Online-Speicher meist Plattenspeicher, nicht-flüchtig Granularität des Zugriffs gröber: Blöcke, oft 512 Bytes Zugriffslücke: Faktor 10 5 langsamerer Zugriff Tertiärspeicher Zur langfristigen Datensicherung (Archivierung) oder kurzfristigen Protokollierung (Journale) üblich: optische Platten, Magnetbänder Offline-Speicher meist Wechselmedium Nachteil: Zugriffslücke extrem groß c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

15 Angebotene Dienste Treiberprogramme zum Holen und Schreiben von Blöcken Zuordnung von Blöcken zu Seiten Ergänzen der Block-Informationen um Kontrollsummen, um Schreib- oder Lesefehler zu ermitteln Caching-Mechanismen, die bereits gelesene Daten im Hauptspeicher halten und verwalten Operationen des Dateisystems von Betriebssystemen (oft: Datenbanksysteme nutzen nur eine einzige Datei) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

16 Pufferverwaltung benötigte Blöcke des Sekundärspeichers im Hauptspeicher verwalten Speicherplatz für begrenzte Menge von Seiten im Hauptspeicher: Puffer Aufgabe der Pufferverwaltung: Verdrängung nicht mehr im Puffer benötigter Seiten (Seitenwechselstrategien) Unterschied: unter Verantwortung des Datenbanksystems verwalteter Puffer Cache auf der Betriebssystemebene Aufgaben: Zuteilung von Speicherplatz für Seiten Suchen und Ersetzen von Seiten im Puffer Optimierung der Lastverteilung zwischen parallelen Transaktionen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

17 Speichersystem Puffer: Seiten (Byte-Container) Speichersystem: interne Datensätze Zugriffssystem: logische Datensätze, interne Tupel Struktur Tupel internes Tupel oder logischer Datensatz interner Datensatz Seite Systemkomponente Datensystem Zugriffssystem Speichersystem Pufferverwaltung Anwendungsobjekte im Speichersystem als interne Sätze Hilfsdaten wie Indexeinträge als interne Sätze Problem der Adressierung von Sätzen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

18 Zugriffssystem Zugriffssystem abstrahiert von interner Darstellung der Datensätze auf Seiten logische Datensätze, interne Tupel interne Tupel können Elemente einer Dateidarstellung der konzeptuellen Relation oder Elemente eines Zugriffspfads sein interne Tupel bestehen aus Feldern (entsprechen Attributen bei konzeptuellen Tupeln) Operationen im Zugriffssystem sind typischerweise Scans (interne Cursor auf Dateien oder Zugriffspfaden) Zugriffspfad oder -struktur: Datenstruktur für zusätzlichen, schlüsselbasierten Zugriff auf Tupel ( Schlüsselattributwert, Tupeladresse ) meist als Indexdatei realisiert: Zugriffspfad auf eine Datei ist selbst wieder Datei Primär- vs. Sekundärindex c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

19 Dateioperationen Einfügen eines Datensatzes (insert) Löschen eines Datensatzes (remove oder delete) Modifizieren eines Datensatzes (modify) Suchen und Finden eines Satzes (lookup oder fetch) Attributwert für ein Feld single-match query Werte für alle Felder einer Indexdatei exact-match query Werte für Teilmenge der Felder partial-match query Wertintervall range query c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

20 Zugriff auf Datensätze Datensätze in Abhängigkeit vom Primärschlüsselwert in einer Datei geordnet oder gehasht (gestreut) gespeichert schneller Zugriff über Primärschlüssel schneller Zugriff über andere Attributmengen (Sekundärschlüssel) standardmäßig über Indexdateien realisiert c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

21 Beispiele B + -Baum dynamischer, eindimensionaler Zugriffspfad in den meisten Datenbanksystemen über mehrere Attribute einer Datei definierbar aber nur ein exact-match auf dieser Feldkombination möglich klassisches Hashverfahren statische, eindimensionale Dateiorganisationsform bei wachsenden Tupelmengen immer mehr Kollisionen zu erwarten c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

22 Datensystem Optimierung: mengenorientierte Anfrage (SQL) muss durch System optimiert werden Umformung des Anfrageausdrucks in einen effizienter zu bearbeitenden Ausdruck (Query Rewriting, Konzeptuelle oder Logische Optimierung) Auswahl der zur Anfragebearbeitung sinnvollen Zugriffspfade und Auswertungsalgorithmen für jeden relationenalgebraischen Operator (physische Optimierung) Auswahl des effizientesten Anfrageausdrucks nach Kostenschätzungen (Kostenbasierte Auswahl) c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

23 Architekturvarianten Client-Server-Systeme Aufteilung der Schichten auf Client- bzw. Serverprozesse Client sendet Anforderungen an Server zur Bearbeitung Client (Dienstnehmer) Server (Diensterbringer) 1. Anforderung 2. Bearbeitung 3. Antwort c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

24 Architekturvarianten Architekturen Anwendung Anwendung Anwendung Deklarative Anfrage Anfrage-Client Anfrage- Server Tupel Objekt- Anforderung Objekt-Client Objekt- Server Objekte Seiten- Anforderung Seiten-Client Seiten- Server Seiten DB DB DB c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

25 Architekturvarianten Architekturen /2 Seiten-Server Sekundärspeicher- und Pufferverwaltung Seitensperren Ausnutzung von Zugriffspfaden und Auswertung von Anfragen nicht möglich niedrige Last, hoher Kommunikationsaufwand Objekt-Server Verwaltung von Datei- und Zugriffsstrukturen Bereitstellung von Objektstrukturen höhere Last als beim Seiten-Server; Cache-Kohärenz Anfrage-Server Anforderung von Objektmengen (Tupeln) über Anfragen Anfrageverarbeitung komplett im Server Flaschenhals, speziell bei navigierenden Operationen c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

26 Architekturvarianten Weitere Architekturen Verteilte Datenbanksysteme Server-Prozesse auf mehreren Rechnern Zuordnung der Daten Replikation: redundante Speicherung an mehreren Knoten Fragmentierung: bestimmte Teile der Daten auf bestimmten Knoten Parallele Datenbanksysteme Verteilung der Last (Anfragen, Transaktionen) parallele Auswertung durch mehrere Prozessoren siehe Vorlesung Verteiltes Datenmanagement c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

27 Architekturen konkreter DBMS Oracle: Prozessarchitektur Oracle-Instanz System Global Area LCKn Datenbank-Puffer Redo-Log-Puffer RECO PMON SMON CKPT Client- Prozess Server- Prozess DBWR LGWR ARCH Redo-Log- File Control-File c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

28 Architekturen konkreter DBMS Oracle: SGA System Global Area: globale Hauptspeicherstruktur (Shared Memory) Bereiche: Puffer Redo-Log-Puffer für die temporäre Verwaltung von Redo-Einträgen, die für das Recovery benötigt werden Shared Pool als Cache für Anfragen, Prozeduren etc. Java Pool für serverseitig ausgeführten Java-Code Data-Dictionary-Cache c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

29 Architekturen konkreter DBMS Oracle: Spezielle Prozesse Database Writer dbwn_dbname: schreibt verdrängte und modifizierte Seiten aus dem Puffer auf Externspeicher Log Writer lgwr :überträgt spätestens bei Transaktionsende die Redo-Log-Einträge in das Logbuch Checkpoint-Prozess ckpt: Realisierung von Sicherungspunkten System Monitor smon: übernimmt beim Start einer Instanz das Recovery Process Monitor pmon: überwacht die laufenden Server- und Hintergrundprozesse Archiver-Prozess arcn: Archivierung der Redo-Logdateien auf einem dafür vorgesehenen Speichermedium c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

30 Architekturen konkreter DBMS SQL Server: Architektur Client- Prozess SQL Server-Instanz Listener Redo-Log-Puffer Datenbank-Puffer Worker- Threads logwriter checkpoint lazywriter Redo-Log- File c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

31 Architekturen konkreter DBMS SQL Server: Threads Worker-Thread: verarbeitet komplette Anforderung (Realisierung der Transformationskomponente) Lazywriter-Thread: durchsucht periodisch den Puffer und verdrängt nicht mehr genutzte Seiten Checkpoint-Thread: implementiert Sicherungspunkte, indem periodisch modifizierte Log-Einträge und Seiten auf die Festplatte geschrieben werden Logwriter-Thread: periodisches Schreiben der Log-Einträge aus dem Puffer in das Logbuch c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

32 Architekturen konkreter DBMS PostgreSQL: Prozessarchitektur Client- Prozess Postmaster Datenbank-Puffer Backend Systemkatalog c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/

33 Architekturen konkreter DBMS Zusammenfassung Aufgaben von DBMS Fünf-Schichten-Architektur: Beschreibung der Transformationskomponenten Prozessarchitekturen konkreter DBMS Literatur: Datenbanken: Implementierungstechniken, Kapitel 1 und 2 c Sattler / Saake Datenbank-Implementierungstechniken Letzte Änderung: 04/04/