Theo Härder Erhard Rahm. Konzepte und Techniken der Implementierung. Zweite, überarbeitete Auflage. Mit 217 Abbildungen und 14 Tabellen

Transkript

1 Theo Härder Erhard Rahm Datenbanksysteme Konzepte und Techniken der Implementierung Zweite, überarbeitete Auflage Mit 217 Abbildungen und 14 Tabellen Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Inventar-Nr, V> Of ~ Sachgebiete: / i' c * /? ^ f Stendort: r~t, 2- / fj'(luc 4 Springer

2 Teil I: Architektur von Datenbanksystemen 1 1 Architektur von Datenbanksystemen Anforderungen an Datenbanksysteme Entwicklung von Anwendungssystemen Entwurfsziele DB-Schemaarchitektur nach ANSI/SPARC Beschreibungsrahmen für DBS-Schnittstellen Die wichtigsten DBS-Schnittstellen Schichtenmodell-Architektur Anforderungen an den Systementwurf Architekturprinzipien Ein einfaches Schichtenmodell Integration von Metadaten-und Transaktionsverwaltung Schichtenmodell eines datenunabhängigen DBS Optimierungsüberlegungen Erweiterungen der DBS-Architektur DBS-Kern-Architektur Client/Server-Architekturen Verteilte und parallele DBS-Architekturen Architekturen von Transaktionssystemen Komponentenbasierte Systemarchitekturen Themenüberblick 35

3 x Inhaltsverzeichnis Teil II: Speichersystem 39 2 Konzepte und Komponenten der E/A-Architektur Die großen Einflußfaktoren Nutzung von Speicherhierarchien Aufbau einer Speicherhierarchie Arbeitsweise einer Speicherhierarchie Halbleiterspeicher., Hauptspeicher Cache-Speicher Erweiterter Hauptspeicher Solid State Disks Aufbau und Arbeitsweise von Magnetplatten Aufzeichnungskomponente Positionierungskomponente Sequentieller vs. wahlfreier Zugriff Platten-Controller Organisationsformen für Magnetplatten Disk-Farm Disk-Array Maßnahmen zur E/A-Optimierung Überblick über die weiteren Speichermedien Magnetbänder Optische und magneto-optische Speicher 68 3 Dateien und Blöcke Aufgaben der Externspeicherverwaltung Realisierung eines Dateisystems Dateikonzept Dateisystem Blockzuordnung bei Magnetplatten Statische Dateizuordnung Dynamische Extent-Zuordnung Dynamische Blockzuordnung Versetzungsverfahren Log-strukturierte Dateien Kontrolle der E/A-Operationen 82

4 xi Fehlerbehandlung bei Magnetplatten Erhöhung der Fehlertoleranz Erkennung von fehlerhaften Blöcken Schutz des Datentransfers DBS-Unterstützung für Dateisysteme 86 4 Segmente und Seiten Aufgaben der Abbildungsschicht Segmente mit sichtbaren Seitengrenzen Verfahren der Seitenabbildung Direkte Seitenadressierung Indirekte Seitenadressierung Einbringstrategien für Änderungen Schattenspeicherkonzept Zusatzdatei-Konzept DB-Pufferverwaltung Aufgaben und Charakteristika Unterschiede zur BS-Speicherverwaltung Allgemeine Arbeitsweise Eigenschaften von Seitenreferenzfolgen Auffinden einer Seite Speicherzuteilung im DB-Puffer Klassifikation von Speicherzuteilungsstrategien Bestimmung von dynamischen Partitionen Ersetzungsverfahren für Seiten Prefetching und Demand-Fetching Klassifikation und Bewertung Behandlung geänderter Seiten Nutzung von Kontextwissen Offene Ersetzungsprobleme Modellierung des Pufferbedarfs Prioritätsgesteuerte Seitenersetzung Seiten variabler Größe Betriebsprobleme Virtuelle Betriebssystemumgebung Maßnahmen zur Lastkontrolle : 138

5 xii Inhaltsverzeichnis Teil III: Zugriffssystem Speicherungsstrukturen Freispeicherverwaltung Adressierung von Sätzen Externspeicherbasierte Adressierung Hauptspeicherbasierte Adressierung - Swizzling Abbildung von Sätzen Speicherung von linearen Sätzen Techniken der Satzdarstellunng Darstellung komplexer Objekte Unterstützung von Cluster-Bildung Realisierung langer Felder Lange Felder als B*-Baum-Varianten Lange Felder als sequentielle Strukturen Lange Felder mit Segmenten variabler Größe Eindimensionale Zugriffspfade Allgemeine Entwurfsüberlegungen Sequentielle Zugriffspfade Sequentielle Listen Gekettete Listen Baumstrukturierte Zugriffspfade Binäre Suchbäume Mehrwegbäume ' Digitalbäume Statische Hash-Verfahren Kollisionsfreie Satzzuordnung Verfahren mit Kollisionsbehandlung Überlaufbehandlung Externes Hashing mit Separatoren Dynamische Hash-Verfahren..., Verfahren mit Indexnutzung Verfahren ohne Indexnutzung Sekundäre Zugriffspfade Verknüpfungsstrukturen für Satzmengen Implementierung der Invertierung Erweiterungen der Invertierungsverfahren Zusammenfassende Bewertung 223

6 xiii 8 Typübergreifende Zugriffspfade Hierarchische Zugriffspfade Spezielle Charakteristika Verknüpfungsstrukturen für zugehörige Sätze Verallgemeinerte Zugriffspfadstruktur Realisierungsidee Vorteile der Verallgemeinerung Verbund- und Pfadindexe Verbundindex Mehrverbundindex Pfadindex Zusammenfassender Vergleich Mehrdimensionale Zugriffspfade Allgemeine Anforderungen und Probleme Klassifikation der Anfragetypen Anforderungen an die Objektabbildung Mehrattributzugriff über eindimensionale Zugriffspfade Separate Attribute als Schlüssel Konkatenierte Attribute als Schlüssel Organisation der Datensätze Quadranten-Baum Mehrschlüssel-Hashing Mehrdimensionaler binärer Suchbaum (k-d-baum) Organisation des umgebenden Datenraums Divide and Conquer Lineare Einbettungen Heterogener k-d-baum k-d-b-baum hb-baum Organisation des umgebenden Datenraums - Dimensionsverfeinerung Prinzip der Dimensionsverfeinerung Grid-File Interpolationsbasiertes Grid-File Mehrdimensionales dynamisches Hashing Zugriffspfade für räumlich ausgedehnte Objekte Abbildungsprinzipien R-Baum R+-Raum Mehrschichtenstrukturen 286

7 9.7 Verallgemeinerte Suchbäume für DBS Struktur und Eigenschaften des GiST Die wesentlichen Parameter Spezialisierung durch Schlüsselmethoden Weitergehende Forschungsaspekte Zusammenfassung und Vergleich 292 Teil IV: Datensystem Satzorientierte DB-Schnittstelle : Objekte und Operatoren Aufgaben und Funktionen des DB-Katalogs Satzorientierte DB-Verarbeitung Abbildung von externen Sätzen Kontextfreie Operationen Navigationskonzepte Implementierung von Scans Verarbeitung großer Objekte Einsatz eines Sortieroperators Unterstützung komplexer DB-Operationen Entwurfsüberlegungen für einen Sortieroperator Optionen des Sortieroperators Scheduling und Lastkontrolle von Transaktionen Implementierung von relationalen Operatoren Operatoren auf einer Relation Planoperatoren zur Modifikation Planoperatoren zur Selektion Operatoren auf mehreren Relationen Implementierung der Verbundoperation Nested-Loop-Verbund Sort-Merge-Verbund Hash-Verbund Semi-Verbund und Bitfilterung Nutzung von typübergreifenden Zugriffspfaden Vergleich der Verbundmethoden Weitere binäre Operatoren 343

8 xv 12 Mengenorientierte DB-Schnittstelle Übersetzung von DB-Anweisungen Allgemeine Aufgaben Ausdrucksmächtigkeit mengenorientierter DB-Sprachen Anbindung an Anwendungsprogramme Anbindung mengenorientierter DB-Schnittstellen Interndarstellung einer Anfrage Anfrageoptimierung Standardisierung einer Anfrage Vereinfachung einer Anfrage Anfragerestrukturierung Anfragetransformation Kostenmodelle und Kostenberechnung Code-Generierung Ausführung von DB-Anweisungen Ausführung der vorübersetzten Zugriffsmodule Behandlung von Ad-hoc-Anfragen 386 Teil V: Transaktionsverwaltung Das Transaktionsparadigma Die ACID-Eigenschaften Benutzerschnittstelle Integritätskontrolle Arten von Integritätsbedingungen Trigger-Konzept und ECA-Regeln Implementierungsaspekte Synchronisation Anomalien im Mehrbenutzerbetrieb Verlorengegangene Änderungen (Lost Update) Zugriff auf schmutzige Daten (Dirty Read, Dirty Write) Nicht-wiederholbares Lesen (Non-repeatable Read) Phantom-Problem Das Korrektheitskriterium der Serialisierbarkeit 412

9 xvi Inhaltsverzeichnis 14.3 Überblick zu Synchronisationsverfahren Grundlagen von Sperrverfahren Zwei-Phasen-Sperrverfahren RX-Sperrverfahren Behandlung von Sperrkonversionen Logische vs. physische Sperren Konsistenzstufen Konsistenzstufen nach [GRAY76] Cursor Stability Konsistenzstufen in SQL Hierarchische Sperrverfahren Anwartschaftssperren Hierarchische Sperren in objektorientierten DBS Deadlock-Behandlung Deadlock-Verhütung Deadlock-Vermeidung Timeout-Verfahren Deadlock-Erkennung Abschließende Bemerkungen Weitere Verfahrensklassen und Optimierungen Optimistische Synchronisation Zeitmarkenverfahren Mehrversionen-Synchronisation Synchronisation auf Hot-Spot-Objekten Leistungsbewertung von Synchronisationsverfahren Einflußfaktoren Lastkontrolle Logging und Recovery Fehler- und Recovery-Arten Transaktionsfehler Systemfehler Geräte- bzw. Externspeicherfehler Katastrophen-Recovery Grenzen der Recovery Logging-Techniken Physisches Logging Logisches Logging Physiologisches Logging 463

10 xvii 15.3 Abhängigkeiten zu anderen Systemkomponenten Einfluß der Einbringstrategie Einfluß des Sperrgranulats Ausschreiben geänderter Seiten WAL-Prinzip und Commit-Regel Commit-Verarbeitung Sicherungspunkte Direkte Sicherungspunkte Fuzzy Checkpoints Klassifikation von DB-Recovery-Verfahren Aufbau der Log-Datei Log-Satzarten Begrenzung des Log-Umfangs Crash-Recovery Überblick zur Restart-Prozedur Redo-Recovery Compensation Log Records (CLR) Crash-Recovery beim Schattenspeicherkonzept Geräte-Recovery Erstellung vollständiger Archivkopien Inkrementelles Dumping Alternativen zur Geräte-Recovery Verteilte Commit-Behandlung Erweiterungen des Transaktionskonzepts Beschränkungen des ACID-Konzepts Transaktionen mit Rücksetzpunkten Geschachtelte Transaktionen Freiheitsgrade im Modell geschachtelter Transaktionen Regem der Zusammenarbeit in geschachtelten Transaktionen Synchronisation geschachtelter Transaktionen Offen geschachtelte Transaktionen Synchronisationsprobleme Kompensationsbasierte Recovery Mehrebenen-Transaktionen Langlebige Aktivitäten Das Konzept der Sagas ConTracts Datenbankverarbeitung in Entwurfsumgebungen 522

11 xviii Inhaltsverzeichnis Teil VI: Ausblick Ausblick Universal Storage SQL3-Standard Java und SQLJ Dynamische Erweiterbarkeit Erweiterungsinfrastruktur Universal Storage - alleiniges DBS-Entwicklungsziel? Universal Access Zugriff auf heterogene relationale Daten Zugriffsvereinfachung bei heterogenen Datenquellen DB-Techniken für das WWW Nutzung von persistenten Warteschlangen Neue Architektur- und Verarbeitungskonzepte Restrukturierung des DBS-Kerns Client-seitige DBS-Unterstützung Transaktionsverwaltung 545 Literatur 547 Index 569