1 Datenbanken: Grundlagen und Überblick 19

Transkript

1 Inhaltsverzeichnis 1 Datenbanken: Grundlagen und Überblick Dateien und Dateisysteme Terminologie Merkmale eines DBMS Aufgaben eines DBMS Vorteile des Datenbankeinsatzes Nachteile von Datenbanksystemen Produkte Architektur eines Datenbanksystems Architekturen Schemaarchitektur Datenbankschema Drei-Ebenen-Architektur Datenunabhängigkeit Benutzerrollen bei Entwurf und Betrieb von Datenbanken Datenbanken und Informationssysteme Fachgebiet Datenbanken im Überblick Themenbereiche und Zusammenhänge Einordnung des Fachs innerhalb der Informatik Historische Entwicklung Frühzeit Prärelationale DBMS Durchbruch der relationalen Datenbanken Neue Anwendungsfelder für Datenbanken Neuzeit Datenbanken in der Forschung Fachverbände Aktuelle Forschungstrends 42 2 Informationsmodellierung Datenbankentwuif Phasenmodell Anforderungsanalyse Konzeptioneller Entwurf Logischer Entwurf Datendefinition Physischer Entwurf Implementierung und Wartung Grundlagen des Entity-Relationship-Modells (ERM) Semantische Datenmodelle Grundkonzepte des klassischen ERM Konzepte auf der Instanzebene 51

2 8 Inhaltsverzeichnis Konzepte auf der Typebene Rollenmodellierung ' Kardinalitäten von Beziehungstypen Kardinalitäten im klassischen ERM Intervalle und Komplexitätsgrade Existenzabhängigkeit vs. Optionalität Rekursive und n-äre Beziehungstypen Rekursive Beziehungstypen /V-äre Beziehungstypen Attribute Modellierungsbeispiel Erweiterungen des ERM Erweiterungen bei Attributen Generalisierung und Spezialisierung Aggregation Modellierung zeitlicher Aspekte 65 3 Relationales Datenmodell Konzepte und Grundbegriffe des relationalen Datenmodells Relationen, Tupel, Attribute und Wertebereiche Eigenschaften von Relationen Integritätsbedingungen Grundbegriffe Entitätsintegrität Referenzielle Integrität Begriff Regeln für Fremdschlüssel Gewährleistung der referenziellen Integrität bei kritischen DML-Operationen Abbildung des EERM auf das relationale Datenmodell Problemstellung Abbildungsregeln für Attribute und Entitytypen Abbildungsregeln für Beziehungstypen Abbildungsregeln für die Generalisierung Optimierung von Relationen Problemstellung Anomalien bei DML-Operationen auf Relationen Abhängigkeiten Funktionale Abhängigkeiten Mehrwertige Abhängigkeiten Verbundtreue und Abhängigkeitstreue Normalformenlehre Erste Normalform (INF) Zweite Normalform (2NF) Dritte Normalform (3NF) Boyce-Codd-Normalform (BCNF) Vierte Normalform (4NF) 89

3 Inhaltsverzeichnis Fünfte Normalform (5NF) Denormalisierung Operationen der Relationenalgebra Einführung Relationenorientierte Operationen Mengenoperationen Relationenalgebra und relationale Sprachen Relationenkalkül 97 4 Die Datenbanksprache SQL Grundkonzepte Historie Spezifikationsdokumente Beispieldatenbank Datenbankanfragen Einführende Beispielanfragen Grundgerüst von Anfragen Anfragen mit Aggregatfunktionen Anfragen mit Tabellenfunktionen Anfragen mit Mengenoperationen Anfragen mit Verbundoperationen Verschachtelte Anfragen Rekursive Anfragen Anfragen mit sortierter Ausgabe Datenmanipulation Einfügen von Tabellenzeilen Ändern von Tabellenzeilen Löschen von Tabellenzeilen Zusammenführen von Tabellenzeilen Datendefinitioh SQL-Datentypen Erzeugen und Löschen von Schemata Erzeugen, Ändern und Löschen von Tabellen Erzeugen und Löschen von Domänen Erzeugen und Löschen von Integritätsbedingungen Erzeugen und Löschen von Sichten Erzeugen und Löschen von Routinen Prozedurale SQL-Konstrukte Erzeugen von SQL-Routinen Erzeugen von externen Routinen Löschen von Routinen Erzeugen und Löschen von Triggern Erzeugen und Löschen von Sequenzgeneratoren Transaktionssteuerung Transaktionsanweisungen Isolationsebenen Überprüfung von Integritätsbedingungen 141

4 10 Inhaltsverzeichnis 4.9 Zugriffskontrolle Vergabe von Zugriffsrechten Zurücknahme von ZugrilTsrechten Erzeugen und Löschen von Rollen Datenbank-Anwendungsprogrammierung Grundlagen der Datenbank-Anwendungsprogrammierung Impedance Mismatch Einbettungstechniken Einbettungsarten Statische Programmierspracheneinbettung Dynamische Programmierspracheneinbettung Architekturansätze Fat-Client-Architektur Thin-Client-Architektur Thin-Client-Architektur mit Applikationsserver Embedded SQL Grundidee und Architektur Syntax Host-Variablen Das Cursor-Konzept Statische Einbettung Dynamische Einbettung Indikatorvariablen SQU Aufrufschnittstellen Oberblick SQL/CLI JDBC Treibertypen Verbindung aufbauen Verbindung schließen Transaktionen Leseanweisungen - das ResultSet Änderungen Zugriff auf Metadaten Relationale Datenbankpmgrammiersprachen Datenbankinteme Ansätze SQL/PSM Benutzerdefinierte Routinen Trigger GL-Programmiersprachen Überblick Beispiel: ABAP Objektrelationale Abbildung Java Persistence API (JPA) Schemaabbildung 180

5 Inhaltsverzeichnis Datenzugriff Formulieren von Anfragen JDO - Java Data Objects EntityBeans Datenbanken im Web Grundlagendes Web Eigenschaften von Webanwendungen Anforderungen Webseiten Dynamische Webseiten Adressierung Kommunikation Datenbankanbindung im Web Architekturen Programmierung Überblick Datenbankanbindung über Datenexport Clientseitige Datenbankanbindung Skripteinbettung Programmeinbettung Weitere Techniken Serverseitige Datenbankanbindung Webseitengeneratoren Skripteinbettung Programmeinbettung Applikationsserver Webservices Komponenten eines Datenbankmanagementsystems Architektur von DBMS Schichtenmodell Prozessarchitektur Pufferverwaltung Notwendigkeit und Aufgabe Speicherzuteilung Seitenersetzung Speicher- und Zugriffssystem Aufgabe Seiten und Sätze Adressierung von Sätzen Anfrageprozessor Basisoperatoren Unäre Operatoren Binäre Operatoren Anfrageplanung und -Optimierung Kosten und Statistiken 247

6 12 Inhaltsverzeichnis 7.5 Transaktionsverwaltung Aufgabe Serialisierbarkeit Sperrverfahren Nicht sperrende Verfahren Recovery Fehlerklassen Recovery-Strategien Logging Wiederanlauf im Fehlerfall Schattenspeicherverfahren Datenbanktechniken für moderne Hardware-Architekturen Dateiorganisation und Indexe Organisation von Dateien Formen der Dateiorganisation Dateiorganisationsformen im Vergleich Basisoperationen Kosten Zugriffsstrukturen Grundlagen von Zugriffsverfahren Eigenschaften von Indexen Baumbasierte Verfahren ISAM-Bäume Balancierte Mehrwegbäume Digitale Bäume Hash-Verfahren Prinzip des Hashing Erweiterbares Hashing Weitere Hash-Verfahren Mehrdimensionale Zugriffsverfahren Mehrdimensionale Baumverfahren Grid-File Clusterung und Partitionierung Clusterung Partitionierung Umsetzung in SQL-Systemen Definition von Tabellen Definition von Indexen Optimierung von Datenbanken und Leistungsbewertung Motivation der Datenbankoptimierung Kosten von Datenbankanfragen Optimierungspotenzial Zielbestimmung der Datenbankoptimierung Phasen der Datenbankoptimierung 292

7 Inhaltsverzeichnis Phase 1.1 -Optimierung des Datenbankschemas Konzeptuelles Schema Attribute Tabellen Redundanz Externes Schema Sichten Prozedurale SQL-Erweiterungen Internes Schema Materialisierte Sichten ZugrifTspfadstrukturen Phase Anwendungsoptimierung Optimierung von Unternehmensfunktionen Optimierung der Anwendung Optimierungen im Mehrtienutzerbetrieb Formulierung von SQL-Anweisungen Phase 2 - Hauptspeichervptimierung Gestaltung des Datenbankpuffers Komponenten des Datenbankpuffers Größe des Datenbankpuffers Blockfüllgrad Schreiben des Datenbankpuffers Sicherungspunkt-Intervalle Protokolldatei Optimierer Statistiken Planhinweise (Hints) Phase 3 - Optimierung der Sekundärspeicherzugriffe Zusammenspiel mit dem Betriebssystem Verteilung der Eingabe-/Ausgabelast Verteilung der Daten- und Indexdateien Verteilung der Daten Verteilung der Protokolldatei RAID-Level Optimierung physischer Speicherstrukturen Blockgröße Cluster-Techniken Kompressions-Techniken Reorganisation Leistungsbewertimg Transaction Processing Performance Council Vergleichbarkeil der Benchmark-Ergebnisse Objektrelationale Datenbanken Objektorientierte Konzepte Objekte Methoden 323

8 14 Inhaltsverzeichnis Kapselung Objektidentität Klassen Spezialisierung Objektorientierung in Datenbanken Objektrelationale Standard-SQL-Konzepte Typkonstruktoren Distinct-Typen Strukturierte Typen Methoden Benutzerdefinierte Konstruktoren Benutzerdefinierte Casts Benutzerdefinierte Ordnungen Typisierte Tabellen Typisierte Sichten Objektrelationale Anfragen Anfragen auf Kollektionen Anfragen mit Pfadausdrücken Anfragen mit Methodenaufrufen Anfragen auf flachen Tabellenextensionen Typspezifische Anfragen Anfragen mit temporärer Typanpassung XML und Datenbanken Überblick über XML Der XML-Standard und verwandte Standards XML Schema Anfragesprachen flir XML Pfadausdrücke (XPath und XQuery) XQuery XML und relationale Datenbanksysteme Relationale Speicherung von XML SQL/XML Realisierung in kommerziellen Systemen Reine XML-Datenbanksysteme NoSQL-Datenbanksysteme Motivation und Grundbegriffe Klassifikation Key-Value-Datenbanksysteme Datenmodell und Schema Anfragen und Datenmanipulation Einsatzbereiche und Systeme Dokumentenorientierte Datenbanksysteme Datenmodell und Schema Anfragen und Datenmanipulation Einsatzbereiche und Systeme 374

9 Inhaltsverzeichnis Column-Family-Datenbanksysteme Datenmodell und Schema Anfragen und Datenmanipulation Einsatzbereiche und Systeme Weitere NoSQL-Datenbanksysteme Datenmodellierung Generelle Aspekte der Datenmodellierung in NoSQL-Datenbanksystemen Datenmodellierung für dokumentenorientierte Datenbanken Datenmodellierung für Column-Family-Datenbanken Eingebettete Speicherung in Column-Family-Datenbanksystemen Spaltenfamilien Datenmodellierung für Key-Value-Datenbanken Anwendungsentwicklung mit NoSQL- Datenbanksystemen MapReduce MapReduce-Prinzip MapReduce-Beispiel MapReduce-Frameworks MapReduce-Trends Schema-Management Skalierbarkeit, Verfügbarkeit und Konsistenz Auswahl eines geeigneten Datenbanksystems Kriterienkatalog Performance Polyglotte Persistenz Verteilte und föderierte Datenbanksysteme Überblick, Grundbegriffe, Abgrenzung Verteilte vs. parallele Datenbanksysteme Verteilte vs. föderierte Datenbanksysteme Schemaarchitektur und Entwurf verteilter Datenbanksysteme Fragmentierung Horizontale Fragmentierung Vertikale Fragmentierung Kombinierte Fragmentierung Verteilungstransparenz Vorteile verteilter Datenbanksysteme Transparenzeigenschaften verteilter Datenbanksysteme Verteilte Anfrageverarbeitung Datenlokalisierung Globale Optimierung der Join-Auswertung Transaktionsverwaltung in verteilten Datenbanksystemen Koordination Synchronisation Deadlock-Behandung Synchronisation bei Replikation 416

10 16 Inhaltsverzeichnis 13.7 Föderierte Datenbanksysteme Autonomie und Heterogenität Architektur föderierter DBS Integrationsprozess Anfrageverarbeitung in föderierten DBS Synchronisation in föderierten DBS Cloud-Datenbanken Cloud Data Management und Big Data Das CAP-Theorem Database as a Service (DBaaS) Skalierbarkeit und Verfügbarkeit Trends Data Warehouse Architektur Datenquellen Back-End-Bereich Monitore Extraktionskomponenten Transformationskomponente Ladekomponente Datenbank Data Warehouse DataMarts Archiv-Datenbank Front-End-Werkzeuge Berichts-und Anfragewerkzeuge OLAP-Werkzeuge Data-Mining-Werkzeuge Sonstige Front-End-Werkzeuge Sonstige Werkzeuge DWS-Manager Metadaten-Repository Multidimensionale Datenmodelle Statische Aspekte Dynamische Aspekte Speicherung und Schemagestaltung Relationale Speicherung Multidimensionale Speicherung Spaltenorientierte Speicherung Erweiterung relationaler Datenbanken Materialisierte Sichten Partitionierung Bitmap-Index SQL-Erweiterungen zum Einfügen Komplexes Gruppieren 457

11 Inhaltsverzeichnis Star Query Bulk Loader Data Mining KDD-Prozess Clustering Definition und Beispiele Anforderungen und Probleme Verfahren Partitionierende Verfahren Hierarchische Verfahren Dichtebasierte Methoden Assoziationsanalyse Definition und Beispiel Anforderungen und Probleme Verfahren Klassifikation Definition und Beispiele Anforderungen Verfahren Entscheidungsbaum- Klassifikatoren Regelbasierte Klassifikatoren Weitere Verfahren Anomalieentdeckung Definition und Beispiele Anforderungen und Probleme Verfahren Grafische und statistikbasierte Verfahren Distanzbasierte Ansätze Multimedia-Datenbanken Einfiihrung Mediendaten Suche nach Mediendaten Textsuche Bildsuche Audiosuche Videosuche Mediendatentypen Einbettung in Datenbanksysteme Schemastrukturen Anfrageformulierung Einsatz Geodatenbanken Geodäten Eigenschaften von Geodäten Metadaten 501

12 18 Inhaltsverzeichnis 17.2 Datenschemata Standardisierung ISO Spatial Schema ISO Simple Feature Access Datenschema Datenrepräsentationen ISO/IEC SQL/MM Spatial Räumliche Bezugssysteme EPSG-Bezugssysteme Lineare Bezugssysteme Funktionen Geometrische Funktionen Topologische Prädikate Boolesches Modell Dimensionsmodell Räumliche Anfragen Räumliche Basisanfragen Räumliche Selektion Räumlicher Verbund Nächste-Nachbarn-Anfrage Mehrstufige Anfragebearbeitung Approximationen Räumliche Indexe Grundtechniken Clipping Punkttransformationen Raumfiillende Kurven Überlappende Blockregionen Quadtrees R-Bäume Ceodatenbanksysteme 527 Abkürzungsverzeichnis 529 Literaturverzeichnis 534 Sachwortverzeichnis 554