1 Einführung Ziele der Vorlesung Die Idee Lernkarte Selbsttest-Frage 3 Literaturhinweise 3

Transkript

1 1 Einführung Ziele der Vorlesung Die Idee Lernkarte Selbsttest-Frage 3 Literaturhinweise 3 Teilt Die Zukunft von Enterprise-Computing 5 2 Neue Anforderungen an Enterprise Computing Verarbeitung von Ereignisdaten Sensordaten Analyse von Spiel-Ereignissen Kombination von strukturierten und unstrukturierten Daten Patientendaten Flugzeugwartungs-Berichte Soziale Netzwerke und das Web ' Cloud-Anwendungen Mobile Anwendungen Produktions-und Vertriebsplanung Produktionsplanung Der Available-to-Promise-Check Selbsttest-Frage 13 Literaturhinweise.' 14 3 Merkmale von Unternehmensanwendungen Vielfaltige Anwendungen OLTP versus OLAP Nachteile der Trennung von OLAP und OLTP Mythos OLTP- versus OLAP-Zugriffsmuster Kombinieren von OLTP-und OLAP-Daten Merkmale von Unternehmensdaten Selbsttest-Frage 18 Literaturhinweise 18

2 X Inhaltsverzeichnis 4 Wandel in der Hardware Speicherzellen Speicherhierarchie Cache im Detail Addressübersetzung Prefetching Speicherhierarchie und Latenzzeiten Non-Uniform Memory-Architektur Skalieren von Hauptspeicher-Systemen Remote Direct Memory Access (RDMA) Selbsttest-Fragen 28 Literaturhinweise 28 5 SanssouciDB-Ein Entwurf für eine In-Memory Datenbank Datenspeicherung im Hauptspeicher Spaltenorientierung Auswirkungen der Spaltenorientierung Aktive und Passive Daten Überblick über die Architektur Selbsttest-Fragen 33 Literaturhinweis 34 Teil II Grundlagen der Datenbankspeichertechniken 35 6 Wörterbuch-Codierung Kompressionsbeispiel Beispiel für Wörterbuch-Codierung: Vornamen Beispiel für Wörterbuch-Codierung: Geschlecht Sortierte Wörterbücher Operationen mit codierten Werten Selbsttest-Fragen 41 7 Kompression Präfix-Encoding Beispiel Run-Length Encoding Beispiel Cluster-Encoding Beispiel Indirect-Encoding Beispiel Delta-Encoding Beispiel Einschränkungen Selbsttest-Fragen 53 Literaturhinweis 54

3 XI 8 Datenlayout im Hauptspeicher Effekte von Caching auf die Leistung von Anwendungen Das Schrittweiten-Experiment Das Größen-Experiment Zeilen- und spaltenorientierte/-basierte Layouts Vorteile eines Spalten-Layouts Hybride Tabellen-Layouts Selbsttest-Frage 62 Literaturhinweise 63 9 Partitionierung Definition und Klassifikation Vertikale Partitionierung Horizontale Partitionierung Wahl einer geeigneten Partitionierungsstrategie Selbsttest-Fragen 68 Literaturhinweis 69 Teil III In-Memory Datenbank-Operatoren Löschen von Daten: DELETE Beispiel für physisches Löschen Selbsttest-Fragen 75 Literaturhinweis Einfügen von Daten: INSERT Beispiel: Einfügen eines neuen Tupels Einfügen ohne neuen Wörterbuch-Eintrag Einfügen mit neuem Wörterbuch-Eintrag Überlegungen zur Leistung Selbsttest-Fragen Aktualisieren von Einträgen-UPDATE Arten von Updates Aggregat-Updates Status-Updates Wert-Updates Update-Beispiel Selbsttest-Fragen 88 Literaturhinweise Tupel-Rekonstruktion Einfuhrung Tupel-Rekonstruktion in zeilenorientierten Datenbanken Tupel-Rekonstruktion in spaltenorientierten Datenbanken Weitere Beispiele und Diskussion Selbsttest-Fragen 94

4 XII Inhaltsverzeichnis 14 Scan-Leistung Einführung Zeilen-Layout: vollständiger Tabellen-Scan Zeilen-Layout: Schrittweiten-Zugriff Spaltenorientiertes Layout: vollständiger Spalten-Scan Weitere Beispiele und Diskussion Selbsttest-Frage Abfragen von Einträgen - SELECT Relationale Algebra Kartesisches Produkt Projektion Selektion Abfrageausführung Selbsttest-Fragen Materialisierungsstrategien Aspekte der Materialisierung Beispiel Frühe Materialisierung Späte Materialisierung Selbsttest-Fragen 116 Literaturhinweise Parallele Datenverarbeitung Hardware-Schicht Multi-Core-CPUs Single Instruction Multiple Data (SIMD) Software-Schicht Amdahls Gesetz Shared Memory Message Passing MapReduce Selbsttest-Fragen 123 Literaturhinweise Indizes Indizes: Ein Ansatz zur Optimierung von Abfragen Technische Betrachtungen Invertierter Index Diskussion Speicherverbrauch Abfrage-Leistung Selbsttest-Fragen 133 Literaturhinweis '. 133

5 XIII 19J0IN Ausfuhrung von Joins im Hauptspeicher Hash-Join Beispiel: Hash-Join Sort-Merge-Join Beispiel: Sort-Merge-Join Die Wahl eines Join-Algorithmus Selbsttest-Fragen Aggregatfunktionen Aggregation am Beispiel der Funktion COUNT Selbsttest-Fragen Paralleles SELECT Parallelisierung Selbsttest-Frage Workload-Management und Scheduling Die Macht der Geschwindigkeit Scheduling Management gemischter Workloads Selbsttest-Fragen 155 Literaturhinweis Paralleler Join Teilweise parallelisierter Hash-Join Paralleler Hash-Join Selbsttest-Frage 159 Literaturhinweise Parallele Aggregation Aggregatfunktionen Parallele Aggregation unter Verwendung einer Hash-Funktion Selbsttest-Fragen 164 Literaturhinweis 164 Teil IV Fortgeschrittene Datenbank-Speichertechniken Differential Buffer Das Konzept Die Implementierung Lebensdauer von Tupeln Selbsttest-Fragen 170 Literaturhinweise 171

6 XIV Inhaltsverzeichnis 26 Insert-Only Definition des Insert-Only-Ansatzes Punkt-Repräsentation Intervall-Repräsentation Concurrency Control: Snapshot-Isolation Insert-Only: Vorteile und Herausforderungen Selbsttest-Fragen 179 Literaturhinweis Der Merge-Prozess Der asynchrone Online-Merge-Prozess Merge-Vorbereitungsphase Attribut-Merge-Phase Commit-Merge-Phase Beispielhafter Attribut-Merge einer Spalte Optimierungen der Merge-Operation Verwendung des Wörterbuches des Main Stores Single Column Merge Vereinheitlichtes Tabellen-Konzept Selbsttest-Fragen 189 Literaturhinweise Logging Logging-Infrastruktur Logisches versus Wörterbuch-codiertes Logging Beispiel Selbsttest-Fragen 198 Literaturhinweise Wiederherstellung Lesen der Metadaten Wiederherstellen der Datenbank Selbsttest-Fragen 202 Literaturhinweis On-the-Fly-Datenbankreorganisation Reorganisation in einem Row Store On-the-Fly-Reorganisation in einem Column Store Exkurs: Multi-Tenancy erfordert Online-Reorganisation Aktive und passive Daten Selbsttest-Fragen 209 Literaturhinweise 211

7 XV TeilV Grundlagen für die Entwicklung neuer Enterprise Anwendungen Auswirkungen auf die Anwendungsentwicklung Optimierung der Anwendungsentwicklung für In-Memory-Datenbanken Verlegen der Geschäftslogik in die Datenbank Stored Procedures Beispielanwendung Best Practices Selbsttest-Fragen Datenbank-Views Vorteile von Views Konzept geschichteter Views Entwicklungswerkzeuge für Views Selbsttest-Fragen 225 Literaturhinweise Umgang mit Business-Objekten Abbilden von Business-Objekten Objektrelationales Mapping Selbsttest-Fragen Bypass-Lösung Übergangsschritte im Detail Bypass-Lösung: Fazit Selbsttest-Frage 236 Lösungen zu den Selbsttest-Fragen 237 Glossar 283