Architektur von Datenbanksystemen

Transkript

1 Architektur von Datenbanksystemen Prof. Dr. Uta Störl Hochschule Darmstadt Fachbereich Informatik Wintersemester 2017/18

2 Motivation In Datenbanken-Grundvorlesung betrachtet: Funktionalität von Datenbanksystemen aus Sicht des Datenbank-Entwicklers bzw. -Benutzers: Datenbank-Entwurf Datenbank erstellen (logische Sicht) Datenbankinhalte abfragen Datenbankanwendungen schreiben Was fehlt? Betrachtung der Funktionalität von Datenbanksystemen aus Sicht des Datenbank-Administrators bzw. des Software-Architekten physischer Datenbank-Entwurf Datenbank erstellen (physische Sicht) Performance-Optimierung der Datenbank Performance-Optimierung der Gesamtarchitektur h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 2

3 Motivation: Beispiele für große Datenbanken WalMart Data Warehouse Produktinfos (Verkäufe etc.) von Märkten > 500 TB (2005) > 2.5 PB (2008) Lufthansa (2011) Verarbeitung von 5,7 Mio. Coupons im Monat 650 Mio. Dokumente (ca. 38 TB) SAP R/3-Installation der Deutschen Telekom AG Financial Accounting: Rechnungen, Zahlungsaufforderungen, Lastschriften etc. 15 SAP R/3-Systeme; jedes verarbeitet Rechnungen, Mahnungen, Änderungen von Kundendaten pro Tag bis zu jeweils 1000 Nutzer gleichzeitig, > Datenbanktabellen UPS (Winter Corporation Report, 2005) UPS: 1,1 Milliarden SQL-Statements pro Stunde (DB2 for z/os) Facebook (2013) 300 PB h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 3

4 DBMS-Benchmarks 1(2) der Versuch, verschiedene DBMS-Plattformen mit realitätsnahen Anwendungsszenarien zu vergleichen Wichtigste und anerkannteste Benchmarks für DBMS: TPC (Transaction Processing Performance Council, Benchmarks: TPC-C: OLTP-Szenario aktuell der Benchmark für OLTP TPC-E: neuer OLTP-Benchmark TPC-H: Decision Support Szenario aktuell der Benchmark für OLAP TPC-DS: neuer Decision Support Benchmark Inzwischen obsolet : TPC-A, -B, -D, -R, -W und -App Weitere Spezial -Benchmarks z.b. für XML-Daten u.ä. außerhalb des TPC-Konsortiums h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 4

5 DBMS-Benchmarks 2(2) TPC-C Benchmark Modelliert Auftragsverarbeitung in einem Handelsunternehmen Performance-Maß: tpmc (transactions per minute) Price/Performance-Maß: $/tpmc Ergebnisse: Top 3 by Performance (Stand: 09/2017) Hardware BS DBMS tmpc Price/tpmC Oracle SPARC SuperCluster Oracle Solaris 10 Oracle 11g R ,01 US $ IBM Power 780 Server AIX 6.1 IBM DB ,38 US $ Oracle SPARC Server Oracle Solaris Oracle 11g R ,55 US $ Top 3 by Price/Performance (Stand: 09/2017) Hardware BS DBMS tmpc Price/tpmC SAP Dell PowerEdge T620 MS Windows 2012 SAP SQL Anywhere ,19 US $ HP ProLiant ML350 Oracle Linux Oracle 11g R ,39 US $ Cisco UCS C240 Oracle Linux Oracle 11g R ,47 US $ h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 5

6 Erarbeitung eines tiefergehenden Verständnisses Ziele der Lehrveranstaltung für das Zusammenspiel der Datenbanksystem-Schichten und -Komponenten und der Wechselwirkung von Implementierungsverfahren zur Erklärung und Verbesserung des Leistungsverhaltens bei der Abwicklung von Datenbankoperationen für das Entwerfen, Aufbauen und Warten von Datenbanken sowie der Entwicklung von Datenbank-Anwendungen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 6

7 Überblick Architektur von Datenbanksystemen Verwaltung des Hintergrundspeichers Dateiorganisation und Zugriffsstrukturen Basisalgorithmen für Datenbank-Operationen Anfrageoptimierung Transaktionsverwaltung und Recovery Verteilte Datenbankarchitekturen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 7

8 Praktikum Ziel: Vertiefung der in der Vorlesung behandelten Themen anhand der Arbeit mit einem konkreten DBMS (hier: IBM Db2) sowohl praktische als auch theoretische Aufgabenstellungen Charakter des Praktikums: stärker auf selbst Erarbeiten und Ausprobieren ausgerichtet, als im Bachelor-Studium entsprechende Vorbereitung notwendig Organisatorisches 5 Termine Unterlagen zu Vorlesung und Praktikum online auf der Homepage Vor(!)- und ggf. Nachbereitung des Praktikums notwendig Zusendung des Praktikumsberichts (per Mail) jeweils bis 1 Woche nach dem Praktikumstermin Arbeit mit VM oder eigener Db2-Installation (siehe Homepage) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 8

9 Prüfung Die Prüfung zur Vorlesung wird als mündliche Prüfung durchgeführt Zulassungsvoraussetzungen zur Prüfung: erfolgreich bestandenes Praktikum (inkl. termingerechter Abgabe der Praktikumsberichte) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 9

10 Literatur Die Vorlesung basiert überwiegend auf dem folgendem Lehrbuch: G. Saake, A. Heuer, und K. Sattler: Datenbanken: Implementierungstechniken. 2. Auflage, mitp- Verlag, 2005 (3. Auflage 2011) und einem darauf basierenden Foliensatz von Prof. Dr. Kai-Uwe Sattler (TU Ilmenau) ergänzt um aktuelle Entwicklungen aus den Bereichen Big Data / NoSQL Literaturangaben jeweils dort Literatur zur Vertiefung: T. Härder, E. Rahm. Datenbanksysteme Konzepte und Techniken der Implementierung. Springer- Verlag, J. Gray, A. Reuter. Transaction Processing Concepts and Techniques. Morgan Kaufmann Publishers, Inc., San Mateo, CA, h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 10

11 KAPITEL 1 ARCHITEKTURMODELLE h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 11

12 Inhalte des Kapitels 5- Schichten-Architekturmodell eines DBMS Systemarchitektur konkreter DBMS Komponentenarchitektur Prozessmodell Architekturmodelle Lernziele Verstehen der Architekturmodelle Kennenlernen der Aufgaben der verschiedenen Schichten des 5-Schichten-Architekturmodells Einblick in Komponentenarchitektur und Prozessmodelle h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 12

13 basierend auf Idee von Senko 1973 Weiterentwicklung von Härder Schichten-Architektur eines DBMS Umsetzung im Rahmen des IBM-Prototyps System R genauere Beschreibung der Transformationskomponenten schrittweise Transformation von Anfragen/Änderungen bis hin zu Zugriffen auf Speichermedien Definition der Schnittstellen zwischen Komponenten (Mengenorientierte) Schnittstelle z.b. SQL h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 13

14 5-Schichten-Architektur eines DBMS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Systempufferschnittstelle Dateischnittstelle Geräteschnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem Externspeicher Übersetzung, Zugriffspfadauswahl, Zugriffskontrolle, Integritätskontrolle Data Dictionary, Currency Pointer, Sortierung, Transaktionsverwaltung Record Manager, Zugriffspfadverwaltung, Sperrverwaltung, Log/Recovery Systempufferverwaltung mit Seitenwechselstrategie Externspeicherverwaltung h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 14

15 5-Schichten-Architektur eines DBMS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Systempufferschnittstelle Dateischnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem Relationen Sichten Externe Sätze, Scans, Index-Strukturen Interne Sätze, Bäume Hashtabellen Segmente Seiten Dateien Blöcke SQL: select from QBE, FIND NEXT satz STORE satz Speichere internen Satz; INSERT in B-Baum Bereitstellen Seite j Freigeben Seite j Lies Block k Schreibe Block k Geräteschnittstelle Externspeicher Zylinder Spuren Treiber h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 15

16 mengenorientierte Schnittstelle: Aufgaben der Schichten 1(2) deklarative Datenmanipulationssprache auf Tabellen und Sichten (etwa SQL) durch Datensystem auf satzorientierte Schnittstelle umgesetzt: navigierender Zugriff auf interner Darstellung der Relationen manipulierte Objekte: typisierte Datensätze und interne Relationen sowie logische Zugriffspfade (Indexe) Aufgaben des Datensystems: Übersetzung und Optimierung von SQL-Anfragen durch Zugriffssystem auf interne Satzschnittstelle umgesetzt: interne Tupel einheitlich verwalten, ohne Typisierung Speicherstrukturen der Zugriffspfade (konkrete Operationen auf B-Bäumen und Hash- Tabellen), Mehrbenutzerbetrieb mit Transaktionen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 16

17 Aufgaben der Schichten 2(2) durch Speichersystem Datenstrukturen und Operationen der internen Satzschnittstelle auf interne Seiten eines virtuellen linearen Adressraums umsetzen Manipulation des Adressraums durch Operationen der Systempufferschnittstelle Typische Objekte: interne Seiten, Seitenadressen Verwendete Operationen: Freigeben und Bereitstellen von Seiten, Seitenwechselstrategien, Sperrverwaltung, Schreiben des Log durch Pufferverwaltung interne Seiten auf Blöcke der Dateischnittstelle abbilden Umsetzung der Operationen der Dateischnittstelle auf Geräteschnittstelle erfolgt (i.a.) durch das Betriebssystem h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 17

18 Systemarchitektur Prinzipiell lassen sich die fünf Schichten und ihre zugehörigen Komponenten in den meisten (nicht nur relationalen) DBMS identifizieren Praxis: nicht immer klare Trennung zwischen den Schichten Konzeptuelle Unterschiede vor allem im Speichermodell (Organisation der Daten auf dem Externspeicher) Prozessmodell, d.h. Umsetzung der Komponenten auf Betriebssystemebene und deren Kommunikation h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 18

19 Typische Komponentenarchitektur eines DBMS Compiler Optimizer RunTime Catalog Manager Record Manager Index Manager Lock Manager Log Manager Buffer Manager File Manager h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 19

20 Typische Komponentenarchitektur eines DBMS Compiler Optimizer RunTime Catalog Manager Record Manager Index Manager Lock Manager Log Manager Buffer Manager File Manager h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 20

21 Prozessmodell Oracle 1(3) Quelle: Oracle Dokumentation h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 21

22 Prozessmodell Oracle 2(3) Quelle: Saake/Heuer/Sattler:2011 h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 22

23 Prozessmodell Oracle 3(3) Client-Prozess: Oracle-Anwendungen (z.b. sqlplus) Shared-Server-Prozess: implementiert die Transformationskomponenten, d.h. Übersetzung und Ausführung von Anfragen Laden von benötigten Seiten von der Festplatte in den Puffer Rückgabe der Ergebnisse an den Client System Monitor SMON: übernimmt beim Start das Recovery (Kap. 6) Prozess Monitor PMON: überwacht die laufenden Server- und Hintergrundprozesse; startet diese ggf. neu LCK: Sperren (locking) von Ressourcen (Kap. 2 und Kap. 6) DBWR: Ausschreiben verdrängter und modifizierter Seiten aus dem Puffer (Kap. 2) LGWR: Ausschreiben der Log-Einträge in die Log-Dateien (Kap. 6) ARCH: Archivierung der Log-Dateien (Kap. 6) CHKPT: Schreiben von Sicherungspunkten (checkpoints) (Kap. 6) RECO: Recovery verteilter Transaktionen (Kap. 7) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 23

24 Prozessmodell Microsoft SQL Server 1(2) Quelle: Saake/Heuer/Sattler:2011 h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 24

25 Prozessmodell Microsoft SQL Server 2(2) pro Instanz ein Prozess, der als Windows-Dienst realisiert ist jede Anforderung wird durch einen Worker Thread übernommen Worker Thread: implementiert die Transformationskomponenten lazywriter: Ausschreiben verdrängter und modifizierter Seiten aus dem Puffer (Kap. 2) logwriter: Ausschreiben der Log-Einträge in die Log-Dateien (Kap. 6) checkpoint: Schreiben von Sicherungspunkten (checkpoints) (Kap. 6) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 25

26 Prozessmodell IBM Db2 pro Instanz ein Prozess jede Anforderung wird durch einen Db2 Agent übernommen Bearbeiten SQL Anweisungen; implementiert die Transformationskomponenten Prefetchers: u.a. Buffer Pool Prefetcher (Kap. 2) Page cleaners: Ausschreiben von Seiten aus dem Puffer (Kap. 2) Loggers: Behandlung des Transaktion Logs (Kap. 6) Deadlock detector: (Kap. 2) Quelle: IBM Db2 Dokumentation h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 26

27 Zusammenfassung 5- Schichten-Architekturmodell als abstraktes Architekturmodell, welches das Zusammenspiel und die Schnittstellen zwischen den Schichten beschreibt Systemarchitektur konkreter DBMS Komponentenarchitektur (relativ ähnlich) Prozessmodell (unterschiedlich, aber letztlich mit den gleichen Aufgaben) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 27

28 Architekturmodelle Architektur von Datenbanksystemen Verwaltung des Hintergrundspeichers Dateiorganisation und Zugriffsstrukturen Basisalgorithmen für Datenbank-Operationen Anfrageoptimierung Transaktionsverwaltung und Recovery Verteilte Datenbankarchitekturen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen WS 2017/18 Kapitel 1: Einführung und Übersicht 28