Architektur von Datenbanksystemen

Transkript

1 Architektur von Datenbanksystemen Prof. Dr. Uta Störl Hochschule Darmstadt Fachbereich Informatik Sommersemester 2014

2 Motivation In Datenbanken-Grundvorlesung betrachtet: Funktionalität von Datenbanksystemen aus Sicht des Datenbank-Entwicklers bzw. -Benutzers: Datenbank-Entwurf Datenbank erstellen (logische Sicht) Datenbankinhalte abfragen Datenbankanwendungen schreiben Was fehlt? Betrachtung der Funktionalität von Datenbanksystemen aus Sicht des Datenbank-Administrators bzw. des Software-Architekten physischer Datenbank-Entwurf Datenbank erstellen (physische Sicht) Performance-Optimierung der Datenbank Performance-Optimierung der Gesamtarchitektur h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 2

3 Motivation: Beispiele für große Datenbanken WalMart Data Warehouse Produktinfos (Verkäufe etc.) von Märkten > 500 TB (2005) > 2.5 PB (2008) Lufthansa (2011) Verarbeitung von 5,7 Mio. Coupons im Monat 650 Mio. Dokumente (ca. 38 TB) SAP R/3-Installation der Deutschen Telekom AG Financial Accounting: Rechnungen, Zahlungsaufforderungen, Lastschriften etc. 15 SAP R/3-Systeme; jedes verarbeitet Rechnungen, Mahnungen, Änderungen von Kundendaten pro Tag bis zu jeweils 1000 Nutzer gleichzeitig, > Datenbanktabellen UPS (Winter Corporation Report, 2005) UPS: 1,1 Milliarden SQL-Statements pro Stunde (DB2 for z/os) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 3

4 DBMS-Benchmarks 1(2) der Versuch, verschiedene DBMS-Plattformen mit realitätsnahen Anwendungsszenarien zu vergleichen Wichtigste und anerkannteste Benchmarks für DBMS: TPC (Transaction Processing Performance Council, Benchmarks: TPC-C: OLTP-Szenario aktuell der Benchmark für OLTP TPC-E: neuer OLTP-Benchmark TPC-H: Decision Support Szenario aktuell der Benchmark für OLAP TPC-DS: neuer Decision Support Benchmark Inzwischen obsolet : TPC-A, -B, -D, -R, -W und -App Weitere Spezial -Benchmarks z.b. für XML-Daten u.ä. außerhalb des TPC-Konsortiums h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 4

5 DBMS-Benchmarks 2(2) TPC-C Benchmark Modelliert Auftragsverarbeitung in einem Handelsunternehmen Performance-Maß: tpmc (transactions per minute) Price/Performance-Maß: $/tpmc Top 3 by Performance (Stand: 03/2014) Hardware BS DBMS tmpc Price/tpmC Oracle SPARC Oracle Solaris 11 Oracle 11g R ,55 US $ Oracle Server Oracle LInux Oracle 11g R ,89 US $ IBM System SUSE Linux IBM DB ,59 US $ Top 3 by Price/Performance (Stand: 03/2014) Hardware BS DBMS tmpc Price/tpmC Cisco UCS C240 Oracle Linux Oracle 11g ,47 US $ IBM System Red Hat Linux IBM DB ,51 US $ HP ProLiant MS Wind MS SQL Server ,51 US $ h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 5

6 Ziele der Lehrveranstaltung Erarbeitung eines tiefergehenden Verständnisses für das Zusammenspiel der Datenbanksystem-Schichten und -Komponenten und der Wechselwirkung von Implementierungsverfahren zur Erklärung und Verbesserung des Leistungsverhaltens bei der Abwicklung von Datenbankoperationen für das Entwerfen, Aufbauen und Warten von Datenbanken sowie der Entwicklung von Datenbank-Anwendungen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 6

7 Überblick Architektur von Datenbanksystemen Verwaltung des Hintergrundspeichers Dateiorganisation und Zugriffsstrukturen Basisalgorithmen für Datenbank-Operationen Anfrageoptimierung Transaktionsverwaltung und Recovery Verteilte Datenbankarchitekturen Aktuelle Entwicklungen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 7

8 Praktikum Ziel: Vertiefung der in der Vorlesung behandelten Themen anhand der Arbeit mit einem konkreten DBMS (hier: IBM DB2 und teilweise Lehr-DBMS dbj) sowohl praktische als auch theoretische Aufgabenstellungen Charakter des Praktikums: stärker auf selbst Erarbeiten und Ausprobieren ausgerichtet, als im Bachelor-Studium entsprechende Vorbereitung notwendig Organisatorisches 5 Termine Unterlagen zu Vorlesung und Praktikum online auf der Homepage Vor(!)- und ggf. Nachbereitung des Praktikums notwendig Zusendung des Praktikumsberichts (per Mail) jeweils bis 1 Woche nach dem Praktikumstermin Arbeit mit VM oder eigener DB2-Installation (siehe Homepage) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 8

9 Prüfung Die Prüfung zur Vorlesung wird als mündliche Prüfung durchgeführt Zulassungsvoraussetzungen zur Prüfung: erfolgreich bestandenes Praktikum (inkl. termingerechter Abgabe der Praktikumsberichte) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 9

10 Literatur Die Vorlesung basiert überwiegend auf dem folgendem Lehrbuch: G. Saake, A. Heuer, und K. Sattler: Datenbanken: Implementierungstechniken. 2. Auflage, mitp-verlag, 2005 (3. Auflage 2011) und einem darauf basierenden Foliensatz von Prof. Dr. Kai-Uwe Sattler (TU Ilmenau) Literatur zur Vertiefung: T. Härder, E. Rahm. Datenbanksysteme Konzepte und Techniken der Implementierung. Springer-Verlag, J. Gray, A. Reuter. Transaction Processing Concepts and Techniques. Morgan Kaufmann Publishers, Inc., San Mateo, CA, h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 10

11 KAPITEL 1 ARCHITEKTURMODELLE h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 11

12 Architekturmodelle Inhalte des Kapitels 5- Schichten-Architekturmodell eines DBMS Systemarchitektur konkreter DBMS Komponentenarchitektur Prozessmodell Lernziele Verstehen der Architekturmodelle Kennenlernen der Aufgaben der verschiedenen Schichten des 5-Schichten-Architekturmodells Einblick in Komponentenarchitektur und Prozessmodelle h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 12

13 5-Schichten-Architektur eines DBMS basierend auf Idee von Senko 1973 Weiterentwicklung von Härder 1987 Umsetzung im Rahmen des IBM-Prototyps System R genauere Beschreibung der Transformationskomponenten schrittweise Transformation von Anfragen/Änderungen bis hin zu Zugriffen auf Speichermedien Definition der Schnittstellen zwischen Komponenten SQL h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 13

14 5-Schichten-Architektur eines DBMS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Systempufferschnittstelle Dateischnittstelle Geräteschnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem Externspeicher Übersetzung, Zugriffspfadauswahl, Zugriffskontrolle, Integritätskontrolle Data Dictionary, Currency Pointer, Sortierung, Transaktionsverwaltung Record Manager, Zugriffspfadverwaltung, Sperrverwaltung, Log/Recovery Systempufferverwaltung mit Seitenwechselstrategie Externspeicherverwaltung h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 14

15 5-Schichten-Architektur eines DBMS Mengenorientierte Schnittstelle Satzorientierte Schnittstelle Interne Satzschnittstelle Systempufferschnittstelle Dateischnittstelle Datensystem Zugriffssystem Speichersystem Pufferverwaltung Betriebssystem Relationen Sichten Externe Sätze, Scans, Index-Strukturen Interne Sätze, Bäume Hashtabellen Segmente Seiten Dateien Blöcke SQL: select from QBE, FIND NEXT satz STORE satz Speichere internen Satz; INSERT in B-Baum Bereitstellen Seite j Freigeben Seite j Lies Block k Schreibe Block k Geräteschnittstelle Externspeicher Zylinder Spuren Treiber h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 15

16 Aufgaben der Schichten 1(2) mengenorientierte Schnittstelle: deklarative Datenmanipulationssprache auf Tabellen und Sichten (etwa SQL) durch Datensystem auf satzorientierte Schnittstelle umgesetzt: navigierender Zugriff auf interner Darstellung der Relationen manipulierte Objekte: typisierte Datensätze und interne Relationen sowie logische Zugriffspfade (Indexe) Aufgaben des Datensystems: Übersetzung und Optimierung von SQL- Anfragen durch Zugriffssystem auf interne Satzschnittstelle umgesetzt: interne Tupel einheitlich verwalten, ohne Typisierung Speicherstrukturen der Zugriffspfade (konkrete Operationen auf B- Bäumen und Hash-Tabellen), Mehrbenutzerbetrieb mit Transaktionen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 16

17 Aufgaben der Schichten 2(2) durch Speichersystem Datenstrukturen und Operationen der internen Satzschnittstelle auf interne Seiten eines virtuellen linearen Adressraums umsetzen Manipulation des Adressraums durch Operationen der Systempufferschnittstelle Typische Objekte: interne Seiten, Seitenadressen Verwendete Operationen: Freigeben und Bereitstellen von Seiten, Seitenwechselstrategien, Sperrverwaltung, Schreiben des Log durch Pufferverwaltung interne Seiten auf Blöcke der Dateischnittstelle abbilden Umsetzung der Operationen der Dateischnittstelle auf Geräteschnittstelle erfolgt (i.a.) durch das Betriebssystem h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 17

18 Systemarchitektur Prinzipiell lassen sich die fünf Schichten und ihre zugehörigen Komponenten in den meisten (nicht nur relationalen) DBMS identifizieren Praxis: nicht immer klare Trennung zwischen den Schichten Konzeptuelle Unterschiede vor allem im Speichermodell (Organisation der Daten auf dem Externspeicher) Prozessmodell, d.h. Umsetzung der Komponenten auf Betriebssystemebene und deren Kommunikation h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 18

19 Typische Komponentenarchitektur eines DBMS Compiler Optimizer RunTime Catalog Manager Record Manager Index Manager Lock Manager Log Manager Buffer Manager File Manager h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 19

20 Typische Komponentenarchitektur eines DBMS Compiler Optimizer RunTime Catalog Manager Record Manager Index Manager Lock Manager Log Manager Buffer Manager File Manager h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 20

21 Prozessmodell Oracle 1(2) Quelle: Saake/Heuer/Sattler:2005 h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 21

22 Prozessmodell Oracle 2(2) Client-Prozess: Oracle-Anwendungen (z.b. sqlplus) Shared-Server-Prozess: implementiert die Transformationskomponenten, d.h. Übersetzung und Ausführung von Anfragen Laden von benötigten Seiten von der Festplatte in den Puffer Rückgabe der Ergebnisse an den Client System Monitor SMON: übernimmt beim Start das Recovery (Kap. 6) Prozess Monitor PMON: überwacht die laufenden Server- und Hintergrundprozesse; startet diese ggf. neu LCK: Sperren (locking) von Ressourcen (Kap. 2 und Kap. 6) DBWR: Ausschreiben verdrängter und modifizierter Seiten aus dem Puffer (Kap. 2) LGWR: Ausschreiben der Log-Einträge in die Log-Dateien (Kap. 6) ARCH: Archivierung der Log-Dateien (Kap. 6) CHKPT: Schreiben von Sicherungspunkten (checkpoints) (Kap. 6) RECO: Recovery verteilter Transaktionen (Kap. 7) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 22

23 Prozessmodell SQLServer 1(2) Quelle: Saake/Heuer/Sattler:2005 h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 23

24 Prozessmodell SQLServer 2(2) pro Instanz ein Prozess, der als Windows-Dienst realisiert ist jede Anforderung wird durch einen Worker Thread übernommen Worker Thread: implementiert die Transformationskomponenten lazywriter: Ausschreiben verdrängter und modifizierter Seiten aus dem Puffer (Kap. 2) logwriter: Ausschreiben der Log-Einträge in die Log-Dateien (Kap. 6) checkpoint: Schreiben von Sicherungspunkten (checkpoints) (Kap. 6) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 24

25 Prozessmodell DB2 1(2) Quelle: DB2 Dokumentation h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 25

26 pro Instanz ein Prozess Prozessmodell DB2 2(2) jede Anforderung wird durch einen db2agent Thread übernommen db2tcpcm: TCP/IP Kommunikation mit Anwendung db2ipccm: Inter-Prozess Kommunikation mit Anwendung db2agent: Bearbeiten SQL Anweisungen; implementiert die Transformationskomponenten db2pfchr: Buffer Pool Prefetcher (Kap. 2) db2pclnr: Page Cleaner (Kap. 2) db2loggr/db2loggw/db2logts: Behandlung des Transaktion Logs (Kap. 6) db2dlock: Dead Lock Detection (Kap. 2) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 26

27 Zusammenfassung 5- Schichten-Architekturmodell als abstraktes Architekturmodell, welches das Zusammenspiel und die Schnittstellen zwischen den Schichten beschreibt Systemarchitektur konkreter DBMS Komponentenarchitektur (relativ ähnlich) Prozessmodell (sehr unterschiedlich) h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 27

28 Architektur von Datenbanksystemen Architekturmodelle Verwaltung des Hintergrundspeichers Dateiorganisation und Zugriffsstrukturen Basisalgorithmen für Datenbank-Operationen Anfrageoptimierung Transaktionsverwaltung und Recovery Verteilte Datenbankarchitekturen Aktuelle Entwicklungen h_da Prof. Dr. Uta Störl Architektur von Datenbanksystemen SoSe 2014 Kapitel 1: Einführung und Übersicht 28