Bisher haben wir ein RDBMS als Black Box betrachtet und gelernt, wie man es effektiv einsetzen kann

Transkript

1 3. Datenbanksysteme

2 Einführung Bisher haben wir ein RDBMS als Black Box betrachtet und gelernt, wie man es effektiv einsetzen kann Nun öffnen wir diese Black Box und betrachten wichtige Implementierungsaspekte eines RDBMS, bspw. Wie sieht die typische Architektur eines RDBMS aus? Welche Speichertechnologien kommen zum Einsatz? Welche Zugriffs- und Indexstrukturen gibt es? Wie werden Anfragen intern bearbeitet? Wie sind Transaktionen (ACID) implementiert? 2

3 Literatur zu diesem Kapitel G. Saake, K.-U. Sattler und A. Heuer: Datenbanken - Implementierungstechniken, mitp Professional, 2011 A. Kemper und A. Eickler: Datenbanksysteme Eine Einführung, De Gruyter Oldenbourg,

4 Inhalt 3.1 Architektur eines RDBMS 3.2 Hintergrundspeicher 3.3 Pufferverwaltung 3.4 Zugriffsstrukturen 3.5 Anfragebearbeitung 3.6 Transaktionsverwaltung 4

5 3.1 Architektur eines RDBMS Im Rahmen der Vorlesung betrachten wir folgende, stark vereinfachte, prototypische Architektur eines RDBMS Anfrage Ergebnis Anfragebearbeitung Optimierung Auswertung Pufferverwaltung Hintergrundspeicher Daten Indizes Logs 5

6 Hintergrundspeicher Hintergrundspeicher dient der dauerhaften Speicherung von Daten, Indizes und Logs Anfrage Ergebnis Anfragebearbeitung Optimierung Auswertung Pufferverwaltung Kapitel 3.2 Hintergrundspeicher Daten Indizes Logs 6

7 Pufferverwaltung Pufferverwaltung kümmert sich um die Ein-/Auslagerung von Daten in/aus dem Primärspeicher Anfrage Ergebnis Anfragebearbeitung Optimierung Auswertung Pufferverwaltung Kapitel 3.3 Hintergrundspeicher Daten Indizes Logs 7

8 Zugriffsstrukturen Zugriffsstrukturen (z.b. Indizes) unterstützen den effizienten Zugriff auf die Daten Anfrage Ergebnis Anfragebearbeitung Optimierung Auswertung Pufferverwaltung Kapitel 3.4 Hintergrundspeicher Daten Indizes Logs 8

9 Anfragebearbeitung Anfrageoptimierung entscheidet zu einer gegebenen Anfrage, wie diese ausgewertet werden soll Anfrage Ergebnis Anfrageauswertung kennt verschiedene Möglichkeiten, die Operatoren der relationalen Algebra zu implementieren Kapitel 3.5 Anfragebearbeitung Optimierung Auswertung Pufferverwaltung Hintergrundspeicher Daten Indizes Logs 9

10 Transaktionsverwaltung RDBMS muss sicherstellen, dass ACID-Eigenschaften von Transaktionen gewährt sind Anfrage Ergebnis Atomicity Anfragebearbeitung Consistency Isolation Optimierung Auswertung Durability Pufferverwaltung Hintergrundspeicher Kapitel 3.6 Daten Indizes Logs 10

11 3.2 Hintergrundspeicher Hintergrundspeicher dient der dauerhaften Speicherung von Daten, Indizes und Verlaufsprotokollen (logs) Welche Speichermedien kommen als Hintergrundspeicher in Frage? Was sind ihre Eigenschaften? Wie können wir Relationen (Tabellen) und die darin enthaltenen Tupel (Zeilen) auf Hintergrundspeicher speichern? 11

12 3.2.1 Speicherhierarchie RDBMS kommt in Kontakt mit verschiedenen Ebenen der Speicherhierarchie < 1 MB Register 1-10 ns Kapazität nimmt nach unten zu 1-10 MB L1/L2/L3 Cache ns GB Primärspeicher ns Zugriffszeit nimmt nach unten zu 1-10 TB Sekundärspeicher (HDD oder SSD) 10 ms TB Tertiärspeicher >> 1 s 12

13 Zeiteinheiten Stunde (h) 3600 s Minute (m) 60 s Sekunde (s) 1 s Millisekunde (ms) 10-3 s Mikrosekunde (μs) 10-6 s Nanosekunde (ns) 10-9 s Pikosekunde (ps) s 13

14 Zugriffslücke Zugriffszeit nimmt beim Übergang von der i-ten zur (i+1)-ten Ebene der Speicherhierarchie zu um Faktor beim Übergang von 1. zu 2. und 2. zu 3. beim Übergang vom Primärspeicher (3. Ebene) zum Sekundärspeicher (4. Ebene) nimmt die Zugriffszeit um einen Faktor = zu; dies bezeichnet man als Zugriffslücke Vergleich: Kaffee trinken in Saarbrücken oder an der Westküste der USA in San Francisco RDBMSs versuchen diese Zugriffslücke zu schließen 14

15 Magnetplattenspeicher (HDDs) Magnetplattenspeicher (hard disk drives) sind die vorherrschende Art von Sekundärspeicher Sektor mehrere Platten Platten in Spuren eingeteilt Spur Spuren in Sektoren eingeteilt Größe der Sektoren (z.b. 4KB) kann nicht verändert werden Platte übereinander liegende Sektoren Arm mit Kopf bilden einen Zylinder 15

16 Magnetplattenspeicher (HDDs) Entwicklung von Kapazität und Zugriffszeit bei HDDs Jahr Kapazität Zugri szeit Bandbreite MB 50 ms 0.5 MB/s GB 15 ms 10 MB/s GB 5 ms 100 MB/s TB 5 ms 100 MB/s Quelle: Saake et al. [2] (Zahlen gerundet) Kapazität hat verhältnismäßig stärker zugenommen als sich Zugriffszeit und Bandbreite verbessert haben 1983 konnte man den gesamten Inhalt eine HDD in 5 Minuten lesen; 2009 dauerte dies 166 Minuten 16

17 Magnetplattenspeicher (HDDs) Zugriffszeit auf HDDs setzt sich zusammen aus Positionierung des Arms (seek time) ca ms Latenzzeit (latency) von durchschnittlich halber Umdrehung ca. 3 ms bei rpm Transfer von Platte zum Primärspeicher (z.b. 600 MB/s bei SATA-3) Unterscheidung zwischen wahlfreien Zugriffen (random access), die eine Neuausrichtung des Arms benötigen und sequenziellen Zugriffen (sequential access) 17

18 Festspeicherplatten (SSDs) Festspeicherplatten (solid state drives) basieren auf EEPROMS und kommen ohne bewegliche Teile aus Speicherzellen haben begrenzte Lebensdauer (ca mal überschreibbar) Speicherzellen können nur im Ganzen gelöscht werden, was Schreibzugriffe relativ langsam macht Abnutzungsausgleich (wear leveling) versucht, Speicherzellen gleichmäßig abzunutzen Wahlfreie Lesezugriffe sind verhältnismäßig schnell und liegen im Bereich von μs Kapazität geringer und Preis höher als bei HDDs 18

19 Moore s Law Gordon Moore Quelle: Gordon Moore (Intel) im Jahr 1965: The density of integrated circuits (transistors) will double every 18 months! 19

20 Kompressionsverfahren Leistungsfähigkeit von CPUs hat relativ stärker zugenommen als sich die Zugriffszeit auf Sekundärspeicher verbessert hat Lesen und Dekomprimieren von Daten heute häufig schneller als Lesen der unkomprimierten Daten Leichtgewichtige Kompressionsverfahren (z.b. Delta- Encoding und Variable-Byte Encoding) kommen im Information Retrieval (vgl. Kapitel 5) und RDBMSs zum Einsatz 20

21 Lokalität der Zugriffe Über die Ebenen der Speicherhierarchie hinweg spielt die Lokalität der Zugriffe eine große Rolle Räumliche Lokalität: Wird bei einer HDD auf benachbart gespeicherte Daten zugegriffen, können diese ohne Neuausrichtung des Arms sequenziell gelesen werden Zeitliche Lokalität: Wird auf die gleichen Daten in kurzer Zeit mehrfach zugegriffen, beschleunigen Caches (z.b. des Betriebssystems) den Zugriff 21

22 3.2.2 Speicherarrays RAIDs (redundant array of inexpensive/independent disks) koppeln ansonsten unabhängige Sekundärspeicher (z.b. HDD/SSD), um die Zugriffsgeschwindigkeit und/oder die Datensicherheit zu erhöhen Umsetzung entweder mit Hilfe spezieller Hardware (RAID-Controller) oder softwareseitig durch das Betriebssystem Zielkonflikt zwischen Zugriffsgeschwindigkeit und Datensicherheit 22

23 RAID-0 (Striping) RAID-Level 0 verteilt Datenblöcke rotierend auf zur Verfügung stehende physische Sekundärspeicher A C E B D F Effizienzsteigerung durch Beschleunigung sequenzieller Zugriffe; wahlfreie Zugriffe unverändert Verringerte Fehlertoleranz Kapazität unverändert 23

24 RAID-1 (Mirroring) RAID-Level 1 spiegelt Datenblöcke auf zur Verfügung stehenden physische Sekundärspeicher A C E A C E Keine Effizienzsteigerung, außer bessere Lastbalancierung bei parallelen Lesezugriffen Erhöhte Fehlertoleranz Kapazität verringert sich (z.b. 50% bei zwei Platten) 24

25 RAID 0+1 und RAID 1+0 RAID-Level 0 und 1 hierarchisch kombinierbar: man kann z.b. ein RAID-1 über mehrere RAID-0 anlegen RAID-0+1: RAID-1 über mehrere RAID-0 A B A B C D C D E F E F RAID-1+0: RAID-0 über mehrere RAID-1 A A B B C C D D E E F F 25

26 Paritätsbits Ausfall eines der Sekundärspeicher im Verbund, kann man durch Berechnen von Paritätsbits kompensieren A B C A B C XOR-Wertetabelle: A B ü Zudem gilt: (A ü B) =( A B) (A B) 26

27 Paritätsbits Beispiel: A B C A ü B ü C Fällt z.b. C aus, so lässt sich der Inhalt rekonstruieren als C = A ü B ü (A ü B ü C) 27

28 RAID-4 RAID-Level 4 verteilt Datenblöcke rotierend auf (n-1) der zur Verfügung stehenden physischen Sekundärspeicher und speichert Paritätsbits auf dem n-ten ab A C E B D F A B C D E F Effizienzsteigerung bei sequenziellen Lesezugriffen, nicht jedoch bei Schreibzugriffen Kapazität verringert sich (z.b. 66% bei drei Platten) 28

29 RAID-5 RAID-Level 5 verteilt Datenblöcke und Paritätsbits rotierend auf zur Verfügung stehenden physischen Sekundärspeichern ab A D E F B E C D C F A B Effizienzsteigerung bei sequenziellen Zugriffen Kapazität verringert sich (z.b. 66% bei drei Platten) 29

30 RAID-5+ RAID-Level 5+ verteilt Datenblöcke und Paritätsbits rotierend auf (n-1) der zur Verfügung stehenden physischen Sekundärspeicher; n-ter dient als Hot Spare A D E F B E C D C F A B Fällt eine Platte aus, wird deren Inhalt auf Ersatzfestplatte ( Hot Spare ) mittels der Paritätsbits rekonstruiert; Austausch für defekte Platte wird neue Ersatzplatte Effizienz und Kapazität wie bei RAID-5 30

31 Fehlerwahrscheinlichkeiten Fehlerwahrscheinlichkeit üblicherweise angegeben als mittlere Zeit bis zum Fehler (mean time to failure) Beispiel: 10 6 Stunden MTTF bedeutet, entspricht Fehlerwahrscheinlichkeit an einem Tag von % und 0.88% in einem Jahr Achtung: Diesen Angaben liegen immer bestimmte Annahmen zu Grunde (z.b. 24/7-Betrieb, 250 Start/Stopps pro Jahr, etc.) 31

32 Dateisysteme Dateisysteme stellen Abstraktion über dem verwendeten Speichermedium (z.b. HDD) bereit Block als kleinste adressierbare Einheit (eine typische Größe ist 16 KB) Blöcke werden immer im Ganzen gelesen Blöcke gehören zu höchstes einer Datei im Dateisystem Seiten können mehrere Blöcke zusammenfassen RDBMSs greifen in der Regel auf Dateisystem zurück; einige können direkt mit bereitgestellten Speichermedien als sogenannte Raw Devices arbeiten 32

33 3.2.3 Speicherung von Relationen Wie können wir Relationen (Tabellen) und die darin enthaltenen Tupel (Zeilen) auf Hintergrundspeicher, in Blöcken, speichern? Klassische Vorgehensweise ist die zeilenweise Speicherung, d.h. alle Attribute eines Tupels werden benachbart gespeichert (row stores) Spaltenweise Speicherung als eine Entwicklung der letzten 15 Jahren, mit Verwendung z.b. in MonetDB, HP Vertica und SAP HANA (column stores) 33

34 Seiten Beispiel: Relation Studenten Studenten Matr : int Vorname : varchar(30) Name : varchar(30) Fach : char(2) Semester : smallint Moritz Müller PI Peter Parker KI Hans Holter PI Datei besteht aus miteinander verketteten Seiten vor nach vor nach Seite Header Seite Header Offset , Moritz, Müller, PI, 1 Offset , Albert, Adler, EE, 9 34

35 Seiten Datei besteht aus miteinander verketteten Seiten vor nach vor nach Seite Header Seite Header Offset , Moritz, Müller, PI, 1 Offset , Albert, Adler, EE, 9 Seiten beinhalten folgende Informationen Verweise auf vorige und nachfolgende Seite in Datei sonstige Verwaltungsinformationen im sog. Header Datensätze an bestimmten Offsets innerhalb der Seite unbelegtem Speicher 35

36 Spannsätze und Nichtspannsätze Datensätze können über Seitengrenzen hinwegreichen; z.b. für BLOB-Attribute, die größer als eine Seite sind; man spricht in diesem Fall von Spannsätzen Nichtspannsätze jedoch die Regel, d.h. Datensatz zu einem Tupel wird in einer Seite abgelegt 36

37 Datensätze Wie können wir ein Tupel wie (13765, Moritz, Müller, PI, 1) als Datensatz in einer Seite ablegen? Attribute mit fester Länge (z.b. int, char(n)) werden mit fester Anzahl von Bytes gespeichert Attribute mit variabler Länge (z.b. varchar(n)), meist Verbunddatentypen, werden als Länge (z.b. n) gefolgt von den eigentlichen Daten (z.b. die Zeichen) gespeichert Moritz 6 M o r i t z 37

38 Datensätze Tupel wie (13765, Moritz, Müller, PI, 1) gespeichert als MatrNr mit einer festen Anzahl von z.b. 4 Bytes Vorname mit einer variablen Anzahl von Bytes [6,M,o, ] Name mit einer variablen Anzahl von Bytes [6,M,ü, ] Fach mit einer festen Anzahl von Bytes [P,I] Semester mit einer festen Anzahl von z.b. 1 Byte 38

39 Adressierung von Datensätze Wir brauchen eine Möglichkeit (z.b. in Zugriffsstrukturen) um gezielt einzelne Datensätze zu adressieren Seite und Offset identifizieren Datensatz eindeutig, allerdings können sie sich bei Änderung des Datensatzes und evtl. Verlagerung ändern Ändern sich Seite und Offset müssten wir also alle Verweise auf einen Datensatz aktualisieren 39

40 Relative Adressierung Relative Adressierung verwendet eine Tupelnummer anstelle des genauen Offsets; zusätzliche Verwaltungsinformation in Seite bildet Tupelnummer auf Offset ab Beispiel: (13765, Moritz, Müller, PI, 1) hat Tupelidentifikator (13, 2); Offset des zweiten Tupels in Seite 13 ist in der Verwaltungsinformation gespeichert vor nach Seite Offset , Moritz, Müller, PI, 1 40

41 Relative Adressierung Verschiebt sich der Datensatz innerhalb der Seite, muss nur die Verwaltungsinformation geändert werden Wird der Datensatz in eine andere Seite verlagert, behilft man sich durch einen Vorwärtsverweise anstelle des ursprünglichen Datensatzes 41

42 Relative Adressierung Beispiel: (13765, Moritz, Müller, PI, 1) sei nun das vierte Tupel in Seite 23 mit Tupelidentifikator (23,4) vor nach Seite Offset 45 (23, 4) 42

43 Zusammenfassung Prototypische Architektur eines RDBMS Speicherhierarchie mit Zugriffslücke (10 5 ) zwischen Primär- und Sekundärspeicher (z.b. HDD) RAIDs zur Erhöhung der Zugriffsgeschwindigkeit und/oder Erhöhung der Datensicherheit Zeilenweise Speicherung von Tupeln, als Datensätze fixer oder variabler Länge, mit relativer Adressierung 43

44 Literatur [1] A. Kemper und A. Eickler: Datenbanksysteme Eine Einführung, De Gruyter Oldenbourg, 2015 (Kapitel 7) [2] G. Saake, K.-U. Sattler und A. Heuer: Datenbanken - Implementierungstechniken, mitp Professional, 2011 (Kapitel 2 & 3) 44