Überblick: Speicherhierarchie. Überblick: Speicherhierarchie. Überblick: Speicherhierarchie. Kapitel 7 Physische Datenorganisation

Transkript

1 Kapitel 7 Physische Datenorganisation Überblick: Speicherhierarchie Register (L/L2/L3) Cache Speicherhierarchie Hintergrundspeicher / RAID B-Bäume Hashing R-Bäume Hauptspeicher Plattenspeicher Archivspeicher 2 Überblick: Speicherhierarchie Überblick: Speicherhierarchie Register Cache Hauptspeicher Plattenspeicher 8 Byte Compiler 8 28 Byte Cache-Controller 4 64 KB Betriebssystem -ns Register -ns Cache -ns Hauptspeicher ms Plattenspeicher Zugriffslücke 5 Archivspeicher Benutzer Stand 998? 3 sec Archivspeicher Stand 998? 4

2 Überblick: Speicherhierarchie Überblick: Speicherhierarchie Register Cache Hauptspeicher Plattenspeicher Compiler 6KB / MB (L/L2/(L3)) Cache-Controller GB Betriebssystem TB,5ns Register 4/2ns L/L2 Cache 6ns Hauptspeicher 5 ms Plattenspeicher Zugriffslücke 5 Archivspeicher Benutzer Stand 25 5 sec Archivspeicher Stand 24/5 6 Überblick: Speicherhierarchie Magnetplattenspeicher Kopf (min) Raum ( min) Passau (.5h) Pluto (2 Jahre),5ns Register 4/2ns L/L2 Cache 6ns Hauptspeicher 5 ms Plattenspeicher Zugriffslücke 5 Andromeda (2 Jahre) sec Archivspeicher Stand 24/5 7 8

3 Magnetplatte WD 83 Parameter Wert Anzahl Zylinder 6 Spuren pro Zylinder 2 Sektoren pro Spur 28 (etwa) Sektoren pro Platte Bytes pro Sektor 52 Plattenkapazität 8,3 GB Zugriffszeit 6,9 ms Umdrehungszeit 8,33 ms Heute: Ca 4 cent/gb 9 Lesen von Daten von der Platte Seek Time: Arm positionieren 5ms Latenzzeit: ½ Plattenumdrehung (im Durchschnitt) Umdrehungen / Minute Ca 3ms Transfer von der Platte zum Hauptspeicher Mb /s 5 MB/s Random versus Chained IO Blöcke à 4KB sind zu lesen Random I/O Jedesmal Arm positionieren Jedesmal Latenzzeit * (5 ms + 3 ms) + Transferzeit von 4 MB > 8 ms + 3ms 8s Chained IO Einmal positionieren, dann von der Platte kratzen 5 ms + 3ms + Transferzeit von 4 MB 8ms + 3 ms /3 s Also ist chained IO ein bis zwei Größenordnungen schneller als random IO in Datenbank-Algorithmen unbedingt beachten! 2

4 Disk Arrays RAID-Systeme 3 4 RAID : Striping Datei RAID : Spiegelung (mirroring) A B C D A B A B C D C D A C Lastbalancierung wenn alle Blöcke mit gleicher Häufigkeit gelesen/geschrieben werden Doppelte Bandbreite beim sequentiellen Lesen der Datei bestehend aus den Blöcken ABCD... Aber: Datenverlust wird immer wahrscheinlicher, je mehr Platten man verwendet (Stripingbreite = Anzahl der Platten, hier 2) B D 5 Datensicherheit: durch Redundanz aller Daten (Engl. mirror) Doppelter Speicherbedarf Lastbalancierung beim Lesen: z.b. kann Block A von der linken oder der rechten Platte gelesen werden Aber beim Schreiben müssen beide Kopien geschrieben werden Kann aber parallel geschehen Dauert also nicht doppelt so lange wie das Schreiben nur eines Blocks 6

5 RAID +: Striping und Spiegelung A A B B C C D D RAID 2: Striping auf Bit-Ebene Anstatt ganzer Blöcke, wie bei RAID und RAID +, wird das Striping auf Bit- (oder Byte-) Ebene durchgeführt... Datei Kombiniert RAID und RAID Immer noch doppelter Speicherbedarf Zusätzlich zu RAID erzielt man hierbei auch eine höhere Bandbreite beim Lesen der gesamten Datei ABCD... Wird manchmal auch als RAID bezeichnet Es werden zusätzlich auf einer Platte noch Fehlererkennungsund Korrekturcodes gespeichert In der Praxis nicht eingesetzt, da Platten sowieso schon Fehlererkennungscodes verwalten 7 8 RAID 3: Striping auf Bit-Ebene, zusätzliche Platte für Paritätsinfo RAID 3: Plattenausfall... Datei... Datei Parität Parität Das Striping wird auf Bit- (oder Byte-) Ebene durchgeführt Es wird auf einer Platte noch die Parität der anderen Platten gespeichert. Parität = bit-weise xor Dadurch ist der Ausfall einer Platte zu kompensieren Das Lesen eines Blocks erfordert den Zugriff auf alle Platten Verschwendung von Schreib/Leseköpfen Alle marschieren synchron 9 Reparatur... 2

6 RAID 4: Striping von Blöcken A E B F C G D H P A-D P E-H RAID 4: Striping von Blöcken... Datei Paritäts block Bessere Lastbalancierung als bei RAID 3 Flaschenhals bildet die Paritätsplatte Bei jedem Schreiben muss darauf zugegriffen werden Bei Modifikation von Block A zu A wird die Parität P A-D wie folgt neu berechnet: P A-D := P A-D A A D.h. bei einer Änderung von Block A muss der alte Zustand von A und der alte Paritätsblock gelesen werden und der neue Paritätsblock und der neue Block A geschrieben werden 2 Flaschenhals bildet die Paritätsplatte Bei jedem Schreiben muss darauf zugegriffen werden Bei Modifikation von Block A zu A wird die Parität P A-D wie folgt neu berechnet: P A-D := P A-D A A D.h. bei einer Änderung von Block A muss der alte Zustand von A und der alte Paritätsblock gelesen werden und der neue Paritätsblock und der neue Block A geschrieben werden 22 RAID 5: Striping von Blöcken, Verteilung der Paritätsblöcke A E B F C G D P E-H P A-D H I M J P M-P P I-L N K O L P Blockweise Fragmentierung + Allokation Extrem : Round-Robin über alle Platten (S=)- Extrem 2: Clusterung (S=k für Plattenkapazität k; minimale Plattenanzahl) Bessere Lastbalancierung als bei RAID 4 die Paritätsplatte bildet jetzt keinen Flaschenhals mehr Wird in der Praxis häufig eingesetzt Guter Ausgleich zwischen Platzbedarf und Leistungsfähigkeit Tradeoffs: Zugriffs- vs. Auftragsparallelität Skew"-Effekte, Lastbalancierung 23 24

7 Trade-off 25 Lastbalancierung Zielsetzung der Allokation: Lastbalancierung - Gesamtlast auf alle Fragmente soll gleichmäßig über alle Platten verteilt sein- verbessert Durchsatz und Antwortzeiten (geringere Warteschlangenbildung) Hitze: Maß für die Charakterisierung des Zugriffsverhaltens eines Fragments (Dateipartition) - definiert als die Summe der Zugriffshäufigkeiten aller Blöcke eines Fragments- Hitze einer Platte: akkumulierte Hitze ihrer Fragmente Ziel: Varianz der Plattenhitzen soll minimal sein - wird von Round Robin oder Random bei ungleichmäßiger Hitzeverteilung in den Fragmenten (z.b oder 9--Regel bei der Zugriffsverteilung) nicht erreicht Einfache Lösungsheuristik (Greedy-Verfahren) - Voraussetzung: Hitze aller Fragmente a priori bekannt- Initialisierung: Setze die Gesamthitze aller Platten auf - Schritt : Sortiere die zu allozierenden Fragmente nach absteigender Hitze - Schritt 2: Für jede Fragment in Sortierreihenfolge: - Alloziere Platz auf der derjenigen Platte mit der geringsten akkumulierten Hitze, die noch genügend freien Platz hat und auf der noch kein Fragment derselben Datei liegt 26 Lastbalancierung bei der Blockabbildung auf die Platten Parallelität bei Lese/Schreib- Aufträgen 27 28

8 Bewertung der Parallelität bei RAID RAID? RAID? RAID +? RAID 3? RAID 4? RAID 5? Systempuffer-Verwaltung Hauptspeicher einlagern verdrängen Platte ~ persistente DB 29 3 Ein- und Auslagern von Seiten Systempuffer ist in Seitenrahmen gleicher Größe aufgeteilt Ein Rahmen kann eine Seite aufnehmen Überzählige Seiten werden auf die Platte ausgelagert Adressierung von Tupeln auf dem Hintergrundspeicher Hauptspeicher 4K 8K 2K 6K 32K 2K 36K 24K 4K 28K 44K Platte(swap device) P23 P * Logik 48K 52K 56K 6K Seitenrahmen Seite 3 32

9 Verschiebung innerhalb einer Seite Verschiebung von einer Seite auf eine andere Forward Verschiebung von einer Seite auf eine andere B-Bäume Balancierte Mehrwege-Suchbäume Für den Hintergrundspeicher Bei der nächsten Verschiebung wird der Forward auf Seite 47 geändert (kein Forward auf Seite 482) 35

10 D.. Weitere Daten S.. Suchschlüssel V.. Verweise (SeitenNr) Einfügen eines neuen Objekts (Datensatz) in einen B-Baum 39 4

11 ??

12 ?? ??

13 ?? ??

14 2 4?? ??

15 4 4 4? ? ?3?

16 2?3? ?3?

17 2 2?3? ?3?

18 2 2?3 3? ?3 3 4?

19 5?3 3 2? ?3 3 2?

20 2? ? ? ?

21 5? ? ? ?

22 8? ? ? ?

23 6? ? ? ?

24 6 3 6? ? ? ?

25 B-Baum mit Minimaler Speicherplatzausnutzung B-Baum mit Minimaler Speicherplatzausnutzung 3 6 3? ? ? ?

26 ? ? 9 Unterlauf ? 9 Unterlauf 3 6 3?

27 ? ? Unterlauf ? ? merge merge

28 Unterlauf merge 3 3? 2 3 3? merge 3 3? ?

29 Schrumpfung, Freie Knoten Speicherstruktur eines B-Baums auf dem Hintergrundspeicher 3 3 2? Speicherblock Nr 4 4 Speicherstruktur eines B-Baums auf dem Hintergrundspeicher *8KB *8KB 2*8KB 3*8KB 4*8KB 8 KB-Blöcke 3 Speicherstruktur eines B-Baums auf dem Hintergrundspeicher *8KB *8KB 2*8KB 3*8KB 4*8KB 8 KB-Blöcke 3 Block- Nummer Datei 5 Block- Nummer Datei 6

30 Speicherstruktur eines B-Baums auf dem Hintergrundspeicher *8KB *8KB 2*8KB 3*8KB 4*8KB Block- Nummer 8 KB-Blöcke Datei 3 Freispeicher- Verwaltung 7 Zusammenspiel: Hintergrundspeicher -- Hauptspeicher Hintergrundspeicher 4 Hauptspeicher- Puffer 4 Zugriffslücke 5 8 B + -Baum Referenzschlüssel Suchschlüssel 9 2

31 Mehrere Indexe auf denselben Objekten B-Baum Mit (PersNr, Daten) Einträgen B-Baum Mit (Alter,???) Einträgen Name, Alter, Gehalt... Alter, PersNr 2 22 Mehrere Indexe auf denselben Objekten Wer ist 2? Mehrere Indexe auf denselben Objekten Wer ist 2? B-Baum Mit (PersNr, Daten) Einträgen B-Baum Mit (Alter,???) Einträgen B-Baum Mit (PersNr, Daten) Einträgen B-Baum Mit (Alter,???) Einträgen Name, Alter, Gehalt... 2, 7 Alter, PersNr 23 7,Bond,2,... Name, Alter, Gehalt... 2, 7 Alter, PersNr 24

32 Eine andere Möglichkeit: Referenzierung über Speicheradressen Realisierungstechnik für Hintergrundspeicher-Adressen PersNr Alter 7,... 2,... 7, Bond, 2, Seiten / Blöcke (ca 8 KB) 26 Verschiebung innerhalb einer Seite 27 28

33 Verschiebung von einer Seite auf eine andere Verschiebung von einer Seite auf eine andere Forward 29 Bei der nächsten Verschiebung wird der Forward auf Seite 47 geändert (kein Forward auf Seite 482) 3 Statische Hashtabellen À priori Allokation des Speichers Nachträgliche Vergrößerung der Hashtabelle ist teuer Hashfunktion h(...) =... mod N Rehashing der Einträge h(...) =... mod M In Datenbankanwendungen viele GB Erweiterbares Hashing Zusätzliche Indirektion über ein Directory Ein zusätzlicher Zugriff auf ein Directory, das den Zeiger (Verweis, BlockNr) des Hash- enthält Dynamisches Wachsen (und Schrumpfen) ist möglich Der Zugriff auf das Directory erfolgt über einen binären Hashcode Statisches Hashing 3 32

34 binärer Trie, Entscheidungsbaum Directory 33 Hashfunktion für erweiterbares Hashing h: Schlüsselmenge {,}* Der Bitstring muss lang genug sein, um alle Objekte auf ihre s abbilden zu können Anfangs wird nur ein (kurzer) Präfix des Hashwertes (Bitstrings) benötigt Wenn die Hashtabelle wächst wird aber sukzessive ein längerer Präfix benötigt Beispiel-Hashfunktion: gespiegelte binäre PersNr h(4) =... (4=..) h(6) =... (6=..) h(7) =... (7 =..) h(3) =... (3 =..) h(8) =... (8 =..) h(32) =... (32 =..) H(48) =... (48 =..) Präfix Präfix 36

35 globale Tiefe: 3 Directory lokale Tiefe: lokale Tiefe: lokale Tiefe: globale Tiefe: 3 Directory globale Tiefe: 3 Directory Einfügen: 2 2= h(2)=... Einfügen: 2 2= h(2)=... lokale Tiefe: 3 lokale Tiefe: lokale Tiefe: 3 lokale Tiefe: lokale Tiefe: Overflow lokale Tiefe:

36 h(2)=.. h(4) =.. h(2)=.. Overflow lokale Tiefe: lokale Tiefe: 2 globale Tiefe: 3..4 Ausgleich Directory lokale Tiefe: 4 h(2)=.. h(4) =.. h(2)=.. Overflow lokale Tiefe: lokale Tiefe: 2 globale Tiefe: Ausgleich Directory 2 lokale Tiefe: 42 globale Tiefe: 4 Directory lokale Tiefe: 4 Overflow lokale Tiefe:.. 2 lokale Tiefe: 2 Ausgleich 43 44

37 Mehrdimensionale Datenstrukturen Wertbasierter Zugriff auf der Grundlage mehrerer Attribute, dies einzeln oder in beliebigen Kombinationen. Typische Anforderungen aus CAD, VLSI-Entwurf, Kartographie,... Anfragen decken den Bereich ab zwischen mehrdimensionalem Punktzugriff (EMQ) und mehrdimensionalen Bereichsanfragen (RQ) Lösung mit eindimensionalen Indexen erfordert konjunktive Zerlegung der Anfrage in Einattributanfragen und Schnittmengenbildung bedingt hohe Speicherredundanz Problemstellung: Mehrdimensionale Nachbarschaftsverhältnisse Grundlagen mehrdimensionaler Datenstrukturen Wertebereiche D,..., D k- : alle D i sind endlich, linear geordnet und besitzen kleinstes (- i ) und größtes ( i ) Element Datenraum D = D... D k- k-dimensionaler Schlüssel entspricht Punkt im Datenraum p D Grundlagen mehrdimensionaler Datenstrukturen. Exact Match Query spezifiziert Suchwert für jede Dimension D i 2. Partial Match Query spezifiziert Suchwert für einen Teil der Dimensionen 3. Range Query spezifiziert ein Suchintervall [ug i, og i ] für alle Dimensionen 4. Partial Range Query spezifiziert ein Suchintervall für einen Teil der Dimensionen 47 48

38 Charakterisierung mehrdimensionaler Datenstrukturen Mehrdimensionale Zugriffsstrukturen können gemäß der Art der Aufteilung des Datenraums in Gebiete charakterisiert werden:. nur atomare Gebiete (beschreibbar durch ein Rechteck) 2. vollständig (die Vereinigung aller Gebiete ergibt den gesamten Datenraum) 3. disjunkt (die Gebiete überlappen nicht) Grid-File (Gitter-Datei): atomar, vollständig, disjunkt Charakterisierung mehrdimensionaler Datenstrukturen Mehrdimensionale Zugriffsstrukturen können gemäß der Art der Aufteilung des Datenraums in Gebiete charakterisiert werden:. nur atomare Gebiete (beschreibbar durch ein Rechteck) 2. vollständig (die Vereinigung aller Gebiete ergibt den gesamten Datenraum) 3. disjunkt (die Gebiete überlappen nicht) K-D-B-Baum: atomar, vollständig, disjunkt 49 5 Charakterisierung mehrdimensionaler Datenstrukturen Mehrdimensionale Zugriffsstrukturen können gemäß der Art der Aufteilung des Datenraums in Gebiete charakterisiert werden:. nur atomare Gebiete (beschreibbar durch ein Rechteck) 2. vollständig (die Vereinigung aller Gebiete ergibt den gesamten Datenraum) 3. disjunkt (die Gebiete überlappen nicht) R + -Baum: atomar, disjunkt Charakterisierung mehrdimensionaler Datenstrukturen Mehrdimensionale Zugriffsstrukturen können gemäß der Art der Aufteilung des Datenraums in Gebiete charakterisiert werden:. nur atomare Gebiete (beschreibbar durch ein Rechteck) 2. vollständig (die Vereinigung aller Gebiete ergibt den gesamten Datenraum) 3. disjunkt (die Gebiete überlappen nicht) R-Baum: atomar 5 52

39 Charakterisierung mehrdimensionaler Datenstrukturen Mehrdimensionale Zugriffsstrukturen können gemäß der Art der Aufteilung des Datenraums in Gebiete charakterisiert werden:. nur atomare Gebiete (beschreibbar durch ein Rechteck) 2. vollständig (die Vereinigung aller Gebiete ergibt den gesamten Datenraum) 3. disjunkt (die Gebiete überlappen nicht) Buddy-Hash-Baum: atomar, disjunkt Charakterisierung mehrdimensionaler Datenstrukturen Mehrdimensionale Zugriffsstrukturen können gemäß der Art der Aufteilung des Datenraums in Gebiete charakterisiert werden:. nur atomare Gebiete (beschreibbar durch ein Rechteck) 2. vollständig (die Vereinigung aller Gebiete ergibt den gesamten Datenraum) 3. disjunkt (die Gebiete überlappen nicht) Z-B-Baum: vollständig,disjunkt R-Baum: Urvater der baum-strukturierten mehrdimensionalen Zugriffsstrukturen Gute versus schlechte Partitionierung [8,6] [6,2] gute Partitionierung schlechte Partitionierung 6 2K Bond 2 8K Mini 43 7K Mickey 8 6K Duck 6 4 Mickey Bond Alter Duck Mickey Mini Bond Speedy Alter Duck Mickey Mini Bond Speedy Alter 2 Duck Mini Gehalt Gehalt 4K 6K 8K K 2K Gehalt 55 56

40 Nächste Phase in der Entstehungsgeschichte des R-Baums [8,43] [4,6] [6,8] [,2] Nächste Phase [8,2] [25,6] [6,8] [,2] [4,45] [45,7] [4,65] [95,] 2 8K Mini 43 7K Mickey 8 6K Duck 2 8K Mini 8 6K Duck 6 2K Bond 4 K Speedy Bert (noch nicht eingefügt) Mickey Bond 6 2K Bond 35 2K Urmel 25 K Bill Alter Duck Mini Speedy 43 7K Mickey 45 55K Bert 4 45K Ernie Gehalt 57 4 K Speedy 65 95K Lucie 58 Datenraum Lucie Bond Wachsen des Baums: nach oben wie im B-Baum [8,5] [25,65] [45,8] [95,2] Bert Mickey [8,2] [4,45] [4,5] [6,8] [45,55] [6,7] Alter Duck Ernie Speedy Urmel Mini Bill 43 7K Mickey 4 6K Jan 5 65K Sepp [4,45] [45,7] [4,65] [95,] Gehalt

41 6 Datenraum Alter Gehalt Mickey Duck Mini Speedy Bert Ernie Bill Lucie Urmel Jan Sepp 62 Überblick Alter Gehalt Mickey Duck Mini Bond Speedy Bert Ernie Bill Lucie Urmel Jan Sepp [6,8] [8,2] [45,55] [4,45] [6,7] [4,5] [,2] [25,6] [95,] [4,65] [45,8] [8,5] [95,2] [25,65] Jan 6K 4 Sepp 65K Mickey 7K [6,8] [8,2] [45,55] [4,45] [6,7] [4,5] [,2] [25,6] [95,] [4,65] [45,8] [8,5] [95,2] [25,65] Jan 6K 4 Sepp 65K 5 Mickey 7K 43 Speedy K 4 Lucie 95K 65 Mini 8K 2 Duck 6K 8 Bond 2K 6 Urmel 2K 35 Bert 55K 45 Ernie 45K 4 Bill K Bereichsanfragen auf dem R-Baum Alter Gehalt Mickey Duck Mini Speedy Bert Ernie Bill Lucie Urmel Jan Sepp [6,8] [8,2] [45,55] [4,45] [6,7] [4,5] [,2] [25,6] [95,] [4,65] [45,8] [8,5] [95,2] [25,65] Jan 6K 4 Sepp 65K 5... Mickey 7K 43 Speedy K 4 Lucie 95K 65 Anfragefenster Bond

42 [8,5] [45,8] [25,65] [95,2] Indexierung räumlicher Objekte (anstatt Punkten) mit dem R-Baum [8,2] [6,8] [4,45] [45,55] [4,5] [6,7] [25,6] [4,65] [,2] [95,] 2 8K Mini 8 6K Duck 6 2K Bond 35 2K Urmel 25 K Bill 45 55K Bert 4 45K Ernie 4 K Speedy 65 95K Lucie 43 7K Mickey 4 6K Jan 5 65K Sepp Indexierung räumlicher Objekte (anstatt Punkten) mit dem R-Baum Indexierung räumlicher Objekte (anstatt Punkten) mit dem R-Baum 67 68

43 Objektballung / Clustering logisch verwandter Daten

44 Unterstützung eines Anwendungsverhaltens Indexe in SQL Select Name From Professoren Where PersNr = 236 Select Name From Professoren Where Gehalt >= 9 and Gehalt <= Create index SemsterInd on Studenten (Semester) drop index SemsterInd 73 74