Datenbanken 2. Kapitel 5: Pufferverwaltung und Optimierung von Zugriffspfaden

Transkript

1 Datenbanken 2 Kapitel 5: Pufferverwaltung und Optimierung von Zugriffspfaden

2 Inhalte des Kapitels Pufferverwaltung und Optimierung von Zugriffspfaden DB-Puffermanagement DB-Zugriffspfade Explains Lernziele Sensibilisierung für Lösungsansätze zur Optimierung auf der Seite des DB-Systems durch die Kontrolle des verfügbaren Puffers und durch die Optimierung von Zugriffspfaden Peter Muth, Inge Schestag, Uta Störl Datenbanken 2 SoSe

3 DB-Anwendungen und Performance Anwendungsprogramm mit O/R-Mapping Framework OO Für eine gute Performance müssen die Frameworks richtig konfiguriert und eingesetzt werden. Der Einsatz von Profilern und Monitoring-Tools während der Entwicklung ist deshalb besonders wichtig, weil so mögliche Engpässe frühzeitig identifiziert werden können so kann man aus der Blackbox O/R-Mapper eine Whitebox machen. Reitbauer, A., Novakovic, M. Flush und Clear:O/R Mapping Anit-Patterns. Javamagazin DB-System RDBMS DB Für eine gute Performance müssen die DB-Systeme richtig konfiguriert und eingesetzt werden. Der Einsatz von Datenbankadministrations-Tools während der Entwicklung und zur Laufzeit ist deshalb besonders wichtig, weil so mögliche Engpässe frühzeitig identifiziert werden können so kann man aus der Blackbox DB-System eine Whitebox machen. 5-3

4 DB-Anwendungen und Performance OO Cache 4 Transaktionsmanagement und Caching auf der Anwendungsseite Ladestrategien: wann werden welche Daten geladen? OR-Mapper - JPA (z.b. EclipseLink) Treiber DBMS DB-Puffer DB 5 Caching auf DB-Seite: Pufferverwaltung Optimierung des Zugriffspfades durch entsprechende Speichertechniken 5-4

5 DB-Puffermanagement Geschwindigkeit Plattenzugriff gegenüber Hauptspeicher-Zugriff: Zugriffslücke: ns Hauptspeicher 10 ms Plattenspeicher Quelle: Wikimedia 5-5

6 DB-Puffermanagement Ein optimiertes Puffermanagement hilft, die Anzahl der Festplattenzugriffe zu minimieren: Datenbank auf dem Hintergrundspeicher Hauptspeicher DB-Puffer B A C D Einlagerung fetch D A B E F Auslagerung flush G... E F Welche Parameter beeinflussen die Häufigkeit der Ein- und Auslagerung von Datenseiten? Wie kann man diese messen? 5-6

7 DB-Puffermanagement Überwachung mit Hilfe von DBA-Tools: Buffer-Hit-Ratio: Die Buffer-Hit-Ratio ist definiert als das Verhältnis Anzahl logische DB-Zugriffe Anzahl physische DB-Zugriffe Anzahl logische DB-Zugriffe Welches ist die optimale Buffer-Hit-Ratio? 5-7

8 DB-Anwendungen und Performance OO Cache 4 Transaktionsmanagement und Caching auf der Anwendungsseite Ladestrategien: wann werden welche Daten geladen? OR-Mapper - JPA (z.b. EclipseLink) Treiber DBMS DB-Puffer DB 5 Caching auf DB-Seite: Pufferverwaltung Optimierung des Zugriffspfades durch entsprechende Speichertechniken 5-8

9 DB-Zugriffspfade Die Auswahl geeigneter Speichertechniken, insbesondere Zugriffspfade ist abhängig vom jeweiligen Anwendungskontext einer der entscheidenden Faktoren für die Datenbank-Performance: Zugriffspfade (Indexe) Baumverfahren Hash-Verfahren 5-9

10 Zugriffspfade: Baumverfahren B-Bäume als wichtigste Indexstruktur in Datenbanksystemen: n Schlüsselwerte (+ Verweise auf Datensätze) werden in B-Baum der Ordnung m (hier: m = 2) verwaltet PNr Name Aufwand beim Einfügen, Suchen und Löschen im B-Baum immer O(log m (n)) Operationen

11 Zugriffspfade: Hash-Verfahren Hash-Verfahren Hash-Funktion h(x) h(x) PNr Name Aufwand beim Einfügen, Suchen und Löschen? Vor- und Nachteile gegenüber Baumverfahren? 5-11

12 Optimizer-Strategien und Explain select * from a, b where a.pka=b.pka; pka c1 c2 pkb pka c A x 5 1 z 2 B w 8 2 t 3 M s 7 3 z Welches ist der günstigste Ausführungsplan? a pka c1 c2 b pkb a.pka=b.pka pka c3 Welche Freiheitsgrade hat der Optimizer bei der Festlegung des Ausführungsplans? 5-12

13 Optimizer-Strategien und Explain Die Strategie des Optimizers wird beeinflusst durch geschätzte Kosten, geschätzte Anzahl der Ausgabezeilen, Notwendigkeit für temporäre Dateien, Verwendung von Indexen, Verwendung von Hash-Joins, Möglichkeit des parallelen Scans auf fragmentierten Tabellen, erforderliche Zugriffe auf remote-datenquellen, etc. Der Optimizer eines DBMS wählt aus verschiedenen möglichen Ausführungsplänen zur Bearbeitung einer SQL-Anfrage den kostengünstigsten *) Ausführungsplan aus. *) Eine Vertiefung dieser Thematik ist u.a. Inhalt der Vorlesung Architektur von Datenbanksystemen ( ) aus dem Master-Studiengang. 5-13

14 Optimizer-Strategien und Explain Zur Ausführung eines deklarativen- SQL-Statements (der Query) muss ein konkreter Ausführungsplan (Queryplan) erstellt werden Zunächst wird das SQL-Statement in einen Ausdruck der relationalen Algebra übersetzt. SELECT FROM WHERE A 1, A 2,..., A n R 1, R 2,..., R m B ergibt A 1, A2,..., An ( B (R 1 R 2... R m )) 5-14

15 Optimizer-Strategien und Explain Queries können auf (sehr) unterschiedliche Weise ausgeführt werden: Umformung der Query innerhalb der relationalen Algebra Verschiedene Algorithmen zur Ausführung der Operationen der Algebra 5-15

16 Optimizer-Strategien und Explain Ein Queryplan oder Ausführungsplan enthält alle Angaben, um die Ausführung zu spezifizieren: Den Ausdruck der relationalen Algebra und die gewählten Algorithmen zu Ausführung der Operatoren 5-16

17 Optimizer-Strategien und Explain Um das Verhalten des Optimizers zu beobachten, kann der vom Optimizer ausgewählte Ausführungsplan pro SQL-Anfrage angezeigt und so das Performanceverhalten analysiert werden. Hierfür stellen DBMS die Möglichkeit zur Verfügung, über eine EXPLAIN- Funktionalität den Ausführungsplan textuell oder grafisch als Operatorbaum anzeigen zu lassen, ohne dass die Anfrage tatsächlich ausgeführt wird. Die Strategie des Optimizers kann vom Datenbankadministrator DBA durch die interne Datenorganisation, z.b. optimierte Zugriffspfade und andere Parameter beeinflusst werden. 5-17

18 Oracle-Explain Visualisierung im SQL-Developer Der SQL-Developer bietet auf den Worksheets zu einer Datenbankverbindung die Möglichkeit, den Ausführungsplan für jede vorgegebene SQL-Anweisung anzuzeigen (ohne sie auszuführen!): Explain Plan generates the execution plan for the statement (internally executing the EXPLAIN PLAN statement). To see the execution plan, click the Explain tab. 5-18

19 Oracle-Explain Welche Strategien des Optimizers können Sie den Ausführungsplänen auf den folgenden Folien entnehmen? Ausführungsplan

20 Oracle-Explain Ausführungsplan 2 Welche Anfrage wird mit dieser Select-Anweisung beantwortet, und zu welcher Select-Anweisung transformiert der Optimizer diese Anfrage intern? 5-20

21 Oracle-Explain Ausführungsplan

22 Oracle-Explain Ausführungsplan

23 Oracle-Explain Ausführungsplan

24 Analyse des Ausführungsplans DB2 Explain-Analysen in DB2 (IBM) Explain-Graph als Visualisierung des vom Optimizer ermittelten Ausführungsplans mit Informationen über Join-Strategien Verwendung von Indexen Erwartete Anzahl von Datensätzen aufgrund der statistischen Informationen im Systemkatalog Kosten Verwendung temporärer Dateien Explain Graph Visual Explain, DB2 5-24

25 DB-Anwendungen und Performance OO Cache 4 Transaktionsmanagement und Caching auf der Anwendungsseite Ladestrategien: wann werden welche Daten geladen? OR-Mapper - JPA (z.b. EclipseLink) Treiber DBMS DB-Puffer DB 5 Caching auf DB-Seite: Pufferverwaltung Optimierung des Zugriffspfades durch entsprechende Speichertechniken 5-25

26 Datenbanken 2 Einführung Java Persistence API Persistenz Teil 1 Entity-Klassen Beziehungen Persistenz Teil 2 Datenbankabfragen Transaktionsmanagement, Caching und Ladestrategien Pufferverwaltung und Optimierung von Zugriffspfaden Peter Muth, Inge Schestag, Uta Störl Datenbanken 2 SoSe

27 Ausblick Wahlpflichtfächer mit Datenbank-Schwerpunkt: Mobile Datenbanken Objektorientierte und OR DB Data Warehouse und OLAP Pflichtbereich Datenbanken 2 Datenbanken

28 Ausblick Masterstudiengang Auch im Masterstudiengang gibt es eine Vielzahl von Angeboten mit Datenbank-Schwerpunkt: Big Data Analytics Aktuelle Datenbanktechnologien Big Data Technologien Applied Data Warehousing Architektur von Datenbanksystemen Data- und Text-Mining 5-28

29 Masterstudiengang Data Science Neu seit Wintersemester 2016/17 Gemeinsamer Studiengang des Fachbereichs Mathematik und Naturwissenschaften und des Fachbereichs Informatik Schwerpunkt: Bearbeitung mathematisch, statistisch und informatisch anspruchsvoller Probleme sowohl aus der Praxis als auch aus der anwendungsorientierten Forschung einzusetzen mit Fokus auf Data Science und Big Data. Zielgruppe: Bachelor-Absolventen aus den Bereichen Mathematik bzw. Informatik, die eine ausgeprägte Affinität zur Informatik, speziell Computing und Datenbanken, bzw. zur Statistik und Angewandten Mathematik mitbringen. Weitere Informationen: Ansprechpartner am Fachbereich Informatik: Prof. Dr. Arnim Malcherek