Skalierung und Performance Tuning der Oracle Entwicklung 19. Deutsche ORACLE-Anwenderkonferenz Dr. Sultan Shiffa Senior Software Consultant,

Transkript

1 Skalierung und Performance Tuning der Oracle Entwicklung 19. Deutsche ORACLE-Anwenderkonferenz Dr. Sultan Shiffa Senior Software Consultant, Embarcadero Germany

2 Inhalt Überblick SQL Statement Tuning Grundlagen SQL Tuning Automatic SQL Tuning Best Practices SQL Tuning Was sind SQL Profiler? Anwendungen für SQL Profiler 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 2

3 Was ist SQL Tuning? Optimierung von SQL Statements Untersuchung und Optimierung des Execution Plans des Query Optimizers Nutzung der Automatic Performance Tuning Features Analyse der V$ Performance Views 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 3

4 Wann SQL Tuning? Tuning ist sowohl Kunst als auch Wissenschaft, die auf Regeln basiert Reaktiv (nach einem Ereignis) - Intuition - Kann spät sein Proaktiv - Regeln - Kann unpraktisch sein Gemischt beide - Tuning vorher, während und danach 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 4

5 Warum SQL Tuning? Wichtiger Aspekt der Datenbank Systemperformance - Schlechte Session Verwaltung - Suboptimale Execution Plans - Schlechtes Cursor Management - Suboptimales Datenbankdesign - Unnötige Table Joins Responsezeit reduzieren - Verbesserung des Execution Plans - Parallelisierung von Lasten (Data Warehouse) Durchsatz verbessern Ressourcenlast reduzieren - CPU, Memory, Netzwerk 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 5

6 Wie SQL Tuning? Identifizierung und Analyse der Top SQL Statements, die für hohe Last zuständig sind Verifizierung des Execution Plans Test und Implementierung der Änderungen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 6

7 SQL Verarbeitung App RBO Optimizer Mode? CBO Parser SQL Query Ergebnis Tuning Mode Mode? AUTOMATIC TUNING Advisor Normal Mode Cost Based Optimizer Dictionary Statistik SQL Ausführung Raw Source Generator Query Plan 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 7

8 Query Optimizer Operationen Evaluierung der Ausdrücke und Konditionen Transformation von komplexen Statements Definition der Optimierungsziele Durchsatz (Default) vs. Responsezeit Auswahl der Zugriffspfade zum Zugriff auf die Tabellendaten Auswahl der Reihenfolge der Joins (mehr als zwei Tabellen) Auswahl der Join Methoden 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 8

9 Identifizierung der High-Load-SQL High-Load-SQL sind ressourcen-intensive und ineffiziente SQL Statements Identifikationsmöglichkeiten - Automatic Tuning Advisor - Automatic Database Diagnostic Monitoring (ADDM) - Automatik Workload Repository (AWR) - V$SQL View u. a. - SQL Tracing und Auswertung - Third Party Tools 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 9

10 Vorgehen zur Identifizierung der High-Load-SQL Kategorisierung des Problems und Definition der Ziele - Spezielles Programm, in dem bestimmte SQL Anweisungen untersucht werden sollen» Identifizierung der SQL Statements mit verschiedenen Tools» Untersuchung des Execution Plans» Anwendung von Sql_trace und TKPROF» Nutzung Automatic SQL Tuning (Oracle 10 g) - Suboptimale Applikation, in der Lasten zu reduzieren sind» Ermittlung der Hauptlastzeit der Applikation» Sammlung von Statistiken (V$FILESTAT, V$SYSSTAT, V$SQLAREA, V$SQL, V$SQLTEXT, V$SQLPLAN, V$SQL_PLAN_STATISTICS)» Identifizierung der SQL Anweisungen, die ressourcen-intensiv sind (V$SQLAREA.BufferGets, V$SQLAREA.DiskReads, V$SQLAREA.Sorts)» Nutzung der Automatik Workload Repository 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 10

11 Sammlung der Informationen für die identifizierten SQL Anweisungen Ziel kann es sein, die Top SQL Anweisungen zu ermitteln, welche die meisten Buffergets oder Diskreads verursachen Quellen für wichtige Informationen - SQL Text vom V$SQLTEXT - Tabellendefinitionen (DESCRIBE unter SQLPLUS) - Indexdefinitionen - Optimizer Statistiken über Segmente (Anzahl der Records, Verwendung von indizierten Spalten, Aktualität der Analyse der Daten) - Execution Plan - Gespeicherte Optimizer Plans für die SQL Anweisung 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 11

12 Automatic SQL Tuning (AST) Neue Server Utility für den Query Optimizer, die den gesamten SQL Tuning Prozess automatisiert Query Optimizer Mode - Normal Mode zeitliche Einschränkung - Tuning Mode» Erweiterte Analyse des Execution Plans» Ergebnis beinhaltet eine Reihe Verbesserungsvorschläge und Aktionen zur Erstellung eines verbesserten Plans» Kann mehrere Minuten dauern 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 12

13 Arten der Tuninganalyse Statistikanalyse - Empfehlungen zur Sammlung von Statistiken werden ausgesprochen - Zusatzinformationen in Form von Statistiken für Objekte ohne Statistiken und Statistiken mit Anpassungsfaktoren für Objekte mit veralteten Statistiken. Diese Zusatzinformationen werden im SQL Profile der SQL Anweisung gespeichert Analyse SQL Profiling - Die gespeicherten Zusatzinformationen dienen zur Unterstützung des Query Optimizers bei seinen Schätzungen - Ergebnis der Analyse ist eine Empfehlung zur Akzeptanz des SQL Profils - Akzeptiertes SQL Profil wird im Data Dictionary gespeichert» Initialisierungsparameter SQLTUNE_CATEGORY Analyse Zugriffspfad - SQL Advisor untersucht, ob die Erstellung eines neuen Index die Performance einer Abfrage verbessern würde. Bei Identifizierung eines solchen Falls wird ein Index empfohlen SQL Strukturanalyse - SQL Advisor untersucht die Struktur der SQL Anweisung bezüglich Syntax, Semantik und Design, um relevante und vorteilhafte Vorschläge zur Umstrukturierung der SQL Anweisung zu unterbreiten. 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 13

14 Quellen für AST Automatik Database Diagnostic Monitor (ADDM) Analyseergebnisse auf der Basis von Automatik Workload Repository (AWR) SQL Tuning Advisor (STA) SQLTuning Sets (STS) 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 14

15 Zugriff auf Automatic SQL Tuning ADVISOR Privileg für den User erforderlich Oracle Enterprise Manager DBMS_SQLTUNE Package - Erstellung einer SQL Tuning Aufgabe - Ausführung einer SQL Tuning Aufgabe - Abfrage des DBA_ADVISOR_LOG - Ergebnisse anzeigen - SQL Profile - akzeptieren, löschen, ändern SQL Tuning Sets (STS) - Datenbankobjekte, die eine oder mehrere SQL Anweisungen mit deren Ausführungsstatistiken und Kontextdaten beinhalten - Erstellung und Verwaltung erfolgt mit dem DBMS_SQLTuner Package 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 15

16 Schritte zur Entwicklung effizienter SQL Anweisungen Optimizer Statistiken verifizieren - Statistiken für alle Tabellen sammeln - Falls Statistiken nicht repräsentativ, neue erstellen Execution Plan prüfen OLTP Umgebungen haben meist das Ziel den selektivsten Filter abzurufen. - Prüfen, ob die Zugriffspfade optimal sind - Das Ziel jedes Joins ist die geringste mögliche Anzahl an Datensätze für das nächste Join zu liefern - Ist die Anzahl der zurückgegebenen Datensätze optimal? - Ist der Zugriff auf die Views erforderlich? - Ist der Zugriff auf die Tabelle bezüglich FTS, Indexnutzung effektiv? Umstrukturierung von SQL Anweisungen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 16

17 Best Practices zur Umstrukturierung von SQL Anweisungen I Verwenden Sie EQUIJOINS, wenn möglich! - AND & = Spaltentransformationen in where Clauses vermeiden! - TO-DATE () = TO-DATE (), NVL Funktionen, Mixed Mode Expressions veranlassen den Optimizer den Index nicht zu verwenden Schreiben Sie eine Anweisung für eine spezifische Aufgabe und vermeiden Sie komplexe Anweisungen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 17

18 Best Practices zur Umstrukturierung von SQL Anweisungen II EXISTS und IN für Unterabfragen richtig anwenden. Für OLTP Umgebungen: - Hohe Selektivität bei der Elterntabelle - > EXISTS - Hohe Selektivität in der Unterabfrage - > IN Folgende Informationen sammeln - Anzahl der Records - Indizes in der Join Tabelle - Sind die Tabellen analysiert und Statistiken berechnet Verwenden Sie Hints. Der Entwickler besitzt die genauen Informationen über die Daten - Bei großen Tabellen keine FTS, wenn Indexe vorhanden sind - Den richtigen Index verwenden, der die geringste Anzahl an Rows zurückgibt - Join Reihenfolge definieren, da die Abfrage nur die Daten fordern muss, die gerade für die Operation benötigt werden - Joins so auswählen, dass der nächste Join mit einer kleineren Anzahl an Rows durchgeführt wird» Zuerst die treibende Tabelle und den Index filtern» Danach die Join Konditionen festlegen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 18

19 Best Practices zur Umstrukturierung von SQL Anweisungen III Beispiel: Drei Tabellen, Indexe auf Spalten erstellt, Statistiken vorhanden und sind neu SELECT colx FROM tabellea a, tabelleb b, tabellec c WHERE a.acol between 200 AND 1000 WHERE b.bcol between 1000 AND WHERE c.col between 1000 AND AND a.col1 = b.col1 AND a.col2 = b.col2 Benutzen Sie ORDERED oder STAR als Hint 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 19

20 Best Practices zur Umstrukturierung von SQL Anweisungen IV Verwenden Sie Views mit Vorsicht - Komplexe Views mit Outer Joins können hohe Execution Kosten verursachen Views nur für ihren geplanten Zweck einsetzen - Die Tabelle kann eventuell die Daten direkt zurückliefern Verwenden Sie Staging Tabellen, falls die Folgeabfragen die zwischengespeicherten Informationen nutzen sollten Index optimal einsetzen - 50 Entwickler benötigen keine 50 Indexe Triggers und Constraints benötigen System Ressourcen. Daher in Maßen einsetzen SQL Anweisungen können Statistiken und gespeicherte Execution Plans wiederbenutzen. Nutzen Sie diesen Vorteil Vermeiden Sie FTS durch Case Statements Reduzieren Sie die Anzahl der Datenbankaufrufe durch Verwendung von DML mit Returning Clause 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 20

21 Best Practices zur Umstrukturierung von SQL Anweisungen V Beispiel: Update mit Returning Clause SQL> set autoprint on; SQL> var c1 char(20); SQL> var n1 number; SQL> update hr.employees set last_name='doe' where last_name='shiffa' 2 RETURNING last_name, DEPARTMENT_ID INTO :c1, :n1; 1 row updated. SQL> print c1 C DOE SQL> print n1 N Nur DML Statements, die Single Row Ergebnisse zurückliefern, können RETURNING CLAUSE benutzen Zurückgegebner Wert muss mit dem Datentyp der Return Variable übereinstimmen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 21

22 Was ist Oracle Code Profiling? Definition : Unter Code Profiling versteht man den Prozess des Benchmarking der Ausführung von einem oder mehreren Datenbankprozeduren, um Zeitparameter zur Ausführung der Codezeilen zu ermitteln Damit können folgende Fragen beantwortet werden: - Welche Codezeilen sind für den Hauptteil der Ausführungszeiten verantwortlich? - Wie oft wurden Loop-Konstrukte ausgeführt? - Welches Vorgehen ist für die Codierung der Codeblöcke effizient? Weitere Vorteile sind Trendanalysen und Speicherung von historischen Daten - Erstellung von Baselines für zukünftige Analysen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 22

23 Oracle Support für Code Profiling Oracle verfügt über eine sehr gutes Code Profiling Package - DBMS_PROFILER kann die Ausführung von einem oder mehreren Prozeduren verfolgen und die Ergebnisse in einer Reihe von Tabellen speichern - Die Profiling Tabellen können abgefragt werden, um die Gesamtantwortzeit für eine oder mehrere Prozeduren oder für eine bestimmte Codezeile zu ermitteln Third-Party Tools - Automatische Erstellung der Profiling Tabellen - Einfache grafische Benutzerschnittstellen zur Abfrage der Tabellen - Bieten Möglichkeiten zur visuellen Analyse der Ergebnisse Charts, Diagramme, schnelle Navigation zu den Top n Codes mit den längsten Ausführungszeiten - Angaben zu Ausführungszeiten, Prozent zur Gesamtlaufzeit, mittlere Antwortzeiten u.s.w. der Prozeduren und der Codezeilen 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 23

24 Summary Was haben wir behandelt? - Was ist SQL Tuning? - Methoden für SQL Tuning - Wichtige Oracle Komponenten beim Tuning - Bedeutung über Kenntnisse des Datenbank Designs, der Arbeitsweise der Datenbank und das Stellen der richtigen Fragen Code Profiler - Oracle Package - Third-Party Tools für den Neuling und den erfahrenen Entwickler Fazit - SQL Skills entwickeln, um dieselben Fehler nicht ständig zu machen - Best Practices zu SQL Umstrukturierung nutzen aber stets Ihre Hypothesen validieren 8 November 2006 Copyright 2006 Embarcadero Technologies Inc Page: 24

25 Besten Dank! Besten Dank!! Stand C8 Stand C8 Rapid SQL Code Analyst