Performance-Stabilisierung mit Einsatz von SQL Plan Baselines. OPITZ CONSULTING Deutschland GmbH 2013 Seite 1

Transkript

1 Performance-Stabilisierung mit Einsatz von SQL Plan Baselines OPITZ CONSULTING Deutschland GmbH 2013 Seite 1

2 Performance-Stabilisierung mit Einsatz von SQL Plan Baselines Katja Werner Senior Consultant OPITZ CONSULTING GmbH Nürnberg, OPITZ CONSULTING Deutschland GmbH 2013 Seite 2

3 Mission Wir entwickeln gemeinsam mit allen Branchen Lösungen, die dazu führen, dass sich diese Organisationen besser entwickeln als ihr Wettbewerb. Unsere Dienstleistung erfolgt partnerschaftlich und ist auf eine langjährige Zusammenarbeit angelegt. Leistungsangebot Business IT Alignment Business Information Management Business Process Management Anwendungsentwicklung SOA und System-Integration IT-Infrastruktur-Management Märkte Branchenübergreifend Über 600 Kunden 29% Industrie / Versorger / Telekommunikation Eckdaten Gründung Mitarbeiter 9 Standorte 29% Handel / Logistik / Dienstleistungen 42% Öffentliche Auftraggeber / Banken und Versicherungen / Vereine und Verbände <Präsentationstitel bitte im Folienmaster ändern> OPITZ CONSULTING GmbH 2012 Seite 3

4 Agenda 1. Der Anfang 2. Etwas Theorie 3. Der Weg zu stabiler Performance 4. SQL Plan Baselines in der Praxis 5. Und noch etwas Praxis Testcases 6. Am Ziel OPITZ CONSULTING Deutschland GmbH 2013 Seite 4

5 1 Der Anfang OPITZ CONSULTING Deutschland GmbH 2013 Seite 5

6 Herausforderung Als Datenbankadministrator beim Kunden "Die Performance ist schlecht" OPITZ CONSULTING Deutschland GmbH 2013 Seite 6

7 Ursachenforschung Ist die Performance immer schlecht? Nein. Letzte Woche war gut.... Ist mal besser. Und mal schlechter. OPITZ CONSULTING Deutschland GmbH 2013 Seite 7

8 2 Etwas Theorie OPITZ CONSULTING Deutschland GmbH 2013 Seite 8

9 Wie entsteht der Explain Plan? Query Transformer Estimator Plan Generator Bester Explain Plan OPITZ CONSULTING Deutschland GmbH 2013 Seite 9

10 Was denken Sie? Warum sind die Explain Plans so schlecht? A) Oracle kanns nicht besser. B) Cost based Optimierung hat noch nie funktioniert. C) Richtige Antwort. OPITZ CONSULTING Deutschland GmbH 2013 Seite 10

11 Warum sind die Explain Plans so schlecht? C) Richtige Antwort(en): Bindevariablen in Verbindung mit unterschiedlich großen Datenmengen Funktionen/Prozeduren im Code Viele Joinmöglichkeiten Veraltete Statistiken Ungünstige Einstellungen OPITZ CONSULTING Deutschland GmbH 2013 Seite 11

12 Möglichkeiten zur Stabilisierung Hint Stored Outline SQL Profile SQL Plan Baseline OPITZ CONSULTING Deutschland GmbH 2013 Seite 12

13 3 Der Weg zu stabiler Performance OPITZ CONSULTING Deutschland GmbH 2013 Seite 13

14 Fragen Wieviel Statements sind betroffen? Was für Statements sind betroffen? Was will ich wie stabilisieren? OPITZ CONSULTING Deutschland GmbH 2013 Seite 14

15 Der Weg zu stabiler Performance Datensammlung (DBA_HIST_SQLSTAT) Analyse (wechselnde Explain Plans, lang laufende SQL-Statements/Geschäftsprozesse) Priorisieren, Stabilisierungsmaßnahme(n) festlegen OPITZ CONSULTING Deutschland GmbH 2013 Seite 15

16 Anzahl unterschiedlicher Explain Plans Für alle Statements auf der DB >2 OPITZ CONSULTING Deutschland GmbH 2013 Seite 16

17 Klassifizierung von SQL Statements Normales Statement: select * from employee where id=99; Literalstatements: select * from employee where name= SCOTT ; select * from employee where name= MUELLER ; select * from employee where name= HUGO ; Statements mit Bindevariablen: select * from employee where name=:var1; OPITZ CONSULTING Deutschland GmbH 2013 Seite 17

18 Unterschiedliche Explain Plans pro Statement art Literalstatements (ca. 100) Einfache Statements (ca. 100) Bindevariablen- Statements (ca. 550) 1 2 >2 OPITZ CONSULTING Deutschland GmbH 2013 Seite 18

19 Fazit für vorliegende Datenbank Kaum Statements mit Literalen Viele Statements mit Bindevariablen Insgesamt ca. 50 Statements, die stabilisiert werden könnten SQL Plan Baselines sollen eingesetzt werden Große und kleine Datenmengen testen OPITZ CONSULTING Deutschland GmbH 2013 Seite 19

20 4 SQL Plan Baselines in der Praxis OPITZ CONSULTING Deutschland GmbH 2013 Seite 20

21 Das ist eine SQL Plan Baseline ALL_ROWS DB_VERSION(' ') OPTIMIZER_FEATURES_ENABLE(' ') ("PROMOTIONS"."PROMO_ID")) ("PRODUCTS"."PROD_ID")) OPITZ CONSULTING Deutschland GmbH 2013 Seite 21

22 Voraussetzungen Enterprise Edition Bei Nutzung von SQL Tuning Sets: Tuning + Diagnostic Pack OPTIMIZER_USE_SQL_PLAN_BASELINES=TRUE Ab Oracle 11g OPITZ CONSULTING Deutschland GmbH 2013 Seite 23

23 Rechte für Baselines ADMINISTER SQL MANAGEMENT OBJECT Zum vernünftig arbeiten können: SELECT ANY DICTIONARY CREATE TABLE + Quota CREATE, ALTER SESSION Evtl. Rechte auf Applikationsschemata Evtl. ADVISOR OPITZ CONSULTING Deutschland GmbH 2013 Seite 24

24 Wo bekomme ich SQL Plan Baselines her? Automatisches Laden, wenn: OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES=TRUE Manuelles Laden aus: SQL Tuning Set Cursor Cache Stored Outline Import aus anderen Datenbanken AWR (nur über SQL Tuning Set) OPITZ CONSULTING Deutschland GmbH 2013 Seite 25

25 Export und Import von Baselines Erstellen einer Stagingtabelle: DBMS_SPM.CREATE_STGTAB_BASELINE Befüllen der Stagingtabelle: DBMS_SPM.PACK_STGTAB_BASELINE Export/Import und dann wieder entpacken: DBMS_SPM.UNPACK_STGTAB_BASELINE OPITZ CONSULTING Deutschland GmbH 2013 Seite 26

26 Wie entsteht der Explain Plan mit Baselines? Query Transformer Estimator Plan Generator SQL Plan Baseline SQL Plan History Bester Explain Plan OPITZ CONSULTING Deutschland GmbH 2013 Seite 27

27 Wie entsteht der Explain Plan mit Baselines? Vorhandene SQL Plan Baseline: Vorhandene SQL Plan Baseline und vom Optimizer entwickelter Alternativplan: OPITZ CONSULTING Deutschland GmbH 2013 Seite 28

28 Wird meine Baseline genutzt? V$SQL.SQL_PLAN_BASELINE für aktuell laufende Statements DBA_SQL_PLAN_BASELINES.LAST_EXECUTED (nicht immer zuverlässig) OPITZ CONSULTING Deutschland GmbH 2013 Seite 29

29 Enabled? Accepted? ENABLED, aber nicht ACCEPTED: Explain Plan wird nicht genutzt Akzeptieren von Plänen (ACCEPT=YES) durch: 1.) Manuelles Laden 2.) DBMS_SPM.EVOLVE_SQL_PLAN_BASELINE 3.) Der erste erfasste Explain Plan ist automatisch akzeptiert ACCEPTED lässt sich nicht mehr zurücksetzen OPITZ CONSULTING Deutschland GmbH 2013 Seite 30

30 Was passiert, wenn? Zwei Pläne enabled sind, aber nur einer accepted ist und Der akzeptierte Plan gelöscht wird dann Wird der zweite Plan NICHT automatisch genutzt Werden hinzukommende Pläne nicht genutzt OPITZ CONSULTING Deutschland GmbH 2013 Seite 31

31 Baselines und DB-Konsole/Grid Control Schöne Übersicht Einfaches Löschen, Evaluieren Nicht alles zu sehen (LAST_EXECUTED) Nicht für alle Tasks (Description einfügen) Besser: DBA-Views und APIs nehmen OPITZ CONSULTING Deutschland GmbH 2013 Seite 32

32 Lessons Learned Baseline wirkt für gesamte Datenbank DBA_SQL_PLAN_BASELINES.LAST_EXECUTED dbms_xplan.display_sql_plan_baseline Nicht genutzte Pläne unterliegen Retentiontime Automatisch gesammelte Baselines erst beim 2. Ausführen Für Join von Tabelle mit Collection CAST-Operator nutzen OPITZ CONSULTING Deutschland GmbH 2013 Seite 33

33 5 Und noch etwas Praxis Testcases OPITZ CONSULTING Deutschland GmbH 2013 Seite 34

34 Usachenforschung OPITZ CONSULTING Deutschland GmbH 2013 Seite 35

35 Ziel von Testcases Nachvollziehbarkeit: Was wurde getestet und wie waren die Ergebnisse? -> Vergleich zwischen Gestern und Heute Wiederholbarkeit: Wie sind die Ergebnisse, wenn ich den Test erneut durchführe? OPITZ CONSULTING Deutschland GmbH 2013 Seite 36

36 Was gehört zu einem Testcase? Dokumentation: Welcher konkrete Geschäftsprozess? (Beispiel: Rechnungserstellung für Telefonnummer für die Monate 01-03/2013) Start- und Endezeitpunkt des Prozesses SQL Tuning Set für alle SQLs AWR-Report für genau diesen Zeitraum Skripts OPITZ CONSULTING Deutschland GmbH 2013 Seite 37

37 Umsetzung der Testcases Erstellung zusammen mit Fachbereich für konkret (!!!) definierte Geschäftsprozesse Immer dieselben Datenmengen pro Testcase Für viel und wenig Daten Messung gesamter Prozesse, nicht einzelner SQL Statements OPITZ CONSULTING Deutschland GmbH 2013 Seite 38

38 Best Practice Modulnamen verwenden Shared Pool und Buffer Cache leeren SQL Tuning Sets AWR-Snapshots vor und nach Testlauf Große sowie kleine Datenmengen Testdatenmenge möglichst langlebig wählen Tuningmaßnahmen im Releaseplan einplanen OPITZ CONSULTING Deutschland GmbH 2013 Seite 39

39 Woran festmachen, ob die Performance besser ist? Testumgebung: Testcases ablaufen lassen Laufzeiten messen, evtl. Unschärfen auswerten Produktion Vergleiche der Prozesslaufzeiten mit Testcases OPITZ CONSULTING Deutschland GmbH 2013 Seite 40

40 Unschärfen Ressourcen, die nicht nur von Testdatenbank allein genutzt werden (Storage, Netzwerk, CPU) Bei Vergleich zwischen Test und Produktion: Prozesse laufen in Produktion nicht isoliert Unterschiedliche abgefragte Datenmengen Unterschiedliche Hardware AWR-Reports, SQL Tuning Sets und Laufzeiten helfen bei der Beurteilung OPITZ CONSULTING Deutschland GmbH 2013 Seite 41

41 Was bringt der Testcase? Referenz bei Problemen in Produktion Wiederholbarkeit bei Upgrades/Hardwarewechsel Ausgangspunkt fürs Tuning Auch bei Refactoring ganzer Geschäftsprozesse kann anhand von Modullaufzeiten eine Verbesserung/Verschlechterung gemessen werden. OPITZ CONSULTING Deutschland GmbH 2013 Seite 42

42 6 Am Ziel OPITZ CONSULTING Deutschland GmbH 2013 Seite 43

43 Und jetzt die Kür Baselines + Testcases Produktion Test/Entwicklung 1. Statementauswahl 2. Testcase 4. Kontrolle Abnahme 3. Baseline/ Tunen OPITZ CONSULTING Deutschland GmbH 2013 Seite 44

44 Am Ziel? Man muss eine Aufgabe vor sich sehen und nicht ein geruhsames Leben (Leo Tolstoi) Regelmäßiger Administrationsaufwand Rückhalt von Fachabteilung, Entwicklern und Testern sichern OPITZ CONSULTING Deutschland GmbH 2013 Seite 46

45 Erkenntnisse fürs weitere DBA-Leben 1. Tune nicht nur. Stabilisiere! 2. Klassifiziere deine Statements nach Art, Anzahl und Laufzeiten und du kennst die Datenbank! 3. Priorisiere! 4. Nutze Testcases für Vergleiche und Wiederholbarkeit! OPITZ CONSULTING Deutschland GmbH 2013 Seite 47

46 Am Ziel! Ist die Performance immer noch schlecht? Nein. Ist super. Immer! Stabil! Testcases haben wir auch zum Vergleich bei: - Problemen - Upgrades - Codeänderungen OPITZ CONSULTING Deutschland GmbH 2013 Seite 48

47 Fragen und Antworten OPITZ CONSULTING Deutschland GmbH 2013 Seite 49

48 Kontakt Katja Werner Senior Consultant OPITZ CONSULTING Deutschland GmbH Standort München Weltenburger Straße München Tel. +49 (89) katja.werner@opitz-consulting.com slideshare.net/opitzconsulting xing.com/net/opitzconsulting OPITZ CONSULTING Deutschland GmbH 2013 Seite 50