Strategisches Tuning Teil 2 Analyse

Transkript

1 Strategisches Tuning Teil 2 Analyse TOAD User Konferenz 2007 Dr. Günter Unbescheid Database Consult GmbH Agenda Teil 1 Werkzeuge, Erstellung von Profilen Analysestrategien Informationsquellen der Versionen 10g und 11g Erstellung von Lastprofilen Teil 2 Analyse von Lastprofilen Analysetools Beispielreports Typisches: CPU-Zeiten, Wait Events, SQL Zugriffspläne Folie 2 von 71 Database Consult GmbH 1

2 Teil 2: Analyse Analysetools Folie 3 von 71 Ausgangspunkt...Tracefiles liegen vor......tracefiles liegen vor... Folie 4 von 71 Database Consult GmbH 2

3 Analyse-Szenarien Folie 5 von 71 STATSPACK Verfügbar ab Version 8i Erweiterung von utlbstat/utlestat Snapshots von V$-Objekten Umfänge steuerbar über Level 0 bis 10 Reports über Delta-Werte Geeignet zur Parametrierung der Instanz, Nur bedingt geeignet für einzelne Anwendungen Vorgeschaltete, strategische Analyse wichtig! Braucht mehr Ressourcen als AWR Werkzeuge Folie 6 von 71 Database Consult GmbH 3

4 STATSPACK Steuerbar über Level (Detaillierung) und Threshholds (SQL-Befehle) Installiert über?/rdbms/admin/spcreate.sql User PERFSTAT, Hilfstabellen, Package STATSPACK Arbeiten mit EXECUTE statspack.snap; Job über SPAUTO.SQL Auswertungen: Instanzreport über SPREPORT.SQL und SPREPINS.SQL SQL-Report über SPREPSQL.SQL und SPRSQINS.SQL Werkzeuge Folie 7 von 71 Statspack gut geeignet zur Ermittlung allgemeiner Kennzahlen zur Performance -Vorsorge und IST-Darstellung Doku unter?\rdbms\admin\spdoc.txt SQL> exec statspack.snap SQL> start?\rdbms\admin\spreport.sql Listing all Completed Snapshots Snap Instance DB Name Snap Id Snap Started Level Comment ora102 ORA Okt : Okt : Okt : Okt :55 10 Die Praxis IST-Zusatnd Specify the Begin and End Snapshot Ids ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Geben Sie einen Wert f³r begin_snap ein: Folie 8 von 71 Database Consult GmbH 4

5 AWR/ASH Reporting über SQL-Skripte (?/rdbms/admin/awr* oder ash* [11g]) Package API DBMS_WORKLOAD_REPOSITORY über (table) functions Format: HTML oder Text Kontexte AWR, ASH, AWR_SQL (11g) In Anlehung an STATSPACK Folie 9 von 71 TKPROF transient kernel profiler formatiert einzelne SQL-Trace-Dateien unterschiedliche Filter und Sortierungen verfügbar Usage: tkprof tracefile outputfile [explain= ] [table= ] [print= ] [insert= ] [sys= ] [sort= ] table=schema.tablename Use 'schema.tablename' with 'explain=' option. explain=user/password Connect to ORACLE and issue EXPLAIN PLAN. print=integer List only the first 'integer' SQL statements. aggregate=yes no insert=filename List SQL statements and data inside INSERT statements. sys=no TKPROF does not list SQL statements run as user SYS. record=filename Record non-recursive statements found in the trace file. waits=yes no Record summary for any wait events found in the trace file. sort=option Set of zero or more of the following sort options: prscnt number of times parse was called prscpu cpu time parsing Folie 10 von 71 Database Consult GmbH 5

6 TKPROF Sichtweise SQL, keine Lastprofile Gute Auswertung von SQL-Befehlen Zugriffspläne und Zeiten Wait-Events pro SQL jedoch keine Bindevariablen Gesamtübersicht der rekursiven und nicht-rekursiven Befehle Keine Befehlsübergreifenden CPU und Wait- Gewichtungen! (Gut) geeignet für Execution-Plan Optimierungen Folie 11 von 71 Trace-Analyzer Skriptsammlung zur formatierten Analyse und Ausgabe (HTML) von 10046er Traces RDBMS > Über Metalink Note derzeit Version Erweiterte Funktionalität und Reports auch für 8i funktionabel Arbeitet über Hilfstabellen und PL/SQL-Prozeduren Zugriff auf Trace-Verzeichnis mittels DIRECTORY-Objekt Ausführliche Analysen (s.u.) In manchen Fällen Laufzeitprobleme bei sehr grossen Trace-Dateien ( ca. > 2GB) Folie 12 von 71 Database Consult GmbH 6

7 Trace-Analyzer Ausgabe Trace identification actual start and completion time, host name, RDBMS version, etc. SQL statements count, user and internal, total and unique. Time summary elapsed, cpu, non-idle wait events, idle wait events, for user (recursive and non-recursive) and for internal. Call summary for user and internal, with elapsed, cpu, logical reads, physical reads and similar performance details. Summary of wait events, classified by non-idle and idle for user and for internal Folie 13 von 71 Trace-Analyzer Ausgabe Top 20 SQL statements - importance for SQL tuning analysis. List of all unique SQL statements with one-line performance summary per statement. Gaps of no trace activity found on file. List of transactions found (commits and rollbacks). Oracle errors if any. I/O core waits including schema objects affected (tables, indexes, partitions), when traced with level 8 or 12. Top 5 hot blocks, indicating the schema objects (l 8/12). Latch Wait summary Folie 14 von 71 Database Consult GmbH 7

8 Trace-Analyzer Ausgabe Non-default initialization parameters. Für jedes SQL Cursor header with SQL statement text, hash value, length, line on trace, depth, user, etc. Oracle errors if any Call summary (parse, execute and fetch totals) Non-idle and idle wait events (if traced with level 8 or 12) I/O and latch waits summary (if level 8 or 12) First execution and top 10 for particular SQL statement List of bind variables values for first and top 10 executions Cumulative row source plan for all executions of SQL statement. Folie 15 von 71 Trace-Analyzer Ausgabe Für jedes SQL Detailed explain plan if Trace Analyzer is executed on same instance where trace was generated, and if SQL statement made the Top 20 list. Table, index and partition details including row count, CBO statistics and indexed columns if the SQL statement generated an explain plan. Folie 16 von 71 Database Consult GmbH 8

9 orasrp Oracle Session Resource Profiler derzeit Vers ( ) frei verfügbar für Windows und Linux geschrieben in D command line utility sehr performant auch mit grossen Trace-Dateien! formatiert und analysiert extended trace files Ausgabe in Text oder HTML operiert ohne DB Vergleich (Version 3.0) mit Hotsos-Profiler jforonda.blogspot.com/2007/02/orasrp-v30b-very-shortinitial.html Folie 17 von 71 orasrp orasrp [options] file [outfile] options: -h, --help show this help message and exit --version show program's version number and exit -t, --text output in text format --aggregate=yes/no aggregate similar statements -bn, --binds=n how many unique bind-sets to display (1 by defaut) --maxbinds=n how many unique bind-sets to analyze (allby default) --recognize-idle-events=yes/no recognize or not idle wait events --sys=yes/no print sys statements --sort how to sort statements in output (values like in tkprof) --display-sections what sections of report to display (all by default) --skip-sections what sections of report to skip --sessionid analyze data only for the specified session id --threshold omit statements which spend less than threshold % from total time (not used by default) Folie 18 von 71 Database Consult GmbH 9

10 Teil 2: Analyse Beispielreports Folie 19 von 71 Strategie Ausgangspunkt: Gesamtprofil aussagefähig wegen Problem-Fokussierung Iterativ nach massgeblichen Events mit maximalem Performance- Potential Kontext ist meistens (PL/)SQL optimiert wird ggf. SQL Ausnahmen z.b. Log-Switches Orientiert an SLA bzw. Tuning-Vorgaben Folie 20 von 71 Database Consult GmbH 10

11 1 Gesamtprofil - orasrp Folie 21 von 71 2 Event Fokussierung - orasrp Folie 22 von 71 Database Consult GmbH 11

12 3 SQL Fokussierung - orasrp Folie 23 von 71 3 SQL Fokussierung - orasrp Folie 24 von 71 Database Consult GmbH 12

13 Trace Analyzer 1 Folie 25 von 71 Trace Analyzer 2 Folie 26 von 71 Database Consult GmbH 13

14 orasrp Beispiel 2 Folie 27 von 71 orasrp Beispiel 3 Folie 28 von 71 Database Consult GmbH 14

15 AWR Report Folie 29 von 71 AWR Report Mischung von CPU- und Wait Events Hierarchische Buchführung! Folie 30 von 71 Database Consult GmbH 15

16 AWR Report weiterführende Reports zu SQL ID, z.b. SELECT VALUE(P).sql_text FROM table(dbms_sqltune.select_workload_repo sitory... Folie 31 von 71 Statspack Ausschnitte Cache Sizes Begin End Buffer Cache: 292M 284M Std Block Size: 8K Shared Pool Size: 128M Log Buffer: 2,828K Load Profile Per Second Per Transaction Redo size: , Logical reads: , Block changes: Physical reads: Physical writes: User calls: Parses: Hard parses: Folie 32 von 71 Database Consult GmbH 16

17 Statspack Ausschnitte Instance Efficiency Percentages Buffer Nowait %: Redo NoWait %: Buffer Hit %: In-memory Sort %: Library Hit %: Soft Parse %: Execute to Parse %: Latch Hit %: Parse CPU to Parse Elapsd %: % Non-Parse CPU: Top 5 Timed Events AVG %Total wait Call Event Waits Time (s) (ms) Time log file sync 1,518 1, log file parallel write 6,958 1, db file parallel write 12, CPU time control file sequential read 20, Folie 33 von 71 Statspack Ausschnitte Wait Events DB/Inst: ORA102/ora102 Snaps: > s - second, cs - centisecond, ms - millisecond, us - microsecond -> %Timeouts: value of 0 indicates value was <.5%. Value of null is truly 0 -> Only events with Total Wait Time (s) >=.001 are shown -> ordered by Total Wait Time desc, Waits desc (idle events last)... Background Wait Events DB/Inst: ORA102/ora102 Snaps: > %Timeouts: value of 0 indicates value was <.5%. Value of null is truly 0 -> Only events with Total Wait Time (s) >=.001 are shown -> ordered by Total Wait Time desc, Waits desc (idle events last)... Latch Activity DB/Inst: ORA102/ora102 Snaps: >"Get Requests", "Pct Get Miss" and "Avg Slps/Miss" are statistics for willing-to-wait latch get requests ->"NoWait Requests", "Pct NoWait Miss" are for no-wait latch get requests ->"Pct Misses" for both should be very close to 0.0 Folie 34 von 71 Database Consult GmbH 17

18 Tracing Rawtrace sinnvoll bei unvollständigen Auswertungen exakte Zuordnung von Wait Events zu Calls Gliederung Allgemeiner Header Identification: *** ACTION NAME:(Action X) :24: *** MODULE NAME:(Module A) :24: *** SERVICE NAME:(SYS$USERS) :24: *** CLIENT ID:(GU) :24: *** SESSION ID:( ) :24: ===================== Folie 35 von 71 Tracing Rawtrace Cursor Informationen direkt nach Parse Call oder später Nummer nimmt Bezug auf nachfolgende Calls len Länge des Stmts, uid schema ID des parsenden Benutzers oct Oracle Call Type lid privileged user id tim Zeitstempel in Mikrosekunden (>= 9i) z.b. gettimeofday hv hash value ad - address PARSING IN CURSOR #7 len=32 dep=0 uid=58 oct=3 lid=58 tim= hv= ad='1fd73f00' select count(*) from dba_objects END OF STMT Folie 36 von 71 Database Consult GmbH 18

19 Tracing - Rawtrace Rekursive Calls erscheinen vor ihren Parents Parents enthalten in elapsed time die Zeiten ihrer Kinder PARSING IN CURSOR #1 len=46 dep=1 uid=0 oct=3 lid=0 tim= hv= ad='2aac0994' select node,owner,name from syn$ where obj#=:1 END OF STMT PARSE #1:c=0,e=46,p=0,cr=0,cu=0,mis=0,r=0,dep=1,og=4,tim= PARSING IN CURSOR #1 len=179 dep=1 uid=0 oct=3 lid=0 tim= hv= ad='2aaf9d38' select owner#,... from dependency$ d, obj$ o where d_obj#=:1 and p_obj#=obj#(+) order by order# END OF STMT... ===================== PARSING IN CURSOR #7 len=32 dep=0 uid=58 oct=3 lid=58 tim= hv= ad='1fcc1024' select count(*) from dba_objects END OF STMT PARSE #7: c=328125,e=327028,p=0,cr=97,cu=0,mis=1,r=0,dep=0,og=1,tim= Folie 40 von 71 Teil 2: Analyse Typisches: CPU-Zeiten, Wait- Events, SQL-Zugriffspläne Folie 42 von 71 Database Consult GmbH 19

20 Servicezeit - Parsing Definition: Syntaktische und semantische Überprüfung eines SQL-Befehls Ermittlung "identischer" Statements Ableitung eines "optimalen" Zugriffsplans Begriffe Hard parse voller Umfang (aufwendig) Soft parse authentifiziert bereits geladenes Statement Session Cursor Cache übernimmt bei parse call > 3 Folie 43 von 71 Optimierung der Servicezeit Zu hohe Parse-Anteile Open/close-Calls untersuchen Bindevariablen verwenden Ggf. cursor_sharing Ggf. session_cursor_cache setzen Zu hohe recursive Anteile SQL in PL/SQL optimieren shared_pool erhöhen Folie 45 von 71 Database Consult GmbH 20

21 cursor_sharing Dynamischer Init.ora Parameter Session- und System-Kontext Automatisiertes Ersetzen von Literalen durch Bindevariablen bei sonst gleicher Syntax exact = nicht aktiviert, hard parse pro stmt. force = Literale werden immer ersetzt, wenn Semantik nicht verändert wird Ggf. problematisch bei stored outlines similar Literale werden nur dort ersetzt, wo eine Änderung des Plans nicht zu erwarten ist, ggf. wie exact Folie 46 von 71 bind variable peeking optimizer_features_enable >= Betrachtet Bind-Werte beim ersten Aufruf des Cursors! Keine Evaluierung bei Folgeaufrufen jedoch 11g: adaptive cursors Verwaltung von bind sensitive Cursorn bei perfromance impact werden neue Cursor aufgemacht Folie 47 von 71 Database Consult GmbH 21

22 db file sequential read Wartezustände bei read()-operationen (Unix) read()-call kontinuierliche Speicherung im Memory-Bereich entspricht Single-Block Read aus Sicht von Oracle Ausnahme: MB reads auf temporären Segmenten Verwendet für Index Scans Table Access by Rowid Undo Zugriffe Control File und Datafile Header Parameter p1 file# p2 block# p3 - blocks Folie 49 von 71 db file sequential read Optimierung der zugehörigen SQL-Statements dadurch Reduzierung des LIO und dadurch Reduzierung des PIO Implementierung, Indexstrukturen, Parameter wenn nicht möglich dann IO-Durchsatz erhöhen Durchschnittliche Single Block Reads ca. 10ms oder ca. 6-8 ms (SAN) siehe Tabelle aux_stats$ IO-Verteilung: Platten und Controller v$filestat Filesystem und Blockgrösse versus Rawdevice Raid Level Multiple Buffer Pools oder Cache-Klausel Folie 50 von 71 Database Consult GmbH 22

23 db file scattered read Wartezustände bei read()-operationen (Unix) readv()-call verteilte Speicherung im Memory-Bereich entspricht Multi-Block Read aus Sicht von Oracle maximal db_file_mulitblock_read_count Verwendet für Full Table Scans Fast Full Scans auf Indizes (FFS) Parameter p1 file# p2 block# p3 block count Folie 51 von 71 db file scattered read Gemischte db file waits bei full table Scans möglich: gecachte Blöcke extent boundaries Migrierte oder gechainte Rows Index-Pflege bei INSERTS über Subqueries mit Full Scans Optimierung ähnlich sequential reads: SQL-Optimierung wenn nicht möglich dann IO-Durchsatz erhöhen Folie 52 von 71 Database Consult GmbH 23

24 direct path read (temp) single oder multiblock rad in PGA entspricht Anzahl der read-requests für Synch-IO ungenau wegen Überlappungen bei Asynch-IO Ursachen Sorts auf Platte Hash-Joins > hash_area_size Parallelisierung von SQL für Query Slaves (!!) für Parent der Event PX Deq: Execute Reply Parameter p1 file# p2 block# p3 block count Folie 53 von 71 direct path read (temp) Tuning Massnahmen SQL Optimierung sort_area_size, hash_area_size, pga_aggregate_target Direct IO Buffer Size Grösse in Byte über _db_file_direct_io_count Trace über Event zeigt slots und slot size Einstellung von Sltos size über Event Anzahl slots über Event aktuelle Nutzung siehe über v$tempseg_usage Folie 54 von 71 Database Consult GmbH 24

25 db file parallel write Wartezustand im Kontext des DBWR DBWR schreibt modifizierte Blöcke alle 3 Sekunden initialisiert durch Server-Prozess bei Checkpoints wenn Grenzwerte erreicht sind... Begleitende Events bei den Serverprozessen free buffer waits write complete waits Massnahmen: DBWR Durchsatz erhöhen asynch IO db_writer_processes > 1 oder dbwr_io_slaves Folie 56 von 71 log file parallel write Wartezustand im Kontext des LGWR LGWR schreibt nach Zeitraster nach Füllraster zum Commit... Begleitende Events für Serverprozesse log file synch Massnahmen bessere IO-Verteilung Log-Dateien separieren Reduzierung des Redo-Volumens NOLOGGING Commit-Frequenz Folie 57 von 71 Database Consult GmbH 25

26 Latch Waits unter 10g Neben latch free 28 weitere Latch Events Vereinfachte Analyse latch: cache buffer handles latch: cache buffers chains latch: cache buffers lru chain latch: checkpoint queue latch latch: enqueue hash chains latch free latch: library cache latch: library cache lock latch: library cache pin latch: parallel query alloc buffer latch: redo allocation latch: redo copy latch: redo writing latch: session allocation latch: shared pool Folie 64 von 71 latch free Latch free Warten auf Latch adress, latch number, tries als Parameter Feststellen welches Latch (v$latchname, v$latch, v$latch_children) Aktion nach Art des Latch Shared pool latch & Library cache latch bei space allocation = Reduzieren von Parsing cache buffer hash chain latch bei Anfrage und Änderung eines Buffers Folie 65 von 71 Database Consult GmbH 26

27 SQL Optimierung CBO arbeitet i.d.r. zufriedenstellend wenn er korrekt konfiguriert wurde! Gute Kenntnis der Grundlagen (init.ora und Statistiken) garantieren Verlässlichkeit! Folie 66 von 71 Serverparameter CBO Grundlegend OPTIMIZER_MODE OPTIMIZER_FEATURES_ENABLE OPTIMIZER_DYNAMIC_SAMPLING OPTIMIZER_INDEX_COST_ADJ OPTIMIZER_INDEX_CACHING DB_FILE_MULTIBLOCK_READ_COUNT Diverse CURSOR_SHARING SKIP_UNUSABLE_INDEXES DB_FILE_MULTIBLOCK_READ_COUNT parallel processing underscore-parameters Memory WORKAREA_SIZE_POLICY PGA_AGGREGATE_TARGET HASH_AREA_SIZE SORT_AREA_SIZE BITMAP_MERGE_AREA_SIZE Query transformation QUERY_REWRITE_ENABLED QUERY_REWRITE_INTEGRITY STAR_TRANSFORMATION_ENABLED OPTIMIZER_SECURE_VIEW_MERGING Folie 68 von 71 Database Consult GmbH 27

28 Tuning-Möglichkeiten SQL Folie 69 von 71 Strategisches Tuning Konzentration auf relevante Kontexte genauer Fokus im Rahmen von Lastprofilen Tuning massgeblicher Warte- oder CPU-Faktoren - iterativ Danke für s Zuhören Folie 71 von 71 Database Consult GmbH 28