Index Rebuild. DOAG Konferenz , Nürnberg DOAG Konferenz , Nürnberg Martin Hoermann Martin Hoermann

Transkript

1 Index Rebuild DOAG Konferenz , Nürnberg DOAG Konferenz , Nürnberg Martin Hoermann Martin Hoermann

2 Eine kurze Geschichte der Zeit Eine kurze Geschichte der (Oracle) Zeit, Martin Hoermann 1 / 51

3 Big Ben DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

4 Index Rebuild DOAG Konferenz , Nürnberg DOAG Konferenz , Nürnberg Martin Hoermann Martin Hoermann

5 Quelle: DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

6 asktom.oracle.com Quelle: asktom.oracle.com/pls/asktom/f?p=100:11: ::::p11_question_id: DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

7 Richard Foote - Index Internals Quelle: DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

8 DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

9 Es gibt zwei Kategorien von Menschen. Die einen, die den Strick um den Hals haben und die anderen, die ihn abschneiden. Zwei glorreiche Halunken DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

10 Agenda Index-Strukturen Basisbegriffe Zugriffsstrategien Abgrenzung Testszenarien Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

11 Branch- und Leaf-Blocks Root Block... Branch Block v$index_stats.height = dba_indexes.blevel + 1 Leaf Block % 100% 90% Füllgrad Key + ROWID = NULL DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

12 leaf node splits INSERT 5 INSERT leaf node splits leaf node split DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

13 branch node split Row-ID des root Blocks bleibt identisch INSERT 17 branch node splits DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

14 Agenda Index-Strukturen Basisbegriffe Zugriffsstrategien Abgrenzung Testszenarien Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

15 Index Unique Scan SELECT /*+ INDEX(...) */ * FROM my_table WHERE id = 20; = blevel + 1 (leaf) [ + table access ] DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

16 Index Range Scan Ausgabe sortiert SELECT /*+ INDEX_RS_ASC(...) */ * FROM my_table WHERE id BETWEEN 8 AND 20; = blevel + n ( Anzahl leaf) [ + table access je row ] DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

17 Index Full Scan Ausgabe sortiert SELECT /*+INDEX_FS(...) */ * FROM my_table WHERE id > 0; = blevel + leaf blocks [ + table access je row ] DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

18 Index Fast Full Scan db_file_multiblock_read_count Ausgabe nicht sortiert Bitmap Freelist Bitmap Freelist Segment Header SELECT /*+ INDEX_FFS(...) */ * FROM my_table WHERE id > 0; = # Blöcke im Segment [ + table access je row ] DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

19 Sonstige Zugriffstrategien Index Skip Scan Range Scan Desc Index Join Bitmap Index DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

20 Agenda Index-Strukturen Basisbegriffe Zugriffsstrategien Abgrenzung Testszenarien Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

21 Abgrenzung Index Typen + Zugriffe Function Based Index Index Joins Bitmap Indizes Reverse Indizes Kosten Cost Based Optimizer Locks & Latches DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

22 Agenda Index-Strukturen Testszenarien Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

23 Agenda Index-Strukturen Testszenarien Nur Inserts Primary Key Index Index mit 1% Selektivität Index mit normalverteilter Selektivität Insert + Delete B-Level Optimierung Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

24 Test nur Insert 1. Durchlauf 2. Durchlauf 10 Millionen Sätze Rebuild Delta Ermittlung für Insert Block Splits Insert Anzahl Leaf Blocks Insert Redo Volumen CPU-Zeit Insert Consistent Gets Insert Insert DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

25 Varianten Primary Key Index über Sequenz doag_data.nextval 1 Prozent Selektivität, Gleichverteilt mod( doag_data_seq.currval, 100 ) Normalverteilung trunc( dbms_random.normal() * ) DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

26 Agenda Index-Strukturen Testszenarien Nur Inserts Primary Key Index Index mit 1% Selektivität Index mit normalverteilter Selektivität Insert + Delete B-Level Optimierung Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

27 PK-Index über Sequenzen INSERT Index 90:10 Split DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

28 Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

29 Primary Key Index nach Rebuild Rebuild PCT_FREE = 90% DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

30 Rebuild Effects Mehr Leaf Blocks PCT-Used wird bei streng monoton steigenden Werten nie wieder genutzt PCT-Used = 0 % entspricht Aufbau wie zuvor Augenscheinlich ist es unsinnig Primary Key Indizes zu reorganisieren.* * für das Szenario Insert ohne Delete DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

31 Primary Key Index bei RAC Was passiert bei RAC bei Sequenzen mit Cache? DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

32 Agenda Index-Strukturen Testszenarien Nur Inserts Primary Key Index Index mit 1% Selektivität Index mit normalverteilter Selektivität Insert + Delete B-Level Optimierung Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

33 Index 1 % Selektivität Bei vielen Daten viele Wiederholungen Daten werden im Index sortiert nach Row-ID eingefügt Ausschnitt für einen Wert! DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

34 Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

35 Index 1 % Selektivität: Rebuild Ausschnitt für einen Wert! DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

36 Index 1 % Selektivität: Fazit I weniger Leaf Blöcke (bis zu 50%) Für vorhandene Index-Blöcke nachhaltig Besseres Caching Index Read Only oft deutlich schneller! DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

37 Index 1% Selektivität: Fazit II Ohne Rebuild Clustering Factor: Leaf Blocks: Kosten: ~ Mit Rebuild Clustering Factor: Leaf Blocks: Kosten: ~ Kostendifferenz für Full Scan: 0,31% weniger Blockzugriffe DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

38 Index 1% Selektivität: Clustering Factor mod( seq.currval, 100 ) mod( trunc( seq.currval / 100 ), 100 ) DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

39 Index 1% Selektivität: Fazit III Ohne Rebuild Clustering Factor: Leaf Blocks: Kosten: ~ Mit Rebuild Clustering Factor: Leaf Blocks: Kosten: ~ Kostendifferenz für Full Scan: 7% weniger Blockzugriffe DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

40 Agenda Index-Strukturen Testszenarien Nur Inserts Primary Key Index Index mit 1% Selektivität Index mit normalverteilter Selektivität Insert + Delete B-Level Optimierung Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

41 Index Normalverteilung Aufbau Normalverteilung trunc( dbms_random.normal() * ) DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

42 Rebuild DOAG Konferenz , Nürnberg Martin Hoermann DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

43 Entwicklung Leaf Blocks Rebuild Mit Rebuild Ohne Rebuild Insert Rebuild Insert Insert Insert DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

44 Index Normalverteilung: Fazit 27 % weniger Leaf Blöcke durch Rebuild 12 % weniger Leaf Blöcke nach 10 % Inserts Kosten pro Insert steigen durch Rebuild Aber ich arbeite nach einem festen Prinzip, wenn mich einer bezahlt, dann führe ich den Auftrag auch aus. (Zwei glorreiche Halunken) DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

45 Agenda Index-Strukturen Testszenarien Nur Inserts Insert + Delete B-Level Optimierung Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

46 Test Insert + Delete 1. Durchlauf 2. Durchlauf 1 Million Sätze Rebuild Delta Ermittlung für Delete Block Splits Delete Anzahl Leaf Blocks Insert Redo Volumen CPU-Zeit Delete Consistent Gets 10 x 10 x DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

47 Leaf Nodes Mit Rebuild Ohne Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

48 Kumulierte Consistent Gets Mit Rebuild Ohne Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

49 Agenda Index-Strukturen Testszenarien Nur Inserts Insert + Delete B-Level Optimierung Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

50 B-Level Optimierung Überlegung: Kosten Index Unique Scan + Table Access B-Level 3: 4 Consistent Gets B-Level 2: 3 Consistent Gets Performance Optimierung von 25% möglich Einfluss auf das Caching positiv? DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

51 B-Level Optimierung Vergleich nur Insert Nur eine Spalte (Number) Tabelle hat einen Wert 2, sonst nur Einsen PCT_USED ~ 50% PCT_USED ~ 90% durch regelmäßigen Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

52 Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

53 B-Level Optimierung Height Rows PCT_USED = 50 % PCT_USED = 90 % Bereich in Anzahl Rows bei der ein Rebuild die Höhe reduziert DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

54 B-Level Optimierung Height bis bis Bis? Rows PCT_USED = 50 % PCT_USED = 90 % Bereich in Anzahl Rows bei der ein Rebuild die Höhe reduziert DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

55 B-Level Optimierung Caching Effekt durch Branch-Blöcke vernachlässigbar: Leaf Blöcke: Branch Blöcke Leaf Blöcke: Branch Blöcke Optimierung nur in sehr speziellen Fällen denkbar DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

56 Agenda Index-Strukturen Testszenarien Fazit DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

57 Referenz I DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

58 Referenzen II DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

59 Referenzen III DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

60 Formel für Rebuild Jetzt kommt die ultimative Formel für den Rebuild von Indizes! DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

61 Formel für Rebuild DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

62 Formel für Rebuild IF ( cost < benefit ) THEN Rebuild Index END; DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

63 Kosten & Nutzen Distinct Keys Index Scan Clustering Factor PCT_FREE Delete Index Entries Concurrency Multicolumn Caching Compress Bitmap CPU Reverse Storage Validate Structure B-Level Deleted Leafs Organisation Block Splits Statistiken Leaf Blocks Primary Key Redo DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

64 Es gibt zwei Arten von Menschen. Die einen haben einen geladenen Revolver und die anderen Buddeln! Zwei glorreiche Halunken DOAG Konferenz, Index Rebuild - the good, the bad and the ugly,

65 Zentrale Paderborn Westernmauer Paderborn Tel.: Seminarzentrum Wiesbaden Kreuzberger Ring Wiesbaden Tel.: Zentrales Fax: ORDIX 0 Weitere Geschäftsstellen in Köln, Münster und Neu-Ulm info@ordix.de Internet: