Copyright 2012, Oracle and/or its affiliates. All rights reserved.

Transkript

1 1

2 DATENBANK Parallel Query Live! Frank Schneede Leitender Berater, Oracle BU DB DATENBANK 2

3 Einführung in Parallel Query 3

4 User Parallele Ausführung Arbeitsweise Connect zur Datenbank Parallel Server Prozesse kommunizieren untereinander QC tauscht Messages über Buffer im Shared Pool aus. Start Background Process User started parallel SQL Background Process erhält Query Coordinator (QC) QC erhält Parallel Server aus globalem Pool und verteilt die Arbeit Parallel Server einzelne Sessions führen Aufgaben aus Verfügbare Parallel Server in globalem Pool, Zuordnung zu einer Operation 4

5 Parallel Execution Im Ausführungsplan SELECT c.cust_last_name, s.time_id, s.amount_sold FROM sales s, customers c WHERE s.cust_id = c.cust_id; Query Coordinator Parallel Server leisten die Arbeit 5

6 Parallel Execution im Detail SELECT c.cust_last_name, s.time_id, s.amount_sold FROM sales s, customers c WHERE s.cust_id = c.cust_id; Query coordinator Consumers P1 P2 P3 P4 1. Hash Join scanned kleinere Tabelle (hier: customers) Producer scannen Tabelle customers Sales Table P5 P6 Customers Table 3. Ergebnismenge zurück an Consumer Producers P7 P8 6

7 Parallel Execution im Detail SELECT c.cust_last_name, s.time_id, s.amount_sold FROM sales s, customers c WHERE s.cust_id = c.cust_id; Query coordinator Consumers P1 P2 P3 P Producer scannen Tabelle sales 5. Ergebnismenge zurück an Consumer Sales Table P5 P6 Customers Table P7 Producers P8 7

8 Parallel Execution im Detail SELECT c.cust_last_name, s.time_id, s.amount_sold FROM sales s, customers c WHERE s.cust_id = c.cust_id; Query coordinator Consumers P1 P2 P3 P4 6. Consumer erhalten Daten der Tabelle sales 7. Ausführung join 8. Ergebnismenge an QC Sales Table P5 P6 Customers Table P7 Producers P8 8

9 DEMO 1 9

10 Tipps & Tricks Voraussetzung: I/O Kalibrierung SQL> select * from resource_io_calibrate$; no rows selected SQL> insert into resource_io_calibrate$ 2 values(current_timestamp, current_timestamp, 0, 0, 200, 0, 0); 1 row created. SQL> commit; Commit complete.... bounce database... SQL> select * from resource_io_calibrate$; START_TIME END_TIME MAX_IOPS MAX_MBPS MAX_PMBPS LATENCY NUM_DISKS NOV NOV SQL> 10

11 Tipps & Tricks Was bedeuten diese Werte? max_pmbs: maximum single process megabytes per second of large I/O Nutzt Oracle bei Tests von Auto DoP Ist empfohlene Best Practise für Exadata Auch ohne Exadata gut Zu wenig PX Server: max_pmbs verkleinern Zu viele PX Server: parallel_degree_limit nutzen 11

12 Parallel Execution im Detail SELECT c.cust_last_name, s.time_id, s.amount_sold FROM sales s, customers c WHERE s.cust_id = c.cust_id; Consumers Query Coordinator Producers 12

13 Oracle Parallel Query Scannen einer Tabelle Full Scan der Tabelle sales PQ 1 PQ 2 PQ 3 Aufteilung in Granules Bereich von Blöcken oder Partition Zuordnung Parallel Server zu 1- n Granules Disjunkte Zuordnung!! Keine Parallel Server verarbeiten das gleiche Granule Granules werden so zugewiesen, dass sich die Last gleichmäßig auf alle Parallel Server verteilt Optimizer legt Granules fest Sichtbar im Execution Plan 13

14 Granules identifizieren 14

15 Join Operationen Serieller Join Je eine Session liest die Tabellen Serielle Session führt Join komplett aus Keine Data Redistribution! 15

16 Parallel Join Operationen Data Redistribution Daten müssen für Parallel Joins umorganisiert werden Daten in Granules passen nicht zueinander! Parallel Join (Degree 2): 2 PX Server lesen die Tabellen Datenumverteilung auf PX Server nach Join-Column 16

17 Parallel Join Operationen Data Redistribution Methoden HASH: möglichst gleichmässige Verteilung BROADCAST: bei unterschiedlichen Datenmengen RANGE: bei parallelen Sorts, PX Server sortieren, QC liefert nur Ergebnis KEY: üblicherweise für Partition-Wise Joins ROUND-ROBIN: wenn Umverteilung beliebig sein kann 17

18 Parallel Join Operationen Sonderfall: Partition Wise Join Keine Redistribution! Tabellen sind gleich partitioniert Keine passenden Daten ausserhalb der Partitionen PX Server führt Join Operation der Partitionen vollständig aus Nur bei Partitions-Granules möglich Wichtig in Shared Nothing Systemen Skaliert sehr gut! 18

19 Parallel Execution Richtige Konfiguration ist essentiell! Festlegung des optimalen Degree of Parallelism (DoP) ohne manuelles Tuning? Was passiert, wenn ein DoP nicht für alle SQL Abfragen auf einem Objekt passt? Was passiert, wenn nicht genug PX Server Prozesse zur Verfügung stehen? Wie kann man vermeiden, dass zu viele PX Server Prozesse das System lahmlegen? Wie wird der verfügbare Speicher auf dem System genutzt? 19

20 Parallel Execution Die Lösung Oracle legt automatisch für jedes Statement fest, ob das Statement seriell oder parallel und mit welchem DoP ausgeführt wird. das Statement sofort ausgeführt wird oder zeitversetzt über eine Queue. Clusterweiter Hauptspeicher genutzt wird oder nicht. 20

21 Auto Degree of Parallelism Festlegung idealer DoP für jede Tabelle ohne manuellen Eingriff schwierig Ein fester DoP ist oft nicht optimal für alle Abfragen auf einem Objekt SQL Statement Statement parsen Optimizer ermittelt Execution Plan Berechnete Zeit größer als Schwellenwert Optimizer ermittelt idealen DoP auf Basis aller Scans Berechnete Zeit kleiner als Schwellenwert (default =10s) Actual DOP = MIN(PARALLEL_DEGREE_LIMIT, ideal DOP) Statement wird seriell ausgeführt * Schwellenwert setzen mit parallel_min_time_threshold Statement wird parallel ausgeführt 21

22 Parallel Statement Queuing Statement parsen Oracle berechnet DoP automatisch Statement in Queue, wenn nicht genug PX Server verfügbar SQL Statement FIFO Queue Sofortige Ausführung, wenn genug PX Server verfügbar 8 Benötigte PX Server verfügbar -> Ausführung erstes Statement aus Queue

23 In-Memory Parallel Execution SQL Statement Größe der Tabelle ermitteln Tabelle eignet sich für In- Memory Parallel Execution Fragmente der Tabelle im BufferCache auf jedem Knoten Table ist extrem klein Table ist extrem groß Einlesen in Buffer Cache auf beliebigem Knoten Verwendung Direct Read von Disk Nur PX Server im gleichen RAC Knoten jedes Fragment zu 23

24 Parallel Query steuern 24

25 DEMO 2 25

26 Steuerung aller 11gR2 PX Features init.ora Parameter Parameter Value Description PARALLEL_DEGREE_LIMIT PARALLEL_DEGREE_POLICY PARALLEL_FORCE_LOCAL PARALLEL_MIN_TIME_THRESHOLD PARALLEL_SERVERS_TARGET PARALLEL_EXECUTION_MESSAGE_SIZE CPU MANUAL FALSE AUTO 4*CPU_COUNT* PARALLEL_THREADS_PER_CPU * ACTIVE_INSTANCES 16KB Max DOP that can be selected with AUTO DOP Specifies if AUTO DOP, Queuing, & In-memory PE will be enabled Restricts parallel server processes to the node where query is issued Specifies min execution time a statement should have before AUTO DOP will kick in Specifies # of parallel processes allowed to run parallel stmts before queuing will be use Specifies size of the message buffers used for communication 26

27 Schutz vor extremen DOP Werten init.ora Parameter parallel_degree_limit Parallel_Degree_Limit begrenzt maximalen Degree für alle Statements im System Standard ist Default DOP kein Statement läuft mit einem höheren DoP Der Sicherheitsgurt, falls mit Auto DoP extrem große Werte berechnet werden! 27

28 Parallel Statement Queuing steuern PARALLEL_SERVERS_TARGET : 4 * PARALLEL_THREADS_PER_CPU * CPU_COUNT PARALEL_MAX_SERVERS : 10* PARALLEL_THREADS_PER_CPU * CPU_COUNT PX Server verfügbar um Abfragen ohne Queue unmittelbar auszuführen Max. Anzahl PX Server 320 Parallel Max Servers Parallel Server Target CPU Count 16 CPU System 28

29 Statement Queuing Steuerung und Überwachung 2 neue Hints Statement Queuing umgehen SELECT /*+ NO_STMT_QUEUING */ col1 FROM foo; Statement Queuing aktivieren ohne PARALLEL_DEGREE_POLICY = AUTO SELECT /*+ STMT_QUEUING */ col1 FROM foo; V$SQL_PLAN_MONITOR besitzt neuen Status, der Queuing anzeigt: SELECT s.sql_id, s.sql_text FROM v$sql_monitor m, v$sql s WHERE m.status='queued AND m.sql_id = s.sql_id; 2 neue Wait Events PX Queuing: Statement queue -> erste Abfrage in der Queue ENQ JX SQL statement queue -> Statement ist in der Queue (nicht auf Platz 1) 29

30 Parallel Statement Queuing Berechnung Minimal Concurrency Anzahl Parallel Server Processes Queuing beginnt Minimal Concurrency = Parallel_Servers_Target 0.5 Parallel_Degree_Limit Parallel_Servers_Target Parallel_Degree_Limit 30

31 Parameter Hierarchie 1. Parallel_degree_policy = Manual a) None of the parameters have any impact PX Features: NONE 2. Parallel_degree_policy = Limited a) Parallel_min_time_threshold = 10s b) Parallel_degree_limit = CPU PX Features: Auto DOP 3. Parallel_degree_policy = Auto a) Parallel_min_time_threshold = 10s b) Parallel_degree_limit = CPU PX Features: Auto DOP Queuing In-Memory c) Parallel_servers_target = Set to Default DOP on Exadata 31

32 Steuerung PX Features Q: Welche PX Parameters greifen bei Q: Welche Parallel PX Parameters _Degree_Policy= AUTO? greifen bei Parameter Value Description Max DOP that can be selected PARALLEL_DEGREE_LIMIT CPU with AUTO DOP Parallel Parallel _Degree_Policy= LIMIT? _Degree_Policy= Manual? Specifies if AUTO DOP, Queuing, PARALLEL_DEGREE_POLICY MANUAL A: Parallel_Degree_Limit & In-memory PE will be enabled Restricts parallel server processes A: PARALLEL_FORCE_LOCAL Keiner Parallel_Degree_Limit der Parameter greift! FALSE to the node where query is issued Parallel_Min_Time_Threshold Parallel_Min_Time_Threshold Parallel_Servers_Target PARALLEL_MIN_TIME_THRESHOLD AUTO PX Features: Keine PX PARALLEL_SERVERS_TARGET Features: AUTODOP Queuing PARALLEL_EXECUTION_MESSAGE_SIZE 16KB IN-Memory Parallel Execution 4*CPU_COUNT* PARALLEL_THREADS_PER_CPU * ACTIVE_INSTANCES Specifies min execution time a statement should have before AUTO DOP will kick in Specifies # of parallel processes allowed to run parallel stmts before queuing will be use Specifies size of the message buffers used for communication 32

33 Tipps & Tricks Unterschiede der Einstellungen und Releases Verschiedene Möglichkeiten: select /*+ parallel (sales,2) */ * from sales; alter table sales parallel 2; select /*+ parallel (sales) */ * from sales; alter table sales parallel; Achtung Unterschiede! (* Bug , fixed in ) parallel_degree_policy parallel (t,8) Parallel (8) degree DEFAULT degree 8 manual limited auto 1 ( ) 8 ( )*

34 Testskript 1 set echo on set autotrace off set serveroutput on set lines 150 set pages 999 select * from v$version; sho parameter parallel select sum(bytes)/1024/1024 as mb from user_segments where segment_name='sales'; select degree from user_tables where table_name='sales'; alter session set parallel_degree_policy=auto; set autotrace traceonly explain select sum(amount_sold) from sales; set autotrace on explain select count(*) from customers; alter session set parallel_degree_policy=manual; alter session force parallel query; select count(*) from customers; conn sh/oracle alter session enable parallel query; alter table customers parallel; set autotrace on explain select count(*) from customers; set autotrace off 34

35 Testskript 2 set echo on set serveroutput on set lines 150 set pages 999 drop table t; select * from v$version; show parameter parallel create table t as select * from dual; alter system set parallel_degree_policy=auto; select /*+ parallel (t,8) */ * from t; select * from v$pq_sesstat; alter system set parallel_degree_policy=limited; select /*+ parallel (t,8) */ * from t; select * from v$pq_sesstat; alter system set parallel_degree_policy=auto; select /*+ parallel (8) */ * from t; select * from v$pq_sesstat; alter system set parallel_degree_policy=auto; alter table t parallel; select * from t; select * from v$pq_sesstat; accept ok prompt 'OK? ' alter table t parallel 8; select * from t; select * from v$pq_sesstat; alter system set parallel_degree_policy=limited; alter table t parallel; select * from t; select * from v$pq_sesstat; alter table t parallel 8; select * from t; select * from v$pq_sesstat; 35

36 Parallel Query überwachen 36

37 Überwachung Parallel Execution Enterprise Manager, Performance views Real-Time Überwachung während der Ausführung: [GV V]$SQL_MONITOR Enterprise Manager SQL Monitor Parallel Execution performance views: [GV V]$PX_SESSION [GV V]$PX_SESSTAT [GV V]$PX_PROCESS [GV V]$PX_PROCESS_SYSSTAT [GV V$]PQ_TQSTAT [GV V]$PX_BUFFER_ADVICE Siehe: Oracle Database VLDB and Partitioning Guide 11gRelease2 (11.2) 37

38 DEMO 3 38

39 Überwachung Parallel Execution SQL Monitor Grüner Pfeil markiert Stelle im Execution Plan, die momentan abgearbeitet wird SQL Monitor Reiter Parallel liefert zusätzliche Infos über PQ 39

40 Monitoring Parallel Execution SQL Monitor: Producer und Consumer Klick liefert zusätzliche Infos über Consumer Klick liefert zusätzliche Infos über Producer 40

41 Monitoring Parallel Execution SQL Monitor : Degree Beschränkung Vorher Nach Beschränkung Degree Limit auf DoP 16 41

42 Fazit 42

43 Zusammenfassung Steuerung über init.ora Parameter: PARALLEL_DEGREE_POLICY 3 Modi: MANUAL / LIMITED / AUTO SQL Monitor zur Echtzeit Überwachung Tipp: Manuellen Aufwand vermeiden ==> Automatismen nutzen! 43

44 Weitere Informationen Parallelism and Scalability for Data Warehousing Oracle Database Parallel Execution Fundamentals White Paper Parallel Execution and Workload Management for an Operational Data Warehouse White Paper DBA Community: Parallel Query ganz automatisch mit Oracle 11g DBA Community: I/O-Durchsatzmessung mittels calibration unter Oracle 11g 44

45 Oracle Kundenumfrage Nehmen Sie an unserer Umfrage teil und gewinnen Sie ein Apple ipad! Fragebögen am Oracle Stand oder im Smartphone ausfüllen. Einfach den QR-Code scannen. 45

46 46

47 47