Parallelisierung. Grundlagen und Nutzung. Stefan Seck Solution Engineer Inforsacom Logicalis GmbH. Düsseldorf,

Größe: px

Ab Seite anzeigen:

Download "Parallelisierung. Grundlagen und Nutzung. Stefan Seck Solution Engineer Inforsacom Logicalis GmbH. Düsseldorf,"

Christian Grosse
vor 6 Jahren
Abrufe

1 Parallelisierung Grundlagen und Nutzung Stefan Seck Solution Engineer Inforsacom Logicalis GmbH Düsseldorf,

2 Inforsacom Logicalis Über Ca. Umsatz im Fiskaljahr Mitarbeiter in Deutschland Niederlassungen in Über Kunden aus dem privaten und öffentlichen Bereich

Ein international einheitliches Solutions-, Services- und Cloud-Angebot Nordamerika Lateinamerika

(Kanalinseln) Rechenzentren Lateinamerika São Paulo (Brasilien) Asien-Pazifik-Raum Shanghai (China)

Center Europa Slough (UK) Jersey (Kanalinseln) Cardiff (UK) München (Deutschland) Köln (Deutschland)

(Brasilien) Buenos Aires (Argentinien) Asien-Pazifik-Raum Shanghai (China) Cyberjaya (Malaysia) Kuala Lumpur

Bolivien, Chile, Kolumbien, Ecuador, Mexiko, Peru, Paraguay und Uruguay Niederlassungen Großbritannien,

3 Ein international einheitliches Solutions-, Services- und Cloud-Angebot Nordamerika Lateinamerika Nordamerika Cincinnati (US) Phoenix (US) Edison (US) Dayton (US) Europa Slough (UK) Bracknell (UK) Guernsey (Kanalinseln) Rechenzentren Lateinamerika São Paulo (Brasilien) Asien-Pazifik-Raum Shanghai (China) Cyberjaya (Malaysia) Sydney (Australien) Europa Nordamerika Cincinnati (US) Detroit (US) Managed Services Center Europa Slough (UK) Jersey (Kanalinseln) Cardiff (UK) München (Deutschland) Köln (Deutschland) Rijswijk (Niederlande) Madrid (Spanien) Barcelona (Spanien) Asien-Pazifischer-Raum Lateinamerika São Paulo (Brasilien) Buenos Aires (Argentinien) Asien-Pazifik-Raum Shanghai (China) Cyberjaya (Malaysia) Kuala Lumpur (Malaysia) Singapur Taipei (Taiwan) Niederlassungen USA (über 20) Niederlassungen Brasilien, Argentinien, Bolivien, Chile, Kolumbien, Ecuador, Mexiko, Peru, Paraguay und Uruguay Niederlassungen Großbritannien, Irland, Niederlande, Spanien, Kanalinseln und Deutschland Niederlassungen Australien, Singapur, Taiwan, Malaysia, Indonesien, China und Hongkong

4 Agenda Einführung Überblick parallelisierte Ausführungen Einstellungen und Parameter Zusammenfassung 3

5 4 Einführung

6 Einführung parallelisierte Ausführungen Eingeführt mit Oracle v7 Ziel: Reduzierung der Ausführungsdauer großer Abfragen Nutzung zusätzlicher bereitgestellter Prozesse Arbeitet am Buffer Cache vorbei, direkt von Disk (Direct Path Read) Funktionalität der Oracle Enterprise Edition 5

7 Einführung parallelisierte Ausführungen Große Datenmengen in kürzerer Zeit verarbeiten Parallelisierte Ausführungen können alle vorhandenen Resourcen besser nutzen CPU I/O Channel Storage Einheiten Mehrere Nodes / Cluster DWH und Batchläufe in OLTP Applikationen können profitieren 6

8 Beispiel: Einfache Rechenaufgabe Seriell: = = = = = = = 42 7

9 Beispiel: Einfache Rechenaufgabe Parallel: = = = = = = = 42 8

10 Überblick parallelisierte Ausführungen

11 Parallelisierte Ausführungen Serielle Ausführung 10

12 Parallelisierte Ausführungen Parallele Ausführung 11

13 QC und PX Server QC Query Coordinator Koordiniert die parallele Ausführung Verteilt die Arbeit an die PX Server Führt alle Schritte durch, die nicht parallelisierbar sind Empfängt die Einzelergebnisse der PX Server PX Server Aus einem Pool von Prozessen heraus genutzt Arbeiten Teilbereiche ab Kommunizieren untereinander und mit dem QC 12

14 QC und PX Server QC PX Server 13

15 QC und PX Server SQL Monitoring des EM liefert das auch in bunt Achtung: Oracle Tuning Pack zu lizensieren! Quelle: 14

16 Producer / Consumer Model Parallele Prozesse arbeiten in Sets Ein Set liest die Zeilen (Producer) Sammeln und Filtern Ergebnis an Consumer schicken Ein Set empfängt und verarbeitet die Zeilen (Consumer) Empfangen von Zeilen der Producer Weitere Verarbeitung (Join-Operationen) Einfache bzw. partitionsweise Abfragen werden nicht in Sets verarbeitet 15

17 Producer / Consumer Model Einfache Abfrage 16

18 Producer / Consumer Model Komplexere Abfrage 17

19 Granules Kleinste Einheit, mit der Daten verarbeitet werden block-based Granules Entsprechen einem oder mehreren physikalischen Blöcken einer Tabelle Die Größe und Anzahl wird zur Laufzeit berechnet Optimaler und ausbalancierter Zugriff PX BLOCK ITERATOR partition-based Granules Entsprechen einer Partition Eine Partition wird von einem PX Server verarbeitet PX PARTITION RANGE ALL oder PX PARTITION RANGE 18

20 Data Redistribution Komplexere Abfrage 19

21 Data Redistribution Serielle Join Abfragen Join Scan Scan Customer Sales 20

22 Data Redistribution Parallele Join Abfragen Join Join Scan Scan Scan Scan Customer Sales 21

23 InMemory Parallele Ausführungen Oracle nutzt dabei keine Direct Path Reads Abhängig von Größe des Objekts und des Buffer Caches, werden die benötigten Blöcke in den Buffer Cache geladen Im RAC wird dabei cache-fusion abgeschaltet. Quasi ein InMemory Shared-Nothing 22

24 Einstellungen und Parameter

25 Einstellungen für parallelisierte Abfragen Für Queries und DDL per default aktiviert Für DML muss es noch aktiviert werden ALTER SESSION ENABLE PARALLEL DML; ALTER SYSTEM ENABLE PARALLEL DML; Es geht im Grunde um 3 Parameter parallel_degree_policy parallel_max_server parallel_server_target 24

26 parallel_degree_policy PARALLEL_DEGREE_POLICY = Auto / Limited / Manual AUTO Oracle aktiviert Auto DOP, statement queuing und in-memory parallel execution Oracle berechnet selbst, ob und wie parallelisiert werden soll Zuvor muss DBMS_RESOURCE_MANAGER.CALIBRATE_IO() gelaufen sein. Achtung: Nicht bei Exadata ausführen. Limited Kein statement queuing und in-memory parallel execution Parallelisierte Abfragen nur bei Objekten mit parallel Degree 25

27 Weitere relevante Parameter PARALLEL_MAX_SERVERS = PARALLEL_THREADS_PER_CPU * CPU_COUNT * concurrent_parallel_users * 5 Concurrent_parallel_users is derived from memory settings. Use a value of 1 if automatic memory management is disabled. Use a value of 2 if PGA automatic memory management is enabled. Use a value of 4 if Global memory management or SGA memory target are used with PGA automatic memory management. PARALLEL_SERVERS_TARGET = PARALLEL_THREADS_PER_CPU * CPU_COUNT * concurrent_parallel_users * 2 PARALLEL_MIN_TIME_THRESHOLD = AUTO Nur bei parallel_degree_policy = Auto /Limited PARALLEL_FORCE_LOCAL 26

28 Parallel Statement Queueing Hints /*+ NO_STMT_QUEUING */ /*+ STMT_QUEUING */ Wait Event: resmgr:pq queued Status abfragen SELECT s.sql_id, s.sql_text FROM v$sql_monitor m, v$sql s WHERE status='queued AND m.sql_id = s.sql_id; 27

29 Database Resource Manager Parallelität lässt sich durch parallel_degree_limit einstellen Nachteil: es gilt systemweit Alternativ lässt sich der DBRM nutzen, um verschiedene Gruppen aufzubauen exec dbms_resource_manager.create_plan( plan => 'LIMIT_DOP', comment => 'Limit Degree of Parallelism'); exec dbms_resource_manager.create_plan_directive(plan=> 'LIMIT_DOP', - group_or_subplan =>'OTHER_GROUPS', - comment => 'limits the parallelism', parallel_degree_limit_p1=> 4); 28

30 Monitoring paralleler Ausführungen Enterprise Manager SQL Monitoring Sqlplus o.ä. V$SQL_MONITOR V$$PX_SESSION V$PX_SESSTAT V$PX_PROCESS V$PX_PROCESS_SYSSTAT V$PQ_TQSTAT 29

31 30 Fazit

32 Fazit Parallelisierte Ausführungen können die Dauer von Statements dramatisch reduzieren Anzahl der PX Server ist entscheidend Zu wenig ist nicht gut Zu viel ist auch nicht gut Kommunikations zwischen den PX Server erfordert Overhead Kennen sie ihre Datenbank und die Workload Ziel: Alle Resourcen gleichmäßig ausnutzen 31

33 Links Using Parallel Execution (Doc ID ) Setup, Monitor, And Tune Parallelism In The Database (Doc ID ) How to Limit the Parallel Degree for PX Queries with Resource Manager (Doc ID ) Database VLDB and Partitioning Guide 32

34 Vielen Dank Stefan Seck Solution Engineer Inforsacom Logicalis GmbH Tel: Mobil:

Ähnliche Dokumente

DOAG 2015. Demo Kino: Advisors, Monitoring Werkzeuge in der Datenbank Ulrike Schwinn Business Unit Database Oracle Deutschland B.V.

DOAG 2015. Demo Kino: Advisors, Monitoring Werkzeuge in der Datenbank Ulrike Schwinn Business Unit Database Oracle Deutschland B.V. DOAG 2015 Demo Kino: Advisors, Monitoring Werkzeuge in der Datenbank Ulrike Schwinn Business Unit Database Oracle Deutschland B.V. & Co KG Monitoring Werkzeuge, Advisors... Einfaches Framework zum Monitoring