WITH or WITHout you - Komfort-SQL in Oracle 12c. Dr.-Ing. Holger Friedrich

Transkript

1 WITH or WITHout you - Komfort-SQL in Oracle 12c Dr.-Ing. Holger Friedrich

2 Agenda Vorstellung Komfort-SQL WITH-Clause Scalar Sub-Selects Temporal SQL Zusammenfassung!2

3 sumit AG Bietet Beratungs- & Implementierungs- dienstleistungen in der Schweiz Experten für Data Warehousing und Business Intelligence Lösungen Fokussiert auf Oracle-Technologie BI Foundation specialized -Partner Data Warehousing specialized -Partner Exalytics-Kompetenzzentrum mit eigenem Server Unser Motto: Get Value From Data Besuchen sie unsere Web-Site:

4 Holger Friedrich Informatikdiplom des Karlsruhe Institute of Technology (KIT) Doktorgrad in Robotik und Machine Learning Mehr als 15 Jahre Erfahrung mit Oracle-Technologie Experte für Data Integration Data Warehousing, Data Mining und Business Intelligence Technischer Direktor der sumit AG! Einziger Oracle ACE für DWH/BI in der Schweiz!4

5 Agenda Vorstellung Komfort-SQL WITH-Clause Scalar Sub-Selects Temporal SQL Zusammenfassung!5

6 Etwas SQL-Historie SQL = Structured Query Language Data Definition Language (DDL) Data Manipulation Language (DML) Implementiert Datenabfrage im Geist des 'Relational Model' von Edgar F. Codd ( ) Standardisiert durch das ANSI 1986 und ISO 1987 Viele Dialekte Viele (Teil-)Implementierungen des Standard Erweiterungen: SQL-86, SQL-89, SQL-92, SQL:1999, SQL:2003, SQL:2008, SQL:2011!6

7 Komfort SQL-Erweiterungen SQL-99: WITH [RECURSIVE] GROUP BY extension with ROLLUP, CUBE, and GROUPING SETS SQL:2003 Window-Funktion (auch analytisch) MERGE Auto-Increment-Spalten SQL:2008 XQuery-Erweiterungen Partitioned Joins SQL:2011 Temporal SQL!7

8 Was Bedeutet Komfort-SQL? Für den Benutzer Komplexe Syntax Mächtige Funktionalität Viele Freiheitsgrade! Für die Datenbank Komplexeres Parsing Komplexere Implementierung Schwierigere Transformation Schwierigere Planoptimierung!8

9 Des Optimzers Job!9

10 Optimizer-Transformationen OR Expansion - Rewrite OR zu UNION ALL View Merging - Merge View in FROM-clause in umgebenden Query Predicate Pushing - Führe Prädikatauswertung in innerem Query aus Subquery Unnesting - Merge View in WHERE-clause in umgebenden Query Query Rewrite with Materialized Views - Nutze MView, statt Detailtabellen Star Transformation - Eliminiere Joins in Star Schemata, wenn möglich Table Expansion - Rewrite zu UNION ALL, Unterschiedlicher Partitionszugriff Join Factorization - Erweitere Query für gemeinsame Teile von UNION ALL Join Elimination - Entfernen redundanter Joins! => all diese Transformationen werden kombiniert eingesetzt!10

11 Beispiel View-Merge SELECT e.first_name, e.last_name, dl_v.street_address, dl_v.postal_code FROM employees e, ( SELECT d.department_id, d.department_name, l.street_address, l.postal_code FROM departments d, locations l WHERE d.location_id = l.location_id ) dl_v WHERE dl_v.department_id = e.department_id AND e.last_name = 'Smith'; SELECT e.first_name, e.last_name, l.street_address, l.postal_code FROM employees e, departments d, locations l WHERE d.location_id = l.location_id AND d.department_id = e.department_id AND e.last_name = 'Smith';!11

12 Beispiel Predicate Pushing SELECT last_name FROM ( SELECT employee_id, last_name, job_id, commission_pct, department_id FROM employees UNION SELECT employee_id, last_name, job_id, commission_pct, department_id FROM contract_workers ) all_employees_vw WHERE department_id = 50; SELECT last_name FROM ( SELECT employee_id, last_name, job_id, commission_pct, department_id FROM employees WHERE department_id=50 UNION SELECT employee_id, last_name, job_id, commission_pct, department_id FROM contract_workers WHERE department_id=50 );!12

13 Agenda Vorstellung Komfort SQL WITH-Clause Scalar Sub-Selects Temporal SQL Zusammenfassung!13

14 WITH - Syntax und Hintergrund Query-Subfactoring! herauslösen/trennen von Subqueries Optimiser kann entscheiden, ob er eine temporäre Tabelle nutzt oder den Query-Block in den Hauptquery mergt Einfache Syntax: WITH <alias_name> AS (subquery_sql_statement) SELECT <column_name_list> FROM <alias>;!!14

15 WITH - Vorteile Modularer, übersichtlicher Code. Mehrere With-Blöcke können in einem Statement verwendet werden => noch höhere Modularisierung Reuse eines With-Blocks im Haupt-Statement => Pflege komplexer Sub-Statements nur an einer Stelle eines Queries Rekursive Nutzung von With-Blöcken Abwälzen von Design-Entscheidungen auf den Optimiser!15

16 WITH - Häufig Beobachtete Nutzung Entwickler werden sehr kreativ bei der Nutzung der WITH-Klausel Teams erzeugen generische Building Blocks für ihre Report Factory' Oft folgen Berichte diesem Muster:! WITH alias1 AS (SELECT c1, c2, c3,..., cm FROM t1, t2,... tl...), alias2 AS (SELECT c1, c2, c3,..., cm FROM alias1, t1,... tk...) SELECT * from aliasn WHERE ;!16

17 Join Elimination mit View Merge -- vmerge simple w attr repl select e1.ename, v.hiredate, v.dname from emp e1, (select e2.empno, e2.hiredate, d.dname from emp e2, dept d where e2.deptno = d.deptno) v where e1.empno = v.empno ; Id Operation Name E-Rows E-Bytes Cost (%CPU) E-Time SELECT STATEMENT (17) 00:00:01 1 MERGE JOIN (17) 00:00:01 2 TABLE ACCESS BY INDEX ROWID DEPT (0) 00:00:01 3 INDEX FULL SCAN PK_DEPT 4 1 (0) 00:00:01 * 4 SORT JOIN (25) 00:00:01 5 TABLE ACCESS FULL EMP (0) 00:00: !17

18 Join Elimination mit WITH-Clause -- with two small tables with v as (select e2.empno, e2.hiredate, d.dname from emp e2, dept d where e2.deptno = d.deptno) select e1.ename, v.dname from emp e1, v where e1.empno = v.empno; Id Operation Name E-Rows E-Bytes Cost (%CPU) E-Time SELECT STATEMENT (17) 00:00:01 1 MERGE JOIN (17) 00:00:01 2 TABLE ACCESS BY INDEX ROWID DEPT (0) 00:00:01 3 INDEX FULL SCAN PK_DEPT 4 1 (0) 00:00:01 * 4 SORT JOIN (25) 00:00:01 5 TABLE ACCESS FULL EMP (0) 00:00: !18

19 WITH - Rekursive Nutzung (I) -- with two small tables, recursive reuse with emp1 (empno, ename, hiredate, deptno, comm) as (select e2.empno, e2.ename, e2.hiredate, e2.deptno, b.comm from emp e2, bonus b where e2.ename = b.ename (+)), dep (empno, ename, dname) as (select e2.empno as empno, e2.ename as ename, d.dname as dname from emp1 e2, dept d where e2.deptno = d.deptno) select emp1.ename, emp1.comm, dep.dname from emp1, dep where emp1.empno = dep.empno;!19

20 WITH - Rekursive Nutzung (II) Id Operation Name Rows Bytes Cost (%CPU) Time SELECT STATEMENT (16) 00:00:01 1 TEMP TABLE TRANSFORMATION 2 LOAD AS SELECT SYS_TEMP_... * 3 HASH JOIN OUTER (17) 00:00:01 4 TABLE ACCESS FULL EMP (0) 00:00:01 5 TABLE ACCESS FULL BONUS (0) 00:00:01 * 6 HASH JOIN (25) 00:00:01 7 MERGE JOIN (20) 00:00:01 8 TABLE ACCESS BY INDEX ROWID DEPT (0) 00:00:01 9 INDEX FULL SCAN PK_DEPT 4 1 (0) 00:00:01 * 10 SORT JOIN (34) 00:00:01 11 VIEW (0) 00:00:01 12 TABLE ACCESS FULL SYS_TEMP_ (0) 00:00:01 13 VIEW (0) 00:00:01 14 TABLE ACCESS FULL SYS_TEMP_ (0) 00:00:01 Keine Join Elimination mehr Potentiell Ressourcenverschwendung!20

21 WITH - Erweiterungen in 12c Kapselung von PL/SQL-Logik in der WITH-Clause Nutzung der Logik im Haupt-Query Beispiel:! WITH FUNCTION get_domain(url VARCHAR2) RETURN VARCHAR2 IS pos BINARY_INTEGER; len BINARY_INTEGER; BEGIN pos := INSTR(url, ' len := INSTR(SUBSTR(url, pos + 4), '.') - 1; RETURN SUBSTR(url, pos + 4, len); END; SELECT DISTINCT get_domain(catalog_url) FROM product_information; /!21

22 WITH - Fallstricke Software Engineering: ändert sich die fachliche Logik für eine Abfrage müssen alle erstellten Abfragen durchforstet werden und alle WITH-Clause-Fragmente geändert werden => Für eine Report Factory besser DB-Views oder MViews verwenden! Performance: Building Blocks aus WITH-Block-Fragmenten beinhalten zumeist Redundanzen Potentiell überflüssiger Ressourcen-Verbrauch I/O RAM CPU!22

23 WITH - Fazit Die WITH-Clause ist eine sehr mächtige und nützliche Funktion der Sprache SQL. Der Oracle Optimizer macht einen guten Job Aber es gibt Grenzen Die Integration von PL/SQL in WITH-Blöcke in 12c ist eine hervorragende Erweiterung.! Aber, es ist bei der Nutzung der WITH-Clause Vorsicht geboten Viele WITH-Blöcke, rekursives verwenden und (self-)joinen führt oftmals zu Materialisierung => Join-Elimination und Join-Predicate-Pushdown gehen verloren Exzessive Anwendung von WITH-Clause-Fragmenten als Building Blocks vermeiden Overhead von mehr als 50% Arbeit zu viel leider keine Seltenheit.!23

24 Agenda Vorstellung Komfort SQL WITH-Clause Scalar Sub-Selects Temporal SQL Zusammenfassung!24

25 Scalar Sub-Select Verwendung eines Sub-Queries (Inline View)! zur Filterung in einer WHERE-Clause zur Attributberechung in der SELECT-Clause Beispiel: select cust_id, cust_last_name, cust_first_name, (select sum(amount_sold*quantity_sold) from my_sales s where s.cust_id = c.cust_id) from my_customers c where c.country_id in (select country_id from my_countries where country_name like 'United States of America');!!25

26 SSS - Bearbeitungsstrategien FILTER Loop Auswertung des Hauptquery Schleife über Scalar Sub- Select für jede Zeile des Hauptqueries Aufwand exponentiell Sehr ineffizient Pre-12c Strategie des Optimizers! MERGE-Transformation in Hauptquery Resultiert in Outer Join Plan je nach Kosten Aufwand, so als ob man gleich einen effizienten Query geschrieben hätte So effizient wie möglich Strategie des Optimizers ab Release 12c!26

27 SSS in Id Operation Name Rows Bytes Cost (%CPU) Time SELECT STATEMENT K 426 (1) 00:00:01 1 SORT AGGREGATE 1 39 * 2 TABLE ACCESS FULL MY_SALES K 1229 (1) 00:00:01 * 3 HASH JOIN RIGHT SEMI K 426 (1) 00:00:01 * 4 TABLE ACCESS FULL MY_COUNTRIES (0) 00:00:01 5 TABLE ACCESS FULL MY_CUSTOMERS K 423 (1) 00:00: Predicate Information (identified by operation id): filter("s"."cust_id"=:b1) 3 - access("c"."country_id"="country_id") 4 - filter("country_name"='united States of America') Keine Transformation auf dem Sub-Select => FILTER loop Sehr ineffiziente Bearbeitung!27

28 Scalar Sub-Select - Demo!28

29 SSS in Id Operation Name Rows Bytes Cost (%CPU) Time SELECT STATEMENT K 1658 (1) 00:00:01 1 HASH GROUP BY K 1658 (1) 00:00:01 * 2 HASH JOIN OUTER K 1657 (1) 00:00:01 * 3 HASH JOIN RIGHT SEMI K 426 (1) 00:00:01 * 4 TABLE ACCESS FULL MY_COUNTRIES (0) 00:00:01 5 TABLE ACCESS FULL MY_CUSTOMERS K 423 (1) 00:00:01 6 TABLE ACCESS FULL MY_SALES 743K 27M 1230 (1) 00:00: Predicate Information (identified by operation id): access("s"."cust_id"(+)="c"."cust_id") 3 - access("c"."country_id"="country_id") 4 - filter("country_name"='united States of America') Keine FILTER loop mehr, stattdessen OUTER JOIN (Hash) In der Ausführung wesentlich effizienterer Plan!29

30 Fallstrick bei Nutzung des Lookup-Operators Option Multiple-Rows erzeugt Scalar Sub-Select in SELECT Clause, wenn Single Row gewählt wird Führt zu sehr schlechter Performance Lösung: Option All Rows im Lookup belassen Danach mit Expression und Analytic Function gewünschte Zeilen markieren Anschliessend diese filtern In den weiteren Datenstrom zurückführen Ergibt Outer Join statt Filter Loop => gute Performance SSS und Oracle Warehouse Builder!30

31 Scalar Sub-Select and OWB - Demo!31

32 Agenda Vorstellung Komfort SQL WITH-Clause Scalar Sub-Selects Temporal SQL Zusammenfassung!32

33 Temporal SQL in 12c Erlaubt die Abfrage gültiger Datensätze entlang von Zeitdimensionen Vereinfachte Formulierung von Queries! Vorgehen: Definition einer ZeitdimensDatesf einer Tabelle Setzen einer gültigen Zeitdimension Abfragen der Datenmenge, die zum gesetzten Zeitpunkt oder dem gesetzten Zeitraum gültig ist!!33

34 Temporal SQL - Demo!34

35 Agenda Vorstellung Komfort SQL WITH-Clause Scalar Sub-Selects Temporal SQL Zusammenfassung!35

36 Zusammenfassung Oracle SQL wurde in 12c um kraftvolle Funktionen erweitert weiter dem ANSI-Standard angepasst Der Oracle Optimizer wurde um weitere Transformationen erweitert kann deshalb noch bessere Ausführungsstrategien finden Die angebotenen Komfort-SQL-Funktionen erlauben übersichtlichere und mächtigere Queries zu schreiben Aber gutes Software Engineering bleibt notwendig tiefes Wissen über die Datenbankengine ist unbezahlbar!!36