Oracle SQL für mehr Funktionalität und Performance

Transkript

1 Oracle SQL für mehr Funktionalität und Performance Ulrike Schwinn Oracle Deutschland B.V. & Co KG Systemberatung

2 Einige Oracle (SQL) Features die das programmieren erleichtern können PIVOT Clause Error Logging Multi Table Insert SQLcl Kommandos External Table Load/UnloadAPPROX_COUNT_DISTINCT() JSON Support Temporal Validity Flashback Identity Columns Row Limiting Clause SQL Result Cache Improved Automatic Degree of Parallelism Row Pattern Matching In-Database Archiving Regular Expressions Oracle Data Pump Export Views_As_TablesInvisible Columns Virtual Columns PL/SQL Result Cache Multiple Indexes on Same Set of Columns Analytical (Window) Functions Model Clause IGNORE_ROW_ON_DUPKEY_INDEX Hint APPEND_VALUES Hint

3 Agenda Applikationsanforderungen (mit SQL) genügen wie z.b. Flexibilität bei Spalten in der Applikation (Demo) Zeitbasierte Gültigkeit über die Datenbank realisieren (Demo) Anzahl der verschiedenen Spalteneinträge berechnen Schnell mal Testumgebung aufbauen Blättern in Applikationen (Demo) Laden von Daten optimieren...(demo) und dabei performanten und übersichtlichen Code verwenden

4 Anforderung I Spaltenanzahl ist variable Anwendung muss flexibel auf Spaltenanforderungen reagieren =>... mal mehr mal weniger Spalten... Lösungsansätze Tabellen Struktur mit DDL ändern über ALTER TABLE DROP COLUMN bzw. SET UNUSED ALTER TABLE ADD COLUMN Views generieren und Data Pump Export/Import nutzen (VIEWS_AS_TABLES) Feature Invisible Columns verwenden

5 Data Pump View anlegen create view dept_ohne_loc as select deptno, dname from dept; Beim Data Pump Export den Ausdruck VIEWS_AS_TABLES nutzen expdp directory=home VIEWS_AS_TABLES=scott.dept_ohne_loc dumpfile=dept_ohne.dmp impdp dumpfile=dept_ohne.dmp directory=home remap_schema=scott:sh Der Test select num_rows,owner,table_name from dba_tables where table_name like '%OHNE%'; NUM_ROWS OWNER TABLE_NAME SH DEPT_OHNE_LOC

6 Invisible Columns Spalten als INVISIBLE (Default ist VISIBLE) markieren Wirksam bei SELECT, DESCRIBE, ROWTYPE% und in Werkzeugen wie SQL Developer alter table emp modify job invisible; SQL> desc emp Name Null? Type EMPNO NOT NULL NUMBER(4) ENAME VARCHAR2(10) MGR NUMBER(4) HIREDATE DATE SAL NUMBER(7,2) COMM NUMBER(7,2) DEPTNO NUMBER(2)

7 Was sollte man wissen... Verfügbar in allen Editionen ab 12c Sichtbar machen in SQL*Plus mit colinvisible SQL> show colinvisible colinvisible OFF Unbedingt Spaltenreihenfolge beachten =>... nie select *... Speicherplatz wird weiterhin benötigt Möglich sind INSERTs mit Spaltennennung, Constraints, direkte Referenzierung Hinweis: Das gibt es übrigens auch für Indizes Demo

8 Anforderung II Zeilen archivieren - In-Database Archiving Systemgenerierte invisible Columns bestimmen den Zustand der Zeile Ausblenden von Spalten über Wertbelegung von ORA_ARCHIVE_STATE (ungleich 0) 1. alter table salesarch row archival; SQL> select column_name, data_type, hidden_column, char_length, user_generated from user_tab_cols where table_name ='SALESARCH'; 2. COLUMN_NAME DATA_TYPE HID CHAR_LENGTH USE ORA_ARCHIVE_STATE VARCHAR2 YES 4000 NO SYS_NC00008$ RAW YES 0 NO AMOUNT_SOLD NUMBER NO 0 YES update salesarch set ora_archive_state=1 where amount_sold>100;

9 Was sollte man wissen... Verfügbar in allen Editionen ab 12c Sichtbar machen in der Session mit ROW ARCHIVAL VISIBILITY alter session set row archival visibility = all; alter session set row archival visibility = active; Speicherplatz wird weiterhin benötigt Systemgenerierte Spalten sind nicht änderbar Beim Laden und Kopieren wird Eigenschaft nicht übertragen Zugriff erfolgt ohne Änderung am SQL Code ähnlich wie bei VPD Demo

10 Anforderung III Gültigkeit einer Tabellenzeile in der DB Zusätzliche Spalten in der Tabelle für"gültig Von" und "Gültig Bis" Abfrage "zu einem Zeitpunkt" gültiger Rows mit SQL Bei Änderungen werden Spalten "Gültig Von" und "Gültig Bis" geschrieben Abfragen erfassen nur "gültige" Zeilen

11 Temporal Validity zeitbasierte Gültigkeit Verfügbar in allen Editionen ab 12c Spalten (explizit/implizit) hinzufügen um Gültigkeit zu gewährleisten create table my_emp( empno NUMBER, last_name VARCHAR2(30), start_time TIMESTAMP, end_time TIMESTAMP, PERIOD FOR user_valid_time (start_time, end_time)); Spezielle Abfrage Syntax mit AS OF PERIOD oder mit Session Flashback select * from my_emp AS OF PERIOD FOR user_valid_time TO_TIMESTAMP('01-Jun-10'); DBMS_FLASHBACK_ARCHIVE.ENABLE_AT_VALID_TIME('ASOF', TO_TIMESTAMP('01-Jun-10')); Demo

12 Anforderung IV Unterschiedliche Einträge in den Spalten? Spontan... mit count distinct... SQL> select count(distinct (prod_id)) from sales; COUNT(DISTINCT(PROD_ID)) Data Dictionary USER_TAB_COLUMNS und Spalte NUM_DISTINCT SQL> select column_name, num_distinct from user_tab_columns where table_name='sales'; COLUMN_NAME NUM_DISTINCT PROD_ID 72 CUST_ID 7059 TIME_ID 1460

13 APPROX_COUNT_DISTINCT Alle skalare Datentypen sind möglich. SQL> select approx_count_distinct(distinct(prod_id))from sales; APPROX_COUNT_DISTINCT(DISTINCT(PROD_ID)) Plan hash value: Id Operation Name SELECT STATEMENT 1 SORT GROUP BY APPROX...

14 Anforderung V Top n Abfragen Die 10 billigsten Produkte... mit ROWNUM... select prod_id, prod_list_price from (select * from sh.products order by prod_list_price) where ROWNUM <= 10; Und jetzt noch blättern... ab 5 die nächsten... SELECT prod_id, prod_list_price FROM (SELECT prod_id, prod_list_price, rownum AS rnum FROM (SELECT prod_id, prod_list_price FROM products ORDER BY prod_list_price) WHERE rownum <= 10) WHERE rnum >= 5;

15 Row Limiting Klausel Neue Syntax [ OFFSET offset { ROW ROWS } ] [ FETCH { FIRST NEXT } [ { rowcount percent PERCENT } ] { ROW ROWS } { ONLY WITH TIES } ] Die 10 billigsten Produkte... mit ROWNUM... select prod_id, prod_list_price from sh.products order by prod_list_price fetch first 10 rows only Ab 5... die nächsten select prod_id, prod_list_price from sh.products order by prod_list_price offset 4 rows fetch next 6 rows only Demo

16 Anforderung VI Testtabellen erzeugen... Es gibt viele Möglichkeiten wie z.b: Data Pump, DDL erzeugen und INSERTs Oder auch SQLcl

17 Testtabellen erzeugen mit SQLcl Zur Formatierung execute dbms_metadata.set_transform_param( transform_handle => dbms_metadata.session_transform, name =>'SEGMENT_ATTRIBUTES', value => false ); DDL erzeugen ddl emp emp_spool.sql INSERTs erzeugen set sqlformat INSERT select * from "EMP" offset 5 rows fetch next 2 rows only; Demo

18 Anforderung VII Resultate im Buffer speichern Query und PL/SQL Result Caches EigenerCacheimShared Pool Einfache Form des Tunings für SQL-Abfragen und PL/SQL-Funktionen Gedacht für: Sich wiederholende Abfragen Abfragen mit kleinen Ergebnismengen Langlaufende Abfragen mit teuren Berechnungen Automatischer Refresh bei Daten-Änderungen Einfaches Setup und Monitoring der Nutzung Beachte: EE erforderlich

19 Für SQL Abfragen DBA konfiguriert die Technik über die RESULT_CACHE_XXX Parameter Nutzung: Session Parameter RESULT_CACHE_MODE alter session set result_cache_mode=force; Einstellung RESULT_CACHE in der Tabellendefinition ALTER TABLE tabelle RESULT_CACHE (MODE FORCE); Über Hint RESULT_CACHE select /*+ RESULT_CACHE*/ * from tabelle;

20 Result Cache Query Hints

21 PL/SQL Function Result Cache Result Cache für (cross session) PL/SQL Funktionen nur vom Entwickler Häufige Ausführung Informationen, die sich selten ändern Ohne... CREATE OR REPLACE FUNCTION customer_sales (cust_id_in IN number) RETURN number Mit... IS CREATE OR REPLACE FUNCTION customer_sales (cust_id_in IN number) RETURN number result_cache IS

22 PL/SQL Function Result Cache... bitte beachten... Nur gespeicherte Funktionen sind möglich => keine anonymen Blöcken und auch keine Pipelined Table Function Funktionen müssen deterministisch sein Dictionary Tables, Temporary Tables, Sequences sind nicht erlaubt Nicht erlaubt sind: OUToderINOUTParameter IN Parameter: LOBs, REF CURSOR, Collections, Objekte oder Recs Return Typ: LOB, REF CURSOR, Objekt oder Record

23 Anforderung VIII Effizientes und performantes DML Wo kann man optimieren? Tabellenscans, Redo-Erzeugung, Datenmenge, Verarbeitung,... Technologien Direktes Laden (Direct LOAD) Parallele Operationen Bulk Loads Spezielles SQL

24 SQL Techniken zum Laden von Daten Multi Table Insert Ein Statement fügt Daten gleichzeitig in mehrere Ziel-Tabellen ein External Table Daten liegen ausserhalb der Datenbankzum Laden und auch Entladen der Daten Merge Statement KombiniertmehrereOperationen: ZurVermeidungvon mehrereninsert, Update und Delete Operationen DML Error Logging Fehler Logging mit SQL

25 Error Logging Steven Feuerstein Nine Good-to-Knows about PL/SQL Error Management

26 Error Logging Analog SQL*Loader-Verhalten für INSERT, UPDATE, DELETE und MERGE Logging-Tabelle kann mit Package DBMS_ERRLOG erzeugt werden dbms_errlog.create_error_log(dml_table_name=>'emp',err_log_table_name=>'fehler') REJECT-Option unterstützt das Zurückrollen des Statements bei Fehleranzahl-Überschreitung INSERT INTO emp SELECT * FROM emp LOG ERRORS INTO fehler REJECT LIMIT UNLIMITED; 9 rows created

27 Immer Log Tabelle prüfen! SQL> select empno, deptno, ORA_ERR_NUMBER$, ORA_ERR_MESG$ from fehler; EMPNO DEPTN ORA_ERR_NUMBER$ ORA_ERR_MESG$ ORA-00001: unique constraint (SCOTT.PK_EMP) violated ORA-00001: unique constraint (SCOTT.PK_EMP) violated... Demo

28 Ein paar nützliche Hints IGNORE_ROW_ON_DUPKEY_INDEX (tabelle(spalte)) ignoriert Unique Key Violation und führt Row-level Rollback durch CHANGE_DUPKEY_ERROR_INDEX ORA stattora-001 beiunique Key Violation ENABLE_PARALLEL_DML Parallel DML im SQL Statement(ab 12c) APPEND_VALUES Direct-Path INSERT mit VALUES Klausel RESULT_CACHE Cachen des Resultats einer Query Demo

29 Zum Schluss ein paar Tipps... Evaluiere neue SQL und PL/SQL Features Nutze überschaubaren SQL (PL/SQL) Code Nicht vergessen: Verwendetes SQL und PL/SQL monitoren: Ausführungszeiten, Ausführungspläne, PL/SQL hierarchical Profiler Gute Infos im Internet über Twitter und Blogs Beispiel: Blog Serie Write Less with More

30