Oracle DB 12c für Entwickler

Transkript

1

2 Oracle DB 12c für Entwickler Oliver Zandner System-Berater f. Oracle DB-Technologie

3 Was erwartet Sie? Neuerungen in Oracle DB 12c : Developer-Features Features in SQL & PL/SQL, mit denen Sie Standardaufgaben effizienter erledigen (ab DB ) Pattern Matching via SQL (ab DB ) JSON in der Datenbank (ab DB ) Noch fein-granularere Rechte-Vergabe in PL/SQL (Code-Based Access-Control) (ab DB ) 3

4 Oracle12c für den Entwickler Standardaufgaben schneller und einfacher erledigen 4

5 Identity Columns Bisher create table tab_kunden ( id number(10) primary key name varchar2(200) : ); create sequence seq_kunden start with 1 increment by 1; Oracle12c create table kunden_tab( id number(10) primary key generated always as identity start with 1 increment by 1, name varchar2(200) : ); create or replace trigger tr_pk_kunden before insert on tab_kunden for each row begin :new.id := seq_kunden.nextval; end;

6 SQL "Row Limit" Klausel Sortiere nach "SAL" absteigend und gib die ersten 5 Zeilen zurück SELECT empno, ename, sal FROM ( SELECT empno, ename, sal FROM emp ORDER BY sal DESC ) WHERE rownum <= 5; Sortiere nach "SAL" absteigend, überspringe 3 Zeilen und gib dann die nächsten drei Zeilen zurück SELECT empno, ename, sal FROM ( SELECT rownum zeile, empno, ename, sal FROM ( SELECT empno, ename, sal FROM emp ORDER BY sal DESC ) ) WHERE zeile BETWEEN 4 AND 6;

7 SQL "Row Limit" Klausel Sortiere nach "SAL" absteigend und gib die ersten 5 Zeilen zurück SELECT empno, ename, sal FROM emp ORDER BY sal DESC FETCH FIRST 5 ROWS ONLY; Sortiere nach "SAL" absteigend, überspringe 3 Zeilen und gib dann die nächsten drei Zeilen zurück SELECT empno, ename, sal FROM emp ORDER BY sal DESC OFFSET 3 ROWS FETCH FIRST 3 ROWS ONLY;

8 VARCHAR-Spalten nun bis 32K Grenze damit analog zu PL/SQL Verwendung aller SQL-Funktionen möglich Einmaliger Setup der Datenbank erforderlich (mit dem DBA) MAX_STRING_SIZE = EXTENDED Skript $ORACLE_HOME/rdbms/admin/utl32k.sql ausführen create table TAB_KUNDEN ( id number generated as identity, first_name varchar2(30), last_name varchar2(30), first_order date, kommentare varchar2(32767) );

9 PL/SQL WITH Klausel Die Funktion existiert nur für diese SQL-Abfrage Keine Persistenz im Data Dictionary WITH FUNCTION get_domain(url VARCHAR2) RETURN VARCHAR2 IS pos BINARY_INTEGER; len BINARY_INTEGER; BEGIN pos := INSTR(url, ' len := INSTR(SUBSTR(url, pos + 4), '.') - 1; RETURN SUBSTR(url, pos + 4, len); END; SELECT DISTINCT get_domain(catalog_url) FROM orders;

10 Oracle12c für den Entwickler Versionierung von Daten-Sätzen via Gültigkeits-Zeitraum (Temporal Validity) 10

11 Valid Time Temporal Management der Gültigkeit einer Tabellenzeile über zusätzliche Spalten Gültig Von" und "Gültig Bis" SQL Abfrage "zu einem Zeitpunkt" gültiger Rows Nützlich für ILM oder Flashback-Abfragen Bei Änderungen werden Spalten "Gültig Von" und "Gültig Bis" geschrieben Abfragen erfassen nur "gültige" Zeilen

12 Valid Time Temporal... Beispiel ALTER TABLE emp_neu ADD PERIOD FOR emp_valid_track; Table created. SELECT column_name, hidden_column, data_type FROM user_tab_cols WHERE table_name='emp_neu' COLUMN_NAME HID DATA_TYPE EMP_VALID_TRACK YES NUMBER EMP_VALID_TRACK_END YES TIMESTAMP(6) WITH TIME ZONE EMP_VALID_TRACK_START YES TIMESTAMP(6) WITH TIME ZONE... EMPNO NO NUMBER

13 Valid Time Temporal... Beispiel INSERT INTO emp_neu (empno, ename, EMP_VALID_TRACK_START, EMP_VALID_TRACK_END) VALUES (103, 'Davis', to_timestamp('01-jan-12'), null); UPDATE emp_neu SET EMP_VALID_TRACK_END = to_timestamp('01-feb-12') WHERE empno = 103; INSERT INTO emp_neu (empno, ename, EMP_VALID_TRACK_START, EMP_VALID_TRACK_end) VALUES (103, 'Miller', to_timestamp('02-feb-12'), null); SELECT * from emp_neu AS OF PERIOD FOR emp_valid_track SYSDATE WHERE empno = 103; EMPNO ENAME JOB MGR SAL DEPTNO Miller SELECT * from emp_neu AS OF PERIOD FOR emp_valid_track TO_TIMESTAMP('20-Jan-12') WHERE empno = 103; EMPNO ENAME JOB MGR SAL DEPTNO Davis

14 Weitere Details Oracle-Dokumentation Band "Database Administration Abschnitt "1.9.4 Temporal Validity Support", fns_design.htm#adfns967 Band "Database VLDB and Partitioning Guide", Abschnitt "Controlling the Validity and Visibility of Data in Oracle Database": 3 Blog-Artikel von Carsten Czarski: emporal 14

15 Oracle12c für den Entwickler Neue Analysemöglichkeiten: SQL Pattern Matching 15

16 SQL Pattern Matching Finde V-Muster" im Kursverlauf einer Aktie Wann beginnt das Muster? Wann endet das Muster? Welcher Aktienkurs? Muster innerhalb einer Woche? Doku:

17 SQL Pattern Matching SELECT * FROM Ticker MATCH_RECOGNIZE ( PARTITION BY symbol ORDER BY tstamp MEASURES STRT.tstamp AS start_tstamp, LAST(DOWN.tstamp) AS bottom_tstamp, LAST(UP.tstamp) AS end_tstamp ONE ROW PER MATCH AFTER MATCH SKIP TO LAST UP PATTERN (STRT DOWN+ UP+) DEFINE DOWN AS DOWN.price < PREV(DOWN.price), UP AS UP.price > PREV(UP.price) ) MR ORDER BY MR.symbol, MR.start_tstamp; SYMBOL START_TST BOTTOM_TS END_TSTAM ACME 05-APR APR APR-11 ACME 10-APR APR APR-11 ACME 14-APR APR APR-11

18 SQL Pattern Matching Ein weiteres Beispiel: Apache-Logdatei als externe Tabelle:w select * from exttab_webserver_log; CLIENT_IP ZEITSTEMPEL REQUEST HTTP_CODE :30:10 POST /pls/htmld :30:34 POST /pls/htmld :30:46 GET /pls/htmldb :30:46 GET /pls/htmldb :30:59 GET /pls/htmldb :30:59 GET /pls/htmldb : : : : Skript zum Erzeugen:

19 SQL Pattern Matching: Ein Beispiel CLIENT_IP ZEITSTEMPEL HTTP_CODE CONTENT_LENGTH REQUEST :16:57, : POST /pls/htmldb/wwv_flow.show HTTP/ :17:00, : GET /pls/htmldb/ical HTTP/ :17:00, : POST /pls/htmldb/wwv_flow.show HTTP/ :17:00, : GET /pls/htmldb/ical HTTP/ :17:11, : GET /pls/htmldb/f?p=4350:22: ::no::: HTTP/ :17:15, : GET /pls/htmldb/f?p=4350:26: ::no:rp:: HTTP/ :17:17, : GET /pls/htmldb/f?p=4350:29: ::no:rir:ir_flow_id:180 HTTP/ :17:19, : POST /pls/htmldb/wwv_flow.show HTTP/ :17:23, : POST /pls/htmldb/wwv_flow.show HTTP/ :17:23, : GET /pls/htmldb/ical HTTP/ :17:23, : POST /pls/htmldb/wwv_flow.show HTTP/ :17:24, : GET /pls/htmldb/ical HTTP/ :17:46, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:06, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:12, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:12, : GET /pls/htmldb/ical HTTP/ :18:22, : POST /pls/htmldb/wwv_flow.accept HTTP/ :18:22, : GET /pls/htmldb/f?p=4350:29: ::no::: HTTP/ :18:23, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:25, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:33, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:41, : POST /pls/htmldb/wwv_flow.accept HTTP/ :18:41, : GET /pls/htmldb/f?p=4350:29: ::no::: HTTP/ :18:44, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:46, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:46, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:48, : POST /pls/htmldb/wwv_flow.show HTTP/ :18:56, : GET / HTTP/ :18:56, : GET / HTTP/ :19:09, : GET /kalender HTTP/ :19:09, : GET /pls/htmldb/f?p=180:3 HTTP/ :19:19, : GET /pls/htmldb/f?p=180:3: HTTP/ :19:23, : POST /pls/htmldb/wwv_flow.show HTTP/1.1...

20 SQL Pattern Matching: Ein Beispiel

21 SELECT client_ip, start_tstamp, end_tstamp, clicks FROM ohs_access_log MATCH_RECOGNIZE ( PARTITION BY client_ip ORDER BY zeitstempel asc MEASURES STRT.zeitstempel AS start_tstamp, LAST(NXT.zeitstempel) AS end_tstamp, FINAL COUNT(nxt.zeitstempel) as clicks ONE ROW PER MATCH AFTER MATCH SKIP PAST LAST ROW PATTERN (STRT NXT+) DEFINE NXT AS NXT.ZEITSTEMPEL < PREV(NXT.ZEITSTEMPEL) + INTERVAL '300' second ) MR where clicks > 2 order by client_ip, start_tstamp; CLIENT_IP START_TSTAMP END_TSTAMP CLICKS :57:48, : :59:56, : :26:52, : :30:50, : :06:13, : :10:10, : :11:30, : :14:39, :00 5 : : : :

22 Oracle12c für den Entwickler Native JSON Unterstützung in der Datenbank (ab ) 22

23 JSON Was ist JSON? JavaScript Object Notation Sehr einfaches Datenaustauschformat Basiert auf JavaScript-Code Javascript auch auf Server wichtig: node.js Breite Unterstützung durch Web-APIs Google, Twitter, Facebook & Co Setzt sich mehr und mehr durch { } "PONumber" : 1600, "Reference" : "ABULL , "Requestor" : "Alexis Bull, "User" : "ABULL, "CostCenter" : "A50, "ShippingInstructions" : { "name" : "Alexis Bull, "Address" : {... }, "Phone" : [... ] }, "Special Instructions" : null, "AllowPartialShipment" : true, "LineItems" : [{ "ItemNumber" : 1, "Part" : { "Description" : "One Magic Christmas, "UnitPrice" : 19.95, "UPCCode" : }, "Quantity" : 9 }, { } ]

24 Flexible Entwicklung mit JSON Agilität und "Continous Delivery" Änderungen an Datenstrukturen immer häufiger und flexibler Lange Zyklen für Schema-Änderungen werden immer weniger akzeptiert Ansatz: Ablage als JSON und Parsing zur Query Zeit Einfache Ablage der JSON-Dokumente in einem 'Document Store (NoSQL-Datenbanken, Hadoop Cluster) Parsing zur Abfragezeit durch die Applikation Security...? IT Betrieb...? Replikation...? Funktionsbibliothek...? Copyright 2014 Oracle Relationale and/or its affiliates. All rights reserved. Applikationen...?

25 Relationale Tabellen bleiben wichtig. Auf das Zusammenspiel kommt es an. 25

26 JSON and SQL Duality Oracle Database 12c JSON SQL Datenzugriff per REST oder Native API JSON wird in der Datenbank gespeichert Analysen / Queries per SQL

27 Native JSON Unterstützung in der Oracle Datenbank JSON Dokumente speichern und verwalten JSON als Text speichern (VARCHAR2, CLOB, BLOB) Ohne Schema - volle Flexibilität Kein eigener Datentyp: Nutzung der Standard-Datentypen für Zeichenketten bzw. Binärdaten Indizierung möglich mit Oracle-Indizes (B*tree, Bitmap, Oracle Text) API Zugriff auf JSON REST Services Java API (weitere Programmiersprachen in Planung) SQL Abfragen direkt auf JSON-Dokumente Reporting, Analyse und relationaler Zugriff direkt auf JSON-Dokumente 'JSON and SQL duality' JSON ermöglicht schemalose Datenhaltung in der Oracle-Datenbank aber komplett integriert mit der relationalen Welt! 27

28 SQL Queries auf JSON-Dokumente: JSON Table 28

29 SQL Beispiel: JSON_TABLE select reference, requestor, costcenter from po_json, json_table( json, '$.PurchaseOrder' columns ( reference varchar2(30) path '$.Reference', requestor varchar2(25) path '$.Requestor', costcenter varchar2(4) path '$.CostCenter' ) ) / 29

30 JSON_TABLE für relationale Sichten auf JSON REFERENCE REQUESTOR COST FORD PDT Gerry B. Ford R20 JONES PST Richard J Jones R20 MARTIN PST Thomas D. Martin S30 CLARK PDT Edward K. Clark A10 JONES PST Richard J Jones R20 MARTIN PST Thomas D. Martin S30 JONES PDT Richard J Jones R20 WARD PST Stephen B. Ward S30 BLAKE PST David E. Blake S30 MARTIN PST Thomas D. Martin S30 : : : 30

31 Weitere Informationen zu JSON in Oracle DB 12c Oracle-Dokumentation: Band XML DB Developer's Guide, Abschnitt 39 JSON in Oracle Database : Community-Tipp v. Carsten Czarski: _ID=

32 Oracle REST Data Services Datenbankzugriffe ohne SQL: RESTful Services Standardprotokoll: HTTP GET, POST, PUT, DELETE Anwendungsentwicklung ohne SQL und ohne spezielle Treiber Sehr nahe an JavaScript Austauschformat typischerweise JSON

33 Oracle REST Data Services: Architektur Oracle REST Data Services JSON Collection API Pass Back Auto Generated SQL {JSON} JSON Document Store URI Map & Bind SQL {JSON} Transform to JSON SQL Result Set Relationale Tabellen HTTP(S) client NoSQL API PassBack Key Value Lookup {JSON} NoSQL-Daten 34

34 Blogs JSON, REST und mehr - mit der Oracle Datenbank JSON in the Oracle Database

35 Oracle12c für den Entwickler Sichere Anwendungen mit SQL und PL/SQL 40

36 Zugriff auf PL/SQL Objekte in Oracle12c Einem PL/SQL-Objekt können nun Rollen zugewiesen werden Erlaubt wesentlich bessere Rechte / Rollenkonzepte grant {role} to function meine_funktion; ACCESSIBLE BY-Klausel verhindert direkten Aufruf eines Objektes Verhindern des direkten Aufrufs von "Helper Packages" create or replace package pkg_helper accessible by {other plsql object} is : end pkg_helper;

37 So machen Sie sicherheits-kritische Daten für die Anwendung unkenntlich Data Redaction Sicherheits relevante Daten werden in Echtzeit für die Anwendung verschlüsselt Bibliothek mit gängigen Policies ist im Lieferumfang enthalten Transparent für Anwendungen Lizensierung: via Advanced Security Option Credit Card Numbers Redaction Policy xxxx-xxxx-xxxx Call Center Application Billing Department Copyright 2014 Oracle and/or its affiliates. All rights reserved. Upgrade, Migrate & Consolidate to Oracle Database 12c 42

38 Daten maskieren: Data Redaction Maskierung der Ergebnisse(!) einer SQL-Abfrage Abfragen formulieren wie gewohnt Alle WHERE-Bedingungen sind möglich Indizes werden genutzt Ergebnisausgabe teilweise oder vollständig maskiert Hilfreich für den Anwendungsentwickler Maskierung sensibler Daten in der Anwendungsmasken Kreditkartennummern, Geburtsdatum, etc. Sicherstellung einheitlicher Maskierungen durch Hinterlegen in der Datenbank Bspw. "Immer die letzten 4 Stellen" Lizenz der Advanced Security Option erforderlich

39 Data Redaction SQL> select * from emp where ename like 'M%' ; EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO ***TIN SALESMAN :00: ***LER CLERK :00: Zeilen ausgewählt.

40 Data Redaction: So geht's BEGIN DBMS_REDACT.ADD_POLICY( object_schema => 'SCOTT', object_name => 'EMP', column_name => 'ENAME', policy_name => 'redact_ename', function_type => DBMS_REDACT.REGEXP, expression => 'SYS_CONTEXT (''USERENV'', ''SESSION_USER'') = ''HR''', regexp_pattern => '(...)(.*)', regexp_replace_string => '***\2', regexp_position => DBMS_REDACT.RE_BEGINNING, regexp_occurrence => 0, regexp_match_parameter => 'i'); END; /

41 Nutzen Sie Ihre Datenbank voll aus...? Analytic SQL XML Verarbeitung Mobile Applications (APEX) Java in the Database Fuzzy Search Location Data Flashback Query Linguistische Funktionen Native Webservices Image Processing (MultiMedia) PL/SQL Volltextsuche Pipelined Functions

42 Sie wollen sich in den Themen vertiefen? Communities APEX, SQL u. PL/SQL Community Carsten Czarskis monatl. Web-Cast Developer Monthly Developer Monthly als Youtube-Channel DBA Community (Face-to-Face-)Veranstaltungen zu Oracle DB 12c

43 Sie wollen sich in den Themen vertiefen? Community-Tipp von Carsten Czarski: _ID=941 59

44 Welchen Nutzen sehen Sie für sich? Wenn Sie Fragen haben, schreiben Sie mir einfach:

45 Exkurs

46 Approximate Count Distinct (ab ) 1,2,3... Neue SQL-Funktion APPROX_COUNT_DISTINCT() Für Abfragen, die eine fast akkurate & schnelle Antwort erfordern Wie viele verschiedene Besucher hatte unsere Webseite letzt Woche? Gegenüber SELECT (COUNT DISTINCT expr) ca. 5 bis 50 Mal schneller Abhängig von der Komplexität d. Abfrage u. der Anzahl der distinkten Werte Genauigkeit der Näherung > 97% d. exakten Ergebnisses (in 95% der Fälle) Copyright 2014 Oracle and/or its affiliates. All rights reserved. Public 62

47 Oracle12c für den Entwickler Die Multitenant-Option 63

48 Wie sieht die Multitenant-Architektur aus? Option zur Enterprise-Edition. Kostenfrei in der Standard-Edition & Standard-Edition1 mit genau einer PDB PDBs Pluggable Databases (PDBs) Root (= statische Bestandteile) CDB

49 Wie vereinfacht Multitenant die Bereitstellung von Entw.- & Test-DBs?

50 Sie realisieren mühelos Mandanten-Trennung Dadurch funktionieren Alle Sicherheitsmerkmale (Verschlüsselung, Datenmaskierung ) Alle Auswertungswerkzeuge genau wie für die DB eines einzelnen Kunden Nachrüsten von alten, eigentlich nicht mandantenfähigen Anwendungen wird möglich

51