Die Oracle DB 12c JSON, REST und mehr

Transkript

1 Die Oracle DB 12c JSON, REST und mehr Karin Patenge Leitende oracle-spatial.blogspot.de Oracle Deutschland B.V. & Co KG GS Potsdam DOAG Regionalgruppe Thüringen 29. September 2015 Jena

2 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle s products remains at the sole discretion of Oracle. 2

3 Agenda Und ein bisschen mehr 3

4 Und ein bisschen mehr 4

5 Oracle12c für Entwickler_innen Die Datenbank für alle wichtigen Plattformen JSON Ruby Oracle ADF Oracle APEX Oracle RDS

6 Oracle Database 12c für Entwickler_innen Standardaufgaben schneller und einfacher: SQL und PL/SQL 32k VARCHAR2, PL/SQL WITH-Klausel, Identity Columns, OFFSET-Klausel... Neue Analysemöglichkeiten mit SQL: SQL Pattern Matching Native JSON-Unterstützung in der Datenbank SQL/JSON, JSON-Indizierung und mehr Unstrukturierte Daten: XML, Texte und mehr... Sichere Anwendungen mit SQL und PL/SQL Rollen für PL/SQL, Code-Based Access-Control Werkzeuge und Umgebungen SQL Developer, Application Express, Oracle REST Data Services 6

7 Eindeutige Schlüssel generieren Identity Columns Bisher Seit 12.1 CREATE TABLE kunden_tab ( id NUMBER(10) PRIMARY KEY name VARCHAR2(200),... ) / CREATE SEQUENCE kunden_seq START WITH 1 INCREMENT BY 1 / CREATE OR REPLACE TRIGGER pk kunden_trg BEFORE INSERT on kunden_tab FOR EACH ROW BEGIN :new.id := kunden_seq.nextval; END; / CREATE TABLE kunden_tab ( id NUMBER(10) PRIMARY KEY GENERATED ALWAYS AS IDENTITY START WITH INCREMENT BY 1, name VARCHAR2(200)... ) /

8 SQL Pattern Matching Aufgabenstellung: Finde alle "Double Bottoms" im Kursverlauf einer Aktie Wann beginnt das Muster? Wann endet das Muster? Welcher Aktienkurs? Muster innerhalb einer Woche? FIRST_X LAST_Z X Y W Z SELECT first_x, Aktienkurs last_z FROM ticker MATCH_RECOGNIZE ( PARTITION BY name ORDER BY time MEASURES FIRST(x.time) AS first_x LAST(z.time) AS last_z ONE ROW PER MATCH PATTERN (X+ Y+ W+ Z+) DEFINE X AS (price < PREV(price)) Y AS (price > PREV(price)) W AS (price < PREV(price)) Z AS (price > PREV(price)) Tage

9 Oracle Database 12c Release 1 ( ) Auszug aus New Features Liste (Alle Details hier) Feature Oracle In-Memory JSON Unterstützung Oracle REST Data Services Oracle Multitenant Advanced Index Compression Attribute Clustering Full Database Caching Automatic Big Table Caching Approximate Count Distinct Beschreibung Option Feature der Datenbank Feature der Datenbank Option, wenn mehr als eine PDB genutzt wird Teil der Option Oracle Advanced Compression Feature der Datenbank Feature der Datenbank Feature der Datenbank Feature der Datenbank 9

10 Und ein bisschen mehr 10

11 JSON JavaScript Object Notation Sehr einfaches Datenaustauschformat Einfachere Konzepte als XML Basiert auf JavaScript-Code Javascript auch auf Server wichtig: node.js Breite Unterstützung durch Web-APIs Google, Twitter, Facebook & Co. JSON-Path Anfragen (analog zu XPATH) Setzt sich mehr und mehr durch

12 Ein Beispiel für den Einsatz von JSON Inhalt von Blog-Postings als JSON abrufen 12

13 Native JSON Unterstützung in der Oracle DB 12g JSON Dokumente speichern und verwalten JSON als Text speichern (VARCHAR2, CLOB, BLOB) Ohne Schema - volle Flexibilität Kein eigener Datentyp: Nutzung der Standard-Datentypen für Zeichenketten bzw. Binärdaten Indizierung mit einem JSON aware Index API Zugriff auf JSON REST Services Java API (weitere Programmiersprachen in Planung) JSON ermöglicht schemalose Datenhaltung in der Oracle-Datenbank aber komplett integriert mit der relationalen Welt! SQL Abfragen direkt auf JSON-Dokumente Reporting, Analyse und relationaler Zugriff direkt auf JSON-Dokumente Dualität JSON / SQL 13

14 JSON / SQL Dualität Oracle Database 12c JSON SQL Datenzugriff per REST oder Native API JSON wird in der Datenbank gespeichert Analysen / Queries per SQL 14

15 Wie geht das mit der Dualität? JSON-Sicht auf relationale Daten Relationale Sicht auf JSON Node.js Treiber für die Oracle DB APEX_JSON ORDS PL/SQL 15

16 Flexible Entwicklung mit JSON Agilität und Continous Delivery Änderungen an Datenstrukturen immer häufiger und flexibler Lange Zyklen für Schema-Änderungen werden immer weniger akzeptiert Ansatz: Ablage als JSON und Parsing zur Query Zeit Einfache Ablage der JSON-Dokumente in einem Document Store Validierung über IS JSON Parsing zur Abfragezeit fehlende Attribute "fehlen dann einfach" NoSQL-Datenbanken, Hadoop Cluster Security...? IT Betrieb...? Replikation...? Funktionsbibliothek...? Relationale Applikationen...?

17 JSON indizieren Function Based Indexes für Bekannte Abfragemuster Attribute kommen im JSON nur einmal vor keine Arrays Basiert auf Function Based Indexes Volltextindizierung für Unbekannte Abfragemuster inkl. Volltextrecherche Beliebige JSON-Attribute Basiert auf Oracle TEXT

18 Anwendungsbeispiel: Oracle DB als JSON Document Store Social Media (Twitter) Analyse JSON Dokumente als CLOBs 21

19 Demo: JSON in der Oracle DB 22

20 Einfach mal selbst ausprobieren? Prebuilt Database Application Developer VM für VirtualBox Hands-On Lab Blog-Postings in den deutschsprachigen Blogs

21 Und ein bisschen mehr 24

22 REST Representational State Transfer Programmierparadigma für verteilte Systeme, insbesondere Webservices Übergang von einem Zustand zum nächsten (einer Applikation) durch Transfer von Daten Über eine URI wird genau ein (Web-) Seiteninhalt präsentiert In der URI werden Ort und Name der Ressource angegeben Wird eingesetzt für Maschine-zu- Maschine Kommunikation Einfache Alternative zu SOAP und WSDL 25

23 Oracle REST Data Service Allgemeines Ursprung im APEX Listener Java-basierter Webserver für Application Express Erweiterung um REST-Webservices Umbenennung in Oracle REST Data Services (ORDS) Möglichkeit, REST Endpoints für Tabellen und Views in einem DB- Schema bereitzustellen. Funktionen Webserver für Application Express REST-Endpoint für relationale Tabellen und Views REST-Endpoint für PL/SQL Funktionen, Prozeduren und anonyme Blöcke REST-Endpoint für die JSON-Funktionen in der Oracle Datenbank 12c (SODA) REST-Endpoint für die Oracle NoSQL DB 26

24 Wer oder was nutzt REST? Öffentlich verfügbare Services mit RESTful APIs Twitter, Netflix, Dropbox, Flickr, Oracle Database Cloud Service, Amazon S3,... Produkte und Werkzeuge mit RESTful APIs Glassfish Application Server Admin, Selenium WebDriver,... RESTful Frameworks APEX RESTful Services, Jersey (JAX-RS), Restlet, Restify,... REST Clients oder Browser Plugins 27

25 Funktionsset Constrained set GET (Lesezugriff) PUT (Schreibzugriff idempotent) DELETE (Schreibzugriff idempotent) POST (nicht sicher bzw. Idempotent) HTTP Methoden für RESTful Services GET (Retrieve) PUT (Update oder Create) DELETE (Delete) POST (Create - Sub resource) Rückgabecodes 1xx, 2xx, 3xx, 4xx, 5xx REST CRUD SQL GET Read SELECT POST Create INSERT PUT Update or Create UPDATE or INSERT DELETE Delete DELETE Vereinfachte Darstellung Siehe auch: 29

26 REST API für JSON REST Webservice API zur Arbeit mit JSON-Dokumenten: Kein SQL nötig! Zwei Deployment-Varianten: Oracle Rest Data Services (aka 'APEX Listener') Oracle XML DB Protokollserver (XML DB) Unterstützt die REST Standard-Operationen PUT : Create / Update GET : Retrieve DELETE : Delete POST : JSON Queries, Utility-Funktionen Konfiguration des REST Service wird komplett in der Datenbank gespeichert

27 Anwendungsbeispiele Oracle Document Cloud Service URI Pattern: /api/<version>/<resourcepath> Beispiel: clecloud.com/documents/api/1.1/f olders Result: JSON Oracle Database Schema Service Stellt RESTful Web Service API bereit Bereitstellung RESTful Web Service über APEX im DB Schema Service 31

28 Demo: REST / RESTful Web Services 32

29 Einfach mal selbst ausprobieren? Prebuilt Database Application Developer VM für VirtualBox Hands-On Lab 33

30 Weitere Informationen Oracle Dokumentation XML DB Developers Guide Kapitel 39: JSON in Oracle Database Blog Postings zu JSON in der Oracle DB Juli 2014: Oracle ist da: Ein Einblick in die JSON-Unterstützung 34

31 Blog:

32 Bonus-Folien JSON in der Oracle-Datenbank Vorgehensweise und Funktionen im Detail 36

33 Schritt 1: Tabelle anlegen Für JSON wird kein eigener Datentyp verwendet Alle Typen, die Text aufnehmen können, sind nutzbar VARCHAR2, CLOB, BLOB JSON- und Nicht-JSON Inhalte können in einer Tabelle gemischt werden create table po_json ( filename varchar2(200), json clob ); 37

34 Schritt 2: JSON Dokumente laden 38

35 Schritt 3: Was ist JSON, was ist nicht JSON SQL Operatoren IS JSON und IS NOT JSON select count(*) from po_json where json is json; select count(*) from po_json where json is not json; Check Constraint stellt sicher, dass nur noch JSON gespeichert wird alter table po_json add constraint ck_isjson check (json is json); 39

36 Schritt 4: SQL Abfragen... SQL Funktionen JSON_EXISTS, JSON_VALUE, JSON_QUERY und JSON_TABLE Arbeitsweise immer gleich JSON-Tabellenspalte oder Literal JSON Pfadausdruck (JSON Path Expression) Returning Klausel Error Handling 40

37 JSON_QUERY extrahiert JSON "Fragmente" select json_query( json, '$.PurchaseOrder.ShippingInstructions' PRETTY ) from po_json; JSON_QUERY [ { "name" : ["Gerry B. Ford"], "address" : ["100 Oracle Parkway\r\nRedwood Shores\r\nCA\r\n94065\r\nUSA"], "telephone" : [" "] } ] 1 Zeile wurde ausgewählt. 41

38 Im Fehlerfall... wird NULL zurückgegeben select json_query( json, '$.PurchaseOrder.ShippingInstrs' PRETTY ) from po_json; JSON_QUERY ? 1 Zeile wurde ausgewählt. 42

39 ... oder eine Fehlermeldung. select json_query( json, '$.PurchaseOrder.ShippingInstrs' PRETTY ERROR ON ERROR ) from po_json; * FEHLER in Zeile 1: ORA-40462: Auswertung von JSON_QUERY hat keinen Wert ergeben 43

40 JSON_VALUE extrahiert "skalare Werte" select json_value( json, '$.PurchaseOrder.Reference[0]' RETURNING VARCHAR2 ) from po_json where rownum < 10; JSON_VALUE FORD PDT JONES PST MARTIN PST CLARK PDT : 44

41 JSON_EXISTS stellt fest, ob ein JSON-Pfad existiert select filename from po_json where json_exists( json, '$.PurchaseOrder.Reference' ); FILENAME FORD PDT.js JONES PST.js MARTIN PST.js CLARK PDT.js : 45

42 JSON_TABLE für relationale Sichten auf JSON select reference, requestor, costcenter from po_json, json_table( json, '$.PurchaseOrder' columns ( reference varchar2(30) path '$.Reference[0]', requestor varchar2(25) path '$.Requestor[0]', costcenter varchar2(4) path '$.CostCenter[0]' ) ) / 46

43 JSON_TABLE für relationale Sichten auf JSON REFERENCE REQUESTOR COST FORD PDT Gerry B. Ford R20 JONES PST Richard J Jones R20 MARTIN PST Thomas D. Martin S30 CLARK PDT Edward K. Clark A10 JONES PST Richard J Jones R20 MARTIN PST Thomas D. Martin S30 JONES PDT Richard J Jones R20 WARD PST Stephen B. Ward S30 BLAKE PST David E. Blake S30 MARTIN PST Thomas D. Martin S30 : : : 47

44 JSON_TABLE für geschachtelte Strukturen select reference, requestor, num, descr, quantity From po_json, json_table( json, '$.PurchaseOrder' columns ( reference varchar2(30) path '$.Reference[0]', requestor varchar2(25) path '$.Requestor[0]', CostCenter varchar2(4) path '$.CostCenter[0]', nested path '$.LineItems[*].LineItem[*]' columns ( num number path '$."\u0024".itemnumber', descr varchar2(40) path '$.Description[0]', quantity number path '$.Part[0]."\u0024"."Quantity"' ) ) ) 48

45 JSON_TABLE für relationale Sichten auf JSON REFERENCE REQUESTOR NUM DESCR QUANTITY FORD PDT Gerry B. Ford 1 Ordet 4 FORD PDT Gerry B. Ford 2 The Naked Kiss 3 FORD PDT Gerry B. Ford 3 Charade 2 FORD PDT Gerry B. Ford 4 Robocop 2 FORD PDT Gerry B. Ford 5 Cries and Whispers 4 FORD PDT Gerry B. Ford 6 Autumn Sonata 4 FORD PDT Gerry B. Ford 7 Getrud 3 FORD PDT Gerry B. Ford 8 And the Ship Sails on 1 FORD PDT Gerry B. Ford 9 Flesh for Frankenstein 4 FORD PDT Gerry B. Ford 10 The Hidden Fortress 2 FORD PDT Gerry B. Ford 11 The Importance of Being Earnest 3 FORD PDT Gerry B. Ford 12 The Vanishing 4 FORD PDT Gerry B. Ford 13 Cries and Whispers 4 FORD PDT Gerry B. Ford 14 Beauty and the Beast 2 FORD PDT Gerry B. Ford 15 And God Created Woman 1 : : : : : FORD PDT Gerry B. Ford 16 The Magic Flute 1 20 Zeilen ausgewählt. 49

46 Schritt 5: Volltextindizierung mit Oracle TEXT Erstellung eines Oracle TEXT Index für JSON CREATE INDEX po_search_idx ON po_json (json) INDEXTYPE IS CTXSYS.CONTEXT PARAMETERS ( 'section group CTXSYS.JSON_SECTION_GROUP SYNC (ON COMMIT)' ) / Index wurde erstellt. 50

47 Schritt 5: Volltextindizierung mit Oracle TEXT Erstellung eines Oracle TEXT Index für JSON select filename from po_json WHERE json_textcontains( json, '$.PurchaseOrder.LineItems.LineItem.Description', 'Magic' ); TURNER PDT.js CLARK PST.js : 51